Rationality: From AI to Zombies

[eterevsky]

Книги довольно сложно оценивать и сравнивать между собой. Какие-то книги мы ценим за их литературные качества, какие-то - за их увлекательность, какие-то - за идеи, которые они содержат. Для меня есть одна категория книг, стоящая особняком. Это книги, которые каждому стоит прочитатьЭта оценка не совсем совпадает с "лучшими книгами всех времён". К

Comments

[p_a_s_h_a]

(В основном к уважаемым читателям)
А если вам хочется почитать на эту же тему что попроще,
идите на сайт, ссылка на который будет в следующем комментарии, и читайте те же идеи на русском и... в виде фанфика к Гарри Поттеру!
Элиезер Юдковский. "Гарри Поттер и методы рациональности"

[p_a_s_h_a]

Команда переводчиков дают название как
"Гарри Поттер и методы рационального мышления"
hpmor.ru

[eterevsky]

Хотел ведь упомянуть эту книжку в посте, но забыл.

[bvn_mai]

Это мое личное мнение, но в "Рациональном Поттере" очень сильное начало, но где-то после 30 главы начинается откровенная хрень и под конец книга становится "мракобесной".

"...Юдковский -- американский исследователь в области AI..." - не могу с этим согласиться. Юдковский человек, который не разрабатывает ИИ, а зарабатывает тем, что пишет на тему ИИ

[eterevsky]

> Это мое личное мнение, но в "Рациональном Поттере" очень сильное начало, но где-то после 30 главы начинается откровенная хрень и под конец книга становится "мракобесной".

Я его, увы не читал, так что не знаю. А в чём заключается "мракобесие"?

> "...Юдковский -- американский исследователь в области AI..." - не могу с этим согласиться. Юдковский человек, который не разрабатывает ИИ, а зарабатывает тем, что пишет на тему ИИ

Ну как сказать. Насколько мне известно, MIRI, в котором он работает, занимается именно самой по себе разработкой ИИ, а не лирикой.

Плюс к тому, его, так сказать, просветительская деятельность имеет прямое отношение к ИИ, который он хочет разработать. А именно, с его точки зрения, "правильный" ИИ должен основываться на байесовских сетях, то есть принцип его работы будет связан с принятием рациональных решений

[bvn_mai]

- "Рационального Поттера" очень стоит начать читать, но также нужно и вовремя остановится (это где-то 40 глава).

- Мракобесие проявляется в полном отходе от принципа рациональности где-то в середине книге. Такое ощущение, что автор в процессе ее написания изменил свое мировоззрение на 180 градусов.

- Я не видел серьезных работ с математикой и программной реализацией в области ИИ за авторством Юдковского. Популяризацию и философские рассуждения видел - научных работ - нет. Возможно, что я о них не знаю, был бы признателен если бы Вы дали на них ссылки.

Байесовские сети - это не единственный формализм, на котором пытаются строить прикладные системы м какой в конечном итоге станет доминирующем покажет время. Кстати, как в байесовские сети выразить смысл фразы "Вася пошел ловить рыбу"?

[eterevsky]

> - "Рационального Поттера" очень стоит начать читать, но также нужно и вовремя остановится (это где-то 40 глава).

Вы меня заингриговали.

> Я не видел серьезных работ с математикой и программной реализацией в области ИИ за авторством Юдковского.

Я тоже. Но вот список публикаций MIRI. Согласен, примерно половина там про психологию, этику, теорию игр и прочие соседние дисциплины.

> Байесовские сети - это не единственный формализм, на котором пытаются строить прикладные системы м какой в конечном итоге станет доминирующем покажет время.

Да, я поэтому и написал про "какую-то логическую или байесовскую систему".

Рациональный Поттер

[bik_top]

> "Рационального Поттера" очень стоит начать читать, но также нужно и вовремя остановится (это где-то 40 глава).

Выражаю согласие с этим оратором.

[bvn_mai]

Олег, я может что-то не понимаю, но поему Марковские процессы уже содержат в себе Байесовские сети и очень хорошо изучены. Пока ИИ исключительно на основе цепей Маркова получается что-то не очень (как дополнительный инструмент может быть). Существуют подходы и формализмы, которые уже содержат в себе возможность для вероятностных и размытых рассуждений). Возможно, что я что-то пропустил - Вы можете набросать ссылок на примеры реализаций ИИ с исключительно на базе Байесовских сетей?

Ваш интерес к ИИ это профессия или хобби?

[eterevsky]

> Ваш интерес к ИИ это профессия или хобби?

50/50. Я математик по образованию и сейчас работаю в Гугле над Google Assistant. Там есть немало machine learning, но до general AI там очень далеко и даже задачи такой не стоит. Поэтому вещи типа классификаторов и регрессий я понимаю неплохо, а мои представления о вещах типа decision networks несколько более дилетантские.

На мой (дилетантский) взгляд, марковские модели -- это частный случай байесовских сетей, описывающих процессы. Мы делаем конкретные предположения по поводу того, что от чего зависит и рассчитываем байесовские вероятности. Разве это не так?

Про то, насколько они применимы к AI я уже написал выше. По-моему, на одних байесовских сетях его не сделать, нужна ML-магия в нужных местах. Но и одного ML скорее всего недостаточно, чтобы сделать хороший AI, а если и достаточно, то никто не будет понимать, как он работает.

[bvn_mai]

По поводу "твердого"/"мягкого" все-таки нужно будет написать отдельный пост (закончу работу - напишу) - есть просто ИИ :)

Что касается Марковских (включая скрытые) моделей, то и там так же расписываем, что от чего зависит и вычисляем условные вероятности, но там возможны циклы. Ну да ладно, не будем об этом. Просто я не очень вижу, как с помощью байесовских сетей сделать систему, которая скажем, зная об аксиомах поля R2, сможет вывести алгоритм решения системы линейных уравнений в общем виде. Хотя возможно, что уже нашлись умельцы - хотелось бы с ними познакомиться.

Олег, как в Google Assistant результат распознавания речи зависит от длины фразы?

[eterevsky]

> По поводу "твердого"/"мягкого" все-таки нужно будет написать отдельный пост (закончу работу - напишу) - есть просто ИИ :)

Есть разные типы ИИ. Как минимум, есть optimizer, есть satisfier. В задачах, где нужно не просто выдать результат, а что-то делать (AlphaGo, self-driving car), приходится использовать комбинацию ML с какими-то стратегиями немного другого уровня.

И да, я читал Бострома на счёт того, что граница между разными видами ИИ не настолько определённая как кажется на первый взгляд.

> аксиомах поля R2

[nitpicking mode on] R2 -- это не поле, а линейное пространство, и аксиом у него нету, так как это производная конструкция

[bvn_mai]

Всегда приятно иметь дело с математиком, который не допускает вольности в определениях, но я инженер - мне главное работающий результат (по поводу отсутствия аксиом для линейного пространства - я озадачен, ну да ладно).

"...Я не знаю точного ответа, но по идее для более длинных фраз распознавание должно работать лучше..." - Вы контекст используете?

"...Я мог бы поспекулировать как это будет когда-нибудь работать, но во-первых, это будет наполовину гадание на кофейной гуще, а во-вторых, это слишком большая тема для комментария..." - это очень интересно, почему бы написать об этом не в комментариях, а допустим в отдельном посте?

[eterevsky]

> (по поводу отсутствия аксиом для линейного пространства - я озадачен, ну да ладно

[bvn_mai]

Спасибо за подробный рассказ. Я понял направление Ваших мыслей, но здесь в свете "...Возвращаясь к изначальному вопросу, если у нас будут хорошие алгоритмы для того, чтобы отличать содержательные определения и утверждения от менее содержательных ... " - возникает (ехидный) вопрос - а такие алгоритмы будут найдены? Вы знаете подходы к этой проблеме?

И здесь мне хочется вернуться к этому месту "...Вы контекст используете?

Да, конечно..." - а как Вы его используете?

Олег, у Вас есть публикации, я бы с удовольствием почитал Ваши идеи, про отделение "важного" от "не важного"

[eterevsky]

> а такие алгоритмы будут найдены? Вы знаете подходы к этой проблеме?

Увы, нет. :) Я же обещал гадание на кофейной гуще, а не работающий алгоритм.

> И здесь мне хочется вернуться к этому месту "...Вы контекст используете?
> Да, конечно..." - а как Вы его используете?

Увы, не могу рассказать. Во-первых, потому что сам в подробностях не знаю, а во-вторых, потому я уверен, что это не открытая информация.

> Олег, у Вас есть публикации, я бы с удовольствием почитал Ваши идеи, про отделение "важного" от "не важного"

К сожалению нет. И в любом случае, это так, рассуждения в комментариях к посту в ЖЖ, а не серьёзное исследование.