Rationality: From AI to Zombies
Книги довольно сложно оценивать и сравнивать между собой. Какие-то книги мы ценим за их литературные качества, какие-то - за их увлекательность, какие-то - за идеи, которые они содержат. Для меня есть одна категория книг, стоящая особняком. Это книги, которые каждому стоит прочитатьЭта оценка не совсем совпадает с "лучшими книгами всех времён". К
( Read more... )
Я его, увы не читал, так что не знаю. А в чём заключается "мракобесие"?
> "...Юдковский -- американский исследователь в области AI..." - не могу с этим согласиться. Юдковский человек, который не разрабатывает ИИ, а зарабатывает тем, что пишет на тему ИИ
Ну как сказать. Насколько мне известно, MIRI, в котором он работает, занимается именно самой по себе разработкой ИИ, а не лирикой.
Плюс к тому, его, так сказать, просветительская деятельность имеет прямое отношение к ИИ, который он хочет разработать. А именно, с его точки зрения, "правильный" ИИ должен основываться на байесовских сетях, то есть принцип его работы будет связан с принятием рациональных решений.
У этого подхода есть плюсы и минусы. Главный минус состоит в том, что прогресс в этой области довольно медленен, и основные достижения современного ИИ происходят из ML, который к этому абсолютно ортогонален. С другой стороны, это не значит, что в принципе не может случиться какого-то прорыва в ИИ на байесовских сетях. Главный плюс состоит в том, что мы хорошо понимаем как работает байесовский вывод, и он является теоретически оптимальным способом установления истины и принятия решений.
На мой личный взгляд, хороший ИИ будет заключать в себе синтез ML для низкоуровневых задач типа распознавания образов и грамматических структур языка, и какой-то логической или байесовской системы для принятия решений и установления истины.
Reply
- Мракобесие проявляется в полном отходе от принципа рациональности где-то в середине книге. Такое ощущение, что автор в процессе ее написания изменил свое мировоззрение на 180 градусов.
- Я не видел серьезных работ с математикой и программной реализацией в области ИИ за авторством Юдковского. Популяризацию и философские рассуждения видел - научных работ - нет. Возможно, что я о них не знаю, был бы признателен если бы Вы дали на них ссылки.
Байесовские сети - это не единственный формализм, на котором пытаются строить прикладные системы м какой в конечном итоге станет доминирующем покажет время. Кстати, как в байесовские сети выразить смысл фразы "Вася пошел ловить рыбу"?
Reply
Вы меня заингриговали.
> Я не видел серьезных работ с математикой и программной реализацией в области ИИ за авторством Юдковского.
Я тоже. Но вот список публикаций MIRI. Согласен, примерно половина там про психологию, этику, теорию игр и прочие соседние дисциплины.
> Байесовские сети - это не единственный формализм, на котором пытаются строить прикладные системы м какой в конечном итоге станет доминирующем покажет время.
Да, я поэтому и написал про "какую-то логическую или байесовскую систему".
Reply
Выражаю согласие с этим оратором.
Reply
Ваш интерес к ИИ это профессия или хобби?
Reply
50/50. Я математик по образованию и сейчас работаю в Гугле над Google Assistant. Там есть немало machine learning, но до general AI там очень далеко и даже задачи такой не стоит. Поэтому вещи типа классификаторов и регрессий я понимаю неплохо, а мои представления о вещах типа decision networks несколько более дилетантские.
На мой (дилетантский) взгляд, марковские модели -- это частный случай байесовских сетей, описывающих процессы. Мы делаем конкретные предположения по поводу того, что от чего зависит и рассчитываем байесовские вероятности. Разве это не так?
Про то, насколько они применимы к AI я уже написал выше. По-моему, на одних байесовских сетях его не сделать, нужна ML-магия в нужных местах. Но и одного ML скорее всего недостаточно, чтобы сделать хороший AI, а если и достаточно, то никто не будет понимать, как он работает.
Reply
Что касается Марковских (включая скрытые) моделей, то и там так же расписываем, что от чего зависит и вычисляем условные вероятности, но там возможны циклы. Ну да ладно, не будем об этом. Просто я не очень вижу, как с помощью байесовских сетей сделать систему, которая скажем, зная об аксиомах поля R2, сможет вывести алгоритм решения системы линейных уравнений в общем виде. Хотя возможно, что уже нашлись умельцы - хотелось бы с ними познакомиться.
Олег, как в Google Assistant результат распознавания речи зависит от длины фразы?
Reply
Есть разные типы ИИ. Как минимум, есть optimizer, есть satisfier. В задачах, где нужно не просто выдать результат, а что-то делать (AlphaGo, self-driving car), приходится использовать комбинацию ML с какими-то стратегиями немного другого уровня.
И да, я читал Бострома на счёт того, что граница между разными видами ИИ не настолько определённая как кажется на первый взгляд.
> аксиомах поля R2
[nitpicking mode on] R2 -- это не поле, а линейное пространство, и аксиом у него нету, так как это производная конструкция.
> алгоритм решения системы линейных уравнений в общем виде
У нас в принципе нет сейчас решения для этой задачи, кроме полного перебора алгоритмов. Я мог бы поспекулировать как это будет когда-нибудь работать, но во-первых, это будет наполовину гадание на кофейной гуще, а во-вторых, это слишком большая тема для комментария.
> Олег, как в Google Assistant результат распознавания речи зависит от длины фразы?
Я не знаю точного ответа, но по идее для более длинных фраз распознавание должно работать лучше.
Reply
"...Я не знаю точного ответа, но по идее для более длинных фраз распознавание должно работать лучше..." - Вы контекст используете?
"...Я мог бы поспекулировать как это будет когда-нибудь работать, но во-первых, это будет наполовину гадание на кофейной гуще, а во-вторых, это слишком большая тема для комментария..." - это очень интересно, почему бы написать об этом не в комментариях, а допустим в отдельном посте?
Reply
Я имею в виду, что R2, как и большинство прочих математических конструкций строится в обычной аксиоматике теории множеств, либо аксиоматике натуральных чисел. Для них не нужно отдельной теории.
> "...Я не знаю точного ответа, но по идее для более длинных фраз распознавание должно работать лучше..." - Вы контекст используете?
Да, конечно.
> "...Я мог бы поспекулировать как это будет когда-нибудь работать, но во-первых, это будет наполовину гадание на кофейной гуще, а во-вторых, это слишком большая тема для комментария..." - это очень интересно, почему бы написать об этом не в комментариях, а допустим в отдельном посте?
Для отдельного поста у меня нет достаточно хорошего понимания предмета, чтобы об этом писать.
Интуитивно, мне кажется, главная проблема в создании автоматического доказывателя теорем в определении "важности". В ходе любого математического рассуждения мы вводим новые определения и доказываем промежуточные утверждения. Ключевое искусство, которое для этого необходимо, и которое сложно описать в программе -- это отделение полезных/важных определений и утверждений от бесполезных.
К примеру, я могу взять все числа, которые делятся на 17 и дают остаток 127 от деления на 239 и назвать их множество XYZ. Это формально корректное определение, описывающее некоторое множество чисел. Но будет ли такое определение полезно? Стоит ли доказывать про это множество какие-то утверждения? Скорее всего нет, так как это множество принципиально не отличается от любого другого множества чисел S, дающих остаток a от деления на одно простое число p, и остаток b от деления на другое число q. Про множество XYZ очень сложно придумать содержательное утверждение, которое бы не было частным случаем утверждения про множество S.
Вторая задача -- это отделение содержательных утверждений от бессодержательных.
Возьмём, к примеру, опять множество чисел S, сравнимых с a (mod p) и b (mod q). Я могу сформулировать про эти числа два разных утверждения:
1. Если p ≠ q, то таких чисел бесконечно много.
2. Если в этом множестве есть хотя бы одно чётное число, то это множество непусто.
Оба этих утверждений верны, но первое гораздо содержательнее и полезнее второго.
Возвращаясь к изначальному вопросу, если у нас будут хорошие алгоритмы для того, чтобы отличать содержательные определения и утверждения от менее содержательных, задача автоматического поиска доказательств почти наверняка решена. Достаточно просто начать генерировать доказательства содержательных утверждений про объекты из условия, и подождать, пока мы не сгенерируем наше утверждения.
Какой из известных нам методов ML и AI может в этом помочь? Я, честно говоря, не знаю. Возможно, мы ещё не изобрели подходящего метода для этой задачи.
Reply
И здесь мне хочется вернуться к этому месту "...Вы контекст используете?
Да, конечно..." - а как Вы его используете?
Олег, у Вас есть публикации, я бы с удовольствием почитал Ваши идеи, про отделение "важного" от "не важного"
Reply
Увы, нет. :) Я же обещал гадание на кофейной гуще, а не работающий алгоритм.
> И здесь мне хочется вернуться к этому месту "...Вы контекст используете?
> Да, конечно..." - а как Вы его используете?
Увы, не могу рассказать. Во-первых, потому что сам в подробностях не знаю, а во-вторых, потому я уверен, что это не открытая информация.
> Олег, у Вас есть публикации, я бы с удовольствием почитал Ваши идеи, про отделение "важного" от "не важного"
К сожалению нет. И в любом случае, это так, рассуждения в комментариях к посту в ЖЖ, а не серьёзное исследование.
Reply
:)
Reply
Как по мне, HPMoR можно читать и дальше. Там небольшой спад будет, но в середине и в конце всё становится существенно лучше (и трансгуманистичней, хех).
Reply
Reply
Могу со своей стороны ещё посоветовать забавный и короткий «эпилог»: https://www.fanfiction.net/s/11293489/1/A-Crack-Slash-Epilogue
Reply
Leave a comment