(Не)алгоритмический интеллект?
Ниже мое интервью со специалистом в области систем искусственного интеллекта (ИИ).
Собеседник - Алекс Добров, профессор одного из американских университетов.
У некоторых, особенно приверженцев классического ИИ, отдельные фрагменты интервью могут вызвать внутренний протест. Отдаю себе в этом отчет. Протестовать прошу без эмоций, по существу.
Итак, поехали.
Что изменилось? С какими доминирующими ранее идеями о построении искусственного интеллекта специалисты на сегодня расстались? А что, напротив, осталось неизменным?
Пожалуй, основная идея, с которой пришлось расстаться, это то, что интеллект, равный человеческому или даже превышающий его, будет создан в относительно скором будущем. Радужные ожидания сменились пониманием того, что создание ИИ, равного человеческому, - задача на много порядков сложнее, чем казалось раньше. После этого финансирование общих проектов по созданию ИИ резко сократилось. В настоящее время даже сам термин стараются не особенно употреблять. Вместе с тем развиваются отдельные прикладные направления, под которые есть финансирование. Главный заказчик - военные.
В том, что касается тенденций развития ИИ, я бы выделил две основные:
1. Ранее весьма популярные символьные методы работы с информацией (на основе формальных грамматик и языков) уже не в фаворе, а "аналоговые" методы развиваются всё больше. Число разработок с использованием искусственных нейросетей растёт очень быстро. Мало того, даже в работе с символьной информацией используют "аналоговые" методы (например, Google).
2. Вместо ИИ-реализации на базе огромной машины всё большее развитие получает представление о реализации ИИ в виде группы интеллектуальных агентов, которые кооперируются в плане обмена информацией и совместных согласованных действий.
Неизменным, как для меня ни странно, у многих осталось убеждение, что можно построить ИИ путем копирования мозга животного. И это несмотря на то, что ни один подобный проект не увенчался успехом, что не удивительно, поскольку нейрофизиология еще очень далека от понимания того, как работает естественный интеллект (ЕИ).
Понимаем ли мы сейчас, что такое интеллект?
Ответ на этот вопрос сильно зависит от того, что вкладывать в термин "понимаем". Уже давно определили интеллект как способность решать проблемы, а более точно - как способность учиться решать проблемы. Обе способности можно в какой-то степени смоделировать на компьютере. Этот уровень понимания более-менее подробно и толково изложен например тут: wiki (не советую взамен читать русско-язычную версию :)
Вместе с тем, хорошо известно, что способность учиться (решать проблемы) в общем случае неалгоритмична. Однако в настоящее время нет даже осознания-понимания целесообразности создания неалгоритмического ИИ и тесно связанной с этим проблемы построения неалгоритмической теории ЕИ, не говоря уже о понимании того, какие подходы к этому возможны. Это понимание придет через необходимость решать сложные проблемы ИИ - когда станут тесны рамки алгоритмических моделей.
От исследователя ИИ слышать утверждение о неалгоритмичности довольно непривычно. Полагаю, большинство коллег с вами не согласятся. Хотя бы потому, что опираются на тезис Черча-Тьюринга.
Тезис Чёрча тут в качестве опоры не очень подходит. Он лишь утверждает, что интуитивное понимание конструктивной процедуры точно соответствует математически строгой формализации в виде машины Тьюринга или аналогов (лямбда-исчисления и т.п). Однако, как много раз замечалось, открытия не висят на ветвях логических выводов. Другими словами, творческое мышление, творческая деятельность неалгоритмизируемы, что математически выражается в принципиальной неалгоритмизуемости обучения в общем случае. В то же время, интуитивно понятно, что нигде так не проявляется сила интеллекта, как в творческой деятельности. Алгоритмический ИИ не способен решить задачу, решение которой потенциально не заложено в его алгоритме.
С другой стороны, при разработке алгоритмического ИИ, рассчитанного на решение достаточно широкого и сложного круга проблем, необходимо закладывать весьма сложный алгоритм. Чем сложнее подобный алгоритм, тем труднее его тестировать, тем больше вероятность ошибки. Неалгоритмический ИИ принципиально допускает усложнение и совершенствование себя. Безусловно он тоже не застрахован от ошибок, но способен к творчеству, а значит к нахождению выхода из ситуаций, в которых алгоритмический не найдет выход никогда.
Обычно имеется в виду т.н. физический тезис Чёрча-Тьюринга (любая функция, которая может быть вычислена физическим устройством, может быть вычислена машиной Тьюринга). Ряд ИИ-шников, с кем довелось пообщаться, ссылаются на этот тезис, утверждая, что ни одного исключения до сих пор не обнаружено. Поэтому можно на него полагаться. Как случилось так, что вы не придерживаетесь тех же позиций? Что на вас повлияло?
Насчет "физического" ТЧТ, есть очень неплохая статья Пиччинини. Вот какой вывод он делает:
CTT does entail that if the brain follows an effective procedure, then that procedure is Turing-computable. And Modest Physical CTT does entail that if the brain performs computations, then those computations are Turing-computable. But neither CTT nor Modest Physical CTT is of any use in determining whether the brain follows effective procedures or more generally, whether it performs computations.
На мой взгляд, творческий интеллект не может быть полностью описан теорией вычислимости. Поэтому ТЧТ к нему неприменим. Более того, я считаю, что функционирование интеллекта в общем случае не может быть полностью описано в терминах обработки информации. Необходимо существенно привлекать физическое взаимодействие с окружающей средой. В этом плане известный тест Тьюринга нужно дополнить возможностью физического воздействия на тестируемую систему (т.е. помимо информационного взаимодействия типа "вопрос-ответ").
Почему ваши знакомые ИИ-специалисты отвергают идею неалгоритмичности интеллекта, не знаю. Возможно, Пэнроуз достал их своими квантовыми микротрубочками :) Ну а если серьезно, то степень трудности проблемы описания неалгоритмического объекта такова, что человек, не видя даже подходов к решению этой проблемы, будет склонен вообще отрицать существование подобных объектов - довольно часто встречающийся тип психологической защиты. Любопытно, как они сами объясняют свой негатив по отношению к идее неалгоритмичности.
На меня ничего не повлияло, я просто шел своим путем, пытаясь понять, как можно описать способность к самообучению, творчеству, т.е. как "устроен" ЕИ. Последовательность рассуждений, приводящая к идее неалгоритмичности интеллекта, достаточно проста. С одной стороны, математическая физика не может обойтись без аксиомы выбора (или ее эквивалента). А эта аксиома выводит за пределы алгоритмичности, поскольку позволяет доказывать существование объектов без предъявления конструктивной процедуры их построения. С другой стороны, из человеческого опыта известно, что люди способны к обучению, творчеству, созданию нового, что тоже выходит за рамки алгоритмичности. Таким образом, по отношению к предположению о существовании физической реализации неалгоритмического интеллекта не видно противоречий.
В каком виде сейчас существует «неалгоритмический ИИ» - в виде голой идеи, как просто антитезы алгоритмическому - или уже есть какие-то подходы, которые работают? Понятно хотя бы, каким путем нужно идти, от чего отталкиваться?
Насколько мне известно, официального направления типа "неалгоритмический интеллект" (НАИ) пока нет. На это нет заказа, финансирование и на обычный ИИ трудно получить, а на НАИ - только случайно, от какого-то сумасшедшего. В то же время, думаю, что из серьезных теоретиков ИИ большинство согласится, что НАИ имеет право на существование. Но практической пользы от НАИ большинство, скорее всего, не видит.
Основной вопрос, интересующий меня на данном этапе, заключается в том, насколько конструктивно можно описать НАИ. Понятно, что алгоритмически конструктивно это невозможно. Какие другие варианты/степени конструктивности возможны? В этом плане мне импонирует идея Пэнроуза о физической конструктивности. К сожалению, кроме самого термина у него практически больше ничего пока нет (насколько мне известно). Мои собственные разработки пока не опубликованы, поэтому я пока ограничусь лишь общими соображениями.
Строгое понятие алгоритма - лишь идеализация нашей деятельности. На самом деле мы вовсю пользуемся физическими процессами, которые вряд ли можно описать как алгоритмические. Хорошо известно, например, какую роль играют молекулы АТФ в жизнедеятельности клеток. В то же время, неизвестно, как именно энергия химических связей АТФ передается молекулам, которые участвуют в процессах, требующих энергию. Для наблюдения за подобной передачей требуется разрешение порядка долей пикосекунды. Наука только подошла к возможности регистрации движения сложных молекул на таком разрешении. Если вдуматься, можно увидеть, что подобных примеров множество. Более того, лишь в редких случаях мы можем похвастаться, что знаем все детали используемой процедуры и можем разбить ее на элементарные операции. Компьютерная среда в этом плане - совершенно особая: там нет места неопределенностям.
Ключевая идея создания НАИ состоит в том, что обладателю НАИ необходимо допустить возможность существенной модификации своего физического субстрата внешней средой. Такая модификация, конечно, может произойти в любом случае, например, компьютер уронят на пол, после чего он с большой вероятностью просто перестанет выполнять свои функции универсального вычислителя. Это экстремальная возможность, никак не учитываемая компьютерными программами :) В отличие от этого, обладатель НАИ не только должен учитывать возможность физической модификации себя, но и "надеяться" на это и по-возможности управлять степенью своей открытости подобным изменениям. Пример реальной системы - клетка, в которой при определенных обстоятельствах (стрессе со стороны окружающей среды) может многократно повышаться частота мутаций генома. Другой пример - творческий ЕИ, создающий новое. Как в сложном живом организме устроены подобные механизмы, предстоит исследовать, это одно из наиболее интересных направлений.
Будучи физически открытым окружающей среде, носитель НАИ после очередного "вмешательства" может необратимо потерять способность выполнять свои функции. Другими словами, мутант может умереть. Использование этого термина не случайно. Есть серьезные основания полагать, что понимание того, как создать НАИ, существенно приблизит нас к пониманию того, как "устроена" жизнь. Другими словами, на том же уровне конструктивности, который окажется практически ценным в плане описания НАИ, по-видимому, можно будет описывать свойство физического объекта быть живым.
По-моему, в среде ИИ преобладает другая точка зрения: чтобы аппарат тяжелее воздуха летал, ему необязательно махать крыльями. То есть физические свойства мозга имеют малое отношение к его способности порождать интеллект. Важна лишь его организация как универсального вычислителя. Насколько важно разработчику ИИ оглядываться на исследования ЕИ?
Необходимо "физическое" или нет, зависит от того, как определить понятие "интеллект".
Допустим, кто-то занимается распознаванием рукописного шрифта. Создает ли он при этом ИИ? В любом случае, при этом на практике вполне можно обойтись алгоритмическими методами. Нужно ли такому ИИ-шнику знать, как устроен ЕИ? Я в этом не уверен, скорее всего, не нужно. В общем случае, всё зависит от того, какой круг задач он решает. Во многих случаях у природы есть чему поучиться, но ИИ-шники, как правило, просто не представляют, чего они не знают о ЕИ, а поэтому как они могут видеть смысл изучения ЕИ?
С другой стороны, обычно ИИ-шник пользуется своим (неалгоритмическим) ЕИ для решения творческой задачи - разработки алгоритма работы ИИ для заданного круга задач. Поэтому ИИ-шник не видит нужды в реализации неалгоритмического интеллекта в ИИ-системе. Меня же интересует в первую очередь, как устроен ЕИ, способный самостоятельно разрабатывать алгоритмы. Возможность создавать и менять алгоритм, приспосабливая его к нуждам организма, не может быть достигнута в рамках теории вычислимости. Даже на сравнительно простой вопрос "Как описать совершенно новый круг задач для уже созданного ИИ?" нет ответа в рамках этой теории (кстати, попробуйте задать его вашим ИИ-шникам - любопытно, что они ответят :)
Как я уже говорил, если "физическое" отбросить и ограничиться уровнем описания в терминах вычислимости, то не удается адекватно описать процесс обучения и творчества. Мозг - живой орган, часть организма, который, в свою очередь, является частью всей физической природы. Дело в том, что без "физики" мы не можем описывать творческий интеллект. Искусственной нейронной сетью, например, может быть реализован любой алгоритм обработки информации, но не движение в пространстве алгоритмов, а без такого движения нет творчества. Но если бы только творчества в плане высокого искусства, например, это было бы еще пол-беды :) Но движение в пространстве алгоритмов необходимо просто для выживания хозяина интеллекта. Существующий алгоритм менять нет нужды, пока всё нормально. Но если возникает угроза существенной потери функциональности, он должен быть изменен, причем, даже если он работает правильно, но слишком медленно. В рамках алгоритмического ИИ это делается руками ИИ-шников. А если это случится на другой планете, где ИИ-шников не будет, и роботам с ИИ придется действовать самим? Кто будет за них менять их алгоритм в случае жизненной необходимости? Создание алгоритма, способного адекватно действовать в любых ситуациях - даже не фантастика, это фантазия, особенно учитывая необходимость его колоссальной сложности. А использование альтернативных, неалгоритмических подходов позволяет без этого обойтись: нет нужды создавать заранее супер-сложный алгоритм, если ИИ-система может развивать (корректировать, усложнять) алгоритм сбора и обработки информации и принятия решений в зависимости от конкретных условий окружающей среды.
Описанный подход, где принципами являются неалгоритмичность и физическое взаимодействие со средой, может ли он привести нас к более глубокому пониманию эволюционного возникновения мышления?
Сложность ответа на ваш вопрос об эволюции мышления (для меня) заключается главным образом в том, что очень непросто сказать с какого момента, с какого уровня организации физической системы начинается мышление.
Неудобство идеи алгоритмического мышления, т.е. связывания мышления с алгоритмом, заключается в существенном ограничении пространства возможностей, а также в необходимости введения дополнительных абстрактных сущностей типа "информации". Для многих мышление, наверное, непредставимо без обработки информации, без нервной системы, без мозга. Но обработки информации самой по себе явно недостаточно, чтобы процесс можно было назвать мышлением. Например, нередко говорят "он сделал это инстинктивно, не подумав". Обычно в таких случаях сделанное тем человеком в той или иной степени идет вразрез со смыслом. Таким образом, несмотря на то, что человек, с формальной точки зрения обработал какую-то информацию, использовал свой мозг, в его реакции, по большому счету, не было акта мышления.
Мышление, мысли, смысл - всё это однокоренные слова. По какому критерию можно судить о том, что данная система мыслит? Необходимо определить понятие "мышление" по отношению к жизнедеятельности организма (будь то отдельная особь, популяция или целая экосистема). Я лично вижу главное необходимое условие в том, что ее активные (т.е. с использованием внутренней энергии) реакции на воздействие/изменение окружающей среды должны иметь смысл в плане увеличения шансов выжить. Это условие прямо связано с понятием "жизнь" и определить "мышление" без опоры на "жизнь" мне не удается.
С другой стороны, когда вирус прикрепляется к клеточной мембране с последующим впрыскиванием своего генома в клетку (явно осмысленное действие!), обрабатывает ли он информацию? Идет ли обработка информации в процессе репарации ДНК? Независимо от ответа на эти вопросы, указанные действия имеют смысл в плане выживания системы их производящей.
Осмысленность действия - необходимое условие наличия мышления. Но достаточно ли оно? Я считаю, что нет. В моем представлении, достаточным условием для утверждения, что данная наблюдаемая система "мыслит", является использование ею своей внутренней модели мира для проверки того, к чему приведет то или иное действие, чтобы выбрать наиболее способствующее выживанию.
С этой точки зрения, вирус, очевидно, не мыслит, прикрепляясь к клеточной мембране, поскольку его внутренняя модель мира, если вообще есть, находится в геноме, который участие в прикреплении не принимает. О бактериях (и вообще одноклеточных) трудно однозначно сказать, мыслят они или нет: слишком мало пока известно о генетических сетях. Я интуитивно склоняюсь к тому, что некоторая форма мышления там присутствует с использованием таких сетей. Например, бактерии способны синтезировать новые хеморецепторы в ответ на изменения в окружающей среде и передавать эти рецепторы по наследству в течение нескольких поколений.
Ну а дальше - об эволюции модели мира, ее использования и развития (т.е. в сущности об эволюции интеллекта) можно писать большую книгу. Тут важно помнить, что для построения такой модели знания далеко необязательно кодировать в символьной форме. Простейшие модели вполне могут быть аналоговыми, а значит, могут быть реализованы в виде любой подходящей физической системы. Вот тут, похоже, в полной мере начинает проявляться неалгоритмичность мышления: ведь динамику физической системы в общем случае нельзя описать алгоритмом, не говоря уже о том, что множество физических систем алгоритмически неперечислимо и что неалгоритмично добавление в модель мира новых степеней свободы.
Какие аспекты деятельности мозга вас наиболее интересуют и представляются ключевыми в связи с работой над построением ИИ систем? Может, есть вещи, которые вас в мозге по-настоящему удивляют, и их хочется понять сильнее всего.
Не вдаваясь в технические подробности, могу выделить три основные задачи, которые мозг человека успешно решает и решение которых очень хотелось бы смоделировать в виде ИИ. В моем представлении "сильный" ИИ обязательно должен уметь их решать.
1. Обучение извлекать информацию из произвольного нового сенсора - источника сигнала несущего информацию об окружающей реальности, встраивать его в уже существующую сенсорную систему для более эффективного развития модели мира.
2. Обучение пользоваться произвольным новым эффектором (т.е. предметом типа инструмента, прибора, машины) для достижения своих целей.
3. Развитие второй сигнальной системы, т.е. речевого, символьного интерфейса. Сюда входит не только обучение обычному языку, но и вообще информационному обмену с другими интеллектуальными системами.
Не могу сказать, что меня в работе мозга что-то существенно удивляет, видимо уже просто привык :) Больше всего, наверное, хотелось бы выяснить, как реализованы неалгоритмические методы обучения.
Если, по вашему мнению, мышление привязано к процессу, который мы называем жизнью, означает ли это, что, создав полноценно мыслящий ИИ, мы получим систему, которая в том или ином смысле будет живой? Иными словами, что вы думаете о связи «жизнь-мышление»: это два самых загадочных феномена, что-то их объединяет помимо загадочности?
Из опыта хорошо известно, что живые системы устойчивы по отношению к воздействиям внешней среды. Можно показать, что в условиях нестационарности среды устойчивость достигается главным образом за счет непрерывного обучения. Для этого живая система должна иметь субъективную модель "добра и зла": всё, что способствует выживанию системы, - добро, всё, что грозит смертью, - зло. Система использует эту модель в качестве критерия оптимальности при обучении. Это необходимо, поскольку на собственной смерти не научишься. Ранее я говорил, что мышление в первую очередь состоит в использовании модели мира для выживания. Модель добра и зла - главная часть модели мира. Всё остальное (т.е. т.н. "объективные закономерности") служит для интерпретации мира в терминах добра и зла. В то же время, "объективная" часть модели не зависит от модели добра и зла. А последняя может меняться в зависимости от конструкции самой системы. Без мышления система не может пользоваться этими частями модели мира, а значит, не может устойчиво жить. Поэтому я бы сказал, что способность к (неалгоритмическому) мышлению является необходимым условием жизни. Можно ли назвать любую мыслящую систему живой? Мне хочется ответить "да", до конца мне это пока не ясно.
С другой стороны, можно ли назвать машину, действующую по фиксированному алгоритму, живой? Я предпочитаю отрицательный ответ по следующим соображениям. Интеллектуальному наблюдателю машина может долго казаться живой, если алгоритм достаточно сложен и условия внешней среды постоянны. Однако, при существенном изменении условий среды алгоритм может перестать быть адекватен, а машина будет не в состоянии изменить этот алгоритм, что наблюдатель заметит как проявление неустойчивости, отсутствие гибкости реагирования на новизну. Существенными изменениями не обязательно должны быть катаклизмы, просто какие-то физические воздействия, не учтенные алгоритмом.
Уже сейчас некоторые программы настолько сложны, что их авторы не смогут сказать, как именно достигнут тот или иной результат. Даже несмотря на то, что он получен абсолютно детерминированными вычислениями. Со временем мы будем все больше функций перекладывать на ИИ, но все меньше понимать путь получения им решения.
Я думаю, что проблема понимания человеком ИИ-системы не сложнее проблемы понимания людьми друг друга или животных. Мало кто понимает, как работает цветной телевизор, например, но все им успешно пользуются. Для более-менее глубокого понимания важно иметь языковый интерфейс с ИИ-системой. А путь решения может и не быть выразим до деталей на языке, особенно если он получен неалгоритмическим ИИ. Критичность проблемы понимания определяется конкретными обстоятельствами. Критичность возрастает, например, если необходимо как-то убедиться в правильности пути. Это похоже на доказательство теорем. Есть теоремы, известное доказательство которых настолько сложно, что трудно гарантировать отсутствие в нем ошибок. А есть и утверждения, которые по Гёделю вообще нельзя ни доказать, ни опровергнуть. Поэтому в подобных случаях приходится прибегать к универсальному критерию истины - практике. В приложении к ИИ-системам это значит, что подобную систему нужно тщательно тестировать, прежде чем вверять ей что-то серьезное. Собственно, так же поступают и с ЕИ-системами :)
Кстати, у меня нет сомнений, что будущие поколения, если выживут, будут жить с ИИ-роботами, которые будут всё более и более совершенными. Интересный этап начнется, когда роботы станут настолько интеллектуальными, что смогут создавать новые типы роботов. Не исключено, что в этом будет даже состоять основное направление эволюции жизни.
Как вы полагаете, откуда придут ответы?
По большому счету, нужна теория ЕИ. Нейрофизиолог не увидит в мозге чего-то, что теоретически еще не описано. Довольно долгое время нейробиология "пробавлялась" наработками из кибернетики, теории принятия решений, машинного обучения и т.п. Сейчас для дальнейшего продвижения уже не хватает имеющихся теоретических разработок. В то же время из нейробиологии практически не видно заказа на дополнительную теорию: уровень знаний даже относительно неплохо теоретически образованных нейробиологов с большим трудом позволяет освоить даже то, что уже есть. До физиков им в этом плане очень далеко. А ИИ-шники, хоть и образованы существенно лучше, но слишком "приземлены" жизненной необходимостью практичности своих разработок.
Для понимания ЕИ нужно что-то типа соединения биокибернетики с физикой. Необходимо создать матаппарат, позволяющий описывать наблюдателя и его функции по созданию модели мира и управлению окружающей средой. Другими словами, в настоящий период как воздух необходим прорыв в теории. Только после этого можно будет эффективно планировать экспериментальную проверку и дальнейшее взаимодействие теории и эксперимента. А до того в эксперименте было бы хорошо получить больше информации о биофизических механизмах модификации нейронных сетей и генома. Нужно знать, какая информация читается из генома в связи с обучением, происходит ли хоть в какой-то степени обратная транскрипция, как в этом участвуют эпигенетические механизмы и т.п.
Насколько (не)ограничены перспективы т.н. «роевого интеллекта» в ИИ, виден ли сейчас потолок у этого подхода по сравнению с т.н. классическим?
Роевой интеллект - очень интересная, но весьма сложная тема. Я бы рассматривал рой (т.е. набор однотипных организмов) не как особый подход к ИИ, а как особый тип реализации интеллектуальной системы. "Потолка" тут в принципе нет, поскольку какова бы ни была ИИ-система, всегда можно представить себе рой из таких систем, естественно с кооперативными свойствами.
Чем выше уровень специализации отдельных особей, разнообразнее набор "профессий", чем сложнее и быстрее обмен информацией и энергией, тем функционально мощнее вся система. Но при возрастании степени специализации уменьшается надежность и устойчивость по отношению к повреждению/гибели части особей. Наиболее высокий уровень специализации в "рое" нейронов, поэтому организм-хозяин его всячески защищает. Скорость и сложность обмена информацией там очень высоки, видимо поэтому мозг и является "средоточием" интеллекта. Интеллект роя насекомых гораздо ниже, но зато значительно больше его надежность по отношению к внешним воздействиям. Интеллект "роя" людей еще очень низок - по крайней мере, по сравнению с кажущимися потенциальными возможностями. В этом плане интернет - важный шаг вперед в эволюции этого интеллекта.
С точки зрения теории неалгоритмического интеллекта мне рой интересен тем, что там есть обязательный элемент неинформационного воздействия среды, имеющий выраженный функциональный смысл: смерть отдельных особей и рождение новых.
Какие книги можете порекомендовать?
С научно-популярной литературой я знаком недостаточно хорошо, чтобы рекомендовать что-то конкретное. Из серьезной выбрал следующие книги общего типа:
Russell and Norvig: Artificial intelligence, a modern approach [ссылка]
Sutton and Barto: Reinforcement learning [ссылка]
Vapnik: Statistical learning theory [ссылка]
Abbott, Davies, and Pati: Quantum aspects оf life [ссылка]
Ссылки на более специальную литературу можно найти в этих или в интернете - в зависимости от конкретной области, в которой человек хочет специализироваться.
Видите ли вы у ЕИ какое-либо качество, которое так и останется нетронутым, то есть не будет успешно воспроизведено ИИ? И разделяете ли прогнозы Курцвейла и т.п. сингулярщиков о том, что уровень человеческого интеллекта будет превзойден до 2030?
В настоящий момент я не вижу какое свойство ЕИ принципиально не может быть воспроизведено в ИИ. В целом идеи Курцвейла мне близки, но самому фантазировать о том, какими путями будет развиваться ИИ, мне не слишком хочется, поскольку у меня пока недостаточно информации. Думаю, Курцвейл в своих прогнозах относительно прогресса ИИ сильно ошибается, главным образом в сроках - слишком торопится. Он, похоже, сильно недооценивает сложность проблем, стоящих на пути. Как и большинство, он думает, что главная проблема - создание мощных компьютеров, а там ИИ, видимо, разовьется сам собой :) Еще и технология нейросетей толком не развита, а по сравнению со всем комплексом проблем это даже не пресловутая надводная часть айсберга, это как био-слой земной коры по сравнению со всем земным шаром. Один из основных проблемных кластеров, например, обусловлен тем, что с ростом сложности системы уменьшается ее надежность. Поэтому необходимы многочисленные механизмы самовосстановления, которые еще больше увеличивают сложность и т.д. С другой стороны, слишком устойчивая система не сможет эффективно обучаться, адаптироваться к изменениям среды. Необходим тонкий баланс устойчивости и пластичности.
Думаю, что к 2030 году в лучшем случае появятся роботы-домработники с весьма ограниченным речевым интерфейсом и набором самостоятельно выполняемых функций. Когда ИИ начнет приближаться к человеческому ЕИ, пока даже предполагать не могу. Не думаю, что и в 2030 сроки прояснятся. Надеюсь только, что человечество до этого доживет.
* * *
В качестве бонуса: большое вдумчивое интервью Дж. Сёрля (John Searle), автора аргумента «Китайской комнаты», о сильном ИИ, вычислениях, мозге и метафорах. (Вот бы кто перевел).
Update. В ответ на полученные комментарии А.Добров дал следующие пояснения.
С большим интересом прочитал комментарии Попробую на них ответить. Заранее прошу прощения за стилистику. Мне непривычно думать на научные темы по-русски.
По причинам личного характера (которые важны для меня) я не хочу связывать имя, использованное в интервью, с точным спеллингом моего имени. Поэтому ссылки на мои работы предоставить не могу. С другой стороны, только в одной опубликованной статье упомянута возможность неалгоритмического описания интеллектуальной системы. Основные работы по этой тематике я только планирую. В этом плане ваши комментарии для меня очень ценны, и я выражаю nature_wonder искреннюю благодарность за эту возможность неформального обсуждения концепции неалгоритмического искусственного интеллекта.
Анализируя комментарии, я выделили три основных источника критики.
Первый - противоречия, связанные с пониманием недостаточно хорошо определенных терминов. В основном это касается понятий «мышление» и «жизнь». Поскольку не существует строгих, общепринятых определений этих терминов, разные люди понимают их по-разному. Я убедился, что в подобных ситуациях важно понять как именно собеседник определяет подобный термин и исходить из этого определения (а не из своего собственного) при критической оценке суждений собеседника.
Второй - понимание того, что есть «алгоритмический» и «неалгоритмический». Эти термины довольно хорошо формализованы, среди профессионалов есть достаточный консенсус в отношении их понимания. В то же время, поскольку эти термины изучаются в рамках сравнительно сложной математической теории (преподаваемой только на специализированных факультетах), их более-менее точный смысл известен далеко не многим. Термин «алгоритм» нельзя рассматривать просто как синоним понятия «способ» или «схема». Тезис Чёрча-Тьюринга состоит в том, что интуитивно понимаемый смысл понятия «алгоритм» точно совпадает с формально определенным термином «программа для универсального компьютера». Известно много задач (более точно, классов проблем), для решения которых не существует алгоритма. Например, по коду программы невозможно сказать остановится ли она на данном наборе входных данных. Безусловно это можно сделать в каких-то конкретных случаях. Но не существует общего алгоритма, который позволял бы это сделать для любой пары «код программы, набор входных данных». Объяснение того, почему самообучение в общем случае неалгоритмично, существенно опирается на теорию вычислимости и ее основу - теорию рекурсивных функций. Поэтому привести его здесь практически невозможно. Этот результат хорошо известен (в специальной литературе он не дебатируется), тут я ничего нового не изобретаю. Кстати, неполнота арифметики (теоремы Гёделя) в сущности следует из тех же причин, что и неалгоритмичность самообучения.
Третий (непосредственно связанный со вторым) - распространенное заблуждение, что использование генератора случайных чисел (ГСЧ) придает неалгоритмичность. Это не так, и тут не важно какой ГСЧ использовать - программный имитатор или «физический». Главное то, что моменты обращения к ГСЧ определены программой. В теории вычислимости доказывается, что использование ГСЧ не может сделать невычислимые (алгоритмически) задачи вычислимыми. Во многих случаях вычисление можно ускорить с помощью использования ГСЧ (например, в методах типа Монте-Карло), но расширить множество вычислимых функций нельзя.
Надеюсь вышесказанное хоть что-то прояснило.
Буду рад ответить на ваши вопросы.
Update 2.
Похоже что утверждение о том, что самообучение в общем случае неалгоритмично, для многих не только не очевидно, но и непонятно. Хочу попытаться объяснить это, не залезая в дебри математической теории вычислимости.
В процессе обучения необходимо вести поиск. Во-первых, это поиск модели мира, которая наиболее адекватно описывает реальность. Во-вторых, это поиск функции принятия оптимального решения в данном состоянии мира, т.е. функции, отображающей пространство этих состояний на множество допустимых управляющих действий. Далеко не всегда множество, в котором ведется поиск, алгоритмически перечислимо. Интересный пример - множество топологических многоообразий в 4-х мерном пространстве. На алгоритмическую неперечислимость этого множества наталкивались попытки построить теорию квантовой гравитации. Неалгоритмичность перечисления множества моделей мира приводит к неалгоритмичности поиска в этом множестве, а значит и к неалгоритмичности обучения.
Необходимо еще раз подчеркнуть, что неалгоритмичность означает отсутствие универсального алгоритма, т.е. нет алгоритма способного решать любую проблему из данного класса. Поскольку человек способен модифицировать алгоритм, он не связан вышеупомянутым отсутствием.
С другой стороны, аксиома выбора утверждает, что в любом множестве можно выбрать элемент, из чего почти сразу следует, что любое множество, равное по мощности множеству натуральных чисел, можно перечислить. Аксиома выбора позволяет доказывать существование математических объектов без предъявления алгоритма построения такого объекта. Матаппарат современной теорфизики не может без нее (или ее эквивалента) обойтись, что я рассматриваю как сильный аргумент в пользу утверждения о принципиальной неалгоритмичности нашей физической реальности. Это допускает возможность существования физических систем, способных к неалгоритмическому обучению. Мне представляется очень вероятным, что человек и является подобной системой.
Собеседник - Алекс Добров, профессор одного из американских университетов.
У некоторых, особенно приверженцев классического ИИ, отдельные фрагменты интервью могут вызвать внутренний протест. Отдаю себе в этом отчет. Протестовать прошу без эмоций, по существу.
Итак, поехали.
Что изменилось? С какими доминирующими ранее идеями о построении искусственного интеллекта специалисты на сегодня расстались? А что, напротив, осталось неизменным?
Пожалуй, основная идея, с которой пришлось расстаться, это то, что интеллект, равный человеческому или даже превышающий его, будет создан в относительно скором будущем. Радужные ожидания сменились пониманием того, что создание ИИ, равного человеческому, - задача на много порядков сложнее, чем казалось раньше. После этого финансирование общих проектов по созданию ИИ резко сократилось. В настоящее время даже сам термин стараются не особенно употреблять. Вместе с тем развиваются отдельные прикладные направления, под которые есть финансирование. Главный заказчик - военные.
В том, что касается тенденций развития ИИ, я бы выделил две основные:
1. Ранее весьма популярные символьные методы работы с информацией (на основе формальных грамматик и языков) уже не в фаворе, а "аналоговые" методы развиваются всё больше. Число разработок с использованием искусственных нейросетей растёт очень быстро. Мало того, даже в работе с символьной информацией используют "аналоговые" методы (например, Google).
2. Вместо ИИ-реализации на базе огромной машины всё большее развитие получает представление о реализации ИИ в виде группы интеллектуальных агентов, которые кооперируются в плане обмена информацией и совместных согласованных действий.
Неизменным, как для меня ни странно, у многих осталось убеждение, что можно построить ИИ путем копирования мозга животного. И это несмотря на то, что ни один подобный проект не увенчался успехом, что не удивительно, поскольку нейрофизиология еще очень далека от понимания того, как работает естественный интеллект (ЕИ).
Понимаем ли мы сейчас, что такое интеллект?
Ответ на этот вопрос сильно зависит от того, что вкладывать в термин "понимаем". Уже давно определили интеллект как способность решать проблемы, а более точно - как способность учиться решать проблемы. Обе способности можно в какой-то степени смоделировать на компьютере. Этот уровень понимания более-менее подробно и толково изложен например тут: wiki (не советую взамен читать русско-язычную версию :)
Вместе с тем, хорошо известно, что способность учиться (решать проблемы) в общем случае неалгоритмична. Однако в настоящее время нет даже осознания-понимания целесообразности создания неалгоритмического ИИ и тесно связанной с этим проблемы построения неалгоритмической теории ЕИ, не говоря уже о понимании того, какие подходы к этому возможны. Это понимание придет через необходимость решать сложные проблемы ИИ - когда станут тесны рамки алгоритмических моделей.
От исследователя ИИ слышать утверждение о неалгоритмичности довольно непривычно. Полагаю, большинство коллег с вами не согласятся. Хотя бы потому, что опираются на тезис Черча-Тьюринга.
Тезис Чёрча тут в качестве опоры не очень подходит. Он лишь утверждает, что интуитивное понимание конструктивной процедуры точно соответствует математически строгой формализации в виде машины Тьюринга или аналогов (лямбда-исчисления и т.п). Однако, как много раз замечалось, открытия не висят на ветвях логических выводов. Другими словами, творческое мышление, творческая деятельность неалгоритмизируемы, что математически выражается в принципиальной неалгоритмизуемости обучения в общем случае. В то же время, интуитивно понятно, что нигде так не проявляется сила интеллекта, как в творческой деятельности. Алгоритмический ИИ не способен решить задачу, решение которой потенциально не заложено в его алгоритме.
С другой стороны, при разработке алгоритмического ИИ, рассчитанного на решение достаточно широкого и сложного круга проблем, необходимо закладывать весьма сложный алгоритм. Чем сложнее подобный алгоритм, тем труднее его тестировать, тем больше вероятность ошибки. Неалгоритмический ИИ принципиально допускает усложнение и совершенствование себя. Безусловно он тоже не застрахован от ошибок, но способен к творчеству, а значит к нахождению выхода из ситуаций, в которых алгоритмический не найдет выход никогда.
Обычно имеется в виду т.н. физический тезис Чёрча-Тьюринга (любая функция, которая может быть вычислена физическим устройством, может быть вычислена машиной Тьюринга). Ряд ИИ-шников, с кем довелось пообщаться, ссылаются на этот тезис, утверждая, что ни одного исключения до сих пор не обнаружено. Поэтому можно на него полагаться. Как случилось так, что вы не придерживаетесь тех же позиций? Что на вас повлияло?
Насчет "физического" ТЧТ, есть очень неплохая статья Пиччинини. Вот какой вывод он делает:
CTT does entail that if the brain follows an effective procedure, then that procedure is Turing-computable. And Modest Physical CTT does entail that if the brain performs computations, then those computations are Turing-computable. But neither CTT nor Modest Physical CTT is of any use in determining whether the brain follows effective procedures or more generally, whether it performs computations.
На мой взгляд, творческий интеллект не может быть полностью описан теорией вычислимости. Поэтому ТЧТ к нему неприменим. Более того, я считаю, что функционирование интеллекта в общем случае не может быть полностью описано в терминах обработки информации. Необходимо существенно привлекать физическое взаимодействие с окружающей средой. В этом плане известный тест Тьюринга нужно дополнить возможностью физического воздействия на тестируемую систему (т.е. помимо информационного взаимодействия типа "вопрос-ответ").
Почему ваши знакомые ИИ-специалисты отвергают идею неалгоритмичности интеллекта, не знаю. Возможно, Пэнроуз достал их своими квантовыми микротрубочками :) Ну а если серьезно, то степень трудности проблемы описания неалгоритмического объекта такова, что человек, не видя даже подходов к решению этой проблемы, будет склонен вообще отрицать существование подобных объектов - довольно часто встречающийся тип психологической защиты. Любопытно, как они сами объясняют свой негатив по отношению к идее неалгоритмичности.
На меня ничего не повлияло, я просто шел своим путем, пытаясь понять, как можно описать способность к самообучению, творчеству, т.е. как "устроен" ЕИ. Последовательность рассуждений, приводящая к идее неалгоритмичности интеллекта, достаточно проста. С одной стороны, математическая физика не может обойтись без аксиомы выбора (или ее эквивалента). А эта аксиома выводит за пределы алгоритмичности, поскольку позволяет доказывать существование объектов без предъявления конструктивной процедуры их построения. С другой стороны, из человеческого опыта известно, что люди способны к обучению, творчеству, созданию нового, что тоже выходит за рамки алгоритмичности. Таким образом, по отношению к предположению о существовании физической реализации неалгоритмического интеллекта не видно противоречий.
В каком виде сейчас существует «неалгоритмический ИИ» - в виде голой идеи, как просто антитезы алгоритмическому - или уже есть какие-то подходы, которые работают? Понятно хотя бы, каким путем нужно идти, от чего отталкиваться?
Насколько мне известно, официального направления типа "неалгоритмический интеллект" (НАИ) пока нет. На это нет заказа, финансирование и на обычный ИИ трудно получить, а на НАИ - только случайно, от какого-то сумасшедшего. В то же время, думаю, что из серьезных теоретиков ИИ большинство согласится, что НАИ имеет право на существование. Но практической пользы от НАИ большинство, скорее всего, не видит.
Основной вопрос, интересующий меня на данном этапе, заключается в том, насколько конструктивно можно описать НАИ. Понятно, что алгоритмически конструктивно это невозможно. Какие другие варианты/степени конструктивности возможны? В этом плане мне импонирует идея Пэнроуза о физической конструктивности. К сожалению, кроме самого термина у него практически больше ничего пока нет (насколько мне известно). Мои собственные разработки пока не опубликованы, поэтому я пока ограничусь лишь общими соображениями.
Строгое понятие алгоритма - лишь идеализация нашей деятельности. На самом деле мы вовсю пользуемся физическими процессами, которые вряд ли можно описать как алгоритмические. Хорошо известно, например, какую роль играют молекулы АТФ в жизнедеятельности клеток. В то же время, неизвестно, как именно энергия химических связей АТФ передается молекулам, которые участвуют в процессах, требующих энергию. Для наблюдения за подобной передачей требуется разрешение порядка долей пикосекунды. Наука только подошла к возможности регистрации движения сложных молекул на таком разрешении. Если вдуматься, можно увидеть, что подобных примеров множество. Более того, лишь в редких случаях мы можем похвастаться, что знаем все детали используемой процедуры и можем разбить ее на элементарные операции. Компьютерная среда в этом плане - совершенно особая: там нет места неопределенностям.
Ключевая идея создания НАИ состоит в том, что обладателю НАИ необходимо допустить возможность существенной модификации своего физического субстрата внешней средой. Такая модификация, конечно, может произойти в любом случае, например, компьютер уронят на пол, после чего он с большой вероятностью просто перестанет выполнять свои функции универсального вычислителя. Это экстремальная возможность, никак не учитываемая компьютерными программами :) В отличие от этого, обладатель НАИ не только должен учитывать возможность физической модификации себя, но и "надеяться" на это и по-возможности управлять степенью своей открытости подобным изменениям. Пример реальной системы - клетка, в которой при определенных обстоятельствах (стрессе со стороны окружающей среды) может многократно повышаться частота мутаций генома. Другой пример - творческий ЕИ, создающий новое. Как в сложном живом организме устроены подобные механизмы, предстоит исследовать, это одно из наиболее интересных направлений.
Будучи физически открытым окружающей среде, носитель НАИ после очередного "вмешательства" может необратимо потерять способность выполнять свои функции. Другими словами, мутант может умереть. Использование этого термина не случайно. Есть серьезные основания полагать, что понимание того, как создать НАИ, существенно приблизит нас к пониманию того, как "устроена" жизнь. Другими словами, на том же уровне конструктивности, который окажется практически ценным в плане описания НАИ, по-видимому, можно будет описывать свойство физического объекта быть живым.
По-моему, в среде ИИ преобладает другая точка зрения: чтобы аппарат тяжелее воздуха летал, ему необязательно махать крыльями. То есть физические свойства мозга имеют малое отношение к его способности порождать интеллект. Важна лишь его организация как универсального вычислителя. Насколько важно разработчику ИИ оглядываться на исследования ЕИ?
Необходимо "физическое" или нет, зависит от того, как определить понятие "интеллект".
Допустим, кто-то занимается распознаванием рукописного шрифта. Создает ли он при этом ИИ? В любом случае, при этом на практике вполне можно обойтись алгоритмическими методами. Нужно ли такому ИИ-шнику знать, как устроен ЕИ? Я в этом не уверен, скорее всего, не нужно. В общем случае, всё зависит от того, какой круг задач он решает. Во многих случаях у природы есть чему поучиться, но ИИ-шники, как правило, просто не представляют, чего они не знают о ЕИ, а поэтому как они могут видеть смысл изучения ЕИ?
С другой стороны, обычно ИИ-шник пользуется своим (неалгоритмическим) ЕИ для решения творческой задачи - разработки алгоритма работы ИИ для заданного круга задач. Поэтому ИИ-шник не видит нужды в реализации неалгоритмического интеллекта в ИИ-системе. Меня же интересует в первую очередь, как устроен ЕИ, способный самостоятельно разрабатывать алгоритмы. Возможность создавать и менять алгоритм, приспосабливая его к нуждам организма, не может быть достигнута в рамках теории вычислимости. Даже на сравнительно простой вопрос "Как описать совершенно новый круг задач для уже созданного ИИ?" нет ответа в рамках этой теории (кстати, попробуйте задать его вашим ИИ-шникам - любопытно, что они ответят :)
Как я уже говорил, если "физическое" отбросить и ограничиться уровнем описания в терминах вычислимости, то не удается адекватно описать процесс обучения и творчества. Мозг - живой орган, часть организма, который, в свою очередь, является частью всей физической природы. Дело в том, что без "физики" мы не можем описывать творческий интеллект. Искусственной нейронной сетью, например, может быть реализован любой алгоритм обработки информации, но не движение в пространстве алгоритмов, а без такого движения нет творчества. Но если бы только творчества в плане высокого искусства, например, это было бы еще пол-беды :) Но движение в пространстве алгоритмов необходимо просто для выживания хозяина интеллекта. Существующий алгоритм менять нет нужды, пока всё нормально. Но если возникает угроза существенной потери функциональности, он должен быть изменен, причем, даже если он работает правильно, но слишком медленно. В рамках алгоритмического ИИ это делается руками ИИ-шников. А если это случится на другой планете, где ИИ-шников не будет, и роботам с ИИ придется действовать самим? Кто будет за них менять их алгоритм в случае жизненной необходимости? Создание алгоритма, способного адекватно действовать в любых ситуациях - даже не фантастика, это фантазия, особенно учитывая необходимость его колоссальной сложности. А использование альтернативных, неалгоритмических подходов позволяет без этого обойтись: нет нужды создавать заранее супер-сложный алгоритм, если ИИ-система может развивать (корректировать, усложнять) алгоритм сбора и обработки информации и принятия решений в зависимости от конкретных условий окружающей среды.
Описанный подход, где принципами являются неалгоритмичность и физическое взаимодействие со средой, может ли он привести нас к более глубокому пониманию эволюционного возникновения мышления?
Сложность ответа на ваш вопрос об эволюции мышления (для меня) заключается главным образом в том, что очень непросто сказать с какого момента, с какого уровня организации физической системы начинается мышление.
Неудобство идеи алгоритмического мышления, т.е. связывания мышления с алгоритмом, заключается в существенном ограничении пространства возможностей, а также в необходимости введения дополнительных абстрактных сущностей типа "информации". Для многих мышление, наверное, непредставимо без обработки информации, без нервной системы, без мозга. Но обработки информации самой по себе явно недостаточно, чтобы процесс можно было назвать мышлением. Например, нередко говорят "он сделал это инстинктивно, не подумав". Обычно в таких случаях сделанное тем человеком в той или иной степени идет вразрез со смыслом. Таким образом, несмотря на то, что человек, с формальной точки зрения обработал какую-то информацию, использовал свой мозг, в его реакции, по большому счету, не было акта мышления.
Мышление, мысли, смысл - всё это однокоренные слова. По какому критерию можно судить о том, что данная система мыслит? Необходимо определить понятие "мышление" по отношению к жизнедеятельности организма (будь то отдельная особь, популяция или целая экосистема). Я лично вижу главное необходимое условие в том, что ее активные (т.е. с использованием внутренней энергии) реакции на воздействие/изменение окружающей среды должны иметь смысл в плане увеличения шансов выжить. Это условие прямо связано с понятием "жизнь" и определить "мышление" без опоры на "жизнь" мне не удается.
С другой стороны, когда вирус прикрепляется к клеточной мембране с последующим впрыскиванием своего генома в клетку (явно осмысленное действие!), обрабатывает ли он информацию? Идет ли обработка информации в процессе репарации ДНК? Независимо от ответа на эти вопросы, указанные действия имеют смысл в плане выживания системы их производящей.
Осмысленность действия - необходимое условие наличия мышления. Но достаточно ли оно? Я считаю, что нет. В моем представлении, достаточным условием для утверждения, что данная наблюдаемая система "мыслит", является использование ею своей внутренней модели мира для проверки того, к чему приведет то или иное действие, чтобы выбрать наиболее способствующее выживанию.
С этой точки зрения, вирус, очевидно, не мыслит, прикрепляясь к клеточной мембране, поскольку его внутренняя модель мира, если вообще есть, находится в геноме, который участие в прикреплении не принимает. О бактериях (и вообще одноклеточных) трудно однозначно сказать, мыслят они или нет: слишком мало пока известно о генетических сетях. Я интуитивно склоняюсь к тому, что некоторая форма мышления там присутствует с использованием таких сетей. Например, бактерии способны синтезировать новые хеморецепторы в ответ на изменения в окружающей среде и передавать эти рецепторы по наследству в течение нескольких поколений.
Ну а дальше - об эволюции модели мира, ее использования и развития (т.е. в сущности об эволюции интеллекта) можно писать большую книгу. Тут важно помнить, что для построения такой модели знания далеко необязательно кодировать в символьной форме. Простейшие модели вполне могут быть аналоговыми, а значит, могут быть реализованы в виде любой подходящей физической системы. Вот тут, похоже, в полной мере начинает проявляться неалгоритмичность мышления: ведь динамику физической системы в общем случае нельзя описать алгоритмом, не говоря уже о том, что множество физических систем алгоритмически неперечислимо и что неалгоритмично добавление в модель мира новых степеней свободы.
Какие аспекты деятельности мозга вас наиболее интересуют и представляются ключевыми в связи с работой над построением ИИ систем? Может, есть вещи, которые вас в мозге по-настоящему удивляют, и их хочется понять сильнее всего.
Не вдаваясь в технические подробности, могу выделить три основные задачи, которые мозг человека успешно решает и решение которых очень хотелось бы смоделировать в виде ИИ. В моем представлении "сильный" ИИ обязательно должен уметь их решать.
1. Обучение извлекать информацию из произвольного нового сенсора - источника сигнала несущего информацию об окружающей реальности, встраивать его в уже существующую сенсорную систему для более эффективного развития модели мира.
2. Обучение пользоваться произвольным новым эффектором (т.е. предметом типа инструмента, прибора, машины) для достижения своих целей.
3. Развитие второй сигнальной системы, т.е. речевого, символьного интерфейса. Сюда входит не только обучение обычному языку, но и вообще информационному обмену с другими интеллектуальными системами.
Не могу сказать, что меня в работе мозга что-то существенно удивляет, видимо уже просто привык :) Больше всего, наверное, хотелось бы выяснить, как реализованы неалгоритмические методы обучения.
Если, по вашему мнению, мышление привязано к процессу, который мы называем жизнью, означает ли это, что, создав полноценно мыслящий ИИ, мы получим систему, которая в том или ином смысле будет живой? Иными словами, что вы думаете о связи «жизнь-мышление»: это два самых загадочных феномена, что-то их объединяет помимо загадочности?
Из опыта хорошо известно, что живые системы устойчивы по отношению к воздействиям внешней среды. Можно показать, что в условиях нестационарности среды устойчивость достигается главным образом за счет непрерывного обучения. Для этого живая система должна иметь субъективную модель "добра и зла": всё, что способствует выживанию системы, - добро, всё, что грозит смертью, - зло. Система использует эту модель в качестве критерия оптимальности при обучении. Это необходимо, поскольку на собственной смерти не научишься. Ранее я говорил, что мышление в первую очередь состоит в использовании модели мира для выживания. Модель добра и зла - главная часть модели мира. Всё остальное (т.е. т.н. "объективные закономерности") служит для интерпретации мира в терминах добра и зла. В то же время, "объективная" часть модели не зависит от модели добра и зла. А последняя может меняться в зависимости от конструкции самой системы. Без мышления система не может пользоваться этими частями модели мира, а значит, не может устойчиво жить. Поэтому я бы сказал, что способность к (неалгоритмическому) мышлению является необходимым условием жизни. Можно ли назвать любую мыслящую систему живой? Мне хочется ответить "да", до конца мне это пока не ясно.
С другой стороны, можно ли назвать машину, действующую по фиксированному алгоритму, живой? Я предпочитаю отрицательный ответ по следующим соображениям. Интеллектуальному наблюдателю машина может долго казаться живой, если алгоритм достаточно сложен и условия внешней среды постоянны. Однако, при существенном изменении условий среды алгоритм может перестать быть адекватен, а машина будет не в состоянии изменить этот алгоритм, что наблюдатель заметит как проявление неустойчивости, отсутствие гибкости реагирования на новизну. Существенными изменениями не обязательно должны быть катаклизмы, просто какие-то физические воздействия, не учтенные алгоритмом.
Уже сейчас некоторые программы настолько сложны, что их авторы не смогут сказать, как именно достигнут тот или иной результат. Даже несмотря на то, что он получен абсолютно детерминированными вычислениями. Со временем мы будем все больше функций перекладывать на ИИ, но все меньше понимать путь получения им решения.
Я думаю, что проблема понимания человеком ИИ-системы не сложнее проблемы понимания людьми друг друга или животных. Мало кто понимает, как работает цветной телевизор, например, но все им успешно пользуются. Для более-менее глубокого понимания важно иметь языковый интерфейс с ИИ-системой. А путь решения может и не быть выразим до деталей на языке, особенно если он получен неалгоритмическим ИИ. Критичность проблемы понимания определяется конкретными обстоятельствами. Критичность возрастает, например, если необходимо как-то убедиться в правильности пути. Это похоже на доказательство теорем. Есть теоремы, известное доказательство которых настолько сложно, что трудно гарантировать отсутствие в нем ошибок. А есть и утверждения, которые по Гёделю вообще нельзя ни доказать, ни опровергнуть. Поэтому в подобных случаях приходится прибегать к универсальному критерию истины - практике. В приложении к ИИ-системам это значит, что подобную систему нужно тщательно тестировать, прежде чем вверять ей что-то серьезное. Собственно, так же поступают и с ЕИ-системами :)
Кстати, у меня нет сомнений, что будущие поколения, если выживут, будут жить с ИИ-роботами, которые будут всё более и более совершенными. Интересный этап начнется, когда роботы станут настолько интеллектуальными, что смогут создавать новые типы роботов. Не исключено, что в этом будет даже состоять основное направление эволюции жизни.
Как вы полагаете, откуда придут ответы?
По большому счету, нужна теория ЕИ. Нейрофизиолог не увидит в мозге чего-то, что теоретически еще не описано. Довольно долгое время нейробиология "пробавлялась" наработками из кибернетики, теории принятия решений, машинного обучения и т.п. Сейчас для дальнейшего продвижения уже не хватает имеющихся теоретических разработок. В то же время из нейробиологии практически не видно заказа на дополнительную теорию: уровень знаний даже относительно неплохо теоретически образованных нейробиологов с большим трудом позволяет освоить даже то, что уже есть. До физиков им в этом плане очень далеко. А ИИ-шники, хоть и образованы существенно лучше, но слишком "приземлены" жизненной необходимостью практичности своих разработок.
Для понимания ЕИ нужно что-то типа соединения биокибернетики с физикой. Необходимо создать матаппарат, позволяющий описывать наблюдателя и его функции по созданию модели мира и управлению окружающей средой. Другими словами, в настоящий период как воздух необходим прорыв в теории. Только после этого можно будет эффективно планировать экспериментальную проверку и дальнейшее взаимодействие теории и эксперимента. А до того в эксперименте было бы хорошо получить больше информации о биофизических механизмах модификации нейронных сетей и генома. Нужно знать, какая информация читается из генома в связи с обучением, происходит ли хоть в какой-то степени обратная транскрипция, как в этом участвуют эпигенетические механизмы и т.п.
Насколько (не)ограничены перспективы т.н. «роевого интеллекта» в ИИ, виден ли сейчас потолок у этого подхода по сравнению с т.н. классическим?
Роевой интеллект - очень интересная, но весьма сложная тема. Я бы рассматривал рой (т.е. набор однотипных организмов) не как особый подход к ИИ, а как особый тип реализации интеллектуальной системы. "Потолка" тут в принципе нет, поскольку какова бы ни была ИИ-система, всегда можно представить себе рой из таких систем, естественно с кооперативными свойствами.
Чем выше уровень специализации отдельных особей, разнообразнее набор "профессий", чем сложнее и быстрее обмен информацией и энергией, тем функционально мощнее вся система. Но при возрастании степени специализации уменьшается надежность и устойчивость по отношению к повреждению/гибели части особей. Наиболее высокий уровень специализации в "рое" нейронов, поэтому организм-хозяин его всячески защищает. Скорость и сложность обмена информацией там очень высоки, видимо поэтому мозг и является "средоточием" интеллекта. Интеллект роя насекомых гораздо ниже, но зато значительно больше его надежность по отношению к внешним воздействиям. Интеллект "роя" людей еще очень низок - по крайней мере, по сравнению с кажущимися потенциальными возможностями. В этом плане интернет - важный шаг вперед в эволюции этого интеллекта.
С точки зрения теории неалгоритмического интеллекта мне рой интересен тем, что там есть обязательный элемент неинформационного воздействия среды, имеющий выраженный функциональный смысл: смерть отдельных особей и рождение новых.
Какие книги можете порекомендовать?
С научно-популярной литературой я знаком недостаточно хорошо, чтобы рекомендовать что-то конкретное. Из серьезной выбрал следующие книги общего типа:
Russell and Norvig: Artificial intelligence, a modern approach [ссылка]
Sutton and Barto: Reinforcement learning [ссылка]
Vapnik: Statistical learning theory [ссылка]
Abbott, Davies, and Pati: Quantum aspects оf life [ссылка]
Ссылки на более специальную литературу можно найти в этих или в интернете - в зависимости от конкретной области, в которой человек хочет специализироваться.
Видите ли вы у ЕИ какое-либо качество, которое так и останется нетронутым, то есть не будет успешно воспроизведено ИИ? И разделяете ли прогнозы Курцвейла и т.п. сингулярщиков о том, что уровень человеческого интеллекта будет превзойден до 2030?
В настоящий момент я не вижу какое свойство ЕИ принципиально не может быть воспроизведено в ИИ. В целом идеи Курцвейла мне близки, но самому фантазировать о том, какими путями будет развиваться ИИ, мне не слишком хочется, поскольку у меня пока недостаточно информации. Думаю, Курцвейл в своих прогнозах относительно прогресса ИИ сильно ошибается, главным образом в сроках - слишком торопится. Он, похоже, сильно недооценивает сложность проблем, стоящих на пути. Как и большинство, он думает, что главная проблема - создание мощных компьютеров, а там ИИ, видимо, разовьется сам собой :) Еще и технология нейросетей толком не развита, а по сравнению со всем комплексом проблем это даже не пресловутая надводная часть айсберга, это как био-слой земной коры по сравнению со всем земным шаром. Один из основных проблемных кластеров, например, обусловлен тем, что с ростом сложности системы уменьшается ее надежность. Поэтому необходимы многочисленные механизмы самовосстановления, которые еще больше увеличивают сложность и т.д. С другой стороны, слишком устойчивая система не сможет эффективно обучаться, адаптироваться к изменениям среды. Необходим тонкий баланс устойчивости и пластичности.
Думаю, что к 2030 году в лучшем случае появятся роботы-домработники с весьма ограниченным речевым интерфейсом и набором самостоятельно выполняемых функций. Когда ИИ начнет приближаться к человеческому ЕИ, пока даже предполагать не могу. Не думаю, что и в 2030 сроки прояснятся. Надеюсь только, что человечество до этого доживет.
* * *
В качестве бонуса: большое вдумчивое интервью Дж. Сёрля (John Searle), автора аргумента «Китайской комнаты», о сильном ИИ, вычислениях, мозге и метафорах. (Вот бы кто перевел).
Update. В ответ на полученные комментарии А.Добров дал следующие пояснения.
С большим интересом прочитал комментарии Попробую на них ответить. Заранее прошу прощения за стилистику. Мне непривычно думать на научные темы по-русски.
По причинам личного характера (которые важны для меня) я не хочу связывать имя, использованное в интервью, с точным спеллингом моего имени. Поэтому ссылки на мои работы предоставить не могу. С другой стороны, только в одной опубликованной статье упомянута возможность неалгоритмического описания интеллектуальной системы. Основные работы по этой тематике я только планирую. В этом плане ваши комментарии для меня очень ценны, и я выражаю nature_wonder искреннюю благодарность за эту возможность неформального обсуждения концепции неалгоритмического искусственного интеллекта.
Анализируя комментарии, я выделили три основных источника критики.
Первый - противоречия, связанные с пониманием недостаточно хорошо определенных терминов. В основном это касается понятий «мышление» и «жизнь». Поскольку не существует строгих, общепринятых определений этих терминов, разные люди понимают их по-разному. Я убедился, что в подобных ситуациях важно понять как именно собеседник определяет подобный термин и исходить из этого определения (а не из своего собственного) при критической оценке суждений собеседника.
Второй - понимание того, что есть «алгоритмический» и «неалгоритмический». Эти термины довольно хорошо формализованы, среди профессионалов есть достаточный консенсус в отношении их понимания. В то же время, поскольку эти термины изучаются в рамках сравнительно сложной математической теории (преподаваемой только на специализированных факультетах), их более-менее точный смысл известен далеко не многим. Термин «алгоритм» нельзя рассматривать просто как синоним понятия «способ» или «схема». Тезис Чёрча-Тьюринга состоит в том, что интуитивно понимаемый смысл понятия «алгоритм» точно совпадает с формально определенным термином «программа для универсального компьютера». Известно много задач (более точно, классов проблем), для решения которых не существует алгоритма. Например, по коду программы невозможно сказать остановится ли она на данном наборе входных данных. Безусловно это можно сделать в каких-то конкретных случаях. Но не существует общего алгоритма, который позволял бы это сделать для любой пары «код программы, набор входных данных». Объяснение того, почему самообучение в общем случае неалгоритмично, существенно опирается на теорию вычислимости и ее основу - теорию рекурсивных функций. Поэтому привести его здесь практически невозможно. Этот результат хорошо известен (в специальной литературе он не дебатируется), тут я ничего нового не изобретаю. Кстати, неполнота арифметики (теоремы Гёделя) в сущности следует из тех же причин, что и неалгоритмичность самообучения.
Третий (непосредственно связанный со вторым) - распространенное заблуждение, что использование генератора случайных чисел (ГСЧ) придает неалгоритмичность. Это не так, и тут не важно какой ГСЧ использовать - программный имитатор или «физический». Главное то, что моменты обращения к ГСЧ определены программой. В теории вычислимости доказывается, что использование ГСЧ не может сделать невычислимые (алгоритмически) задачи вычислимыми. Во многих случаях вычисление можно ускорить с помощью использования ГСЧ (например, в методах типа Монте-Карло), но расширить множество вычислимых функций нельзя.
Надеюсь вышесказанное хоть что-то прояснило.
Буду рад ответить на ваши вопросы.
Update 2.
Похоже что утверждение о том, что самообучение в общем случае неалгоритмично, для многих не только не очевидно, но и непонятно. Хочу попытаться объяснить это, не залезая в дебри математической теории вычислимости.
В процессе обучения необходимо вести поиск. Во-первых, это поиск модели мира, которая наиболее адекватно описывает реальность. Во-вторых, это поиск функции принятия оптимального решения в данном состоянии мира, т.е. функции, отображающей пространство этих состояний на множество допустимых управляющих действий. Далеко не всегда множество, в котором ведется поиск, алгоритмически перечислимо. Интересный пример - множество топологических многоообразий в 4-х мерном пространстве. На алгоритмическую неперечислимость этого множества наталкивались попытки построить теорию квантовой гравитации. Неалгоритмичность перечисления множества моделей мира приводит к неалгоритмичности поиска в этом множестве, а значит и к неалгоритмичности обучения.
Необходимо еще раз подчеркнуть, что неалгоритмичность означает отсутствие универсального алгоритма, т.е. нет алгоритма способного решать любую проблему из данного класса. Поскольку человек способен модифицировать алгоритм, он не связан вышеупомянутым отсутствием.
С другой стороны, аксиома выбора утверждает, что в любом множестве можно выбрать элемент, из чего почти сразу следует, что любое множество, равное по мощности множеству натуральных чисел, можно перечислить. Аксиома выбора позволяет доказывать существование математических объектов без предъявления алгоритма построения такого объекта. Матаппарат современной теорфизики не может без нее (или ее эквивалента) обойтись, что я рассматриваю как сильный аргумент в пользу утверждения о принципиальной неалгоритмичности нашей физической реальности. Это допускает возможность существования физических систем, способных к неалгоритмическому обучению. Мне представляется очень вероятным, что человек и является подобной системой.