Jeff Hawkins, On Intelligence
Ссылка на предыдущие части разговоров об искусственном интеллекте
В тоненькой (двести страниц) книге автор (не путать с Хокингом, физиком в инвалидной коляске) излагает, ни много ни мало, изобретенную им теорию работы новой коры головного мозга и человеческого интеллекта вообще.
На обложке, согласно старой традиции, несколько хвалебных отзывов. Один нобелевский лауреат в области медицины, один зачем-то миллиардер-венчурный-инвестор, и три биолога, среди них Джеймс Уотсон, со-открыватель ДНК. Ни одного специалиста в области machine learning, AI, computational complexity или вообще в каких-либо когнитивных или компьютерных науках (неудивительно, учитывая, как нелестно автор о них в целом отзывается).
Основное утверждение Хокинса состоит в том, что работу нашего разума не следует считать чем-то сложным и таинственным. По его мнению, неокортекс можно считать однородным, по всей своей площади устроенным одинаково, выполняющим одни и те же простые операции. Все прочие отделы головного мозга (не говоря уже о других регуляторных системах) автор предлагает для простоты игнорировать вообще.
Согласно книге, каждый микроскопический участок коры (автор пишет о "нейронах", но для его теории не так важно, один это нейрон или какая-то их группа) постоянно занимается одним и тем же: предсказывает будущие значения собственных входов по предыдущим. Такие участки организованы иерархически, нижние уровни (внешние слои коры) получают необработанный вход от органов чувств, передают обработанную информацию наверх, те ещё выше, и так 6-7 слоев. Каждый переход на слой глубже фактически является переходом на более абстрактный уровень мышления.
Автор утверждает, что этого полностью достаточно для того, чтобы выполнять самые что ни на есть высшие когнитивные функции, управлять поведением, сочинять стихи, воспитывать детей, придумывать Palm Pilot и писать книжки. На многих примерах он показывает, как то или иное действие или "понимание", кажущееся нам сложным, можно декомпозировать и представить в виде набора атомарных актов "предсказания". Все эти объяснения он производит "на пальцах", чего-нибудь вроде алгоритмов или формул он не приводит, эксперименты - только мысленные, есть разве что несколько схем в стиле инфографики.
Книга заканчивается его мыслями по поводу того, как новая индустрия создания мыслящих машин, которая обязательно появится вокруг этой теории, изменит мир, и призывами подключаться к ней на ранних этапах.
Уф, приличия, кажется, соблюдены, содержание я нейтрально пересказал. Теперь можно и КРОВЬ КИШКИ НЕ МОГУ БОЛЬШЕ СДЕРЖИВАТЬСЯ
Книжку я читал через силу, и вряд ли дочитал бы, если бы не многочисленные ссылки самых разных уважаемых людей, как в ЖЖ, так и в RL.
Написана она "домашним гением" в худшем смысле этого слова. У меня bullshit-o-meter начало зашкаливать с самого начала. Начинается с сорока страниц заметок вида "благодаря каким событиям моей биографии я сумел создать свою гениальную теорию" и "чего все эти специалисты не понимали, но мы-то с вами разумные люди, и понимаем". Сама теория пока не излагается. Очень хочется промотать вперёд. Также на этих страницах мы узнаём, что Хокинс не считает тест Тьюринга адекватным определением разума (ок), а также что он согласен с Сёрлем по поводу "китайской комнаты" (неожиданно; если бы не рекомендации самых разных людей, я бы на этом чтение и закончил). В общем-то вся книга такая: вперемешку вещи, с которыми я абсолютно согласен (например, его отношение к тем методам, которые сейчас известны под общим названием "нейронные сети"), и тут же рядом пассажи, вызывающие мгновенное желание захлопнуть и больше не открывать.
Книга продолжается описанием того, что такое кора больших полушарий головного мозга, и на что она вообще похожа внешне, если её развернуть и растянуть ("серая скатерть", ок). Основное утверждение: "Вы - это ваш неокортекс". Насколько я понимаю, это крайне далеко от правды. Эмоции создаются не в неокортексе. Большая часть движущих вами импульсов рождается не в коре головного мозга. Даже ваша долговременная память находится не в нём. Если вообще возможно провести разделение на "разум" и "душу", то "душой" окажутся как раз все прочие, древние отделы мозга. Если уж на то пошло, вы - это даже не ваш мозг, "ваш мозг" - бесполое существо, самоощущение которого, если поместить его в банку, будет совсем не похоже на ваше. Впрочем, это всё неважно, конечно. Если заменить это утверждение на "Вы в основном думаете своим неокортексом, а тот удивительно однороден и везде сам на себя похож", я с ним соглашусь, а больше автору ничего и не требуется.
Дальше наконец-то начинается собственно теория. Первое содержательное утверждение, имеющее непосредственное отношение к основной теме книжки, такое: кора везде реализует какой-то один и тот же алгоритм. В ней нет узкоспециализированных зон, или же ими можно пренебречь. Честности ради нужно отметить, что это утверждение противоречит известным фактам. Выделенные зоны, конечно, есть, насчет этого накоплен огромный массив фактов, и Хокинс это признает. Другое дело, что мозг обладает огромной пластичностью, и при повреждении части этих зон может перестроиться так, чтобы какие-то вспомогательные взяли на себя ранее несвойственную им работу. Что именно позволяет ему производить такой фокус - неизвестно. Самым простым объяснением и правда кажется то, которое приводит Хокинс: специализация участков коры определяется в основном тем, с чем они связаны (сенсорные входы, моторные "выходы", другие отделы мозга), а не их внутренним устройством; кора однородна, везде устроена одинаково и "по сути" делает одно и то же. Это утверждение мне нравится своей простотой и изяществом, и кажется правдоподобным, но это ещё не делает его автоматически верным. Хокинс, конечно, его сформулировал не первым. В качестве первоисточника он приводит работу Mountcastle, но мне вообще кажется, что это одна из тех "идей по умолчанию", у которых нет и не может быть первооткрывателя.
Затем вводится следующая мысль. Наш мозг - машина, предназначенная для работы с пространственно-временными шаблонами. Много разговоров о том, почему временная составляющая важна для зрения (саккады) и осязания (ощупывание), а пространственная - для слуха. Всё это несколько странно, в фундаментальность временной огранизации не очень верится. Если некоторый алгоритм работает на множестве входов, упорядоченном по времени, то у него всегда есть и абсолютно точный аналог, в работе которого явного понятия "времени" нет. Что понимается под словом pattern, строго не определяется. Что-то вроде часто (насколько?) повторяющейся последовательности входов. Необязательно в точности повторяющейся, а более-менее похожей, с небольшими (насколько?) вариациями. Нейрон может распознавать несколько (сколько?) разных типов последовательностей, и его выход зависит от того, какую из последовательностей он распознал. Как эта кластеризация осуществляется, не сказано. Упоминается, что важно поймать инвариантность в данных, и обобщить её. Как это сделать, не говорится. В частных случаях (распознавание параллельных переносов и небольших искажений изображений) нам помогает правильная пространственная организация нейронов. Никаких объяснений того, как это обобщается до возможности решения хотя бы таких простых и формальных задач, как поиск инвариантностей в IQ-тестах, нет.
Наконец, сердце теории. Нейрон предсказывает будущее по прошлому. Это его основная функция, больше он ничего не делает. Много мысленных экспериментов, каждый из которых сводится к "вот видите, ваш мозг предсказывает, что он увидит там-то тогда-то, и в этом-то и суть".
Что ж, проведем мысленный эксперимент в стиле Хокинса. Представьте себе, что некто медленно произносит следующую фразу: "В хлеву родилась елочка, в лесу она росла". Где ошибка? Во втором слове. В какой момент вы её обнаружили и обратили на неё внимание? Неужели ровно в тот момент, когда вы услышали это слово? (Именно это происходит во всех мысленных экспериментах Хокинса).
Нет, вы обнаружили несоответствие объекта контексту гораздо позже. Не на следующем слове, и даже не через одно. В момент, когда было сказано слово "елочка", было все ещё возможно, что ошибка именно в нём, собеседник хотел сказать "тёлочка". Собственно, согласно Хокинсу, так и только так мы и должны были подумать.
Вы не фиксируете различия между тем, как вы предсказали текущий момент времени, и будущим. Вы ищете соответствия и несоответствия во всей картине. Вы "предсказываете" прошлое по новым данным, или фрагмент - по целому. И делаете это, не особенно-то предпочитая временную ось пространственной, или будущее прошлому, как, впрочем, и наоборот.
Тут, конечно, можно попытаться теорию спасти, привлекая для объяснения что-нибудь вроде "закольцованного буфера", который непрерывно повторяет то, на чем мы недавно концентрировались. Проблема в том, что так просто теория не спасается. Языки, которые можно распознать иерархическим конечным автоматом (например, неокортексом согласно Хокинсу) - это языки с регулярной грамматикой. Это не потому, что мы ещё не умеем - нет, это совершенно фундаментальный результат, математическая теорема. Но ещё с пятидесятых годов известно, что человеческие языки гораздо богаче.
Никакая теория, не объясняющая того, как мы распознаем грамматики гораздо более широкого класса, не может объяснить то, как мы вообще разговариваем и понимаем друг друга.
Ладно, проехали. Ещё одна проблема, как бы не более фундаментальная: "обучение" по Хокинсу - это по сути адаптивный резонанс. Связь между двумя нейронами, которые часто активируются одновременно, усиливается, в противном случае - ослабевает. Борюсь с желанием написать слова "положительная обратная связь" и обсуждать знаки собственных чисел гигантской матрицы; не главное. А главное то, что этот процесс - статистический, он требует нескольких повторений для закрепления ассоциации, чем больше - тем лучше, и в этом смысле подобен современному machine learning.
Проблема в том, что мы делаем это иначе - никто в точности не знает, как, но не так. В первые годы жизни ребёнок выучивает десятки новых слов в день. Большинство из них он слышит единственный раз. За более подробным разбором этой мистики отсылаю к введению в эту знаменитую статью (в ней предлагалось и некое "решение" проблемы, насколько сейчас можно судить, неверное, по крайней мере, неполное; но постановка там изложена замечательно).
Но на самом деле, и это всё тоже фигня. Чего мы вообще получить хотим от фундаментальной теории человеческого разума? Либо возможность создавать машины, проявляющие какие-то новые интеллектуальные способности, такие, которыми мы снабжать машины ещё не умеем. Либо лучшее понимание нас самих, наших сильных и слабых сторон, когнитивных ошибок и расстройств, гениальности, безумия, и того, как этим всем управлять. Книга Хокинса, очевидно, не про второе. Значит, про первое.
Свою компанию Numenta Хокинс основал в 2005 году, практически сразу после выхода книжки. Прошло больше 6 лет. За это время они не сделали ничего. Вообще. Кто не верит, сходите на сайт компании. Ни одного коммерческого продукта, ни одной научной статьи. Есть один pdf, в основном представляющий собой сжатый пересказ книжки. "Although most aspects of the algorithms have been implemented and tested in software, none of the test results are currently included. There is no description of how the algorithms can be applied to practical problems". Ок. А, да, они успели получить какие-то деньги от Локхид-Мартинса; но те вообще знаменитые распильщики, например, неработающий D-Wave'овский "квантовый компьютер" за 10М купили.
Книгу я читал по-английски, но она есть и в русском переводе (и нументовский pdf тоже). Кажется, это не те произведения, которые всенепременно следует читать в оригинале.
TL;DR. У автора отлично развито чувство собственного величия, это несколько раздражает. Теория в книжке изложена "на пальцах", в общих словах. Некоторые из этих общих слов правильные, некоторые нет. Никаких подробностей насчет того, как эта теория объяснила бы, например, процесс изучения ребенком его первого языка, или другие когнитивные загадки, в книжке нет. Нет даже упоминаний о том, что автор вообще в курсе, что это загадки, и почему именно они загадками являются. Есть повторяющаяся демонстрация веры в то, что теория в принципе "объясняет" всё. В каких-то деталях она, безусловно, верна, например, адаптивный резонанс действительно играет какую-то роль, а умение предсказывать будущее по прошлому (как частный случаей умения восстанавливать фрагмент по контексту) нашему мышлению действительно присуще.
Шансы Хокинса довести свой метод до какого-то внятного, применимого на практике состояния выглядят нулевыми. Пока что никаких результатов, противоречащих этому нехитрому умозаключению, его компания не продемонстрировала.
В тоненькой (двести страниц) книге автор (не путать с Хокингом, физиком в инвалидной коляске) излагает, ни много ни мало, изобретенную им теорию работы новой коры головного мозга и человеческого интеллекта вообще.
На обложке, согласно старой традиции, несколько хвалебных отзывов. Один нобелевский лауреат в области медицины, один зачем-то миллиардер-венчурный-инвестор, и три биолога, среди них Джеймс Уотсон, со-открыватель ДНК. Ни одного специалиста в области machine learning, AI, computational complexity или вообще в каких-либо когнитивных или компьютерных науках (неудивительно, учитывая, как нелестно автор о них в целом отзывается).
Основное утверждение Хокинса состоит в том, что работу нашего разума не следует считать чем-то сложным и таинственным. По его мнению, неокортекс можно считать однородным, по всей своей площади устроенным одинаково, выполняющим одни и те же простые операции. Все прочие отделы головного мозга (не говоря уже о других регуляторных системах) автор предлагает для простоты игнорировать вообще.
Согласно книге, каждый микроскопический участок коры (автор пишет о "нейронах", но для его теории не так важно, один это нейрон или какая-то их группа) постоянно занимается одним и тем же: предсказывает будущие значения собственных входов по предыдущим. Такие участки организованы иерархически, нижние уровни (внешние слои коры) получают необработанный вход от органов чувств, передают обработанную информацию наверх, те ещё выше, и так 6-7 слоев. Каждый переход на слой глубже фактически является переходом на более абстрактный уровень мышления.
Автор утверждает, что этого полностью достаточно для того, чтобы выполнять самые что ни на есть высшие когнитивные функции, управлять поведением, сочинять стихи, воспитывать детей, придумывать Palm Pilot и писать книжки. На многих примерах он показывает, как то или иное действие или "понимание", кажущееся нам сложным, можно декомпозировать и представить в виде набора атомарных актов "предсказания". Все эти объяснения он производит "на пальцах", чего-нибудь вроде алгоритмов или формул он не приводит, эксперименты - только мысленные, есть разве что несколько схем в стиле инфографики.
Книга заканчивается его мыслями по поводу того, как новая индустрия создания мыслящих машин, которая обязательно появится вокруг этой теории, изменит мир, и призывами подключаться к ней на ранних этапах.
Уф, приличия, кажется, соблюдены, содержание я нейтрально пересказал. Теперь можно и КРОВЬ КИШКИ НЕ МОГУ БОЛЬШЕ СДЕРЖИВАТЬСЯ
Книжку я читал через силу, и вряд ли дочитал бы, если бы не многочисленные ссылки самых разных уважаемых людей, как в ЖЖ, так и в RL.
Написана она "домашним гением" в худшем смысле этого слова. У меня bullshit-o-meter начало зашкаливать с самого начала. Начинается с сорока страниц заметок вида "благодаря каким событиям моей биографии я сумел создать свою гениальную теорию" и "чего все эти специалисты не понимали, но мы-то с вами разумные люди, и понимаем". Сама теория пока не излагается. Очень хочется промотать вперёд. Также на этих страницах мы узнаём, что Хокинс не считает тест Тьюринга адекватным определением разума (ок), а также что он согласен с Сёрлем по поводу "китайской комнаты" (неожиданно; если бы не рекомендации самых разных людей, я бы на этом чтение и закончил). В общем-то вся книга такая: вперемешку вещи, с которыми я абсолютно согласен (например, его отношение к тем методам, которые сейчас известны под общим названием "нейронные сети"), и тут же рядом пассажи, вызывающие мгновенное желание захлопнуть и больше не открывать.
Книга продолжается описанием того, что такое кора больших полушарий головного мозга, и на что она вообще похожа внешне, если её развернуть и растянуть ("серая скатерть", ок). Основное утверждение: "Вы - это ваш неокортекс". Насколько я понимаю, это крайне далеко от правды. Эмоции создаются не в неокортексе. Большая часть движущих вами импульсов рождается не в коре головного мозга. Даже ваша долговременная память находится не в нём. Если вообще возможно провести разделение на "разум" и "душу", то "душой" окажутся как раз все прочие, древние отделы мозга. Если уж на то пошло, вы - это даже не ваш мозг, "ваш мозг" - бесполое существо, самоощущение которого, если поместить его в банку, будет совсем не похоже на ваше. Впрочем, это всё неважно, конечно. Если заменить это утверждение на "Вы в основном думаете своим неокортексом, а тот удивительно однороден и везде сам на себя похож", я с ним соглашусь, а больше автору ничего и не требуется.
Дальше наконец-то начинается собственно теория. Первое содержательное утверждение, имеющее непосредственное отношение к основной теме книжки, такое: кора везде реализует какой-то один и тот же алгоритм. В ней нет узкоспециализированных зон, или же ими можно пренебречь. Честности ради нужно отметить, что это утверждение противоречит известным фактам. Выделенные зоны, конечно, есть, насчет этого накоплен огромный массив фактов, и Хокинс это признает. Другое дело, что мозг обладает огромной пластичностью, и при повреждении части этих зон может перестроиться так, чтобы какие-то вспомогательные взяли на себя ранее несвойственную им работу. Что именно позволяет ему производить такой фокус - неизвестно. Самым простым объяснением и правда кажется то, которое приводит Хокинс: специализация участков коры определяется в основном тем, с чем они связаны (сенсорные входы, моторные "выходы", другие отделы мозга), а не их внутренним устройством; кора однородна, везде устроена одинаково и "по сути" делает одно и то же. Это утверждение мне нравится своей простотой и изяществом, и кажется правдоподобным, но это ещё не делает его автоматически верным. Хокинс, конечно, его сформулировал не первым. В качестве первоисточника он приводит работу Mountcastle, но мне вообще кажется, что это одна из тех "идей по умолчанию", у которых нет и не может быть первооткрывателя.
Затем вводится следующая мысль. Наш мозг - машина, предназначенная для работы с пространственно-временными шаблонами. Много разговоров о том, почему временная составляющая важна для зрения (саккады) и осязания (ощупывание), а пространственная - для слуха. Всё это несколько странно, в фундаментальность временной огранизации не очень верится. Если некоторый алгоритм работает на множестве входов, упорядоченном по времени, то у него всегда есть и абсолютно точный аналог, в работе которого явного понятия "времени" нет. Что понимается под словом pattern, строго не определяется. Что-то вроде часто (насколько?) повторяющейся последовательности входов. Необязательно в точности повторяющейся, а более-менее похожей, с небольшими (насколько?) вариациями. Нейрон может распознавать несколько (сколько?) разных типов последовательностей, и его выход зависит от того, какую из последовательностей он распознал. Как эта кластеризация осуществляется, не сказано. Упоминается, что важно поймать инвариантность в данных, и обобщить её. Как это сделать, не говорится. В частных случаях (распознавание параллельных переносов и небольших искажений изображений) нам помогает правильная пространственная организация нейронов. Никаких объяснений того, как это обобщается до возможности решения хотя бы таких простых и формальных задач, как поиск инвариантностей в IQ-тестах, нет.
Наконец, сердце теории. Нейрон предсказывает будущее по прошлому. Это его основная функция, больше он ничего не делает. Много мысленных экспериментов, каждый из которых сводится к "вот видите, ваш мозг предсказывает, что он увидит там-то тогда-то, и в этом-то и суть".
Что ж, проведем мысленный эксперимент в стиле Хокинса. Представьте себе, что некто медленно произносит следующую фразу: "В хлеву родилась елочка, в лесу она росла". Где ошибка? Во втором слове. В какой момент вы её обнаружили и обратили на неё внимание? Неужели ровно в тот момент, когда вы услышали это слово? (Именно это происходит во всех мысленных экспериментах Хокинса).
Нет, вы обнаружили несоответствие объекта контексту гораздо позже. Не на следующем слове, и даже не через одно. В момент, когда было сказано слово "елочка", было все ещё возможно, что ошибка именно в нём, собеседник хотел сказать "тёлочка". Собственно, согласно Хокинсу, так и только так мы и должны были подумать.
Вы не фиксируете различия между тем, как вы предсказали текущий момент времени, и будущим. Вы ищете соответствия и несоответствия во всей картине. Вы "предсказываете" прошлое по новым данным, или фрагмент - по целому. И делаете это, не особенно-то предпочитая временную ось пространственной, или будущее прошлому, как, впрочем, и наоборот.
Тут, конечно, можно попытаться теорию спасти, привлекая для объяснения что-нибудь вроде "закольцованного буфера", который непрерывно повторяет то, на чем мы недавно концентрировались. Проблема в том, что так просто теория не спасается. Языки, которые можно распознать иерархическим конечным автоматом (например, неокортексом согласно Хокинсу) - это языки с регулярной грамматикой. Это не потому, что мы ещё не умеем - нет, это совершенно фундаментальный результат, математическая теорема. Но ещё с пятидесятых годов известно, что человеческие языки гораздо богаче.
Никакая теория, не объясняющая того, как мы распознаем грамматики гораздо более широкого класса, не может объяснить то, как мы вообще разговариваем и понимаем друг друга.
Ладно, проехали. Ещё одна проблема, как бы не более фундаментальная: "обучение" по Хокинсу - это по сути адаптивный резонанс. Связь между двумя нейронами, которые часто активируются одновременно, усиливается, в противном случае - ослабевает. Борюсь с желанием написать слова "положительная обратная связь" и обсуждать знаки собственных чисел гигантской матрицы; не главное. А главное то, что этот процесс - статистический, он требует нескольких повторений для закрепления ассоциации, чем больше - тем лучше, и в этом смысле подобен современному machine learning.
Проблема в том, что мы делаем это иначе - никто в точности не знает, как, но не так. В первые годы жизни ребёнок выучивает десятки новых слов в день. Большинство из них он слышит единственный раз. За более подробным разбором этой мистики отсылаю к введению в эту знаменитую статью (в ней предлагалось и некое "решение" проблемы, насколько сейчас можно судить, неверное, по крайней мере, неполное; но постановка там изложена замечательно).
Но на самом деле, и это всё тоже фигня. Чего мы вообще получить хотим от фундаментальной теории человеческого разума? Либо возможность создавать машины, проявляющие какие-то новые интеллектуальные способности, такие, которыми мы снабжать машины ещё не умеем. Либо лучшее понимание нас самих, наших сильных и слабых сторон, когнитивных ошибок и расстройств, гениальности, безумия, и того, как этим всем управлять. Книга Хокинса, очевидно, не про второе. Значит, про первое.
Свою компанию Numenta Хокинс основал в 2005 году, практически сразу после выхода книжки. Прошло больше 6 лет. За это время они не сделали ничего. Вообще. Кто не верит, сходите на сайт компании. Ни одного коммерческого продукта, ни одной научной статьи. Есть один pdf, в основном представляющий собой сжатый пересказ книжки. "Although most aspects of the algorithms have been implemented and tested in software, none of the test results are currently included. There is no description of how the algorithms can be applied to practical problems". Ок. А, да, они успели получить какие-то деньги от Локхид-Мартинса; но те вообще знаменитые распильщики, например, неработающий D-Wave'овский "квантовый компьютер" за 10М купили.
Книгу я читал по-английски, но она есть и в русском переводе (и нументовский pdf тоже). Кажется, это не те произведения, которые всенепременно следует читать в оригинале.
TL;DR. У автора отлично развито чувство собственного величия, это несколько раздражает. Теория в книжке изложена "на пальцах", в общих словах. Некоторые из этих общих слов правильные, некоторые нет. Никаких подробностей насчет того, как эта теория объяснила бы, например, процесс изучения ребенком его первого языка, или другие когнитивные загадки, в книжке нет. Нет даже упоминаний о том, что автор вообще в курсе, что это загадки, и почему именно они загадками являются. Есть повторяющаяся демонстрация веры в то, что теория в принципе "объясняет" всё. В каких-то деталях она, безусловно, верна, например, адаптивный резонанс действительно играет какую-то роль, а умение предсказывать будущее по прошлому (как частный случаей умения восстанавливать фрагмент по контексту) нашему мышлению действительно присуще.
Шансы Хокинса довести свой метод до какого-то внятного, применимого на практике состояния выглядят нулевыми. Пока что никаких результатов, противоречащих этому нехитрому умозаключению, его компания не продемонстрировала.