Наше восприятие мира - это фантазия, совпадающая с реальностью. Часть №1
Простая истина но в ней кроются ответы на многие загадки.
Наш мозг создает у нас ощущение легкости восприятия
Примечательная особенность нашего восприятия материального мира во всей его красоте и во всех подробностях состоит в том, что оно кажется нам таким легким. Если верить нашим чувствам, восприятие окружающего мира для нас не проблема. Но это чувство легкости и мгновенности нашего восприятия есть иллюзия, создаваемая нашим мозгом. И мы не знали об этой иллюзии, пока не попытались сделать машины, способные к восприятию.
Единственный способ узнать, легко или сложно нашему мозгу воспринимать окружающий мир, это сделать искусственный мозг, способный к восприятию окружающего. Чтобы сделать такой мозг, нужно установить, из каких компонентов он должен состоять, и узнать, какие функции должны выполнять эти компоненты.
Информационная революция
Основные компоненты головного мозга были открыты нейрофизиологами в конце XIX века. Тонкая структура мозга была установлена путем изучения под микроскопом тонких срезов мозговой ткани. Эти срезы окрашивали различным образом, чтобы увидеть разные аспекты структуры мозга. Исследования показали, что мозг содержит множество нервных клеток1 и очень сложную сеть взаимосвязанных волокон. Но главное открытие в области изучения основных компонентов мозга сделал нейроанатом Сантьяго Рамон-и-Кахаль. Путем детальных исследований он показал, что волокна этой сети растут из нервных клеток и, что особенно важно, в этой сети есть промежутки. Волокно, растущее из одной клетки, подходит очень близко к следующей клетке, но не сливается с ней. Эти промежутки и есть синапсы, описанные в предыдущей главе. Из результатов своих исследований Рамон-и-Кахаль сделал вывод, что основным элементом мозга является нейрон, то есть нервная клетка, со всеми ее волокнами и другими отростками. Эта концепция получила широкое признание и стала известна как “нейронная доктрина”2.
Но что же, собственно, делают нейроны, эти основные элементы мозга? В середине XIX века Эмиль Дюбуа-Реймон продемонстрировал электрическую природу нервных импульсов. А к концу XIX века Давид Феррье и другие исследователи показали, что электрическая стимуляция определенных участков мозга вызывает специфические движения и ощущения. Электрические импульсы, распространяющиеся по волокнам нейронов, переносят сигналы из одного участка мозга в другой, активируя там другие нейроны или подавляя их активность. Но как могут подобные процессы лежать в основе работы устройства, способного воспринимать объекты окружающего мира?
Великий клубок, который был распутан.
Нервные клетки - элементарные единицы, из которых состоит мозг. На этом рисунке Сантьяго Рамона-и-Кахаля показаны нервные клетки коры головного мозга, окрашенные по методике, разработанной Камилло Гольджи. Видны многочисленные нейроны разного типа и их отростки.
Серьезный шаг в направлении решения этой проблемы был сделан даже не нейрофизиологами, а инженерами-проектировщиками телефонных линий. Телефонные линии похожи на нейроны: и по тем, и по другим распространяются электрические импульсы. В телефонной линии электрические импульсы активируют динамик на другом конце провода точно так же, как импульсы моторных нейронов могут активировать мышцы, к которым ведут отростки этих нейронов. Но мы знаем, что телефонные линии нужны не для передачи энергии, а для передачи сообщений, будь то в форме речи или в форме точек и тире азбуки Морзе.
Инженеры корпорации Bell Telephone Laboratories занимались поисками наиболее эффективного способа передачи телефонных сообщений. В ходе их исследований возникла идея, что телефонные провода в действительности служат для передачи информации3. Весь смысл передачи сообщения состоит в том, чтобы после его получения мы знали больше, чем до него. Теория информации4 дает нам метод, позволяющий измерять, насколько увеличились наши знания после получения определенного сообщения.
До начала игры в крикет мы еще не знаем, кому достанется первая подача, пока арбитр не бросит монетку. Перед бросанием монетки есть две возможности: или первая подача будет у англичан, или у австралийцев. После бросания монетки от этих двух возможностей останется одна определенность: теперь мы знаем, что первая подача у англичан. Подобное увеличение знаний, когда из двух возможностей выбирается что-то одно, называют одним битом информации. Когда мы бросаем игральную кость, а не монетку, у нас есть шесть возможностей, и мы получаем больше информации, потому что одно определенное сообщение выбирается из шести возможных. Количество информации, которую мы получаем в данном случае, составляет 2,58 бит5 Пользуясь этим определением, мы можем измерить, сколько информации передается по телефонной линии и с какой скоростью (измеряемой в битах в секунду, или бодах) она передается. При скорости в 300 бод по линии передается около 60 знаков в секунду, так как каждый знак (например, буква или цифра) несет в среднем около 5 бит информации.
При этом, разумеется, одни знаки несут меньше информации, чем другие. Например, буквы, которые встречаются часто, такие как E в английском, несут меньше информации, чем редкие буквы, такие как Z. Хуже всего обстоит дело с буквой U, идущей после Q6 В этом положении буква U вообще не несет никакой информации. Про такие знаки говорят, что они избыточны. Может быть, наши коммуникации с помощью языка стали бы намного эффективнее, если бы мы избавились от избыточных знаков и стали реже использовать такие знаки, как буква E?
На деле подобные усовершенствования ничего не дают, потому что реальный мир несовершенен: рукописные тексты всегда содержат описки и двусмысленности, наборщики делают опечатки, телефонные линии полны помех7 К тому времени, как сообщение достигнет другого конца линии, некоторые его фрагменты потеряются, а некоторые посторонние звуки окажутся добавлены. Для идеальных сообщений, в которых нет избыточных знаков, подобный шум губителен. Другого конца провода достигнет сообщение, отличное от исходного, и не будет никакой возможности узнать, что произошла ошибка.
Если же сообщение содержит избыточные биты информации, то ошибки можно отследить и восстановить исходное сообщение. Например, можно послать одно и то же сообщение дважды. Второе сообщение совершенно избыточно, но если между двумя полученными сообщениями есть разница, мы поймем, что произошли какие-то ошибки. Мы, конечно, по-прежнему не будем знать, какой вариант правильный. Но если мы пошлем то же сообщение в третий раз, мы можем отследить случаи, где два из полученных трех сообщений совпадают, и, исходя из этого, выбрать правильный вариант.
Я помню времена, когда у нас не было не только компьютеров, но и электронных калькуляторов. Сложные математические расчеты приходилось выполнять вручную, и при этом почти неизбежно возникали ошибки. Стандартная процедура отслеживания таких ошибок состояла в том, чтобы повторять выполняемые расчеты трижды. Если в двух случаях из трех получался один и тот же ответ, он, скорее всего, и был правильным, потому что маловероятно, чтобы в обоих расчетах была допущена одна и та же ошибка.
Наш мозг сталкивается с той же самой проблемой. Сообщения об окружающем мире, поступающие от наших глаз и ушей, содержат шум и полны ошибок, поэтому наш мозг не может уверенно сказать, где “правда”, а где “ошибка”. Чтобы избежать этого, наш мозг вовсю пользуется избыточностью поступающей информации. Когда мы разговариваем с другим человеком, мы обычно не только слушаем, что он говорит, но и внимательно смотрим за движением его губ. Сопоставляя эти две разновидности информации, наш мозг получает лучшее представление об исходном сообщении. Обычно мы не осознаём, что нам помогают в этом движения губ, но когда мы смотрим озвученный иностранный фильм (или фильм на нашем родном языке, в котором плохо смонтирована фонограмма), мы сразу чувствуем, что что-то не так, потому что движения губ не соответствуют звукам.
Применение теории информации позволило сделать телефонные линии более эффективным средством передачи сообщений8 Но роль, которую сыграла теория информации, отнюдь не ограничивается увеличением прибыли телефонных компаний. Определение информации через простые физические состояния (такие, как положения “вкл” и “выкл” электронного переключателя) означало, что теперь информацию можно хранить на физических носителях, то есть на цифровых запоминающих устройствах. Долгое время для хранения информации использовались книги, написанные и читаемые людьми.
Новые запоминающие устройства позволяли записывать и считывать информацию машинам, от которых не требовалось понимания смысла записываемых и считываемых знаков. И конечно, эти новые запоминающие устройства можно было наполнять уже новым содержанием.
Уже в 1943 году Уоррен Маккаллок и Уолтер Питтс выдвинули новую нейронную доктрину, согласно которой нейрон - это элементарная функциональная единица мозга, служащая для обработки информации. Маккаллок и Питтс также предположили, что из обширных сетей простых электронных “нейронов” можно сконструировать искусственный мозг. Первые компьютеры были сделаны не по образцу нейронных сетей, однако, подобно искусственным нейронным сетям, они представляли собой устройства, способные хранить, передавать и видоизменять информацию в соответствии с определенными правилами. Когда в сороковых годах были сконструированы первые такие компьютеры, их сразу стали называть “электронные мозги”. Такие машины можно было научить делать то, что делает наш мозг.
На что же способны хитроумные устройства?
В 1956 году наука о создании устройств, способных делать разные хитроумные вещи, получила название “искусственный интеллект”. Исследовательская программа этой науки, как и любой другой, предполагала, что начать нужно с решения самых легких проблем. Восприятие окружающего мира казалось сравнительно легким делом. Почти все люди умеют с легкостью читать рукописный текст и узнавать лица, и поначалу казалось, что создать машину, способную читать рукописный текст и узнавать лица, должно быть тоже не особенно сложно. Игра в шахматы-напротив, очень сложное дело. Очень немногие люди способны играть в шахматы на уровне гроссмейстера. Создание машин, умеющих играть в шахматы, лучше было отложить на потом.
Прошло пятьдесят лет, и компьютер, предназначенный для игры в шахматы, выиграл у чемпиона мира9 Проблема научить машину восприятию, напротив, оказалась очень сложной. Люди по-прежнему умеют узнавать лица и читать рукописный текст намного лучше, чем машины. Почему же эта проблема оказалась такой сложной?
Оказывается, даже моей способностью видеть, что сад у меня за окном полон разных объектов, очень сложно наделить машину. Тому есть много причин. Например, видимые объекты перекрывают друг друга, а некоторые из них еще и движутся.
Откуда я знаю, что это за коричневое пятно - часть забора, или дерева, или птицы? Мой мозг решает все эти удивительно сложные задачи и заставляет меня думать, что я воспринимаю мир, не прилагая никаких усилий.
Как же он это делает?
Развитие теории информации и цифровых компьютеров показало, что наше восприятие - дело очень сложное. Но наш мозг с ним справляется. Означает ли это, что цифровой компьютер не может служить хорошей моделью мозга? Или нам нужно найти какие-то новые способы обработки информации и научить им компьютеры?
Проблема с теорией информации
Создание теории информации было очень важным достижением. Оно позволило нам понять, как физическое явление - электрический импульс - может стать психическим явлением - нервным сигналом (сообщением). Но с первоначальной формулировкой была связана одна принципиальная проблема. Предполагалось, что объем информации в любом сообщении или, в более общем случае, в любом раздражителе полностью определяется этим раздражителем. Прекрасная концепция информации, но из нее следуют некоторые парадоксальные вещи.
Мы лучше всего распознаем объекты по их контурам.
Мы можем легко узнать лицо по одним контурам (справа), но улыбка лучше распознается на размытом изображении (слева).
Вспомним, что каждая буква в сообщении несет тем больше информации, чем она необычнее. Поэтому буква Q обычно несет много информации, а идущая за ней буква U не несет никакой информации. Тот же подход можно применить и к изображениям. Любое изображение состоит не из букв, а из элементов изображения (или пикселов), которые могут быть разного цвета. Рассмотрим простое изображение черного квадрата на белом фоне. Какие элементы этого изображения наиболее информативны? Когда наш взгляд движется по однотонно окрашенному участку, он не видит ничего необычного, потому что при этом не происходит никаких изменений. Но вот наш взгляд достигает границы, где проходит контур квадрата, и происходит неожиданное изменение цвета. Следовательно, в соответствии с теорией информации, наиболее информативны должны быть именно контуры изображения. О том же говорит нам интуиция. Если заменить объект его контурами, иными словами, оставить только информативные границы, мы по-прежнему сможем распознать этот объект.
Высокоинформативный набор случайных точек.
Это изображение несет максимум информации, так как нельзя предсказать, какой цвет имеет та или иная точка.
Но из этой формулировки следует парадокс. Согласно этому определению самым информативным изображением будет такое, в котором мы никак не сможем угадать следующий элемент, на который, двигаясь, упадет наш взгляд. То есть это изображение, целиком состоящее из точек, окрашенных случайным образом. Такие изображения мы видим, когда у нас что-то не так с телевизором и на его экране возникает рябь, так называемый “снег”. Как справедливо отмечает профессор английского языка, когда я показываю ей иллюстрации, сгенерированные компьютером, это самые скучные изображения, которые ей доводилось видеть. Проблема концепции, которую дает нам теория информации, состоит в том, что в ней никак не учитывается субъект, смотрящий на изображение10 В рамках этой концепции все смотрящие равны, и их восприятие раздражителя должно быть одинаковым. Но мы-то знаем, что все смотрящие разные. Они отличаются разным прошлым опытом и разными ожиданиями. Эти отличия сказываются на нашем восприятии. Рассмотрим черный квадрат на рис. 5.4. Для некоторых смотрящих это не просто черный квадрат. Это “Черный квадрат” Казимира Малевича, выставленный им в 1915 году, первый образец отвлеченного, абстрактного искусства русских супрематистов. В данном случае знание того, что это значительное произведение искусства, меняет наше восприятие объекта11 несмотря на то что объем содержащейся в нем информации при этом не меняется. Этот простейший пример показывает, как наши исходные знания влияют на наше восприятие.
Казимир Северинович Малевич “Черный квадрат” (начало XX века).
Преподобный Томас Байес
Как же тогда мы можем видоизменить теорию информации, чтобы она учитывала различия в опыте и ожиданиях наблюдателей? Нам нужно сохранить нашу идею, что информативность сообщения (или изображения) определяется его новизной и неожиданностью. Но теперь ее нужно дополнить новой идеей, что сообщение может для одного человека быть неожиданнее, чем для другого. Объективно новое и неожиданное сообщение можно определить как сообщение, меняющее наше представление о мире и, следовательно, наше поведение.
Сегодня вечером я собирался пойти на семинар по нейроэстетике, но его отменили. Вместо этого я могу пойти в бар. Там я встречаю профессора английского языка. На нее это сообщение никак не повлияло. Она никогда не ходит на нейробиологические семинары.
Мы можем также сказать, что информативность сообщения определяется степенью, в которой оно меняет наши убеждения12 об окружающем мире. Чтобы узнать, какой объем информации содержится в сообщении, передаваемом получателю, нужно узнать, каковы были убеждения получателя до поступления этого сообщения. Тогда мы сможем увидеть, насколько эти убеждения изменились после того, как сообщение было получено. Но можем ли мы определить такие априорные убеждения и происходящие в них изменения?
Решение этой проблемы нашел человек, который будет, наверное, самым необычным из всех ученых, попавших на страницы этой книги. Преподобный Томас Байес (1702-1761) был пресвитерианским священником и за всю свою жизнь не опубликовал ни одной научной работы, хотя и стал в 1742 году членом Лондонского королевского общества. Только через два года после его смерти его классическая работа была наконец опубликована в “Философских трудах Королевского общества”. После этого она больше ста лет пребывала в забвении. Только в двадцатых годах XX века слава Байеса начала расти. Для Рональда Фишера, бывшего тогда президентом Королевского статистического общества, Байес был настоящим кумиром, и в результате усердного лоббирования со стороны статистиков его в конце концов включили в “Национальный биографический словарь”. И все же он оставался почти неизвестным за пределами круга тех, кто профессионально занимался статистикой. И даже те, кто слышал о байесовской статистике, часто считали, что ей не хватает должной объективности.
Но в последние 10 лет Томас Байес стал суперзвездой. В сети есть множество сайтов, где объясняется теорема Байеса и сообщается: “Главное, что Байес крут, а кто не знает Байеса, тот не крут”. А если вы не верите тому, что говорят в интернете, то, быть может, вас убедит New York Times за 20 января 2004 года?
““В научной среде байесовская революция вот-вот станет преобладающей точкой зрения, что 10 лет назад казалось немыслимым”, - говорит Брэдли Карлин, профессор здравоохранения из Университета Миннесоты”.
Из-за чего же возник весь этот ажиотаж?
Вот как формулируется теорема Байеса:
p(A|X) = p(X|A) p(A) / p(X).
Возьмем некоторое явление (A), о котором мы хотим узнать, и наблюдение (X), которое дает нам какие-то сведения об А. Теорема Байеса говорит нам, насколько увеличится наше знание об А в свете новых сведений X. Нам незачем вникать в детали этого уравнения. Главное - что это уравнение дает нам именно ту математическую формулу убеждений, которую мы искали. Убеждению в данном случае соответствует математическое понятие вероятности. Вероятность позволяет измерить, в какой степени я убежден в чем-то. Если я в чем-то совершенно уверен (например, в том, что утром взойдет солнце), вероятность равна единице [в форме уравнения это можно выразить так: p(взойдет солнце) = 1]. А если я совершенно уверен, что что-то никогда не случится, вероятность равна нулю [p(Крис Фрит выиграет конкурс “Евровидение”) = 0]. Большинство наших убеждений не так тверды и занимают промежуточное положение между нулем и единицей [p(поезд, на котором я езжу на работу, опоздает) = 0,5]. И эти промежуточные убеждения постоянно изменяются по мере того, как мы получаем новые сведения. Прежде чем ехать на работу, я уточню положение поездов Лондонского метро в интернете, и эти новые сведения изменят мое убеждение о вероятности опоздания поезда (хотя и ненамного…).
Могила преподобного Томаса Байеса.
Томас Байес похоронен на кладбище Банхилл-Филдс в центре Лондона. В XVIII веке на этом кладбище хоронили нонконформистов13, но теперь это общественный парк. Могила была отреставрирована в 1969 году, на средства “статистиков со всего мира”.
Источник: Фото профессора Тони О’Хагана из Шеффилдского университета.
Теорема Байеса показывает, насколько именно изменится мое убеждение относительно A в свете новых сведений X. В приведенном выше уравнении p(A) - мое первоначальное, или априорное, убеждение об А до поступления новых сведений X, p(X|A) - вероятность получения сведений X в случае, если A действительно будет иметь место, а p(A|X) - мое последующее, или апостериорное, убеждение об А с учетом новых сведений X. Все это станет понятнее на конкретном примере.
Вас, вероятно, удивило, почему это Брэдли Карлин, профессор здравоохранения из Университета Миннесоты, так интересуется теоремой Байеса. Дело в том, что здравоохранение - одна из тех многих областей, где теорема Байеса находит свое применение.
Рассмотрим проблему рака груди14. Обратимся к частному случаю, связанному с эффективностью массовых обследований. Мы знаем (это наше априорное убеждение), что к 40 годам у 1% женщин развивается рак груди (p(A) = 0,01). Кроме того, у нас есть хороший метод выявления рака груди - маммография (этот метод дает нам новые сведения). Результат маммографии будет положительным у 80% женщин с раком груди (p(X|A) = 0,8) и лишь у 9,6% женщин без рака груди (p(X|~A) = 0,096). Таковы вероятности получения наших сведений в случае, если наше убеждение истинно. Судя по этим цифрам, кажется очевидным, что регулярные обследования на предмет наличия рака груди - вещь хорошая. Итак, если мы обследуем всех женщин, то какова будет среди тех, у кого обследование даст положительный результат, доля тех, у кого действительно будет рак груди, то есть каково будет значение p(A|X)?
Учитывая, что этот метод кажется хорошим, каково будет ваше убеждение относительно женщины, для которой только что получен положительный результат маммографического обследования на рак груди? Большинство людей сказали бы, что у нее, скорее всего, рак груди. Но применение теоремы Байеса показывает, что это мнение ошибочно. Мы можем легко убедиться в этом, если на время забудем о вероятностях. Вместо этого давайте рассмотрим 10 000 женщин в возрасте 40 лет и старше.
Еще до обследования эти 10 000 женщин можно мысленно разделить на две группы:
Группа 1: 100 женщин с раком груди;
Группа 2: 9 900 женщин без рака груди.
Группа 1 - этот тот 1% женщин, у которых развился рак: p(A)
После обследования женщин можно разделить на четыре группы:
Группа А: 80 женщин с раком груди и положительной маммографией;
Группа Б: 20 женщин с раком груди, но с отрицательной маммографией.
Группа А - это те 80% женщин с раком груди, у которых его выявляет маммография: p(X|A)
Группа В: 950 женщин без рака груди, но с положительной маммографией;
Группа Г: 8 950 женщин без рака груди и с отрицательной маммографией.
Группа В - это те 9,6% женщин, у которых нет рака груди, но результат маммографии положительный: p(X|~A).
Итак, результат обследования оказался положительным у 950 женщин, у которых нет рака груди, и только у 80 женщин, у которых есть рак груди. Чтобы ответить на вопрос “Какова доля женщин с раком груди среди тех, у кого результат маммографии положительный?”, мы разделим число женщин в группе A на суммарное число женщин в группах А и В (то есть на общее число женщин с положительной маммографией). Это даст нам ответ 7,8%. Иными словами, более 90% женщин, у которых маммография дает положительный результат, в действительности не больны раком груди. Несмотря на то что маммография - хороший метод выявления рака груди, теорема Байеса говорит нам, что получаемые с ее помощью сведения сравнительно малоинформативны15. Проблема возникает оттого, что мы обследуем сразу всех женщин в возрасте 40 лет и старше. Для женщин этой большой группы априорное ожидание рака весьма невелико. Теорема Байеса показывает, что результаты маммографии будут намного информативнее, если обследовать “группы риска”, например женщин, у которых в семье были случаи рака груди.
Теперь вам уже, наверное, кажется, что вы узнали больше, чем нужно, о том, как на деле работает теорема Байеса. Какое же все это имеет отношение к решению проблемы познания окружающего мира?
Идеальный байесовский наблюдатель
Важность теоремы Байеса состоит в том, что она дает нам возможность очень точно измерять степень, в которой новые сведения должны менять наши представления о мире. Теорема Байеса дает нам критерий, позволяющий судить о том, адекватно ли мы используем новые знания. На этом и основана концепция идеального байесовского наблюдателя - воображаемого существа, всегда использующего получаемые сведения наилучшим из возможных способов. Как мы только что убедились из примера с раком груди, у нас очень плохо выходит использовать получаемые сведения, когда речь идет о редких событиях и больших числах. Психологи охотно придумывают забавные и полезные задачи, которые у студентов, даже тех, кто изучает статистику и логику, никак не получается правильно решить16. Но хотя нам, когда мы пытаемся решать такие задачи, и далеко до идеального наблюдателя, у нас есть уже немало свидетельств того, что наш мозг не сбивают с толку ни редкие события, ни большие числа. Наш мозг, когда он обрабатывает данные, поступающие от органов чувств, ведет себя как настоящий идеальный наблюдатель.
Отступление о преподобном Томасе Байесе и национальной безопасности: когда идеальный наблюдатель оказывается неидеальным.
Наш мозг, пока мы ему не мешаем, ведет себя как идеальный байесовский наблюдатель. Так почему же эта идеальная система дает сбои, когда мы сами начинаем думать над решением задачи? Не оттого ли это, что в некоторых условиях этот идеальный наблюдатель оказывается не таким уж идеальным?
Приведем пример из проведенных в Бостоне исследований Джереми Вулфа (Jeremy Wolfe) и его коллег. Они экспериментировали с заданием, за образец которого взяли задачу работников службы безопасности, сканирующих вещи в аэропорту в поисках ножей и взрывчатых веществ, а также разных других запрещенных к провозу объектов. Когда искомые объекты встречались часто, испытуемые показывали совсем неплохой результат, не замечая лишь около 7% запрещенных объектов, но когда такие объекты встречались очень редко, результат оказывался крайне неутешительным. В одном из экспериментов испытуемые не заметили больше 50% искомых объектов, находившихся лишь в 1% досмотренных вещей. В этом эксперименте испытуемые вели себя как идеальные наблюдатели.
Когда искомые объекты встречаются очень редко, идеальному наблюдателю нужно намного больше данных, чтобы установить наличие такого объекта. Но когда искомый объект - это бомба, спрятанная в чемодане, идеальный наблюдатель оказывается не таким уж идеальным. Слишком серьезны могут быть последствия незамеченной бомбы.
Например, одна из задач, которые должен решать наш мозг, состоит в сопоставлении сведений, поступающих от разных органов чувств. Когда мы слушаем речь другого человека, наш мозг сопоставляет сведения, поступающие от глаз (вид движущихся губ) и от ушей (звук голоса). Когда мы берем в руку какой-нибудь предмет, наш мозг сопоставляет сведения, поступающие от глаз (каков этот предмет на вид) и осязательных рецепторов (каков этот предмет на ощупь). Совмещая эти сведения, наш мозг ведет себя как настоящий идеальный байесовский наблюдатель. Он игнорирует неубедительные свидетельства и акцентирует убедительные. Разговаривая с профессором английского языка на очень шумной вечеринке, я невольно буду внимательно смотреть на движения ее губ, потому что в такой ситуации сведения, поступающие от глаз, могут оказаться полезнее, чем сведения, поступающие от ушей.
Как байесовский мозг может создавать модели мира?
Но есть и еще один аспект теоремы Байеса, который даже важнее для понимания того, как работает наш мозг. В формуле Байеса два ключевых элемента: p(A|X) и p(X|A). Величина p(A|X) говорит нам, насколько мы должны изменить наше представление об окружающем мире (A) после получения новых сведений (X). Величина p(X|A) говорит нам, каких сведений (X) мы должны ожидать, исходя из нашего убеждения (A). Мы можем взглянуть на эти элементы как на средства, позволяющие нашему мозгу делать предсказания и отслеживать ошибки в них. Руководствуясь своими представлениями об окружающем мире, наш мозг может предсказывать характер событий, которые будут отслеживать наши глаза, уши и другие органы чувств: p(X|A). Что же происходит, когда такое предсказание оказывается ошибочным? Отслеживать ошибки в подобных предсказаниях особенно важно, потому что наш мозг может использовать их для уточнения и улучшения своих представлений об окружающем мире: p(A|X). После внесения такого уточнения мозг получает новое представление о мире и может снова повторить ту же процедуру, сделав новое предсказание о характере событий, отслеживаемых органами чувств. С каждым повтором этого цикла ошибка в предсказаниях уменьшается. Когда ошибка оказывается достаточно маленькой, наш мозг “знает”, что творится вокруг нас. И все это происходит так быстро, что мы даже не осознаём выполнения всей этой сложной процедуры. Нам может казаться, что представления о том, что творится вокруг, даются нам легко, но они требуют неустанного повторения мозгом этих циклов предсказаний и уточнений.
[Примечания:]
1 По оценкам исследователей кора головного мозга содержит порядка 10 миллиардов нейронов, а мозжечок около 70 миллиардов, всего же нейронов в мозгу почти 100 миллиардов (1011). - Примеч. авт.
2 Факт существования этих промежутков удалось окончательно подтвердить только в 1954 году, когда появилась возможность использовать электронные микроскопы. В 1906 году Сантьяго Рамон-и-Кахаль получил Нобелевскую премию вместе с Камилло Гольджи, который изобрел методику окрашивания тканей мозга для исследования их тонкой структуры. В своей нобелевской речи Гольджи отверг нейронную доктрину, оставшись верным своей идее, что мозг состоит из непрерывной сети взаимосвязанных волокон. Рамон-и-Кахаль был страшно зол на Гольджи за его “демонстрацию гордыни и самопоклонения” человека, “герметически запечатанного и непроницаемого для непрерывных изменений, происходящих в интеллектуальной среде”. - Примеч. авт.
3 Эту идею сформулировал Ральф Хартли (Ralph Hartley) в 1928 году.- Примеч. авт.
4 Эту теорию разработал Клод Шеннон (Claude Shannon) в 1948 году. - Примеч. авт.
5 Биты соответствуют двоичным цифрам. Число 2,58 (логарифм шести по основанию два) есть среднее число вопросов, предполагающих ответ “да” или “нет”, которые требуется задать, чтобы узнать, какое число выпало при бросании кости. Вначале я спрашиваю: “Оно больше трех?” Если ответ “да”, то это четыре, пять или шесть. Затем я спрашиваю: “Оно больше четырех?” Если ответ “нет”, то это четыре, и я узнал ответ за два вопроса. Если ответ “да”, то это или пять, или шесть, и тогда мне нужно задать еще один вопрос. Чтобы узнать одно число из шести, мне всегда потребуется задать от двух до трех вопросов. - Примеч. авт.
6 В английском языке буква Q встречается только в сочетании QU, за исключением немногих слов, заимствованных из других языков. - Примеч. перев.
7 Один и самых фундаментальных законов природы состоит в том, что, как бы мы ни старались, часть наших трудов всегда пропадает впустую. Тепло, выделяемое электрической лампочкой, трение в подшипниках колеса, шум на телефонной линии, а также, вероятно, и ошибки людей-операторов невозможно полностью устранить. - Примеч. авт.
8 Хотя избыточность информации и можно использовать для преодоления проблемы шума и ошибок на телефонной линии, это всегда требует дополнительных затрат, так как для этого нужно передавать больше знаков. Применение теории информации позволило находить оптимальные пути использования избыточности, требующие минимальных затрат. Примером таких решений может служить контроль циклическим избыточным кодом, используемый в модемах, позволяющих нам выходит в интернет. - Примеч. авт.
9 В 1997 году сконструированный корпорацией IBM суперкомпьютер Deep Blue выиграл в шахматы у Гарри Каспарова, которого многие считают одним из величайших шахматистов всех времен. Компьютер победил во многом благодаря своей способности проводить сложные математические расчеты. Он мог анализировать 200 миллионов ходов в секунду. Люди так в шахматы не играют. - Примеч. авт.
10 Я преувеличиваю несовершенство теории информации. Идеального байесовского наблюдателя, с которым мы вскоре познакомимся, можно описать и в терминах теории информации: он максимизирует полное количество информации, общей для окружающего мира и его самого. - Примеч. авт.
11 А может быть, и не меняет. - Примеч. авт.
12 Слово “убеждение” (belief) здесь используется в особом смысле: степень моего убеждения в истинности некоторого утверждения есть предполагаемая мной вероятность того, что это утверждение истинно. - Примеч. авт.
13 Нонконформисты - британские протестанты, не признававшие власти Англиканской церкви (пресвитерианцы, баптисты, квакеры и др.). - Примеч. перев.
14 Пример из статьи Элиэзера Юдковского “Доступное объяснение теоремы Байеса” (An Intuitive Explanation of Bayes’ Theorem), http://yudkowsky.net/bayes/bayes.html. - Примеч. авт.
15 Именно поэтому, несмотря на то что на первый взгляд кажется, что проводить такие обследования - хорошая идея, в итоге у многих возникли серьезные сомнения в эффективности этой меры. - Примеч. авт.
16 Особенно увлекательно эти вещи описал Стюарт Сазерленд. - Примеч. авт.
Крис Фрит
Neils Bohr Visiting Professor, University of Aarhus in Denmark
Наш мозг создает у нас ощущение легкости восприятия
Примечательная особенность нашего восприятия материального мира во всей его красоте и во всех подробностях состоит в том, что оно кажется нам таким легким. Если верить нашим чувствам, восприятие окружающего мира для нас не проблема. Но это чувство легкости и мгновенности нашего восприятия есть иллюзия, создаваемая нашим мозгом. И мы не знали об этой иллюзии, пока не попытались сделать машины, способные к восприятию.
Единственный способ узнать, легко или сложно нашему мозгу воспринимать окружающий мир, это сделать искусственный мозг, способный к восприятию окружающего. Чтобы сделать такой мозг, нужно установить, из каких компонентов он должен состоять, и узнать, какие функции должны выполнять эти компоненты.
Информационная революция
Основные компоненты головного мозга были открыты нейрофизиологами в конце XIX века. Тонкая структура мозга была установлена путем изучения под микроскопом тонких срезов мозговой ткани. Эти срезы окрашивали различным образом, чтобы увидеть разные аспекты структуры мозга. Исследования показали, что мозг содержит множество нервных клеток1 и очень сложную сеть взаимосвязанных волокон. Но главное открытие в области изучения основных компонентов мозга сделал нейроанатом Сантьяго Рамон-и-Кахаль. Путем детальных исследований он показал, что волокна этой сети растут из нервных клеток и, что особенно важно, в этой сети есть промежутки. Волокно, растущее из одной клетки, подходит очень близко к следующей клетке, но не сливается с ней. Эти промежутки и есть синапсы, описанные в предыдущей главе. Из результатов своих исследований Рамон-и-Кахаль сделал вывод, что основным элементом мозга является нейрон, то есть нервная клетка, со всеми ее волокнами и другими отростками. Эта концепция получила широкое признание и стала известна как “нейронная доктрина”2.
Но что же, собственно, делают нейроны, эти основные элементы мозга? В середине XIX века Эмиль Дюбуа-Реймон продемонстрировал электрическую природу нервных импульсов. А к концу XIX века Давид Феррье и другие исследователи показали, что электрическая стимуляция определенных участков мозга вызывает специфические движения и ощущения. Электрические импульсы, распространяющиеся по волокнам нейронов, переносят сигналы из одного участка мозга в другой, активируя там другие нейроны или подавляя их активность. Но как могут подобные процессы лежать в основе работы устройства, способного воспринимать объекты окружающего мира?
Великий клубок, который был распутан.
Нервные клетки - элементарные единицы, из которых состоит мозг. На этом рисунке Сантьяго Рамона-и-Кахаля показаны нервные клетки коры головного мозга, окрашенные по методике, разработанной Камилло Гольджи. Видны многочисленные нейроны разного типа и их отростки.
Серьезный шаг в направлении решения этой проблемы был сделан даже не нейрофизиологами, а инженерами-проектировщиками телефонных линий. Телефонные линии похожи на нейроны: и по тем, и по другим распространяются электрические импульсы. В телефонной линии электрические импульсы активируют динамик на другом конце провода точно так же, как импульсы моторных нейронов могут активировать мышцы, к которым ведут отростки этих нейронов. Но мы знаем, что телефонные линии нужны не для передачи энергии, а для передачи сообщений, будь то в форме речи или в форме точек и тире азбуки Морзе.
Инженеры корпорации Bell Telephone Laboratories занимались поисками наиболее эффективного способа передачи телефонных сообщений. В ходе их исследований возникла идея, что телефонные провода в действительности служат для передачи информации3. Весь смысл передачи сообщения состоит в том, чтобы после его получения мы знали больше, чем до него. Теория информации4 дает нам метод, позволяющий измерять, насколько увеличились наши знания после получения определенного сообщения.
До начала игры в крикет мы еще не знаем, кому достанется первая подача, пока арбитр не бросит монетку. Перед бросанием монетки есть две возможности: или первая подача будет у англичан, или у австралийцев. После бросания монетки от этих двух возможностей останется одна определенность: теперь мы знаем, что первая подача у англичан. Подобное увеличение знаний, когда из двух возможностей выбирается что-то одно, называют одним битом информации. Когда мы бросаем игральную кость, а не монетку, у нас есть шесть возможностей, и мы получаем больше информации, потому что одно определенное сообщение выбирается из шести возможных. Количество информации, которую мы получаем в данном случае, составляет 2,58 бит5 Пользуясь этим определением, мы можем измерить, сколько информации передается по телефонной линии и с какой скоростью (измеряемой в битах в секунду, или бодах) она передается. При скорости в 300 бод по линии передается около 60 знаков в секунду, так как каждый знак (например, буква или цифра) несет в среднем около 5 бит информации.
При этом, разумеется, одни знаки несут меньше информации, чем другие. Например, буквы, которые встречаются часто, такие как E в английском, несут меньше информации, чем редкие буквы, такие как Z. Хуже всего обстоит дело с буквой U, идущей после Q6 В этом положении буква U вообще не несет никакой информации. Про такие знаки говорят, что они избыточны. Может быть, наши коммуникации с помощью языка стали бы намного эффективнее, если бы мы избавились от избыточных знаков и стали реже использовать такие знаки, как буква E?
На деле подобные усовершенствования ничего не дают, потому что реальный мир несовершенен: рукописные тексты всегда содержат описки и двусмысленности, наборщики делают опечатки, телефонные линии полны помех7 К тому времени, как сообщение достигнет другого конца линии, некоторые его фрагменты потеряются, а некоторые посторонние звуки окажутся добавлены. Для идеальных сообщений, в которых нет избыточных знаков, подобный шум губителен. Другого конца провода достигнет сообщение, отличное от исходного, и не будет никакой возможности узнать, что произошла ошибка.
Если же сообщение содержит избыточные биты информации, то ошибки можно отследить и восстановить исходное сообщение. Например, можно послать одно и то же сообщение дважды. Второе сообщение совершенно избыточно, но если между двумя полученными сообщениями есть разница, мы поймем, что произошли какие-то ошибки. Мы, конечно, по-прежнему не будем знать, какой вариант правильный. Но если мы пошлем то же сообщение в третий раз, мы можем отследить случаи, где два из полученных трех сообщений совпадают, и, исходя из этого, выбрать правильный вариант.
Я помню времена, когда у нас не было не только компьютеров, но и электронных калькуляторов. Сложные математические расчеты приходилось выполнять вручную, и при этом почти неизбежно возникали ошибки. Стандартная процедура отслеживания таких ошибок состояла в том, чтобы повторять выполняемые расчеты трижды. Если в двух случаях из трех получался один и тот же ответ, он, скорее всего, и был правильным, потому что маловероятно, чтобы в обоих расчетах была допущена одна и та же ошибка.
Наш мозг сталкивается с той же самой проблемой. Сообщения об окружающем мире, поступающие от наших глаз и ушей, содержат шум и полны ошибок, поэтому наш мозг не может уверенно сказать, где “правда”, а где “ошибка”. Чтобы избежать этого, наш мозг вовсю пользуется избыточностью поступающей информации. Когда мы разговариваем с другим человеком, мы обычно не только слушаем, что он говорит, но и внимательно смотрим за движением его губ. Сопоставляя эти две разновидности информации, наш мозг получает лучшее представление об исходном сообщении. Обычно мы не осознаём, что нам помогают в этом движения губ, но когда мы смотрим озвученный иностранный фильм (или фильм на нашем родном языке, в котором плохо смонтирована фонограмма), мы сразу чувствуем, что что-то не так, потому что движения губ не соответствуют звукам.
Применение теории информации позволило сделать телефонные линии более эффективным средством передачи сообщений8 Но роль, которую сыграла теория информации, отнюдь не ограничивается увеличением прибыли телефонных компаний. Определение информации через простые физические состояния (такие, как положения “вкл” и “выкл” электронного переключателя) означало, что теперь информацию можно хранить на физических носителях, то есть на цифровых запоминающих устройствах. Долгое время для хранения информации использовались книги, написанные и читаемые людьми.
Новые запоминающие устройства позволяли записывать и считывать информацию машинам, от которых не требовалось понимания смысла записываемых и считываемых знаков. И конечно, эти новые запоминающие устройства можно было наполнять уже новым содержанием.
Уже в 1943 году Уоррен Маккаллок и Уолтер Питтс выдвинули новую нейронную доктрину, согласно которой нейрон - это элементарная функциональная единица мозга, служащая для обработки информации. Маккаллок и Питтс также предположили, что из обширных сетей простых электронных “нейронов” можно сконструировать искусственный мозг. Первые компьютеры были сделаны не по образцу нейронных сетей, однако, подобно искусственным нейронным сетям, они представляли собой устройства, способные хранить, передавать и видоизменять информацию в соответствии с определенными правилами. Когда в сороковых годах были сконструированы первые такие компьютеры, их сразу стали называть “электронные мозги”. Такие машины можно было научить делать то, что делает наш мозг.
На что же способны хитроумные устройства?
В 1956 году наука о создании устройств, способных делать разные хитроумные вещи, получила название “искусственный интеллект”. Исследовательская программа этой науки, как и любой другой, предполагала, что начать нужно с решения самых легких проблем. Восприятие окружающего мира казалось сравнительно легким делом. Почти все люди умеют с легкостью читать рукописный текст и узнавать лица, и поначалу казалось, что создать машину, способную читать рукописный текст и узнавать лица, должно быть тоже не особенно сложно. Игра в шахматы-напротив, очень сложное дело. Очень немногие люди способны играть в шахматы на уровне гроссмейстера. Создание машин, умеющих играть в шахматы, лучше было отложить на потом.
Прошло пятьдесят лет, и компьютер, предназначенный для игры в шахматы, выиграл у чемпиона мира9 Проблема научить машину восприятию, напротив, оказалась очень сложной. Люди по-прежнему умеют узнавать лица и читать рукописный текст намного лучше, чем машины. Почему же эта проблема оказалась такой сложной?
Оказывается, даже моей способностью видеть, что сад у меня за окном полон разных объектов, очень сложно наделить машину. Тому есть много причин. Например, видимые объекты перекрывают друг друга, а некоторые из них еще и движутся.
Откуда я знаю, что это за коричневое пятно - часть забора, или дерева, или птицы? Мой мозг решает все эти удивительно сложные задачи и заставляет меня думать, что я воспринимаю мир, не прилагая никаких усилий.
Как же он это делает?
Развитие теории информации и цифровых компьютеров показало, что наше восприятие - дело очень сложное. Но наш мозг с ним справляется. Означает ли это, что цифровой компьютер не может служить хорошей моделью мозга? Или нам нужно найти какие-то новые способы обработки информации и научить им компьютеры?
Проблема с теорией информации
Создание теории информации было очень важным достижением. Оно позволило нам понять, как физическое явление - электрический импульс - может стать психическим явлением - нервным сигналом (сообщением). Но с первоначальной формулировкой была связана одна принципиальная проблема. Предполагалось, что объем информации в любом сообщении или, в более общем случае, в любом раздражителе полностью определяется этим раздражителем. Прекрасная концепция информации, но из нее следуют некоторые парадоксальные вещи.
Мы лучше всего распознаем объекты по их контурам.
Мы можем легко узнать лицо по одним контурам (справа), но улыбка лучше распознается на размытом изображении (слева).
Вспомним, что каждая буква в сообщении несет тем больше информации, чем она необычнее. Поэтому буква Q обычно несет много информации, а идущая за ней буква U не несет никакой информации. Тот же подход можно применить и к изображениям. Любое изображение состоит не из букв, а из элементов изображения (или пикселов), которые могут быть разного цвета. Рассмотрим простое изображение черного квадрата на белом фоне. Какие элементы этого изображения наиболее информативны? Когда наш взгляд движется по однотонно окрашенному участку, он не видит ничего необычного, потому что при этом не происходит никаких изменений. Но вот наш взгляд достигает границы, где проходит контур квадрата, и происходит неожиданное изменение цвета. Следовательно, в соответствии с теорией информации, наиболее информативны должны быть именно контуры изображения. О том же говорит нам интуиция. Если заменить объект его контурами, иными словами, оставить только информативные границы, мы по-прежнему сможем распознать этот объект.
Высокоинформативный набор случайных точек.
Это изображение несет максимум информации, так как нельзя предсказать, какой цвет имеет та или иная точка.
Но из этой формулировки следует парадокс. Согласно этому определению самым информативным изображением будет такое, в котором мы никак не сможем угадать следующий элемент, на который, двигаясь, упадет наш взгляд. То есть это изображение, целиком состоящее из точек, окрашенных случайным образом. Такие изображения мы видим, когда у нас что-то не так с телевизором и на его экране возникает рябь, так называемый “снег”. Как справедливо отмечает профессор английского языка, когда я показываю ей иллюстрации, сгенерированные компьютером, это самые скучные изображения, которые ей доводилось видеть. Проблема концепции, которую дает нам теория информации, состоит в том, что в ней никак не учитывается субъект, смотрящий на изображение10 В рамках этой концепции все смотрящие равны, и их восприятие раздражителя должно быть одинаковым. Но мы-то знаем, что все смотрящие разные. Они отличаются разным прошлым опытом и разными ожиданиями. Эти отличия сказываются на нашем восприятии. Рассмотрим черный квадрат на рис. 5.4. Для некоторых смотрящих это не просто черный квадрат. Это “Черный квадрат” Казимира Малевича, выставленный им в 1915 году, первый образец отвлеченного, абстрактного искусства русских супрематистов. В данном случае знание того, что это значительное произведение искусства, меняет наше восприятие объекта11 несмотря на то что объем содержащейся в нем информации при этом не меняется. Этот простейший пример показывает, как наши исходные знания влияют на наше восприятие.
Казимир Северинович Малевич “Черный квадрат” (начало XX века).
Преподобный Томас Байес
Как же тогда мы можем видоизменить теорию информации, чтобы она учитывала различия в опыте и ожиданиях наблюдателей? Нам нужно сохранить нашу идею, что информативность сообщения (или изображения) определяется его новизной и неожиданностью. Но теперь ее нужно дополнить новой идеей, что сообщение может для одного человека быть неожиданнее, чем для другого. Объективно новое и неожиданное сообщение можно определить как сообщение, меняющее наше представление о мире и, следовательно, наше поведение.
Сегодня вечером я собирался пойти на семинар по нейроэстетике, но его отменили. Вместо этого я могу пойти в бар. Там я встречаю профессора английского языка. На нее это сообщение никак не повлияло. Она никогда не ходит на нейробиологические семинары.
Мы можем также сказать, что информативность сообщения определяется степенью, в которой оно меняет наши убеждения12 об окружающем мире. Чтобы узнать, какой объем информации содержится в сообщении, передаваемом получателю, нужно узнать, каковы были убеждения получателя до поступления этого сообщения. Тогда мы сможем увидеть, насколько эти убеждения изменились после того, как сообщение было получено. Но можем ли мы определить такие априорные убеждения и происходящие в них изменения?
Решение этой проблемы нашел человек, который будет, наверное, самым необычным из всех ученых, попавших на страницы этой книги. Преподобный Томас Байес (1702-1761) был пресвитерианским священником и за всю свою жизнь не опубликовал ни одной научной работы, хотя и стал в 1742 году членом Лондонского королевского общества. Только через два года после его смерти его классическая работа была наконец опубликована в “Философских трудах Королевского общества”. После этого она больше ста лет пребывала в забвении. Только в двадцатых годах XX века слава Байеса начала расти. Для Рональда Фишера, бывшего тогда президентом Королевского статистического общества, Байес был настоящим кумиром, и в результате усердного лоббирования со стороны статистиков его в конце концов включили в “Национальный биографический словарь”. И все же он оставался почти неизвестным за пределами круга тех, кто профессионально занимался статистикой. И даже те, кто слышал о байесовской статистике, часто считали, что ей не хватает должной объективности.
Но в последние 10 лет Томас Байес стал суперзвездой. В сети есть множество сайтов, где объясняется теорема Байеса и сообщается: “Главное, что Байес крут, а кто не знает Байеса, тот не крут”. А если вы не верите тому, что говорят в интернете, то, быть может, вас убедит New York Times за 20 января 2004 года?
““В научной среде байесовская революция вот-вот станет преобладающей точкой зрения, что 10 лет назад казалось немыслимым”, - говорит Брэдли Карлин, профессор здравоохранения из Университета Миннесоты”.
Из-за чего же возник весь этот ажиотаж?
Вот как формулируется теорема Байеса:
p(A|X) = p(X|A) p(A) / p(X).
Возьмем некоторое явление (A), о котором мы хотим узнать, и наблюдение (X), которое дает нам какие-то сведения об А. Теорема Байеса говорит нам, насколько увеличится наше знание об А в свете новых сведений X. Нам незачем вникать в детали этого уравнения. Главное - что это уравнение дает нам именно ту математическую формулу убеждений, которую мы искали. Убеждению в данном случае соответствует математическое понятие вероятности. Вероятность позволяет измерить, в какой степени я убежден в чем-то. Если я в чем-то совершенно уверен (например, в том, что утром взойдет солнце), вероятность равна единице [в форме уравнения это можно выразить так: p(взойдет солнце) = 1]. А если я совершенно уверен, что что-то никогда не случится, вероятность равна нулю [p(Крис Фрит выиграет конкурс “Евровидение”) = 0]. Большинство наших убеждений не так тверды и занимают промежуточное положение между нулем и единицей [p(поезд, на котором я езжу на работу, опоздает) = 0,5]. И эти промежуточные убеждения постоянно изменяются по мере того, как мы получаем новые сведения. Прежде чем ехать на работу, я уточню положение поездов Лондонского метро в интернете, и эти новые сведения изменят мое убеждение о вероятности опоздания поезда (хотя и ненамного…).
Могила преподобного Томаса Байеса.
Томас Байес похоронен на кладбище Банхилл-Филдс в центре Лондона. В XVIII веке на этом кладбище хоронили нонконформистов13, но теперь это общественный парк. Могила была отреставрирована в 1969 году, на средства “статистиков со всего мира”.
Источник: Фото профессора Тони О’Хагана из Шеффилдского университета.
Теорема Байеса показывает, насколько именно изменится мое убеждение относительно A в свете новых сведений X. В приведенном выше уравнении p(A) - мое первоначальное, или априорное, убеждение об А до поступления новых сведений X, p(X|A) - вероятность получения сведений X в случае, если A действительно будет иметь место, а p(A|X) - мое последующее, или апостериорное, убеждение об А с учетом новых сведений X. Все это станет понятнее на конкретном примере.
Вас, вероятно, удивило, почему это Брэдли Карлин, профессор здравоохранения из Университета Миннесоты, так интересуется теоремой Байеса. Дело в том, что здравоохранение - одна из тех многих областей, где теорема Байеса находит свое применение.
Рассмотрим проблему рака груди14. Обратимся к частному случаю, связанному с эффективностью массовых обследований. Мы знаем (это наше априорное убеждение), что к 40 годам у 1% женщин развивается рак груди (p(A) = 0,01). Кроме того, у нас есть хороший метод выявления рака груди - маммография (этот метод дает нам новые сведения). Результат маммографии будет положительным у 80% женщин с раком груди (p(X|A) = 0,8) и лишь у 9,6% женщин без рака груди (p(X|~A) = 0,096). Таковы вероятности получения наших сведений в случае, если наше убеждение истинно. Судя по этим цифрам, кажется очевидным, что регулярные обследования на предмет наличия рака груди - вещь хорошая. Итак, если мы обследуем всех женщин, то какова будет среди тех, у кого обследование даст положительный результат, доля тех, у кого действительно будет рак груди, то есть каково будет значение p(A|X)?
Учитывая, что этот метод кажется хорошим, каково будет ваше убеждение относительно женщины, для которой только что получен положительный результат маммографического обследования на рак груди? Большинство людей сказали бы, что у нее, скорее всего, рак груди. Но применение теоремы Байеса показывает, что это мнение ошибочно. Мы можем легко убедиться в этом, если на время забудем о вероятностях. Вместо этого давайте рассмотрим 10 000 женщин в возрасте 40 лет и старше.
Еще до обследования эти 10 000 женщин можно мысленно разделить на две группы:
Группа 1: 100 женщин с раком груди;
Группа 2: 9 900 женщин без рака груди.
Группа 1 - этот тот 1% женщин, у которых развился рак: p(A)
После обследования женщин можно разделить на четыре группы:
Группа А: 80 женщин с раком груди и положительной маммографией;
Группа Б: 20 женщин с раком груди, но с отрицательной маммографией.
Группа А - это те 80% женщин с раком груди, у которых его выявляет маммография: p(X|A)
Группа В: 950 женщин без рака груди, но с положительной маммографией;
Группа Г: 8 950 женщин без рака груди и с отрицательной маммографией.
Группа В - это те 9,6% женщин, у которых нет рака груди, но результат маммографии положительный: p(X|~A).
Итак, результат обследования оказался положительным у 950 женщин, у которых нет рака груди, и только у 80 женщин, у которых есть рак груди. Чтобы ответить на вопрос “Какова доля женщин с раком груди среди тех, у кого результат маммографии положительный?”, мы разделим число женщин в группе A на суммарное число женщин в группах А и В (то есть на общее число женщин с положительной маммографией). Это даст нам ответ 7,8%. Иными словами, более 90% женщин, у которых маммография дает положительный результат, в действительности не больны раком груди. Несмотря на то что маммография - хороший метод выявления рака груди, теорема Байеса говорит нам, что получаемые с ее помощью сведения сравнительно малоинформативны15. Проблема возникает оттого, что мы обследуем сразу всех женщин в возрасте 40 лет и старше. Для женщин этой большой группы априорное ожидание рака весьма невелико. Теорема Байеса показывает, что результаты маммографии будут намного информативнее, если обследовать “группы риска”, например женщин, у которых в семье были случаи рака груди.
Теперь вам уже, наверное, кажется, что вы узнали больше, чем нужно, о том, как на деле работает теорема Байеса. Какое же все это имеет отношение к решению проблемы познания окружающего мира?
Идеальный байесовский наблюдатель
Важность теоремы Байеса состоит в том, что она дает нам возможность очень точно измерять степень, в которой новые сведения должны менять наши представления о мире. Теорема Байеса дает нам критерий, позволяющий судить о том, адекватно ли мы используем новые знания. На этом и основана концепция идеального байесовского наблюдателя - воображаемого существа, всегда использующего получаемые сведения наилучшим из возможных способов. Как мы только что убедились из примера с раком груди, у нас очень плохо выходит использовать получаемые сведения, когда речь идет о редких событиях и больших числах. Психологи охотно придумывают забавные и полезные задачи, которые у студентов, даже тех, кто изучает статистику и логику, никак не получается правильно решить16. Но хотя нам, когда мы пытаемся решать такие задачи, и далеко до идеального наблюдателя, у нас есть уже немало свидетельств того, что наш мозг не сбивают с толку ни редкие события, ни большие числа. Наш мозг, когда он обрабатывает данные, поступающие от органов чувств, ведет себя как настоящий идеальный наблюдатель.
Отступление о преподобном Томасе Байесе и национальной безопасности: когда идеальный наблюдатель оказывается неидеальным.
Наш мозг, пока мы ему не мешаем, ведет себя как идеальный байесовский наблюдатель. Так почему же эта идеальная система дает сбои, когда мы сами начинаем думать над решением задачи? Не оттого ли это, что в некоторых условиях этот идеальный наблюдатель оказывается не таким уж идеальным?
Приведем пример из проведенных в Бостоне исследований Джереми Вулфа (Jeremy Wolfe) и его коллег. Они экспериментировали с заданием, за образец которого взяли задачу работников службы безопасности, сканирующих вещи в аэропорту в поисках ножей и взрывчатых веществ, а также разных других запрещенных к провозу объектов. Когда искомые объекты встречались часто, испытуемые показывали совсем неплохой результат, не замечая лишь около 7% запрещенных объектов, но когда такие объекты встречались очень редко, результат оказывался крайне неутешительным. В одном из экспериментов испытуемые не заметили больше 50% искомых объектов, находившихся лишь в 1% досмотренных вещей. В этом эксперименте испытуемые вели себя как идеальные наблюдатели.
Когда искомые объекты встречаются очень редко, идеальному наблюдателю нужно намного больше данных, чтобы установить наличие такого объекта. Но когда искомый объект - это бомба, спрятанная в чемодане, идеальный наблюдатель оказывается не таким уж идеальным. Слишком серьезны могут быть последствия незамеченной бомбы.
Например, одна из задач, которые должен решать наш мозг, состоит в сопоставлении сведений, поступающих от разных органов чувств. Когда мы слушаем речь другого человека, наш мозг сопоставляет сведения, поступающие от глаз (вид движущихся губ) и от ушей (звук голоса). Когда мы берем в руку какой-нибудь предмет, наш мозг сопоставляет сведения, поступающие от глаз (каков этот предмет на вид) и осязательных рецепторов (каков этот предмет на ощупь). Совмещая эти сведения, наш мозг ведет себя как настоящий идеальный байесовский наблюдатель. Он игнорирует неубедительные свидетельства и акцентирует убедительные. Разговаривая с профессором английского языка на очень шумной вечеринке, я невольно буду внимательно смотреть на движения ее губ, потому что в такой ситуации сведения, поступающие от глаз, могут оказаться полезнее, чем сведения, поступающие от ушей.
Как байесовский мозг может создавать модели мира?
Но есть и еще один аспект теоремы Байеса, который даже важнее для понимания того, как работает наш мозг. В формуле Байеса два ключевых элемента: p(A|X) и p(X|A). Величина p(A|X) говорит нам, насколько мы должны изменить наше представление об окружающем мире (A) после получения новых сведений (X). Величина p(X|A) говорит нам, каких сведений (X) мы должны ожидать, исходя из нашего убеждения (A). Мы можем взглянуть на эти элементы как на средства, позволяющие нашему мозгу делать предсказания и отслеживать ошибки в них. Руководствуясь своими представлениями об окружающем мире, наш мозг может предсказывать характер событий, которые будут отслеживать наши глаза, уши и другие органы чувств: p(X|A). Что же происходит, когда такое предсказание оказывается ошибочным? Отслеживать ошибки в подобных предсказаниях особенно важно, потому что наш мозг может использовать их для уточнения и улучшения своих представлений об окружающем мире: p(A|X). После внесения такого уточнения мозг получает новое представление о мире и может снова повторить ту же процедуру, сделав новое предсказание о характере событий, отслеживаемых органами чувств. С каждым повтором этого цикла ошибка в предсказаниях уменьшается. Когда ошибка оказывается достаточно маленькой, наш мозг “знает”, что творится вокруг нас. И все это происходит так быстро, что мы даже не осознаём выполнения всей этой сложной процедуры. Нам может казаться, что представления о том, что творится вокруг, даются нам легко, но они требуют неустанного повторения мозгом этих циклов предсказаний и уточнений.
[Примечания:]
1 По оценкам исследователей кора головного мозга содержит порядка 10 миллиардов нейронов, а мозжечок около 70 миллиардов, всего же нейронов в мозгу почти 100 миллиардов (1011). - Примеч. авт.
2 Факт существования этих промежутков удалось окончательно подтвердить только в 1954 году, когда появилась возможность использовать электронные микроскопы. В 1906 году Сантьяго Рамон-и-Кахаль получил Нобелевскую премию вместе с Камилло Гольджи, который изобрел методику окрашивания тканей мозга для исследования их тонкой структуры. В своей нобелевской речи Гольджи отверг нейронную доктрину, оставшись верным своей идее, что мозг состоит из непрерывной сети взаимосвязанных волокон. Рамон-и-Кахаль был страшно зол на Гольджи за его “демонстрацию гордыни и самопоклонения” человека, “герметически запечатанного и непроницаемого для непрерывных изменений, происходящих в интеллектуальной среде”. - Примеч. авт.
3 Эту идею сформулировал Ральф Хартли (Ralph Hartley) в 1928 году.- Примеч. авт.
4 Эту теорию разработал Клод Шеннон (Claude Shannon) в 1948 году. - Примеч. авт.
5 Биты соответствуют двоичным цифрам. Число 2,58 (логарифм шести по основанию два) есть среднее число вопросов, предполагающих ответ “да” или “нет”, которые требуется задать, чтобы узнать, какое число выпало при бросании кости. Вначале я спрашиваю: “Оно больше трех?” Если ответ “да”, то это четыре, пять или шесть. Затем я спрашиваю: “Оно больше четырех?” Если ответ “нет”, то это четыре, и я узнал ответ за два вопроса. Если ответ “да”, то это или пять, или шесть, и тогда мне нужно задать еще один вопрос. Чтобы узнать одно число из шести, мне всегда потребуется задать от двух до трех вопросов. - Примеч. авт.
6 В английском языке буква Q встречается только в сочетании QU, за исключением немногих слов, заимствованных из других языков. - Примеч. перев.
7 Один и самых фундаментальных законов природы состоит в том, что, как бы мы ни старались, часть наших трудов всегда пропадает впустую. Тепло, выделяемое электрической лампочкой, трение в подшипниках колеса, шум на телефонной линии, а также, вероятно, и ошибки людей-операторов невозможно полностью устранить. - Примеч. авт.
8 Хотя избыточность информации и можно использовать для преодоления проблемы шума и ошибок на телефонной линии, это всегда требует дополнительных затрат, так как для этого нужно передавать больше знаков. Применение теории информации позволило находить оптимальные пути использования избыточности, требующие минимальных затрат. Примером таких решений может служить контроль циклическим избыточным кодом, используемый в модемах, позволяющих нам выходит в интернет. - Примеч. авт.
9 В 1997 году сконструированный корпорацией IBM суперкомпьютер Deep Blue выиграл в шахматы у Гарри Каспарова, которого многие считают одним из величайших шахматистов всех времен. Компьютер победил во многом благодаря своей способности проводить сложные математические расчеты. Он мог анализировать 200 миллионов ходов в секунду. Люди так в шахматы не играют. - Примеч. авт.
10 Я преувеличиваю несовершенство теории информации. Идеального байесовского наблюдателя, с которым мы вскоре познакомимся, можно описать и в терминах теории информации: он максимизирует полное количество информации, общей для окружающего мира и его самого. - Примеч. авт.
11 А может быть, и не меняет. - Примеч. авт.
12 Слово “убеждение” (belief) здесь используется в особом смысле: степень моего убеждения в истинности некоторого утверждения есть предполагаемая мной вероятность того, что это утверждение истинно. - Примеч. авт.
13 Нонконформисты - британские протестанты, не признававшие власти Англиканской церкви (пресвитерианцы, баптисты, квакеры и др.). - Примеч. перев.
14 Пример из статьи Элиэзера Юдковского “Доступное объяснение теоремы Байеса” (An Intuitive Explanation of Bayes’ Theorem), http://yudkowsky.net/bayes/bayes.html. - Примеч. авт.
15 Именно поэтому, несмотря на то что на первый взгляд кажется, что проводить такие обследования - хорошая идея, в итоге у многих возникли серьезные сомнения в эффективности этой меры. - Примеч. авт.
16 Особенно увлекательно эти вещи описал Стюарт Сазерленд. - Примеч. авт.
Крис Фрит
Neils Bohr Visiting Professor, University of Aarhus in Denmark