ИИ против человека. Особое мнение
Многие наверняка знают, что в феврале этого года человечество было унижено компьютером по имени Watson, который в очной схватке обыграл чемпионов игры Jeopardy! (российский аналог - «Своя игра», принесшая известность А.Вассерману). После поражения Каспарова от Deep Blue это, пожалуй, вторая знаковая пощечина, которую нанес человеческому мозгу искусственный интеллект.
На этот счет уже сказано немало жизнеутверждающего и бодрого, но вот в свежем номере авторитетного журнала Technology Review опубликован комментарий компьютерного специалиста Jaron Lanier. Это человек, чье мнение по разным вопросам мне всегда интересно узнавать. Замечу, что я в этом не одинок: журнал TIME в 2010 году включил его в сотню наиболее влиятельных людей мира (раздел thinkers).
Jaron Lanier высказался неожиданным образом: «Использование компьютера в игре Jeopardy! негативно сказывается на общественном понимании того, что такое искусственный интеллект и как работает наука». Заметка называется It's Not a Game, ниже предлагаю ее перевод на скорую руку, передающий содержание.
Наблюдать, как компьютерная система по имени Watson побеждает двух сильнейших игроков в Jeopardy! всех времен, было забавно на коротком промежутке времени. Такая демонстрация программного обеспечения от IBM, однако, выглядит неудачной идеей в долгосрочной перспективе. Она предложила публике обманчивую картину того, что известно о машинном и человеческом интеллекте, и, что более серьезно, представила порочный подход к науке, который выгоден, прежде всего, ее недругам.
Сразу же обозначу принципиальное различие. Моя цель не в том, чтобы осуждать работу, проведенную командой, создавшей Watson. Также я не собираюсь критиковать их профессиональные публикации или взаимодействие с коллегами в области компьютерных наук. Вместо этого я сконцентрируюсь на природе поп спектакля, организованного IBM.
Почему вообще возник этот спектакль? Безусловно, есть смысл в том, чтобы делиться с публикой радостью и возбуждением от научных достижений, как это часто делает NASA. Но когда ее роверы высадились на Марсе, там не было никаких других марсоходов, с которыми тех можно было бы сравнить. В то же время в области искусственного интеллекта существует целый мир исследований. Демонстрируя свою систему на телевидении и персонифицируя ее с помощью имени и компьютерного голоса, IBM отделила ее от своего контекста, внушив впечатление - ложное - о существовании своего рода субъекта.
Сопоставьте театральщину от IBM с внедрением Wolfram Alpha, «машиной знаний» для Сети, которую физик Стивен Вольфрам презентовал в 2009 году. Хотя изначальная риторика вокруг Alpha была несколько экстремальной, порой преувеличивающей ее способности в отношении естественных языков, метод представления программы публике был гораздо более честным. Компания Wolfram Research не стала прибегать к сценической магии: Alpha стала доступной онлайн, чтобы каждый мог попробовать ее в деле. Стивен Вольфрам поощрял людей пользоваться этой технологией и сравнивать результаты, выдаваемые поисковыми системами, такими как Google. Alpha добросовестно подтверждала, что она была чем-то свежим, отличным от других и полезным. Сравнение с тем, что появилось ранее, имеет решающее значение для прогресса в науке и технике.
Однако Watson был представлен на ТВ в качестве сущности вместо технологии, а люди склонны относиться к сущностям снисходительно. Вы скорее предоставите «ему» (he) право сомневаться, в то время как «это» (it) вы будете оценивать с позиций возможностей инструмента. Watson избежал всяческих сравнительных суждений такого рода, и публике не была предоставлена возможность узнать, что бы произошло в ходе подобной эмпирической проверки. Сам Стивен Вольфрам, однако, взял на себя труд написать пост, где сравнил Watson с обычными поисковиками. Он вводил в строку поиска задания из Jeopardy! и обнаружил, что во многих случаях первый же документ, приводимый ими, содержит ответ. Обнаружение страницы, содержащей ответ, не тождественно способности правильно ответить в игре Jeopardy!, но этот небольшой эксперимент указывает на то, что умения Watson в действительности не столь экстраординарны, как об этом можно подумать во время просмотра трансляции.
Не лучше ли было показать публике подлинный научный процесс вместо того, чтобы заниматься постановкой бутафорской версии? Примером того, как это делается, может служить спонсируемый DARPA проект «Большой вызов» (Grand Challenge) по созданию самоуправляемых автомобилей. Противопоставляя технологии между собой, DARPA качественно информировало общественность и давало возможность быстро оценить текущее положение дел. Конкурс также был успешен на ТВ. Участники были мотивированы. Процесс работал.
Шоу Jeopardy!, напротив, не было информативным. Существует множество открытых вопросов относительно того, как функционирует человеческий язык и как думает мозг. Но когда машины соперничают против людей, неизбежно вводится скрытое утверждение: мол, уже известно, что человеческое мышление и машинный «интеллект» по меньшей мере сопоставимы. Конечно же, это не так.
В случае Jeopardy! правила игры выдвигают на первый план специфический навык: угадывать слова исходя из намеков. Мы знаем, что способность догадываться о слове по контексту является частью владения языком, однако не известно, насколько важно такое умение в рамках всего феномена человеческого языка. Мы не в полной мере знаем, что необходимо для того, чтобы воссоздать это явление. Даже если бы было заявлено (мелким шрифтом, как принято), что соревнование в игре Jeopardy! не следует путать с мастерством полного владения человеческим языком, случившаяся феерия оставила бы впечатление, будто ученые движутся быстрым, неотвратимым маршем к покорению языка и смысла - словно машина, умеющая реагировать в неких обстоятельствах как человек, делает нечто сходное с тем, что делает человеческий мозг.
То, что компьютерные специалисты действительно делали в данном случае, это по большей части обучение программного обеспечения находить статистические корреляции в гигантской базе текстов. Например, слова "Massachusetts," "university," "technology" и "magazine" будут часто встречаться в документах, которые также содержат сочетание "Technology Review." Эта корреляция может быть мгновенно вычислена для ответа на вопрос в Jeopardy!; похожие методы доказали свою эффективность в работе поисковых машин и автоматических справочных. Но помимо таких приложений мы не знаем, куда приведет это конкретное направление исследований, поскольку распознавание корреляций - это не то же самое, что понимание смысла; достаточно большая статистическая симуляция семантики - не то же самое, что семантика. Аналогичным образом вы можете использовать корреляции и экстраполяции, чтобы предсказать следующее число в заданной последовательности чисел. Однако вам потребуется более глубокий анализ и математическое доказательство, чтобы делать это безошибочно все время. Последовательности Гудстейна - это числовые последовательности, которые производят впечатление, будто постоянно идут вверх - до тех пор пока в конце концов не разворачиваются в обратном направлении и не достигают нуля. Предсказание, базирующееся на статистическом анализе первой стадии такой последовательности, опишет остальную часть неверно. Корреляции способны имитировать понимание, не создавая его реально.
В конечном счете, имеет ли шоу с участием Watson какое-либо значение? Почему бы не позволить пиарщикам из IBM насладиться своей минутой славы? Вот почему: существует особая опасность, когда наука презентуется обществу неаккуратным образом. Техническое сообщество должно обладать примерным поведением, потому что мы теряем легитимность у публики в Соединенных Штатах. Отрицание глобальных климатических изменений остается респектабельным в политике; многие школьные учителя биологии по-прежнему не полностью принимают эволюцию.
К сожалению, представление, устроенное с помощью Jeopardy!, демонстрирует в отношении нейронауки тот же фокус, что «разумный дизайн» проделывает с эволюцией. Факты подаются таким образом, чтобы казалось, будто они предполагают метафизическую идею: в данном случае, что мы создаем машины, которые оживают на наших глазах.
В самом деле, такая квази-религиозная идея распространена среди части технических специалистов. Очень много разговоров о компьютерах, наследующих Землю, возможно, вследствие «сингулярности» - и возможно, даже предоставляющих людям вечную жизнь в виртуальном мире, если верить Рэю Курцвейлу.
Но даже если мы открыто отстранимся от техно-религиозных идей, схема с участием Watson-а в игре Jeopardy! обнажает замысел алхимического свойства. Мы говорим: «Смотрите, искусственный интеллект наглядно проявляется в машинной обработке корреляций». Сторонник разумного дизайна скажет, что «божественный замысел наглядно проявляется в корреляциях, полученных из источников, таких как окаменелости и ДНК».
Если мы сами делаем это, то как мы можем сетовать на то, что тем же образом поступают другие? Если ученые желают уважения со стороны общественности, то должны ожидать подражания, и нам следует быть осторожными насчет того, какие методы мы предоставляем для подражания.
* * *
Jaron Lanier is a computer scientist, writer, and musician. His most recent book is You Are Not a Gadget (Knopf, 2010). He is a partner architect at Microsoft Research and the innovator in residence at the Annenberg School of USC. His name has been used in a Jeopardy! clue.
Фрагмент поединка.
Новостной сюжет с комментариями от создателей Watson, а также от Марвина Мински и Рэя Курцвейла.
P.S. Книгу "You Are Not a Gadget: A Manifesto" by Jaron Lanier [2010] давно уже можно скачать с моей книжной полки [ здесь ].
На этот счет уже сказано немало жизнеутверждающего и бодрого, но вот в свежем номере авторитетного журнала Technology Review опубликован комментарий компьютерного специалиста Jaron Lanier. Это человек, чье мнение по разным вопросам мне всегда интересно узнавать. Замечу, что я в этом не одинок: журнал TIME в 2010 году включил его в сотню наиболее влиятельных людей мира (раздел thinkers).
Jaron Lanier высказался неожиданным образом: «Использование компьютера в игре Jeopardy! негативно сказывается на общественном понимании того, что такое искусственный интеллект и как работает наука». Заметка называется It's Not a Game, ниже предлагаю ее перевод на скорую руку, передающий содержание.
Наблюдать, как компьютерная система по имени Watson побеждает двух сильнейших игроков в Jeopardy! всех времен, было забавно на коротком промежутке времени. Такая демонстрация программного обеспечения от IBM, однако, выглядит неудачной идеей в долгосрочной перспективе. Она предложила публике обманчивую картину того, что известно о машинном и человеческом интеллекте, и, что более серьезно, представила порочный подход к науке, который выгоден, прежде всего, ее недругам.
Сразу же обозначу принципиальное различие. Моя цель не в том, чтобы осуждать работу, проведенную командой, создавшей Watson. Также я не собираюсь критиковать их профессиональные публикации или взаимодействие с коллегами в области компьютерных наук. Вместо этого я сконцентрируюсь на природе поп спектакля, организованного IBM.
Почему вообще возник этот спектакль? Безусловно, есть смысл в том, чтобы делиться с публикой радостью и возбуждением от научных достижений, как это часто делает NASA. Но когда ее роверы высадились на Марсе, там не было никаких других марсоходов, с которыми тех можно было бы сравнить. В то же время в области искусственного интеллекта существует целый мир исследований. Демонстрируя свою систему на телевидении и персонифицируя ее с помощью имени и компьютерного голоса, IBM отделила ее от своего контекста, внушив впечатление - ложное - о существовании своего рода субъекта.
Сопоставьте театральщину от IBM с внедрением Wolfram Alpha, «машиной знаний» для Сети, которую физик Стивен Вольфрам презентовал в 2009 году. Хотя изначальная риторика вокруг Alpha была несколько экстремальной, порой преувеличивающей ее способности в отношении естественных языков, метод представления программы публике был гораздо более честным. Компания Wolfram Research не стала прибегать к сценической магии: Alpha стала доступной онлайн, чтобы каждый мог попробовать ее в деле. Стивен Вольфрам поощрял людей пользоваться этой технологией и сравнивать результаты, выдаваемые поисковыми системами, такими как Google. Alpha добросовестно подтверждала, что она была чем-то свежим, отличным от других и полезным. Сравнение с тем, что появилось ранее, имеет решающее значение для прогресса в науке и технике.
Однако Watson был представлен на ТВ в качестве сущности вместо технологии, а люди склонны относиться к сущностям снисходительно. Вы скорее предоставите «ему» (he) право сомневаться, в то время как «это» (it) вы будете оценивать с позиций возможностей инструмента. Watson избежал всяческих сравнительных суждений такого рода, и публике не была предоставлена возможность узнать, что бы произошло в ходе подобной эмпирической проверки. Сам Стивен Вольфрам, однако, взял на себя труд написать пост, где сравнил Watson с обычными поисковиками. Он вводил в строку поиска задания из Jeopardy! и обнаружил, что во многих случаях первый же документ, приводимый ими, содержит ответ. Обнаружение страницы, содержащей ответ, не тождественно способности правильно ответить в игре Jeopardy!, но этот небольшой эксперимент указывает на то, что умения Watson в действительности не столь экстраординарны, как об этом можно подумать во время просмотра трансляции.
Не лучше ли было показать публике подлинный научный процесс вместо того, чтобы заниматься постановкой бутафорской версии? Примером того, как это делается, может служить спонсируемый DARPA проект «Большой вызов» (Grand Challenge) по созданию самоуправляемых автомобилей. Противопоставляя технологии между собой, DARPA качественно информировало общественность и давало возможность быстро оценить текущее положение дел. Конкурс также был успешен на ТВ. Участники были мотивированы. Процесс работал.
Шоу Jeopardy!, напротив, не было информативным. Существует множество открытых вопросов относительно того, как функционирует человеческий язык и как думает мозг. Но когда машины соперничают против людей, неизбежно вводится скрытое утверждение: мол, уже известно, что человеческое мышление и машинный «интеллект» по меньшей мере сопоставимы. Конечно же, это не так.
В случае Jeopardy! правила игры выдвигают на первый план специфический навык: угадывать слова исходя из намеков. Мы знаем, что способность догадываться о слове по контексту является частью владения языком, однако не известно, насколько важно такое умение в рамках всего феномена человеческого языка. Мы не в полной мере знаем, что необходимо для того, чтобы воссоздать это явление. Даже если бы было заявлено (мелким шрифтом, как принято), что соревнование в игре Jeopardy! не следует путать с мастерством полного владения человеческим языком, случившаяся феерия оставила бы впечатление, будто ученые движутся быстрым, неотвратимым маршем к покорению языка и смысла - словно машина, умеющая реагировать в неких обстоятельствах как человек, делает нечто сходное с тем, что делает человеческий мозг.
То, что компьютерные специалисты действительно делали в данном случае, это по большей части обучение программного обеспечения находить статистические корреляции в гигантской базе текстов. Например, слова "Massachusetts," "university," "technology" и "magazine" будут часто встречаться в документах, которые также содержат сочетание "Technology Review." Эта корреляция может быть мгновенно вычислена для ответа на вопрос в Jeopardy!; похожие методы доказали свою эффективность в работе поисковых машин и автоматических справочных. Но помимо таких приложений мы не знаем, куда приведет это конкретное направление исследований, поскольку распознавание корреляций - это не то же самое, что понимание смысла; достаточно большая статистическая симуляция семантики - не то же самое, что семантика. Аналогичным образом вы можете использовать корреляции и экстраполяции, чтобы предсказать следующее число в заданной последовательности чисел. Однако вам потребуется более глубокий анализ и математическое доказательство, чтобы делать это безошибочно все время. Последовательности Гудстейна - это числовые последовательности, которые производят впечатление, будто постоянно идут вверх - до тех пор пока в конце концов не разворачиваются в обратном направлении и не достигают нуля. Предсказание, базирующееся на статистическом анализе первой стадии такой последовательности, опишет остальную часть неверно. Корреляции способны имитировать понимание, не создавая его реально.
В конечном счете, имеет ли шоу с участием Watson какое-либо значение? Почему бы не позволить пиарщикам из IBM насладиться своей минутой славы? Вот почему: существует особая опасность, когда наука презентуется обществу неаккуратным образом. Техническое сообщество должно обладать примерным поведением, потому что мы теряем легитимность у публики в Соединенных Штатах. Отрицание глобальных климатических изменений остается респектабельным в политике; многие школьные учителя биологии по-прежнему не полностью принимают эволюцию.
К сожалению, представление, устроенное с помощью Jeopardy!, демонстрирует в отношении нейронауки тот же фокус, что «разумный дизайн» проделывает с эволюцией. Факты подаются таким образом, чтобы казалось, будто они предполагают метафизическую идею: в данном случае, что мы создаем машины, которые оживают на наших глазах.
В самом деле, такая квази-религиозная идея распространена среди части технических специалистов. Очень много разговоров о компьютерах, наследующих Землю, возможно, вследствие «сингулярности» - и возможно, даже предоставляющих людям вечную жизнь в виртуальном мире, если верить Рэю Курцвейлу.
Но даже если мы открыто отстранимся от техно-религиозных идей, схема с участием Watson-а в игре Jeopardy! обнажает замысел алхимического свойства. Мы говорим: «Смотрите, искусственный интеллект наглядно проявляется в машинной обработке корреляций». Сторонник разумного дизайна скажет, что «божественный замысел наглядно проявляется в корреляциях, полученных из источников, таких как окаменелости и ДНК».
Если мы сами делаем это, то как мы можем сетовать на то, что тем же образом поступают другие? Если ученые желают уважения со стороны общественности, то должны ожидать подражания, и нам следует быть осторожными насчет того, какие методы мы предоставляем для подражания.
* * *
Jaron Lanier is a computer scientist, writer, and musician. His most recent book is You Are Not a Gadget (Knopf, 2010). He is a partner architect at Microsoft Research and the innovator in residence at the Annenberg School of USC. His name has been used in a Jeopardy! clue.
Фрагмент поединка.
Click to viewНовостной сюжет с комментариями от создателей Watson, а также от Марвина Мински и Рэя Курцвейла.
P.S. Книгу "You Are Not a Gadget: A Manifesto" by Jaron Lanier [2010] давно уже можно скачать с моей книжной полки [ здесь ].