Nick Bostrom. Superintelligence. Тоска, печаль, пустыня
Оригинал взят у alh__ в Nick Bostrom. Superintelligence. Тоска, печаль, пустыня
По рекомендации читаю Nick Bostrom Superintelligence
Печалюсь. Поскольку читаю немного через силу, есть риск, что что-то не воспринимаю. Тем не менее заметки и печали:
Дальше очень длинно.
В предисловии насквозь фальшивая аналогия о том, как воробьи решили приручить филина для защиты и особо мудрый воробей авансом озаботился проблемой приручения и контроля будущего филина. Аналогия фальшива в своей основе. Воробьи прекрасно знали, что филин существует, что он из себя представляет и каковы его существенные свойства. Про интеллект (и суперинтеллект) можно только сказать, что мы знаем, что он существует. Уже на уровне определений и существенных свойств идут дискуссии. Более того, нам доступен один пример интеллекта, то есть почва для обобщений отсутствует.
Далее автор справедливо замечает, что мы на пороге скачкообразного развития ИИ и предполагает, что оно произойдет. После чего щедро выделяет две главы на то, чтобы обсудить пути и перспективы такого развития, а остальное отводит на обсуждение того, что произойдет _после_ такого скачка. Это утверждение ограничивает обязательный объем чтения той самой частью, описывающей скачок.
После истории развития ИИ с ее маникально-депрессивным циклом следует таблица с играми, в которые ИИ играет лучше человека и тут же за ней следует замечание о том, что для игры в шахматы достаточно простого алгоритма. И, следовательно, такой ИИ ограничен узкими рамками.
Далее очень важная цитата McCarthy: "Как только ИИ учится что-то делать, тут же становится ясно, что это не интеллект". К сожалению автор уходит от вопроса, что же такое интеллект. А без ответа на этот вопрос все остальное повисает в воздухе.
Дальше обширный пассаж об автоматической торговле на бирже. К чему эта история - непонятно. Скальпинг на бирже ничем не лучше шахмат.
Далее глава "мнения об искусственном интеллекте", где в качестве источника оценок идет опрос экспертов. При нынешнем уровне понимания перспектив, можно провести опрос экспертов на тему о том, когда Земля налетит на небесную ось и если экспертов подобрать правильных, можно даже медиану найти. Не совсем понятно, почему слепое доверие "эксперту" должно иметь какую-то убеждающую силу в данном вопросе.
Дальше наступает часть 2. Пути к суперинтеллекту. Для меня самая интересная и критически важная часть.
Начинается она с блестящего определения: "We can tentatively define a superintelligence as any intellect that greatly exceeds the cognitive performance of humans in virtually all domains of interest".
Определение воспринимается (возможно предвзято) на уровне "нутром чую - литр". Определение интеллекта через способность к познанию по хорошему требует хотя бы невеликого описания того, что понимается под способностью к познанию. Без этого определение висит в воздухе.
Дальше вводится идея о самообучающейся и саморазвивающейся системе. Оно и понятно, если не знаешь, как подойти к проблеме, свали ее на другого. Т.с. рекурсия - надо создать маааленький ИИ, он построит средненький, тот большенький и т.п. Тут же вбрасывается цитата о том, что коли мы не можем смоделировать мозг взрослого, так давайте же смоделируем мозг ребенка. И он потом сам всему научится. Угу. Мозг ребенка сложнее мозга взрослого. Он разивается во всех своих аспектах, в отличие от относительно стабильного мозга взрослого. То бишь лекарство круче болезни.
Далее следует следующий заброс: эволюция создала интеллект однажды, значит можно повторить. Мысль бесспорна, но вообще ничего не говорит о возможности создания ИИ и его перспективах. Что если интеллект опирается на физические свойства мозга (квантовые процессы, например)? Может ли он быть повторно развит на кремнии?
Далее супер тезис о том, что сознательное вмешательство позволило бы ускорить эволюцию. Оно конечно, если бы тот, кто контролирует эволюцию, знал чего хочет получить. А так увы, такой контроль скорее эволюцию угробит, чем ускорит. Селекция хорошо идет по наблюдаемым, понятным и непротиворечивым признакам. Как только дело доходит до смутных пожеланий и сложных связей, дела идут существенно хуже.
Цитата: "The existence of several examples of intelligence designed under these constraints should give us great confidence that we can achieve the same in short order. The situation is analogous to the history of heavier than air flight, where birds, bats and insects clearly demonstrated the possibility before our culture mastered it." Тут собственно хочется сказать, вот будет определение ИИ и пара примеров, тогда и поговорим.
Врезка про имитацию эволюции. Совершенно без внимания остается вопрос о том, насколько возможна имитация эволюции "на кремнии" и какова роль физических процессов в развитии и существовании жизни и интеллекта.
Имитация мозга. Чахлый прогресс в анатомии подвигает автора к идее сосканировать мозг со всеми его процессами. Типа мы знаем про нейроны, так давайте все сосканим и вычислим. Химическая сторона мозга остается за кадром совсем, как будто нет ее. Вся история с медиаторами и трансмиттерами автором упущена и ему неинтересна. При этом стоит почитать учебник анатомии, как там возникают высказывания типа, нам известны "встречные" соединения нейронов (аксон-аксон) и нейроны без аксонов. Зачем это мы не знаем и как работает - тоже.
Дальше обширные фантазии о технике сканирования мозга. С тем же успехом можно чучело набить, чтобы понять физиологию животного.
Очередной заход - давайте улучшим мозг. Немного евгеники и биотехнологии и мы на месте. Ну да, давайте выведем слона весом 100 тонн. Чего нам стоит? Будем отбирать крупных слонов и если в каждом поколении увеличивать вес на 10%, то через некоторое время получим слона в 100 тонн. Ну или не получим.
И еще заход: сделаем нейроинтерфейс. Ну чтобы не разбираясь в том, как устроен мозг его усилить. Как усилить, куда включать, ничего не понятно. Зато звучит круто. Замечу, что пока даже к моторным и сенсорным нервам не очень тривиально подключаться. Это при том, что и моторные и сенсорные нервы куда как проще, чем мозг.
Сети. Вот ответ! Возьмем интернет и подождем самозарождения сознания. В принципе хорошая идея.
Далее вершина. Summary: "The fact that there are many paths that lead to superintelligence should increase our confidence that we will eventually get there. If one path turns out to be blocked, we
can still progress". Ну то есть сначала автор придумал кучу фантазийных путей, а потом заявил их как факты и на основе этих "фактов" делает выводы. Круто, да.
В общем стоит почитать Пенроуза, насколько хватит сил, чтобы понять почему не все разделяют оптимизм автора.
Замечу при этом, что автор может быть прав во всем. Может быть мы увидим самозарождение ИИ в интернете. Может быть удастся эмулировать мыслительные процессы или мозг как таковой. Может быть к нам инопланетяне прилетят. Но никакого уверенного рассуждения автор не предлагает, на мой взгляд.
При этом развитие "слабого ИИ" не требует доказательств. Проблема даже лучших его представителей, которые демонстрируют весьма и весьма впечатляющие успехи, состоит в том, что границы, в которых он работает, определены извне. Распознаватель речи распознает речь. И у него нет "идей" о том, что может быть улучшение микрофона помогло бы распознавать лучше. В распознающей модели нет ничего про микрофон. В ней обучающая выборка и алгоритмы. Распознаватель картинок распознает картинки. И так далее.
Даже комплексная модель, которая обращается к другим моделям, не имеет ни средств, ни мотива к пересмотру собственных границ или собственного устройства.
Watson от IBM выигрывает в Jeopardy, самообучается и обучается. И при этом он не подает признаков "сильного ИИ". Вообще первые признаки "сильного ИИ" должны восприниматься извне как неисправности, ровно потому, что одно из фундаментальных свойств интеллекта - регулярно производить непредсказуемые результаты. Получать новое знание, не сводящееся к сумме старого.
Все остальное рано или поздно съест ИИ, вопрос в том, что останется после этого.
По рекомендации читаю Nick Bostrom Superintelligence
Печалюсь. Поскольку читаю немного через силу, есть риск, что что-то не воспринимаю. Тем не менее заметки и печали:
Дальше очень длинно.
В предисловии насквозь фальшивая аналогия о том, как воробьи решили приручить филина для защиты и особо мудрый воробей авансом озаботился проблемой приручения и контроля будущего филина. Аналогия фальшива в своей основе. Воробьи прекрасно знали, что филин существует, что он из себя представляет и каковы его существенные свойства. Про интеллект (и суперинтеллект) можно только сказать, что мы знаем, что он существует. Уже на уровне определений и существенных свойств идут дискуссии. Более того, нам доступен один пример интеллекта, то есть почва для обобщений отсутствует.
Далее автор справедливо замечает, что мы на пороге скачкообразного развития ИИ и предполагает, что оно произойдет. После чего щедро выделяет две главы на то, чтобы обсудить пути и перспективы такого развития, а остальное отводит на обсуждение того, что произойдет _после_ такого скачка. Это утверждение ограничивает обязательный объем чтения той самой частью, описывающей скачок.
После истории развития ИИ с ее маникально-депрессивным циклом следует таблица с играми, в которые ИИ играет лучше человека и тут же за ней следует замечание о том, что для игры в шахматы достаточно простого алгоритма. И, следовательно, такой ИИ ограничен узкими рамками.
Далее очень важная цитата McCarthy: "Как только ИИ учится что-то делать, тут же становится ясно, что это не интеллект". К сожалению автор уходит от вопроса, что же такое интеллект. А без ответа на этот вопрос все остальное повисает в воздухе.
Дальше обширный пассаж об автоматической торговле на бирже. К чему эта история - непонятно. Скальпинг на бирже ничем не лучше шахмат.
Далее глава "мнения об искусственном интеллекте", где в качестве источника оценок идет опрос экспертов. При нынешнем уровне понимания перспектив, можно провести опрос экспертов на тему о том, когда Земля налетит на небесную ось и если экспертов подобрать правильных, можно даже медиану найти. Не совсем понятно, почему слепое доверие "эксперту" должно иметь какую-то убеждающую силу в данном вопросе.
Дальше наступает часть 2. Пути к суперинтеллекту. Для меня самая интересная и критически важная часть.
Начинается она с блестящего определения: "We can tentatively define a superintelligence as any intellect that greatly exceeds the cognitive performance of humans in virtually all domains of interest".
Определение воспринимается (возможно предвзято) на уровне "нутром чую - литр". Определение интеллекта через способность к познанию по хорошему требует хотя бы невеликого описания того, что понимается под способностью к познанию. Без этого определение висит в воздухе.
Дальше вводится идея о самообучающейся и саморазвивающейся системе. Оно и понятно, если не знаешь, как подойти к проблеме, свали ее на другого. Т.с. рекурсия - надо создать маааленький ИИ, он построит средненький, тот большенький и т.п. Тут же вбрасывается цитата о том, что коли мы не можем смоделировать мозг взрослого, так давайте же смоделируем мозг ребенка. И он потом сам всему научится. Угу. Мозг ребенка сложнее мозга взрослого. Он разивается во всех своих аспектах, в отличие от относительно стабильного мозга взрослого. То бишь лекарство круче болезни.
Далее следует следующий заброс: эволюция создала интеллект однажды, значит можно повторить. Мысль бесспорна, но вообще ничего не говорит о возможности создания ИИ и его перспективах. Что если интеллект опирается на физические свойства мозга (квантовые процессы, например)? Может ли он быть повторно развит на кремнии?
Далее супер тезис о том, что сознательное вмешательство позволило бы ускорить эволюцию. Оно конечно, если бы тот, кто контролирует эволюцию, знал чего хочет получить. А так увы, такой контроль скорее эволюцию угробит, чем ускорит. Селекция хорошо идет по наблюдаемым, понятным и непротиворечивым признакам. Как только дело доходит до смутных пожеланий и сложных связей, дела идут существенно хуже.
Цитата: "The existence of several examples of intelligence designed under these constraints should give us great confidence that we can achieve the same in short order. The situation is analogous to the history of heavier than air flight, where birds, bats and insects clearly demonstrated the possibility before our culture mastered it." Тут собственно хочется сказать, вот будет определение ИИ и пара примеров, тогда и поговорим.
Врезка про имитацию эволюции. Совершенно без внимания остается вопрос о том, насколько возможна имитация эволюции "на кремнии" и какова роль физических процессов в развитии и существовании жизни и интеллекта.
Имитация мозга. Чахлый прогресс в анатомии подвигает автора к идее сосканировать мозг со всеми его процессами. Типа мы знаем про нейроны, так давайте все сосканим и вычислим. Химическая сторона мозга остается за кадром совсем, как будто нет ее. Вся история с медиаторами и трансмиттерами автором упущена и ему неинтересна. При этом стоит почитать учебник анатомии, как там возникают высказывания типа, нам известны "встречные" соединения нейронов (аксон-аксон) и нейроны без аксонов. Зачем это мы не знаем и как работает - тоже.
Дальше обширные фантазии о технике сканирования мозга. С тем же успехом можно чучело набить, чтобы понять физиологию животного.
Очередной заход - давайте улучшим мозг. Немного евгеники и биотехнологии и мы на месте. Ну да, давайте выведем слона весом 100 тонн. Чего нам стоит? Будем отбирать крупных слонов и если в каждом поколении увеличивать вес на 10%, то через некоторое время получим слона в 100 тонн. Ну или не получим.
И еще заход: сделаем нейроинтерфейс. Ну чтобы не разбираясь в том, как устроен мозг его усилить. Как усилить, куда включать, ничего не понятно. Зато звучит круто. Замечу, что пока даже к моторным и сенсорным нервам не очень тривиально подключаться. Это при том, что и моторные и сенсорные нервы куда как проще, чем мозг.
Сети. Вот ответ! Возьмем интернет и подождем самозарождения сознания. В принципе хорошая идея.
Далее вершина. Summary: "The fact that there are many paths that lead to superintelligence should increase our confidence that we will eventually get there. If one path turns out to be blocked, we
can still progress". Ну то есть сначала автор придумал кучу фантазийных путей, а потом заявил их как факты и на основе этих "фактов" делает выводы. Круто, да.
В общем стоит почитать Пенроуза, насколько хватит сил, чтобы понять почему не все разделяют оптимизм автора.
Замечу при этом, что автор может быть прав во всем. Может быть мы увидим самозарождение ИИ в интернете. Может быть удастся эмулировать мыслительные процессы или мозг как таковой. Может быть к нам инопланетяне прилетят. Но никакого уверенного рассуждения автор не предлагает, на мой взгляд.
При этом развитие "слабого ИИ" не требует доказательств. Проблема даже лучших его представителей, которые демонстрируют весьма и весьма впечатляющие успехи, состоит в том, что границы, в которых он работает, определены извне. Распознаватель речи распознает речь. И у него нет "идей" о том, что может быть улучшение микрофона помогло бы распознавать лучше. В распознающей модели нет ничего про микрофон. В ней обучающая выборка и алгоритмы. Распознаватель картинок распознает картинки. И так далее.
Даже комплексная модель, которая обращается к другим моделям, не имеет ни средств, ни мотива к пересмотру собственных границ или собственного устройства.
Watson от IBM выигрывает в Jeopardy, самообучается и обучается. И при этом он не подает признаков "сильного ИИ". Вообще первые признаки "сильного ИИ" должны восприниматься извне как неисправности, ровно потому, что одно из фундаментальных свойств интеллекта - регулярно производить непредсказуемые результаты. Получать новое знание, не сводящееся к сумме старого.
Все остальное рано или поздно съест ИИ, вопрос в том, что останется после этого.