"Конец детства"
Evan_gcrm откопал нечто потрясающее - эссе Джорджа Дайсона «Childhood's End», опубликованное им первого января 2019 года на сайте Edge.com, посвященном дискуссиям о науке, технике и философии. Суть статьи - скорый и неизбежный переход от программируемых цифровых компьютеров к "аналоговым". Основной мотив - "оставь надежду всяк сюда входящий".
Жуткая статья, особенно если знать подоплеку событий. Надо только понимать, что термины аналоговый компьютер и аналоговые вычисления в данном случае являются эвфемизмом и означают Искусственный Интеллект и Нейронные Сети. В реальности речь идет о совершающемся на наших глазах переходе от знакомых нам программируемых человеком информационных и управляющих систем к ИИ, который не программируется, а сам обучается подобно человеку. В этом случае результат работы системы зависит не от программы и заданного алгоритма, а от топологии нейронной сети подобно человеческому мозгу, поэтому не может быть стопроцентно управляемым. При этом сам компьютер превращается в "черный ящик", совершенно непонятным образом выдающий нужный результат. Это совсем иной уровень, естественным образом имитирующий человеческое мышление. И не только мышление.
Например, невозможно просто клонировать готовую обученную платформу с ИИ так, как мы клонируем компьютер, копируя его операционную систему и программы. Вновь созданную систему требуется учить заново, с нуля, как ребенка. Сначала казалось, что это затормозит их распространение, но сейчас скорость обучения так выросла, что составляет уже не дни, а часы и минуты, причем системы могут обучать друг друга, общаясь и даже самостоятельно создавая свой внутренний язык для этого общения (см. здесь, здесь, здесь и здесь). Так что развитие скоро пойдет невероятными темпами. Не успеем оглянуться.
При этом Дайсон предупреждает, что если мы думаем, что управляющие системы остаются и будут дальше оставаться под человеческим контролем, пусть даже закулисным, то мы жестоко ошибаемся. Человеческий мозг не в состоянии угнаться за компьютерным, и поневоле даже те, кто считает себя управляющими этими системами (и даже всем миром), на деле будут подчинены им и будут выполнять то, что покажется правильным электронному "разуму".
Далее Дайсон прогнозирует, что если Искусственный Интеллект вырвется на свободу, то поглотит остальной мир, и мы не сможем этому противостоять. Добавлю от себя, что в этом нет ничего необычного или небывалого. Сначала мы создали ядерное оружие и непрерывно совершенствуем его, с трудом удерживаясь, чтобы не нажать на кнопку. Потом, не понимая последствий широкого применения антибиотиков, "создали" супербактерии, против которых нет лекарств. Затем создали невероятно дешевые наркотики, которыми завалили весь мир. Генетически модифицированные организмы, устойчивые к любым пестицидам, сегодня тоже уже готовы расползтись по всей Земле и остановить их будет невозможно, ибо как остановишь ветер? Без прививок мы станем беззащитными против ряда болезней, но не они ли подрывают наш природный иммунитет, делая нас беззащитными перед десятками других, еще более тяжелых заболеваний? Реальные причины аутизма, вдруг ставшего глобальной проблемой начиная с 90-х годов, не найдены (или скрываются), и он продолжает неумолимо распространяться, как раковая опухоль, на все новые и новые поколения. То есть мы просто не в состоянии предвидеть последствия наших действий, приносящих, как нам кажется, блага, удобства и безопасность, и остановиться, даже если видим, что стоим на краю пропасти.
И да, мы теряем детей - они реально "уходят в сеть", становятся ее частью, добровольным элементом, если не придатком искусственного интеллекта. Кларк - великий провидец, но он был чрезмерно оптимистичен. Реальность, как всегда, будет куда обыденнее, прозаичнее и безнадежнее. Кстати, еще в популярнейшем "прогнозе" на 2017 год в журнале Economist эта проблема уже была обозначена ( последняя карта) и тогда же при его анализе мне пришел на ум именно роман Кларка "Конец детства", на аллюзиях с которым и построено эссе Дайсона. То есть если раньше это были только намеки от закулисы, то сейчас об этом говорится прямым текстом: "что говорили на ухо внутри дома, то будет провозглашено на кровлях" (Лк.12:3).
И последнее. Переводчик эссе все перепутал - Дайсон не предлагает выхода. Он говорит лишь о неизбежности прихода к власти уже нарождающегося виртуального и реального компьютерного мира искусственного интеллекта и нейронных сетей, желающих преодолеть последнюю преграду и встроиться в наш мозг. В этом случае неизбежная деградация человека и смерть человечности будут гарантированы.
Последний абзац эссе на самом деле звучит так:
"Следующей революцией будет восхождение аналоговых систем по мере того как доминирование цифрового программирования подходит к концу. Ответом Природы тем, кто стремился управлять природой через программируемые устройства, является предоставление нам возможности создать устройства, природа которых не позволит программируемого управления."
Жуткая статья, особенно если знать подоплеку событий. Надо только понимать, что термины аналоговый компьютер и аналоговые вычисления в данном случае являются эвфемизмом и означают Искусственный Интеллект и Нейронные Сети. В реальности речь идет о совершающемся на наших глазах переходе от знакомых нам программируемых человеком информационных и управляющих систем к ИИ, который не программируется, а сам обучается подобно человеку. В этом случае результат работы системы зависит не от программы и заданного алгоритма, а от топологии нейронной сети подобно человеческому мозгу, поэтому не может быть стопроцентно управляемым. При этом сам компьютер превращается в "черный ящик", совершенно непонятным образом выдающий нужный результат. Это совсем иной уровень, естественным образом имитирующий человеческое мышление. И не только мышление.
Например, невозможно просто клонировать готовую обученную платформу с ИИ так, как мы клонируем компьютер, копируя его операционную систему и программы. Вновь созданную систему требуется учить заново, с нуля, как ребенка. Сначала казалось, что это затормозит их распространение, но сейчас скорость обучения так выросла, что составляет уже не дни, а часы и минуты, причем системы могут обучать друг друга, общаясь и даже самостоятельно создавая свой внутренний язык для этого общения (см. здесь, здесь, здесь и здесь). Так что развитие скоро пойдет невероятными темпами. Не успеем оглянуться.
При этом Дайсон предупреждает, что если мы думаем, что управляющие системы остаются и будут дальше оставаться под человеческим контролем, пусть даже закулисным, то мы жестоко ошибаемся. Человеческий мозг не в состоянии угнаться за компьютерным, и поневоле даже те, кто считает себя управляющими этими системами (и даже всем миром), на деле будут подчинены им и будут выполнять то, что покажется правильным электронному "разуму".
Далее Дайсон прогнозирует, что если Искусственный Интеллект вырвется на свободу, то поглотит остальной мир, и мы не сможем этому противостоять. Добавлю от себя, что в этом нет ничего необычного или небывалого. Сначала мы создали ядерное оружие и непрерывно совершенствуем его, с трудом удерживаясь, чтобы не нажать на кнопку. Потом, не понимая последствий широкого применения антибиотиков, "создали" супербактерии, против которых нет лекарств. Затем создали невероятно дешевые наркотики, которыми завалили весь мир. Генетически модифицированные организмы, устойчивые к любым пестицидам, сегодня тоже уже готовы расползтись по всей Земле и остановить их будет невозможно, ибо как остановишь ветер? Без прививок мы станем беззащитными против ряда болезней, но не они ли подрывают наш природный иммунитет, делая нас беззащитными перед десятками других, еще более тяжелых заболеваний? Реальные причины аутизма, вдруг ставшего глобальной проблемой начиная с 90-х годов, не найдены (или скрываются), и он продолжает неумолимо распространяться, как раковая опухоль, на все новые и новые поколения. То есть мы просто не в состоянии предвидеть последствия наших действий, приносящих, как нам кажется, блага, удобства и безопасность, и остановиться, даже если видим, что стоим на краю пропасти.
И да, мы теряем детей - они реально "уходят в сеть", становятся ее частью, добровольным элементом, если не придатком искусственного интеллекта. Кларк - великий провидец, но он был чрезмерно оптимистичен. Реальность, как всегда, будет куда обыденнее, прозаичнее и безнадежнее. Кстати, еще в популярнейшем "прогнозе" на 2017 год в журнале Economist эта проблема уже была обозначена ( последняя карта) и тогда же при его анализе мне пришел на ум именно роман Кларка "Конец детства", на аллюзиях с которым и построено эссе Дайсона. То есть если раньше это были только намеки от закулисы, то сейчас об этом говорится прямым текстом: "что говорили на ухо внутри дома, то будет провозглашено на кровлях" (Лк.12:3).
И последнее. Переводчик эссе все перепутал - Дайсон не предлагает выхода. Он говорит лишь о неизбежности прихода к власти уже нарождающегося виртуального и реального компьютерного мира искусственного интеллекта и нейронных сетей, желающих преодолеть последнюю преграду и встроиться в наш мозг. В этом случае неизбежная деградация человека и смерть человечности будут гарантированы.
Последний абзац эссе на самом деле звучит так:
"Следующей революцией будет восхождение аналоговых систем по мере того как доминирование цифрового программирования подходит к концу. Ответом Природы тем, кто стремился управлять природой через программируемые устройства, является предоставление нам возможности создать устройства, природа которых не позволит программируемого управления."