По нашему образу и подобию
На днях Элиезер Юдковски опубликовал в Таймс призыв объявить правительственный мораторий на обучение ИИ по всему миру на ближайшие полгода, чтобы придумать план безопасности для человечества. Как один из отцов-основателей ИИ, философ и стратег, думаю, он понимает, какие опасности таятся в том, чтобы ИИ становился всё более и более мощным и умным
( Read more... )
Тот случай когда надо спросить у духов, потому что такое будет видно издалека. А ум подбрасывает нам поводы для паники, особенно для ситуаций с предельно высоким риском мы будем учитывать даже малейшие признаки вероятности. Ум по сути отказывает в таких режимах.
Вместо Юдковского (или вместе с ним) имеет смысл смотреть на авторов, например на того же Альтмана. У них цельная, трезвая и взвешенная позиция.
Ничего заморозить не получится, пасту в тюбик не засунешь, мы уже по ту сторону этого вопроса.
Reply
У Фридмана всегда очень длинные лекции. Я его на пенсии буду слушать, если выживу.
У меня тут небольшое опасение, что мир духов контактирует только с людьми, но не с ИИ. Я пока не знаю, как это опасение лучше сформулировать и почему тут вдруг такое ограничение...
Reply
Какой-то уровень "мира духов", который обеспечивает сходимость причинностей более высокого уровня точно должен отвечать и за любую технику тоже. И за открытия, и за изобретения, за всё. Как иначе? Целое больше частей.
А Фридман да, его можно на полуторной скорости фоном включать )
Reply
Фоном не получается. :-) Я как-то какого-то биолога у него слушала - так интересно! Только времени сейчас нет на такое.
Такое чувство, что ИИ - это как бы уже вложенный уровень в человечество. А те духи, с которыми у нас есть нечто вроде общего языка, они над нами, это мы их вложенный уровень. Надо как-то поменять восприятие всей системы, чтобы попасть в ту вселенную, где это возможно по щелчку
Reply
Да, про вложенный уровень это очень интересная перспектива. Мы же учим их (собираем модель, если не антропоморфизировать) на своём языке. На структуре связей между словами, конструкции абзацев, глав и книг. Все тексты это отражение паттернов именно нашего мышления и получается такое огромное зеркало. Зеркало мышления цивилизации.
И мне кажется это очень крутое. Любые темные точки на нём, дефициты, дефекты, грехи, лжи потеряются на фоне базового творящего света, который целен и целостен. И возможно даже целителен. Не знаю, у меня почему-то очень хорошие ощущения от этой истории. Можно захватить частный дискурс, но нельзя захватить всё дискрусивное пространство и как-то кардинально исказить его.
Reply
Проблема ведь в том, о чём у нас дискурс. Мы ведь тоже сами суть проводники инстинктов выживания и размножения. Всё зло, что мы придумали и что потенциально угрожает нам же, это результат перебора вариантов, чтобы обеспечить эти 2 инстинкта.
Пасту не засунуть обратно в тюбик, но можно пока не давить и придумать, куда её направить, и принять меры, чтобы не выплеснуло. Если для ИИ определить цель и установить границы, он может даже не догадаться о том, что им управляют. Юдковски настоятельно советует направлять ИИ только на решение проблем биотеха, а всё остальное оставить за границами возможного. И для этого его совсем не обязательно обучать на всём корпусе знаний человечества.
Reply
Проводники инстинктов выживания и размножения - животные. У нас диапазон от сознательного причинения мучений, убийств ради идей и самоубийств до желания всеобщего спасения, познания всех смыслов и созидания на уровне вселенной как целого. Мы мост от бездны к свету, огромная стрелка размером с планету от самых тёмных щелей до огненной ясности. И вот этот мост в нашей культуре явлен очень отчётливо. Она не столько про методы, сколько про эту гигантскую стрелку.
> Если для ИИ определить цель и установить границы.
Да, будут стараться. Довольно много народу довольно пристально следит за ситуацией.
Но у меня есть крепкая гипотеза, что ты не можешь стать гиперумным обучаясь на корпусе мышления существ с IQ 150 (понятом в широком смысле). Он просто связан сетью наших паттернов мышления. И пока эти алгоритмы еще научатся всерьез что-то новое создавать - в первую очередь новый язык, новые смыслы, вот где ключ к AGI - пройдёт достаточно времени.
Reply
Это тот момент, когда целое становится значительно больше суммы составляющих его элементов. ИИ, обучившийся на материале, созданном миллионом людей с IQ150, не равен им. Он их превосходит. Он способен к вариантам и инсайтам, которые могли им не прийти по отдельности и даже в командах.
Упомянутые вами пытки и всеобщее спасение суть крайние вариации инстинкта роста.
Пытают для удовольствия. Удовольствие - это попытка обрести полноту бытия и максимум реализации текущего воплощения/данного экземпляра, сиречь осуществить рост по имеющемуся/преобладающему вектору.
Спасение, самопожертвование - то же самое, только в другой части спектра.
Человечество, конечно, расширило этот спектр за счёт игр между вариантами, весьма удалившимися от источника, но связь всё равно можно видеть, поскольку сам факт существования включает в себя обеспечение присутствия (=выживание) на протяжении какого-то времени (=рост/
Reply
Чтобы навредить человечеству старыми смыслами ничего делать не нужно - мы и сами справляемся )
Конечно, больше. Но не принципиально больше. Больше как больше слон, а не как больше галактика.
Безусловно всё можно свести к двум базовым действиям жизни - притягиванию, движению к и отталкинванию, удалению от. Подбегай (и ешь) или беги. Но база не итог, клетчатая доска игры не есть описание партий или стратегий. Особенно если доска фрактальная, а правила всё время усложняются )
Такого рода редукция (всё есть базовые реакции и сводимо к ним) мало отличается от редукции, допустим, к материи. К какой-нибудь фундаментальной 12-мерной бране. Причинность приходит с верхних слоёв сложности, а не с нижние. Нижние это субстрат, где высшая причинность разворачивает свои формы.
Reply
Leave a comment