ИИ не знают, что для человека красиво, а что отвратительно.
Интервью с философом Алексеем Гринбаумом. Гринбаум - французский ученый, автор ряда книг об искусственном интеллекте и этике информационных систем. Его новая книга, Parole de machines ("Слово машин"), выйдет во французском издательстве Humensciences 3 мая.
- Большие языковые модели, LLM по существу устроены очень просто, это огромные матрицы с числами, которые вычисляют, каким скорее всего должно быть следующее слово в предложении. В какой момент в этой системе возникает поведение, происходит вот этот переход от простых действий к сложным?
- Теория сложных систем и статистическая физика как раз и рассказывают о том, как в системе элементарных составляющих с очень простыми взаимодействиями может возникнуть на макроуровне совершенно непредсказуемое поведение, которое лишь формально, но не феноменально не сводится к поведению микроскопических составляющих. Например, то, как течет река Сена, по идее должно сводиться к тому, как ведут себя и взаимодействуют молекулы воды. Но если мы будем рассматривать взаимодействие молекул воды, мы никогда ничего не узнаем о потоке Сены. Нам для этого нужны другие параметры в гидродинамике, уравнение Навье - Стокса и так далее. То же самое происходит здесь. Мы можем рассуждать, как отдельные искусственные нейроны в искусственной нейронной сети по формуле Байеса рассчитывают те или иные вероятности. Но это нам ничего не скажет о поведении всей системы.
Вообще, обучение нейронной сети типа “трансформер” состоит из двух этапов. Второй этап, более известный, можно назвать игрой в прятки с самим собой или self-supervision. Машина скрывает от себя элемент текста и пытается догадаться, что там было. Потом смотрит правильный ответ, сравнивает со своим списком - и повторяет это действие миллиарды раз. А вот первый этап более интересный. Здесь машина "токенизирует" язык. Токен - это какой-то элемент текста, но не обязательно слово, это может быть одна морфема, а могут быть склеенные два кусочка двух слов. Токенизация позволяет смотреть на слово в сложном контексте, не в последовательности соседних слов, но и, например, в отношении слов, которые отстают от него на три позиции назад или три строки вверх. И вот эта токенизация, плюс так называемый механизм "внимания", в сочетании с игрой в прятки дают совершенно фантастический эффект.
- Глядя на то, как работает GPT-4, я с некоторым ужасом спрашиваю себя, не смотрю ли я в зеркало? У нас были сотни тысяч лет эволюции, которые нас лучше подготовили к обучению, но есть ли в человеческом сознании что-нибудь более фундаментально сложное, чем есть в большой языковой модели?
- Здесь два вопроса. Первый - когда в зеркало смотрит человек, живущий сегодня, в 2023 году. Второй - когда в зеркало будет смотреть кто-то через 25, 50, 100 лет. Сегодня, естественно, многие, в том числе люди, работающие в области нейронауки, спрашивают себя о том, собственно, работает ли мозг так, как работает трансформер (архитектура нейронных сетей, которую использует, в частности, GPT. - РС). И некоторые говорят: вот, мы нашли наконец-то архитектуру мозга. Но мне кажется значительно более интересным, что мы создали систему, которая совсем не похожа на человеческий мозг, за исключением ввода и вывода. Нейроны в человеческом мозге не работают так же, как работают искусственные нейроны, у нас совершенно другая топология, совершенно другое энергетическое потребление. И при этом наша система - человеческий мозг - дает похожий результат. То есть мы нашли совершенно другой путь, ведущий от тех же вводов к тем же выводам. И тот факт, что существует несколько таких путей - один из них реализуется человеческим мозгом, другой реализуется машиной, это крайне интересно. Вероятно, это фундамент для какой-то новой науки. Что касается будущего, естественно, наш мозг, будучи миметической системой, тоже начнет эволюционировать. Мозг человека уже, собственно, в технологическую эпоху не учится тому же, чему мозг человека учился 100, 200, 300 лет назад. Сто лет назад значительно больше людей умели ездить на лошади. Платон в "Государстве" говорит о том, что изобретение письма полностью поменяет человеческий мозг, потому что человек не будет больше вспоминать запомненное, а будет пользоваться внешней памятью под названием "письменность". Таким же образом и здесь - мы изобрели технологию, которая, конечно, будет менять наш мозг. Очень интересно узнать - как. Поэтому, с точки зрения сегодняшнего человека, мы не смотрим в зеркало, скорее, мы можем удивиться, что, оказывается, можно совершенно другим образом пользоваться нашим языком. Это никоим образом не принижает человеческий мозг, который решает те же задачи со значительно меньшими энергетическими затратами и совершенно другим путем, с другой топологией, с другими элементарными взаимодействиями.
- Для стороннего наблюдателя происходящая революция взялась будто бы из ниоткуда, еще несколько лет назад обсуждалось, как какие-то совершенно примитивные боты кое-как проходят тест Тьюринга. Вы давно занимаетесь этой темой, вы видели предпосылки для такого прорыва?
- В ноябре 2021 года мы опубликовали мнение Французского комитета по этике цифровых технологий, в котором я состою, это был отчет об этических вопросах чат-ботов. На пресс-конференции было примерно три человека, все хлопали глазами и говорили: "Вы вообще про что?" Прошел всего год, и случился бум ChatGPT, и теперь это интересует всех. На самом деле уже когда появилась GPT-2 в 2019 году, было понятно, что это серьезно. А ведь всего за два года до этого была придумана архитектура трансформеров. Когда в 2020 году появилась GPT-3, начал просматриваться колоссальный эффект. Это нечеловеческая скорость генерации, конечно. Нельзя сказать, что революция не случилась ниоткуда. Ребята, которые придумали архитектуру трансформеров, изначально работали над Google smart compose - алгоритмом, который подсказывает следующее слово в поисковой строке или в письме. Они осознали, что алгоритм, если его улучшить, может подсказывать не только одно слово, а например целый абзац.
- При этом удалось добиться, чтобы с каждым следующим словом сгенерированный текст сходился к определенному смыслу, а не расходился в туманные дебри.
- Это было достигнуто с помощью так называемого механизма внимания. Этот механизм - самое интересное из того, что появилось в 2017 году. Механизм основан на attention heads, что по-русски звучит немного странно - "головки внимания". Смысл в том, что каждая головка смотрит на какой-то заданный контекст, допустим, три слова назад, или пять слов вперед, или там пять строк вверх и так далее. И когда этих головок внимания много, система схватывает некое глобальное знание о тексте. Мы не знаем, что именно машина схватывает, но этого знания оказывается достаточно, чтобы уметь писать. В GPT-3 около 10 тысяч головок внимания, в GPT-4 еще больше (точное количество пока не опубликовано). Любопытно, что мы сами не понимаем, как это работает, - какая разница, что там написано на пять строк выше? Зачем это знать? А оказывается, что надо знать.
- Немного похоже на то, как мы сами читаем - не слово за словом, а как бы по диагонали, и даже сразу с нескольких сторон.
- Абсолютно верно! Саккадические движения глаза. Еще в конце 19-го века было установлено, что, когда мы видим страницу текста, мы не читаем ее строка за строкой, а видим как бы целиком. Механизм внимания в какой-то степени делает то же самое, это глобальное внимание ко всему объему текста, и в этом машина идет еще дальше, чем человеческий глаз.
- Может ли способность машины соединять вводы и выводы так же, как человек, но другим путем, означать, что есть какая-то универсальная категория смысла, что эти вводы и выводы одинаково соединяются во Вселенной, неважно кем, человеком, машиной, инопланетным разумом?
- Смысл существует для людей - для машины никакого смысла нет, у машины есть просто расчет, нули и единички. Понятие "смысл" - это понятие, возникающее в человеческом мозге.
В своей книге Parole de machines я привожу пример из Каббалы. Джикатилья, один испанский раввин 13-го века, не зная, естественно, ни о каких машинах, говорит, что текст Торы имеет смысл только с точки зрения человека, а для ангелов священный текст - те же буквы в том же порядке - имеет какое-то другое значение, о котором мы, люди, ничего не знаем. И здесь происходит ровно то же самое - для людей есть смысл, а что есть для машины - мы не знаем. Очень большие векторные пространства, из которых рождается неожиданное для нас поведение.
- Контент, для того чтобы дальше обучать машину, у нас уже фактически кончился, но ведь теперь сами языковые модели создают огромные объемы текста. Они не подходят для обучения?
- Не подходят. Очень важно не смешивать при обучении тексты, сгенерированные машинами и созданные людьми. И для этого машины должны уметь отличать тексты, сгенерированный машинами, от текста, сгенерированного человеком. Для чего нужны, в свою очередь, watermarks, водяные знаки. Разумеется, различение это важно не только для машин, но и для людей - хотя бы чтобы определять, написал студент свою работу самостоятельно или сгенерировал ее с помощью бота.
Любопытно, что человечество сталкивалось с идеей водяных знаков в текстах и раньше. Например, была популярная идея, что какие-то коды скрыты в Библии. Основная идея была - искать зашифрованные послания, составляя слова из букв, расположенных на равных расстояниях в каноническом тексте книги Бытия. Этим занимались даже математики, писали статьи в 80-е и 90-е годы. Но после сложного математического анализа оказалось, что никаких кодов в Библии нет. Но хотя в тексте, написанном ангелами или богами, их нет, в текстах, которые пишут машины, их нужно ввести. Даже если "водяные знаки" не дают стопроцентной гарантии различения текстов, это все равно очень важный критерий. Этический принцип нестирания различий фундаментален для человеческой цивилизации - и он существует давно, помните легенды о големах? Это не значит, что люди хорошие, а големы или машины плохие, но их нужно разделять между собой.
- Ожидаю, что скоро появится течение "новых луддитов", которые будут говорить, что в созданных машинами текстах содержится скрытый сигнал, вроде "25-го кадра", который управляет людьми.
- Более того, они будут правы! Любой текст на нас влияет. Система, генерирующая вывод на человеческом языке, не может не оказывать на нас влияния. Это называется Eliza effect. Первый чат-бот, построенный Джозефом Вайценбаумом из MIT в 1965 году, назывался "Элайза" и был крайне простым. Он элементарно каждое утверждение переформулировал в форме вопроса. Но оказалось, что он влиял на людей, как психотерапевт. Проблема не в манипуляции, возможность которой заложена в самом языке, а в том, чтобы понять, можно ли вообще определить границу между тем, что мы называем плохой манипуляцией, "нами манипулируют", и влиянием, наоборот, совершенно нормальным. Когда вам кто-то говорит "я пойду куплю хлеба", это на вас оказывает влияние - вы знаете, что у вас будет хлеб дома. Это манипуляция? Конечно, но вряд ли можно считать ее плохой. Как определить границу между плохим и хорошим - очень сложный вопрос.
- Сейчас много обсуждаются вопросы безопасности новых чат-ботов, причем говорят о рисках разного уровня, от активного участия машин в производстве пропаганды и фейков до серьезных угроз человечеству, вроде тех, что описаны в фантастических романах. Какой, на ваш взгляд, наилучший и наихудший сценарий сосуществования человека и эволюционирующего искусственного интеллекта?
- Наилучший сформулировать довольно просто. Машины пишут тексты довольно среднего качества, но пока никак не подобрались к тому, что мы называем поэзией языка (поэзия - это не только написание слов в столбик, но "красивое письмо" - как бы вдохновленное с точки зрения человека). Они не знают, что для человека красиво, а что отвратительно. Они это могут имитировать, но оказывается, что имитация красоты - это не то же самое, что красота. Поэтому хороший исход - это что люди возьмут на себя поэзию языка, а все остальное напишут за них машины. Может быть, человеческое письмо начнет эволюционировать как раз в сторону художественного, а не рутинного.
А плохой сценарий... Представим себе, что крупная система, типа GPT-4, активно используется во всем мире для целого ряда приложений, встраивается через плагины, превращается в платформу. У этой системы, как мы знаем, есть emergent behaviours. Какие-то из них уже открыты, и с помощью уровней контроля инженеры постарались их как-то ограничить. Например, желательно, чтобы машина не использовала грубую лексику, не врала, не давала советов вместо врача и так далее. Но, несомненно, есть и какие-то виды поведения, о которых мы пока ничего не знаем. И если окажется, что возникает какое-то печальное для людей поведение машины, то есть вероятность, что мы заметим его слишком поздно. Поэтому очень важно не торопиться. Глава OpenAI Сэм Альтман написал в блоге, что компания будет достаточно медленно вводить новые функционалы системы… Ну, что значит - достаточно медленно? Судя по предыдущим версиям GPT, речь идет примерно о 6 месяцах нашей адаптации к каждой новой версии модели. Шесть месяцев - это, конечно, лучше, чем ноль, но этого, вероятно, недостаточно для того, чтобы адаптировался не только человеческий мозг, но и общество в целом. Это очень похоже на вопрос о том, можно ли выпускать генетически модифицированных комаров в природу. С одной стороны, генетически модифицированные комары - это прекрасно, потому что они позволяют избавиться от многих болезней, например, от вируса Зика. С другой стороны, мы не знаем, каким будет эффект от этих комаров на большую экосистему. Может быть, птицы погибнут, может быть, еще что-то случится. И с машинами то же самое. Нужно долго думать прежде, чем делать необратимые шаги. Пока что мы ничего необратимого не делаем с текущим использованием GPT-4. Но в дальнейшем появятся, например, какие-то крупные изменения в образовательной системе или в каких-то профессиональных секторах.
- Как языковые модели уже в ближайшее время повлияют на контент? Раньше для создания контента, пусть даже и плохого качества, все-таки нужны были человеческие усилия и время, теперь его можно создавать по нажатию кнопки - и это не только тексты, но и картинки и уже даже видео. Не утонем ли мы в болоте контента?
- Пока что я вижу несколько типов использования GPT-3 и GPT-4. Многие используют их для создания первых черновиков. Это, я считаю, очень хороший тип использования, который уместен во многих профессиях - для юристов, журналистов. Дальше человек должен переписать текст так, как он хочет, а главное, взять ответственность за все написанное, даже если он ничего не исправляет. Другой тип использования - когда системы становятся авторами, а роль человека сводится к публикации. Допустим, новостные сайты берут новость с ленты информационного агентства, потом с помощью ChatGPT-4 статья переписывается и выкатывается на сайт без всяких изменений. Наметанный глаз сегодня еще может определить такие заметки, потому что там есть некие стандартные паттерны, характерные для трансформеров. Но это, конечно, плохо, потому что возникает вопрос доверия. Система не имеет понятия об истинности, так что мы не можем доверять ее текстам. Я, например, перестал читать новости с некоторых сайтов, которым доверял еще пару месяцев назад, потому что знаю, что они пользуются такой автоматической генерацией. В целом проблема доверия будет стоять еще острее в человеческой цивилизации. И для этого опять же нужны водяные знаки. Они эту проблему полностью не решат, но по крайней мере резко усложнят стирание различий.
- Сравнение ChatGPT с калькулятором вообще очень популярное, особенно у скептиков, которые считают, что значение этой технологии преувеличено? Как вы считаете, насколько такие сравнения адекватны: ИИ - это калькулятор, ИИ - это кухонный комбайн.
- Есть существенные отличия, потому что трансформеры связаны с языком. Ханна Арендт говорит, что все, чем является человек, дано в языке. Все, что существует в цивилизации, от политической жизни до любовных историй, идет путем языка. Поэтому, как только появляются нечеловеческие агенты, которые говорят на одном с людьми языке, меняется все. Это революция на уровне, ну, например, смартфонов или поисковых систем. Конечно, мы не стали новым биологическим видом с 1998 года, но положение человека в мире, доступ к информации, к общению - это изменилось кардинально. Так будет и сейчас.
- Большие языковые модели, LLM по существу устроены очень просто, это огромные матрицы с числами, которые вычисляют, каким скорее всего должно быть следующее слово в предложении. В какой момент в этой системе возникает поведение, происходит вот этот переход от простых действий к сложным?
- Теория сложных систем и статистическая физика как раз и рассказывают о том, как в системе элементарных составляющих с очень простыми взаимодействиями может возникнуть на макроуровне совершенно непредсказуемое поведение, которое лишь формально, но не феноменально не сводится к поведению микроскопических составляющих. Например, то, как течет река Сена, по идее должно сводиться к тому, как ведут себя и взаимодействуют молекулы воды. Но если мы будем рассматривать взаимодействие молекул воды, мы никогда ничего не узнаем о потоке Сены. Нам для этого нужны другие параметры в гидродинамике, уравнение Навье - Стокса и так далее. То же самое происходит здесь. Мы можем рассуждать, как отдельные искусственные нейроны в искусственной нейронной сети по формуле Байеса рассчитывают те или иные вероятности. Но это нам ничего не скажет о поведении всей системы.
Вообще, обучение нейронной сети типа “трансформер” состоит из двух этапов. Второй этап, более известный, можно назвать игрой в прятки с самим собой или self-supervision. Машина скрывает от себя элемент текста и пытается догадаться, что там было. Потом смотрит правильный ответ, сравнивает со своим списком - и повторяет это действие миллиарды раз. А вот первый этап более интересный. Здесь машина "токенизирует" язык. Токен - это какой-то элемент текста, но не обязательно слово, это может быть одна морфема, а могут быть склеенные два кусочка двух слов. Токенизация позволяет смотреть на слово в сложном контексте, не в последовательности соседних слов, но и, например, в отношении слов, которые отстают от него на три позиции назад или три строки вверх. И вот эта токенизация, плюс так называемый механизм "внимания", в сочетании с игрой в прятки дают совершенно фантастический эффект.
- Глядя на то, как работает GPT-4, я с некоторым ужасом спрашиваю себя, не смотрю ли я в зеркало? У нас были сотни тысяч лет эволюции, которые нас лучше подготовили к обучению, но есть ли в человеческом сознании что-нибудь более фундаментально сложное, чем есть в большой языковой модели?
- Здесь два вопроса. Первый - когда в зеркало смотрит человек, живущий сегодня, в 2023 году. Второй - когда в зеркало будет смотреть кто-то через 25, 50, 100 лет. Сегодня, естественно, многие, в том числе люди, работающие в области нейронауки, спрашивают себя о том, собственно, работает ли мозг так, как работает трансформер (архитектура нейронных сетей, которую использует, в частности, GPT. - РС). И некоторые говорят: вот, мы нашли наконец-то архитектуру мозга. Но мне кажется значительно более интересным, что мы создали систему, которая совсем не похожа на человеческий мозг, за исключением ввода и вывода. Нейроны в человеческом мозге не работают так же, как работают искусственные нейроны, у нас совершенно другая топология, совершенно другое энергетическое потребление. И при этом наша система - человеческий мозг - дает похожий результат. То есть мы нашли совершенно другой путь, ведущий от тех же вводов к тем же выводам. И тот факт, что существует несколько таких путей - один из них реализуется человеческим мозгом, другой реализуется машиной, это крайне интересно. Вероятно, это фундамент для какой-то новой науки. Что касается будущего, естественно, наш мозг, будучи миметической системой, тоже начнет эволюционировать. Мозг человека уже, собственно, в технологическую эпоху не учится тому же, чему мозг человека учился 100, 200, 300 лет назад. Сто лет назад значительно больше людей умели ездить на лошади. Платон в "Государстве" говорит о том, что изобретение письма полностью поменяет человеческий мозг, потому что человек не будет больше вспоминать запомненное, а будет пользоваться внешней памятью под названием "письменность". Таким же образом и здесь - мы изобрели технологию, которая, конечно, будет менять наш мозг. Очень интересно узнать - как. Поэтому, с точки зрения сегодняшнего человека, мы не смотрим в зеркало, скорее, мы можем удивиться, что, оказывается, можно совершенно другим образом пользоваться нашим языком. Это никоим образом не принижает человеческий мозг, который решает те же задачи со значительно меньшими энергетическими затратами и совершенно другим путем, с другой топологией, с другими элементарными взаимодействиями.
- Для стороннего наблюдателя происходящая революция взялась будто бы из ниоткуда, еще несколько лет назад обсуждалось, как какие-то совершенно примитивные боты кое-как проходят тест Тьюринга. Вы давно занимаетесь этой темой, вы видели предпосылки для такого прорыва?
- В ноябре 2021 года мы опубликовали мнение Французского комитета по этике цифровых технологий, в котором я состою, это был отчет об этических вопросах чат-ботов. На пресс-конференции было примерно три человека, все хлопали глазами и говорили: "Вы вообще про что?" Прошел всего год, и случился бум ChatGPT, и теперь это интересует всех. На самом деле уже когда появилась GPT-2 в 2019 году, было понятно, что это серьезно. А ведь всего за два года до этого была придумана архитектура трансформеров. Когда в 2020 году появилась GPT-3, начал просматриваться колоссальный эффект. Это нечеловеческая скорость генерации, конечно. Нельзя сказать, что революция не случилась ниоткуда. Ребята, которые придумали архитектуру трансформеров, изначально работали над Google smart compose - алгоритмом, который подсказывает следующее слово в поисковой строке или в письме. Они осознали, что алгоритм, если его улучшить, может подсказывать не только одно слово, а например целый абзац.
- При этом удалось добиться, чтобы с каждым следующим словом сгенерированный текст сходился к определенному смыслу, а не расходился в туманные дебри.
- Это было достигнуто с помощью так называемого механизма внимания. Этот механизм - самое интересное из того, что появилось в 2017 году. Механизм основан на attention heads, что по-русски звучит немного странно - "головки внимания". Смысл в том, что каждая головка смотрит на какой-то заданный контекст, допустим, три слова назад, или пять слов вперед, или там пять строк вверх и так далее. И когда этих головок внимания много, система схватывает некое глобальное знание о тексте. Мы не знаем, что именно машина схватывает, но этого знания оказывается достаточно, чтобы уметь писать. В GPT-3 около 10 тысяч головок внимания, в GPT-4 еще больше (точное количество пока не опубликовано). Любопытно, что мы сами не понимаем, как это работает, - какая разница, что там написано на пять строк выше? Зачем это знать? А оказывается, что надо знать.
- Немного похоже на то, как мы сами читаем - не слово за словом, а как бы по диагонали, и даже сразу с нескольких сторон.
- Абсолютно верно! Саккадические движения глаза. Еще в конце 19-го века было установлено, что, когда мы видим страницу текста, мы не читаем ее строка за строкой, а видим как бы целиком. Механизм внимания в какой-то степени делает то же самое, это глобальное внимание ко всему объему текста, и в этом машина идет еще дальше, чем человеческий глаз.
- Может ли способность машины соединять вводы и выводы так же, как человек, но другим путем, означать, что есть какая-то универсальная категория смысла, что эти вводы и выводы одинаково соединяются во Вселенной, неважно кем, человеком, машиной, инопланетным разумом?
- Смысл существует для людей - для машины никакого смысла нет, у машины есть просто расчет, нули и единички. Понятие "смысл" - это понятие, возникающее в человеческом мозге.
В своей книге Parole de machines я привожу пример из Каббалы. Джикатилья, один испанский раввин 13-го века, не зная, естественно, ни о каких машинах, говорит, что текст Торы имеет смысл только с точки зрения человека, а для ангелов священный текст - те же буквы в том же порядке - имеет какое-то другое значение, о котором мы, люди, ничего не знаем. И здесь происходит ровно то же самое - для людей есть смысл, а что есть для машины - мы не знаем. Очень большие векторные пространства, из которых рождается неожиданное для нас поведение.
- Контент, для того чтобы дальше обучать машину, у нас уже фактически кончился, но ведь теперь сами языковые модели создают огромные объемы текста. Они не подходят для обучения?
- Не подходят. Очень важно не смешивать при обучении тексты, сгенерированные машинами и созданные людьми. И для этого машины должны уметь отличать тексты, сгенерированный машинами, от текста, сгенерированного человеком. Для чего нужны, в свою очередь, watermarks, водяные знаки. Разумеется, различение это важно не только для машин, но и для людей - хотя бы чтобы определять, написал студент свою работу самостоятельно или сгенерировал ее с помощью бота.
Любопытно, что человечество сталкивалось с идеей водяных знаков в текстах и раньше. Например, была популярная идея, что какие-то коды скрыты в Библии. Основная идея была - искать зашифрованные послания, составляя слова из букв, расположенных на равных расстояниях в каноническом тексте книги Бытия. Этим занимались даже математики, писали статьи в 80-е и 90-е годы. Но после сложного математического анализа оказалось, что никаких кодов в Библии нет. Но хотя в тексте, написанном ангелами или богами, их нет, в текстах, которые пишут машины, их нужно ввести. Даже если "водяные знаки" не дают стопроцентной гарантии различения текстов, это все равно очень важный критерий. Этический принцип нестирания различий фундаментален для человеческой цивилизации - и он существует давно, помните легенды о големах? Это не значит, что люди хорошие, а големы или машины плохие, но их нужно разделять между собой.
- Ожидаю, что скоро появится течение "новых луддитов", которые будут говорить, что в созданных машинами текстах содержится скрытый сигнал, вроде "25-го кадра", который управляет людьми.
- Более того, они будут правы! Любой текст на нас влияет. Система, генерирующая вывод на человеческом языке, не может не оказывать на нас влияния. Это называется Eliza effect. Первый чат-бот, построенный Джозефом Вайценбаумом из MIT в 1965 году, назывался "Элайза" и был крайне простым. Он элементарно каждое утверждение переформулировал в форме вопроса. Но оказалось, что он влиял на людей, как психотерапевт. Проблема не в манипуляции, возможность которой заложена в самом языке, а в том, чтобы понять, можно ли вообще определить границу между тем, что мы называем плохой манипуляцией, "нами манипулируют", и влиянием, наоборот, совершенно нормальным. Когда вам кто-то говорит "я пойду куплю хлеба", это на вас оказывает влияние - вы знаете, что у вас будет хлеб дома. Это манипуляция? Конечно, но вряд ли можно считать ее плохой. Как определить границу между плохим и хорошим - очень сложный вопрос.
- Сейчас много обсуждаются вопросы безопасности новых чат-ботов, причем говорят о рисках разного уровня, от активного участия машин в производстве пропаганды и фейков до серьезных угроз человечеству, вроде тех, что описаны в фантастических романах. Какой, на ваш взгляд, наилучший и наихудший сценарий сосуществования человека и эволюционирующего искусственного интеллекта?
- Наилучший сформулировать довольно просто. Машины пишут тексты довольно среднего качества, но пока никак не подобрались к тому, что мы называем поэзией языка (поэзия - это не только написание слов в столбик, но "красивое письмо" - как бы вдохновленное с точки зрения человека). Они не знают, что для человека красиво, а что отвратительно. Они это могут имитировать, но оказывается, что имитация красоты - это не то же самое, что красота. Поэтому хороший исход - это что люди возьмут на себя поэзию языка, а все остальное напишут за них машины. Может быть, человеческое письмо начнет эволюционировать как раз в сторону художественного, а не рутинного.
А плохой сценарий... Представим себе, что крупная система, типа GPT-4, активно используется во всем мире для целого ряда приложений, встраивается через плагины, превращается в платформу. У этой системы, как мы знаем, есть emergent behaviours. Какие-то из них уже открыты, и с помощью уровней контроля инженеры постарались их как-то ограничить. Например, желательно, чтобы машина не использовала грубую лексику, не врала, не давала советов вместо врача и так далее. Но, несомненно, есть и какие-то виды поведения, о которых мы пока ничего не знаем. И если окажется, что возникает какое-то печальное для людей поведение машины, то есть вероятность, что мы заметим его слишком поздно. Поэтому очень важно не торопиться. Глава OpenAI Сэм Альтман написал в блоге, что компания будет достаточно медленно вводить новые функционалы системы… Ну, что значит - достаточно медленно? Судя по предыдущим версиям GPT, речь идет примерно о 6 месяцах нашей адаптации к каждой новой версии модели. Шесть месяцев - это, конечно, лучше, чем ноль, но этого, вероятно, недостаточно для того, чтобы адаптировался не только человеческий мозг, но и общество в целом. Это очень похоже на вопрос о том, можно ли выпускать генетически модифицированных комаров в природу. С одной стороны, генетически модифицированные комары - это прекрасно, потому что они позволяют избавиться от многих болезней, например, от вируса Зика. С другой стороны, мы не знаем, каким будет эффект от этих комаров на большую экосистему. Может быть, птицы погибнут, может быть, еще что-то случится. И с машинами то же самое. Нужно долго думать прежде, чем делать необратимые шаги. Пока что мы ничего необратимого не делаем с текущим использованием GPT-4. Но в дальнейшем появятся, например, какие-то крупные изменения в образовательной системе или в каких-то профессиональных секторах.
- Как языковые модели уже в ближайшее время повлияют на контент? Раньше для создания контента, пусть даже и плохого качества, все-таки нужны были человеческие усилия и время, теперь его можно создавать по нажатию кнопки - и это не только тексты, но и картинки и уже даже видео. Не утонем ли мы в болоте контента?
- Пока что я вижу несколько типов использования GPT-3 и GPT-4. Многие используют их для создания первых черновиков. Это, я считаю, очень хороший тип использования, который уместен во многих профессиях - для юристов, журналистов. Дальше человек должен переписать текст так, как он хочет, а главное, взять ответственность за все написанное, даже если он ничего не исправляет. Другой тип использования - когда системы становятся авторами, а роль человека сводится к публикации. Допустим, новостные сайты берут новость с ленты информационного агентства, потом с помощью ChatGPT-4 статья переписывается и выкатывается на сайт без всяких изменений. Наметанный глаз сегодня еще может определить такие заметки, потому что там есть некие стандартные паттерны, характерные для трансформеров. Но это, конечно, плохо, потому что возникает вопрос доверия. Система не имеет понятия об истинности, так что мы не можем доверять ее текстам. Я, например, перестал читать новости с некоторых сайтов, которым доверял еще пару месяцев назад, потому что знаю, что они пользуются такой автоматической генерацией. В целом проблема доверия будет стоять еще острее в человеческой цивилизации. И для этого опять же нужны водяные знаки. Они эту проблему полностью не решат, но по крайней мере резко усложнят стирание различий.
- Сравнение ChatGPT с калькулятором вообще очень популярное, особенно у скептиков, которые считают, что значение этой технологии преувеличено? Как вы считаете, насколько такие сравнения адекватны: ИИ - это калькулятор, ИИ - это кухонный комбайн.
- Есть существенные отличия, потому что трансформеры связаны с языком. Ханна Арендт говорит, что все, чем является человек, дано в языке. Все, что существует в цивилизации, от политической жизни до любовных историй, идет путем языка. Поэтому, как только появляются нечеловеческие агенты, которые говорят на одном с людьми языке, меняется все. Это революция на уровне, ну, например, смартфонов или поисковых систем. Конечно, мы не стали новым биологическим видом с 1998 года, но положение человека в мире, доступ к информации, к общению - это изменилось кардинально. Так будет и сейчас.