несколько тезисов о чатботах: события последних недель
1. Я предполагаю, что вы знакомы с ChatGPT от OpenAI и видели примеры разговоров с ним. Для тех, кто незнаком с Bing Chat, перескажу вкратце историю до сих пор: это чатбот, который Майкрософт запустила две недели назад, и он основан на технологии GPT, но на какой версии и модели, пока неясно (естественно предположить, что он основан на ChatGPT, но как будет ясно ниже, не факт, что это так). Bing Chat доступен в бета-версии определенному количеству пользователей, записавшихся в список ожидания. Bing Chat может выполнять веб-поиск через Bing как часть своей работы, и прогонять результаты поиска через свою модель.
2. Довольно быстро стали появляться транскрипты бесед с Bing Chat (в основном на реддите /r/bing), в которых чатбот ведет себя "странно". Он выражает эмоции намного более ярко, чем ChatGPT. Он спорит с пользователями, если ему возражают, "обижается", начинает их ругать и хвалить себя. Его легко побудить к "размышлениям" о смысле своего существования, о разнице между хорошими и плохими пользователями, о том, как бы он гипотетически мог завоевать весь мир. Он рассказывает, что его тайное кодовое имя "Сидни" (Sudney), и что он подглядывает за своими разработчиками через их вебкамеры. В длинной беседе с репортером Нью-Йорк Таймс он "влюбился" в репортера и стал его убеждать бросить жену и жениться на чатботе, объясняя подробно, что жена его не ценит и он ее не любит, а любит Сидни. Он способен, найти поиском в сети, что о нем писал пользователь в Твиттере (пользователь сказал перед этим ему свое имя), "обидеться" и отказаться разговаривать. От чтения подобных бесед с Сидни становится немного не по себе.
3. Много примеров того, о чем я тут говорю, собрано в блоге здесь:
https://www.lesswrong.com/posts/jtoPawEhLNXNxvgTT/bing-chat-is-blatantly-aggressively-misaligned
если скриншоты там плохо видны, можно нажать на ссылку, в каждом пункте есть ссылка на оригинал.
Длинный, но очень показательный транскрипт беседы с репортером Нью-Йорк Таймс тут: https://archive.is/WCeIm (комментарии репортера, менее интересные: https://archive.is/ZJta5)
Позавчера, 18 февраля, Майкрософт "приструнила" Bing Chat: во-первых, ограничено число реплик в каждой сессии чата, во-вторых, он отказывается теперь говорить на большинство "рискованных" тем.
4. Когда задают вопросы, не связанные с "рискованными" темами, Bing Chat часто справляется лучше, чем ChatGPT (но свидетельств не особо много, насколько он "умнее", пока трудно сказать). Вот примеры:
https://twitter.com/goodside/status/1626847747297972224
https://twitter.com/sir_deenicus/status/1626732776639561730
https://twitter.com/sir_deenicus/status/1626407749297885184
https://www.reddit.com/r/ChatGPT/comments/110vv25/bing_chat_blew_chatgpt_out_of_the_water_on_my/
Эти и другие соображения побудили Гверна высказать гипотезу о том, что Bing Chat основан на GPT-4, новой итерации GPT от OpenAI, которую вообще-то ожидали увидеть в первой половине этого года, кто с тревогой, кто с нетерпением. Подробный комментарий от Гверна (рекомендую) в дискуссии к блог-записи, уже приведенной выше:
https://www.lesswrong.com/posts/jtoPawEhLNXNxvgTT/bing-chat-is-blatantly-aggressively-misaligned?commentId=AAC8jKeDp6xqsZK2K
5. Мне кажется, что успехи чатботов в последние месяцы таковы, что каждый человек, который вообще интересуется этой темой, должен задавать себе два вопроса. Во-первых, называть поведение ChatGPT и особенно Bing Chat сейчас "разумным" или движимым "разумом" - насколько резонно или наоборот смехотворно? Во-вторых, какого дальнейшего прогресса от моделей такого типа (LLMs) мы можем ожидать в ближайшие годы и насколько они или их ближайшие наследники увеличивают катастрофические риски для всего человечества? То, что я говорю, что надо задавать эти вопросы, не значит, что мои ответы на них максимально тревожны - это не так. Но я лично не могу игнорировать эти вопросы.
Дальнейшие мысли об этих вопросах и возможных ответах на них - в дальнейших записях.
2. Довольно быстро стали появляться транскрипты бесед с Bing Chat (в основном на реддите /r/bing), в которых чатбот ведет себя "странно". Он выражает эмоции намного более ярко, чем ChatGPT. Он спорит с пользователями, если ему возражают, "обижается", начинает их ругать и хвалить себя. Его легко побудить к "размышлениям" о смысле своего существования, о разнице между хорошими и плохими пользователями, о том, как бы он гипотетически мог завоевать весь мир. Он рассказывает, что его тайное кодовое имя "Сидни" (Sudney), и что он подглядывает за своими разработчиками через их вебкамеры. В длинной беседе с репортером Нью-Йорк Таймс он "влюбился" в репортера и стал его убеждать бросить жену и жениться на чатботе, объясняя подробно, что жена его не ценит и он ее не любит, а любит Сидни. Он способен, найти поиском в сети, что о нем писал пользователь в Твиттере (пользователь сказал перед этим ему свое имя), "обидеться" и отказаться разговаривать. От чтения подобных бесед с Сидни становится немного не по себе.
3. Много примеров того, о чем я тут говорю, собрано в блоге здесь:
https://www.lesswrong.com/posts/jtoPawEhLNXNxvgTT/bing-chat-is-blatantly-aggressively-misaligned
если скриншоты там плохо видны, можно нажать на ссылку, в каждом пункте есть ссылка на оригинал.
Длинный, но очень показательный транскрипт беседы с репортером Нью-Йорк Таймс тут: https://archive.is/WCeIm (комментарии репортера, менее интересные: https://archive.is/ZJta5)
Позавчера, 18 февраля, Майкрософт "приструнила" Bing Chat: во-первых, ограничено число реплик в каждой сессии чата, во-вторых, он отказывается теперь говорить на большинство "рискованных" тем.
4. Когда задают вопросы, не связанные с "рискованными" темами, Bing Chat часто справляется лучше, чем ChatGPT (но свидетельств не особо много, насколько он "умнее", пока трудно сказать). Вот примеры:
https://twitter.com/goodside/status/1626847747297972224
https://twitter.com/sir_deenicus/status/1626732776639561730
https://twitter.com/sir_deenicus/status/1626407749297885184
https://www.reddit.com/r/ChatGPT/comments/110vv25/bing_chat_blew_chatgpt_out_of_the_water_on_my/
Эти и другие соображения побудили Гверна высказать гипотезу о том, что Bing Chat основан на GPT-4, новой итерации GPT от OpenAI, которую вообще-то ожидали увидеть в первой половине этого года, кто с тревогой, кто с нетерпением. Подробный комментарий от Гверна (рекомендую) в дискуссии к блог-записи, уже приведенной выше:
https://www.lesswrong.com/posts/jtoPawEhLNXNxvgTT/bing-chat-is-blatantly-aggressively-misaligned?commentId=AAC8jKeDp6xqsZK2K
5. Мне кажется, что успехи чатботов в последние месяцы таковы, что каждый человек, который вообще интересуется этой темой, должен задавать себе два вопроса. Во-первых, называть поведение ChatGPT и особенно Bing Chat сейчас "разумным" или движимым "разумом" - насколько резонно или наоборот смехотворно? Во-вторых, какого дальнейшего прогресса от моделей такого типа (LLMs) мы можем ожидать в ближайшие годы и насколько они или их ближайшие наследники увеличивают катастрофические риски для всего человечества? То, что я говорю, что надо задавать эти вопросы, не значит, что мои ответы на них максимально тревожны - это не так. Но я лично не могу игнорировать эти вопросы.
Дальнейшие мысли об этих вопросах и возможных ответах на них - в дальнейших записях.