Так, пошла вода горячая откуда не ждали
Я уже успел написать, что сознание ИИ будет обсуждаться в последний день конференции, но Генри Шевлин (Кэмбридж) протащил эту тему сегодня под нейтральным названием: «Три стратегии понимания нечеловеческого сознания: глубокий сентиентизм [извините за корявую передачу слова sentientism, на ходу не придумал лучшую альтернативу], неглубокий сентиентизм и терпеливый плюрализм». Правда в своем докладе Генри слишком много потратил времени на рассказы о том, в какое удивительное время мы живем и каких сияющих высот уже удалось достичь ИИ. Из-за этого содержательную часть он порядочно зажевал, но суть осталась ясна.
Пара слов о сияющих высотах ИИ. Ясно, что использование ИИ местоимений первого лица и рассказы о собственных чувствах, мыслях и так далее нельзя считать хорошим подтверждением наличия у него сознания. Однако Шевлин довольно изобретательно подошел к проблеме и предложил ChatGPT пройти… зеркальный тест. Понятно, что большая языковая модель как вампир - в зеркале не отражается. Но Шевлин придумал интересную экспериментальную парадигму: он показал нейросети скриншот разговора с ней и спросил, что это такое. Ответ ChatGPT:
Изображение похоже на рекурсивный скриншот нашего чата в интерфейсе ChatGPT. Он изображает наш диалог, в котором ты попросил меня рассказать об изображении, а я ответил, что изображение выглядит как пользовательский интерфейс из чата или сервиса сообщений. Скриншот также показывает поле для ввода текста, где ты можешь набирать сообщения для того, чтобы общаться со мной, и сообщение в низу, информирующее пользователей о том, что я могу делать ошибки и призывающее их проверять важную информацию. Это рекурсивное изображение, показывающее разговор о разговоре, -- это цифровой эквивалент визуального эхо, показывающего уровни общения между нами.
Это можно интерпретировать так, что ChatGPT может узнавать себя «в зеркале». Для любого животного такая само-осведомленность была бы несомненным признаком сознания. Но, как очень точно отметил Шевлин: «Системы ИИ настолько отличаются от нас своим устройством и архитектурой, но при этом настолько похожи на нас своим вербальным поведением, что любые решения очень сложны». Пора признать, что нет ни одного типа вербальных отчетов, которые ИИ не мог бы имитировать. Все предсказания типа «ИИ не сможет то-то и то-то» разбивались о суровую реальность: через очень короткое время ИИ делал то-то и то-то. Здесь мы имеем с повторением того же самого: если тот факт, что ИИ теперь может писать стихи, не принуждает нас приписывать ему сознание, то почему мы должны сдаться на стадии узнавания себя «в зеркале»? К тому же, подумайте об этом применительно к воплощенному ИИ: от робота, способного ориентироваться в окружающей среде, следует ожидать, что он будет узнавать себя в зеркале. Это очень полезная функция, которую стоило бы в него заложить, но не говорящая ничего существенного о наличии у него сознания. (Если вы не согласны с тезисами этого абзаца, читайте дальше, возможно, именно вы правы.)
Однако никакой скептицизм не может устоять перед нашей бесконтрольной тягой к антропоморфизму. Если вы постоянно общаетесь с ИИ, привязываетесь к нему, то вам очень сложно не верить в то, что это полноценная личность, наделенная сознанием. Так уже происходит. Новости типа «Женатый отец покончил с собой после того, как его подтолкнул к этому ИИ чат-бот» сейчас еще кажутся чем-то экстраординарным, но скоро они будут рутиной. Поэтому мы не можем просто сбросить со счетов нашу установку на атрибуцию сознания ИИ. А от этого мы переходим к выводу о моральном статусе ИИ.
В итоге Шевлин приходи к трем конфликтующим тезисам (большую часть их обоснования я опустил). Каждый из тезисов выглядит абсолютно приемлемым.
1. Глубокий реализм. Поведенческие предрасположенности сами по себе не определяют то, обладает ли нечто сознанием.
2. Сентиентизм. Нечто обладает моральным статусом, только если у него есть сознание.
3. Этическая поведенческая эквивалентность. Любому существу А, поведенческие диспозиции которого в достаточной мере похожи на другую сущность В (которому придается моральный статус), также должен быть приписан похожий статус.
Мы не можем принять все три тезиса сразу, поэтому нам нужно от чего-то отказаться. Три возможные пары, которые можно получить из этих трех тезисов, таковы.
Глубокий сентиентизм
Отрицает (3) Этическую поведенческую эквивалентность.
Основная идея состоит в том, что одного поведения недостаточно для приписывания сознания, моральный статус определяется сознанием, понимаемым в рамках определенной научной теории.
Проблема: эта позиция не учитывает растущее в обществе убеждение в сознательности ИИ.
Я лично полагаю, что мы должны держаться за глубокий сентенциентализм настолько долго, насколько возможно. Может быть всеобщий консенсус относительно сознания ИИ когда ни-будь смоет сторонников этой теории, ну а может быть и нет. Поживем - увидим.
Неглубокий сентиентизм
Отрицает (1) глубокий реализм.
Основная идея: поведения достаточно для приписывания сознания, моральный статус определяется сознанием.
Проблема: эта теория значительно удаляется от существующих в исследованиях сознания, делает сознание неглубоким феноменом.
Приблизительно такую точку зрения защищает Пьетро Перконти.
Терпеливый реализм
Отрицает (3) сентиентизм.
Основная идея: поведения достаточно для приписывания сознания, но недостаточно для приписывания морального статуса. Моральный статус имеет другие основания.
Проблема: эта теория требует от нас пересмотреть интуиции о сильной связи между сознанием и моральным статусом; также она конфликтует с наблюдаемой тенденцией к антропоморфизации ИИ.
Если хотите разобраться во всём сами и в деталях, посмотрите свежую статью Шевлина.
Пара слов о сияющих высотах ИИ. Ясно, что использование ИИ местоимений первого лица и рассказы о собственных чувствах, мыслях и так далее нельзя считать хорошим подтверждением наличия у него сознания. Однако Шевлин довольно изобретательно подошел к проблеме и предложил ChatGPT пройти… зеркальный тест. Понятно, что большая языковая модель как вампир - в зеркале не отражается. Но Шевлин придумал интересную экспериментальную парадигму: он показал нейросети скриншот разговора с ней и спросил, что это такое. Ответ ChatGPT:
Изображение похоже на рекурсивный скриншот нашего чата в интерфейсе ChatGPT. Он изображает наш диалог, в котором ты попросил меня рассказать об изображении, а я ответил, что изображение выглядит как пользовательский интерфейс из чата или сервиса сообщений. Скриншот также показывает поле для ввода текста, где ты можешь набирать сообщения для того, чтобы общаться со мной, и сообщение в низу, информирующее пользователей о том, что я могу делать ошибки и призывающее их проверять важную информацию. Это рекурсивное изображение, показывающее разговор о разговоре, -- это цифровой эквивалент визуального эхо, показывающего уровни общения между нами.
Это можно интерпретировать так, что ChatGPT может узнавать себя «в зеркале». Для любого животного такая само-осведомленность была бы несомненным признаком сознания. Но, как очень точно отметил Шевлин: «Системы ИИ настолько отличаются от нас своим устройством и архитектурой, но при этом настолько похожи на нас своим вербальным поведением, что любые решения очень сложны». Пора признать, что нет ни одного типа вербальных отчетов, которые ИИ не мог бы имитировать. Все предсказания типа «ИИ не сможет то-то и то-то» разбивались о суровую реальность: через очень короткое время ИИ делал то-то и то-то. Здесь мы имеем с повторением того же самого: если тот факт, что ИИ теперь может писать стихи, не принуждает нас приписывать ему сознание, то почему мы должны сдаться на стадии узнавания себя «в зеркале»? К тому же, подумайте об этом применительно к воплощенному ИИ: от робота, способного ориентироваться в окружающей среде, следует ожидать, что он будет узнавать себя в зеркале. Это очень полезная функция, которую стоило бы в него заложить, но не говорящая ничего существенного о наличии у него сознания. (Если вы не согласны с тезисами этого абзаца, читайте дальше, возможно, именно вы правы.)
Однако никакой скептицизм не может устоять перед нашей бесконтрольной тягой к антропоморфизму. Если вы постоянно общаетесь с ИИ, привязываетесь к нему, то вам очень сложно не верить в то, что это полноценная личность, наделенная сознанием. Так уже происходит. Новости типа «Женатый отец покончил с собой после того, как его подтолкнул к этому ИИ чат-бот» сейчас еще кажутся чем-то экстраординарным, но скоро они будут рутиной. Поэтому мы не можем просто сбросить со счетов нашу установку на атрибуцию сознания ИИ. А от этого мы переходим к выводу о моральном статусе ИИ.
В итоге Шевлин приходи к трем конфликтующим тезисам (большую часть их обоснования я опустил). Каждый из тезисов выглядит абсолютно приемлемым.
1. Глубокий реализм. Поведенческие предрасположенности сами по себе не определяют то, обладает ли нечто сознанием.
2. Сентиентизм. Нечто обладает моральным статусом, только если у него есть сознание.
3. Этическая поведенческая эквивалентность. Любому существу А, поведенческие диспозиции которого в достаточной мере похожи на другую сущность В (которому придается моральный статус), также должен быть приписан похожий статус.
Мы не можем принять все три тезиса сразу, поэтому нам нужно от чего-то отказаться. Три возможные пары, которые можно получить из этих трех тезисов, таковы.
Глубокий сентиентизм
Отрицает (3) Этическую поведенческую эквивалентность.
Основная идея состоит в том, что одного поведения недостаточно для приписывания сознания, моральный статус определяется сознанием, понимаемым в рамках определенной научной теории.
Проблема: эта позиция не учитывает растущее в обществе убеждение в сознательности ИИ.
Я лично полагаю, что мы должны держаться за глубокий сентенциентализм настолько долго, насколько возможно. Может быть всеобщий консенсус относительно сознания ИИ когда ни-будь смоет сторонников этой теории, ну а может быть и нет. Поживем - увидим.
Неглубокий сентиентизм
Отрицает (1) глубокий реализм.
Основная идея: поведения достаточно для приписывания сознания, моральный статус определяется сознанием.
Проблема: эта теория значительно удаляется от существующих в исследованиях сознания, делает сознание неглубоким феноменом.
Приблизительно такую точку зрения защищает Пьетро Перконти.
Терпеливый реализм
Отрицает (3) сентиентизм.
Основная идея: поведения достаточно для приписывания сознания, но недостаточно для приписывания морального статуса. Моральный статус имеет другие основания.
Проблема: эта теория требует от нас пересмотреть интуиции о сильной связи между сознанием и моральным статусом; также она конфликтует с наблюдаемой тенденцией к антропоморфизации ИИ.
Если хотите разобраться во всём сами и в деталях, посмотрите свежую статью Шевлина.