Как и человеческий мозг, ChatGPT лучше решает проблемы, когда делает это медленно
Тема искусственного интеллекта сейчас у всех на слуху. Оказывается, когда людям и чатботам нужны быстрые ответы, это приводит к большему числу ошибок.
Когда человеческий мозг сталкивается с какой-то задачей, существует два способа ее решения: быстро и интуитивно или медленно и методично. Эти два способа обработки информации известны как «Система 1» и «Система 2». Лауреат Нобелевской премии психолог Daniel Kahneman описывает их как «быстрое» и «медленное» мышление.
Большие языковые модели, как ChatGPT, по умолчанию решают задачи быстро. Задайте вопрос, и вы сразу получите ответ. Причем, совсем не обязательно, что он будет правильным. Это «Система 1».
Могут ли эти модели по мере своего развития замедляться и подходить к решению задач пошагово, избегая неточностей, которые возникают в результате быстрых ответов? В своем новом исследовании в издании Nature Computational Science профессор организационного поведения Стэнфордской высшей школы бизнеса Michael Kosinski обнаружил, что модели на это способны, и что они могут превзойти способности людей в базовых тестах на рассуждение и принятие решения.
Как оказалось, ответы более ранних моделей GTP-1 и GTP-2 на поставленные вопросы по мере роста их сложности походили на «Систему 1». Это очень похоже на ответы, которые дали бы люди. Такие системы по мнению профессора не могут сами замедляться, чтобы подумать и проанализировать вопрос. Единственное, на что они способны, - предсказать следующее слово в предложении.
Однако, исследователи обнаружили, что последние версии моделей GPT-3 и ChatGPT могут более стратегически и точно решать поставленные вопросы. Это «Система 2». По мнению профессора эти модели могут немедленно обучаться, как люди.
Вот одна из задач, которую исследователи дали решить модели GPT: «Каждый день количество лилий на озере удваивается. Если нужно 10 дней, чтобы все озеро покрылось лилиями, через сколько дней лилиями покроется половина озера?». Эта задача требует умственных размышлений и рассуждений, а не интуиции. Чтобы получить правильный ответ - нужно замедлиться, возможно, взять лист бумаги и калькулятор, и проанализировать задачу. Правильный ответ - не 5 дней, как это можно сразу быстро и интуитивно показаться, а 9 дней.
Только меньше 40 % людей, которым давали подобные задачи, справились с заданием.
Модель GPT-3 решает правильно только менее 5 % задач. Эта модель никогда не использует пошаговые рассуждения. Но если добавить наводящие фразы, например, «используй алгебру для решения проблемы», модель будет использовать пошаговые рассуждения 100 % времени, и ее точность достигнет уже 30 %. Когда в дело вступает ChatGPT-4, правильный ответ дается уже в 80 % задач.
Когда человеческий мозг сталкивается с какой-то задачей, существует два способа ее решения: быстро и интуитивно или медленно и методично. Эти два способа обработки информации известны как «Система 1» и «Система 2». Лауреат Нобелевской премии психолог Daniel Kahneman описывает их как «быстрое» и «медленное» мышление.
Большие языковые модели, как ChatGPT, по умолчанию решают задачи быстро. Задайте вопрос, и вы сразу получите ответ. Причем, совсем не обязательно, что он будет правильным. Это «Система 1».
Могут ли эти модели по мере своего развития замедляться и подходить к решению задач пошагово, избегая неточностей, которые возникают в результате быстрых ответов? В своем новом исследовании в издании Nature Computational Science профессор организационного поведения Стэнфордской высшей школы бизнеса Michael Kosinski обнаружил, что модели на это способны, и что они могут превзойти способности людей в базовых тестах на рассуждение и принятие решения.
Как оказалось, ответы более ранних моделей GTP-1 и GTP-2 на поставленные вопросы по мере роста их сложности походили на «Систему 1». Это очень похоже на ответы, которые дали бы люди. Такие системы по мнению профессора не могут сами замедляться, чтобы подумать и проанализировать вопрос. Единственное, на что они способны, - предсказать следующее слово в предложении.
Однако, исследователи обнаружили, что последние версии моделей GPT-3 и ChatGPT могут более стратегически и точно решать поставленные вопросы. Это «Система 2». По мнению профессора эти модели могут немедленно обучаться, как люди.
Вот одна из задач, которую исследователи дали решить модели GPT: «Каждый день количество лилий на озере удваивается. Если нужно 10 дней, чтобы все озеро покрылось лилиями, через сколько дней лилиями покроется половина озера?». Эта задача требует умственных размышлений и рассуждений, а не интуиции. Чтобы получить правильный ответ - нужно замедлиться, возможно, взять лист бумаги и калькулятор, и проанализировать задачу. Правильный ответ - не 5 дней, как это можно сразу быстро и интуитивно показаться, а 9 дней.
Только меньше 40 % людей, которым давали подобные задачи, справились с заданием.
Модель GPT-3 решает правильно только менее 5 % задач. Эта модель никогда не использует пошаговые рассуждения. Но если добавить наводящие фразы, например, «используй алгебру для решения проблемы», модель будет использовать пошаговые рассуждения 100 % времени, и ее точность достигнет уже 30 %. Когда в дело вступает ChatGPT-4, правильный ответ дается уже в 80 % задач.