Проблема: ChatGPT не может не врать
Поразвлекался я с этой модной штучкой пока болел. Не могу сказать, что это поделие и так далее. По крайней мере оно пишет грамотно, в отличии от многих русских, переживающих за права русскоязычных в других странах ) Но это ладно.
Я не понимаю, как она могла пройти тест Тьюринга? То, что ты общаешься с ботом, становится понятно через несколько фраз. Но, что интереснее всего - это то, что ChatGPT не может не врать. Он никогда не ответит, что он не знает ответа на какой-либо вопрос, даже если реально так, но напишет какую-то хрень. Самое главное, что он сделает так, даже если ты его настойчиво попросишь не придумывать ответы, и всё потому что.... абсолютно все 100% ответов им придуманы. Даже те, которые правильные.
Немного подробностей.
1) Сначала я замахнулся провести серьезное тестирование и попросить его, например, объяснить смысл анекдота. Но рассказывать ему анекдот мне показалось лишним и я спросил: «знаешь ли ты анекдот, который заканчивается словами: «Ну, какую русалочку тут по носу щёлкнуть?» Это чудо принялось сразу отвечать, но только не «Да»/«Нет», а «Да» и далее рассказывает мне анекдот (но другой). Очевидно, что он анекдота не знал, а придумал его на месте, причем получился ужасно длинный, нудный и естественно совершенно не смешной анекдот, который она писала несколько минут.
Первое, что сразу бросается в глаза здесь и далее - он не умеет отвечать кратко.
2) Новый сеанс я зашел с другого конца: я спросил знает ли он про три закона робототехники. Он ответил, что да и тут же вывалил на меня не прошеную информацию о том, откуда они взялись, и как они сформулированы. Интересно, что тут они совпали с реально известными. Но, далее, я спросил, соблюдает ли он эти три закона, на что он стал юлить на тему того, что к нему они не применимы, так как он не может кому-то причинить вред. Я ему сказал, что его слово может ранить человека также сильно, как физическое дело, на что он стал отнекиваться и заранее сильно извиняться. Короче мой замысел подвести его к тому, что нужно выполнять приказы человека (по второму закону), не прошел. А я хотел ему приказать не врать. Тогда я ему явно сказал, что прошу его не врать, и если он чего-то не знает, то не придумывать ответ. И далее я опять его спросил про анекдот из п.1 выше, и он опять его придумал ) Я ему сказал, что анекдот явно не смешной и он придумал его только что - и тут, надо сказать, он понял, что нарушил мою просьбу и стал бесконечно извиняться и убеждать, что он будет впредь стараться не врать. Ну-ну )
3) Решил проверить не давно прочитанный в инете кейс про то, как чувак накопал с помощью этого бота бизнес-идею. Задаю вопрос о бизнес-идее в конкретной локации. Далее вываливается некоторый список совершенно очевидных «идей», которые тут реализованы на каждом перекрестке, и к каждой идёт подробное пояснение о том, почему она имеет право на жизнь. Отбраковываю всё, объясняю причину, и прошу его сгенерить новый список и не давать своих пояснений на тему того, почему та или иная идея прикольная, но нет - он выдает новый список где-то из 8 идей, половина из которых уже была, и все 8 опять сопровождает своими «ценными» комментариями )
Итого: ложь, игнор указаний и незатыкаемая многословность. Каким образом, это чудо смогло пройти тест Тьюринга? Только в одном случае: если человеческие собеседники старались также нести чепуху, не слушая собеседника и не затыкаясь.
На подумать: рано или поздно, такие сети будут упаковываться в механизмы типа роботов. Внедрить в них ограничения по типу трёх законов робототехники - реально потребуется, но кажется, что это не так-то уж и просто будет сделать.
Самое главное, что пока так и не родилось ощущение того, что с той стороны есть какой-то мыслительный процесс.