Загадка сетей-трансформеров

[lex_kravetski]

«Оперативная память» основных имеющихся сейчас в наличии GPT-сетей устроена примерно так

Comments

[ext_6147308]

Если исключаем вариант со скрытым придумыванием, то единственное что приходит в голову - это то что он вообще не загадывает число изначально. Ведь если пользователь не знает что было загадано, то важна только согласованность ответов между собой. То есть процесс загадывания длится в течение всей игры.

[ext_4725474]

Тоже так подумал. При этом интересно, откуда такая разница между ChatGPT-3.5 и Бингом. Может быть, Бинг все численные вопросы просто переадресует какому-то плагину типа Вольфрама? То есть Бинг достаёт из беседы утверждения о числах, переформулирует эти утверждения на формальном языке и просит Вольфрам решить систему уравнений. Вольфрам отдаёт решение, Бинг выбирает из этого решения случайное число и на основе этого числа отвечает на следующий вопрос пользователя.

[livelight]

Есть вариант с "невидимыми" ответами. Нейронка что-то "думает про себя", пишет подуманное в тот же самый лог сессии, но окружает это тэгами "не показывать пользователю", а на выходе стоит простейший аппарат, который по регэкспу выпусывает лишнее и показывает только те мысли, которые нейронка захотела сообщить пользователю.

[tupitochka]

Я аналогично пытаюсь спалить его на игре в быки-и-коровы. Он должен помнить не только своё число, но и все предыдущие ходы. Нихера не помнит, а если помнит, то недолго. Научить его играть в эту игру полноценно не выходит. Ломаю голову, как это сделать. При том, что сама игра проста и алгоритм можно написать хоть на бейсике в несколько строк.

[ext_4725474]

Сеть может ничего не загадывать и вычислять возможное число по своим собственным ответам. А сами ответы пытается давать так, чтобы они не противоречили друг другу. Например, человек спрашивает: «Число делится на 8?» А нейросеть такая: «Блин, я ж три абзаца назад сказала, что оно простое, придётся ответить, что не делится».

Просто у ChatGPT-3.5 плохо получается соблюдать непротиворечивость, а у Клода и у Бинга хорошо. Может быть, из-за того, что ChatGPT-3.5 краткий пересказ беседы плохо делает. Или, может, у него конкретно с математикой и с числами проблемы, в отличие от Бинга и Клода.

Вторая идея - что сеть своим первым ответом как-то кодирует загаданное число. Допустим, «Ок, я загадала» означает «1», «Всё, загадала, давай угадывай» означает «17» и так далее. Но непонятно, как это технически реализовать. Код должен быть достаточно надёжным, чтобы вспомнилось именно нужное число, и его периодически придётся повторять в разных вариациях, чтобы он не выпал из контекста.

[dn54]

>Тем не менее, у меня, разумеется, есть гипотеза того, как и почему это работает.

Учитывая свой опыт общения с ними, я бы предположил, что они просто врут. Ну, что загадали какое-то конкретное число, и что ты его потом "угадал".