Слова это тяжело
Одна из задач, лёгких для человека (и идеальных для классического алгоритма) но ставящих в тупик ChatGPT, это игры со словами. Всевозможные замены, перестановки и удвоения букв и слогов по оговоренным правилам, в результате которых из нормального слова получается белиберда. Это верно для любого языка.
Это, похоже, связано с внутренним представлением информации. Получение, генерация и внутреннее представление текста идёт «токенами». Для очень коротких слов «токен» всё слово, прочие делятся на два-три, и программа работает со словарём этих токенов. Для правильных трансформаций, боту надо сделать «усилие» и работать со словом побуквенно. Для него это нетривиальная задача, постоянно допускает ошибки.