Дислексия в чатботе с Трансформером

[kelijah]

Небольшой забавный момент с результатами работы модели Трансформера в чатботе ( предыдущий пост о модели).
Фрагмент листинга с целевыми (true) и сгенерированными (model) ответами на вопросы:

true-> платье                        model-> платье платье
true-> сторону цивилизации           model->готовредтелредизации цивилизации цивилизации цивиллейвиллейсателсателса двилтелектелектелекредтелредничек
true-> няньки                        model-> няньнькинькиньняньня
true-> отлично                       model-> отлично отлично
true-> 23 часа 44 минуты             model-> 23мар 4мар4 минуты армия саммарская 4 часа 23 часатолны
true-> балхаш                        model-> балхашашачахаха
true-> другой                        model-> другой другой другой другой отчая другой другой другой другой настроение
true-> на ребят                      model-> на ребят на ребят на ребят на ребят на ребят на ребят на ребят на ребят на ребят на ребят на ребят на ребят на ребят на ребят на ребят на ребята ребят
true-> ученье                        model-> ученье ученье ученье у внимание
true-> интереснейшие архитектурные памятники model-> интерес компьютершие архахскохрапные арнейжию дюканные тректельно банкуканекгаюшекунную семейекх

Вот эти "заикания", бесконечные повторения, иногда с вариациями как-то характерны именно для модели Транформера, в RNN такого я не встречал.