Эксперименты с разными подходами к декодированию в
силлабо-тонической GPT продолжаются, аж дым столбом стоит :)
Как я уже писал,
typical decoding,
вкрученный не так давно в мастер-ветку transformers, работает лучше, что старина nucleus sampling. Ну и prompt engineering, как разводной ключ в руках сантехника, порой творит чудеса.
Заглавный пример, задающий лейтмотив:
Пишу я мудро опусы абсурда,
И верю, что я истинный поэт.
Хотя мои стихи - страшнее блуда,
Хотя, поверьте - это вздор и бред.
Я выхожу из плотного тумана,
Израненная бедная душа.
Из горьких слов, банального обмана,
Я знаю, что не знал я ни шиша.
Остальное
здесь.