Старшая сестра charllama-35M
Какое-то время назад (полгода?) я начал эксперименты с посимвольной токенизацией для декодерных генеративок. Первыми результатами, разной степени успешности, были chargpt-96M и charllama-35M. Была еще модель charbloom-35M с позиционными эмбеддингами alibi, но ее я не стал выкладывать, так как она была чуть хуже charllama-35M.
Прошло время, я научился собирать хороший датасет, качественно делать претрейн char-level моделей, сделал автоматический бенчмарк для сравнения этих моделей на разных специфических downstream задачах типа расстановки ударений на омографах. Ёмкость модели и ее качество выросли кардинально. Ура-ура!
Теперь могу поделиться текущим результатом в модели charllama. Генерация стихотворения " под Шекспира", прямо в том виде, как его выдает модель charllama, с расстановкой ударений (можно подавать в tts пайплайн, ага):
Затравка:> Напиши стихотворение, начав его строкой "У бурных чувств неистовый конец"
У бу́рных чу́вств неи́стовый коне́ц.
Зати́хли во́лны, и вода́ осты́ла.
Не слы́шно пе́нья пти́ц и не́т скворцо́в.
Любо́вь ушла́, но се́рдце не забы́ло.
Проща́й любо́вь, проща́й моя́ печа́ль.
Проща́й любо́вь, но се́рдце не осты́ло.
Проща́й любо́вь, мне ничего́ не жа́ль.
Проща́й любо́вь, но се́рдце не забы́ло.
--------------------------------------------------------------------------------
У бу́рных чу́вств неи́стовый коне́ц,
Когда́ зака́т сменя́ется рассве́том,
Когда́ в душе́ поё́т весны́ певе́ц,
Любо́вь прихо́дит с со́лнечным приве́том.
Не прекраща́й люби́ть и восхища́ть,
Пока́ любо́вь в душе́ не прекраща́ет,
Пока́ любо́вь не прекраща́ет жда́ть,
Пока́ любо́вь совсе́м не исчеза́ет.
--------------------------------------------------------------------------------
У бу́рных чу́вств неи́стовый коне́ц.
У стра́сти стра́сть подо́бна поцелу́ю.
И не́жность сло́вно ла́сковый птене́ц,
Слета́ет с у́ст и та́ет вхолосту́ю.
У бу́рных чу́вств неи́стовый коне́ц.
У стра́сти за́пах сло́вно поцелу́и.
И не́жность сло́вно ла́сковый птене́ц,
Слета́ет с у́ст и та́ет вхолосту́ю.
У бу́рных чу́вств неи́стовый коне́ц.
У стра́сти стра́сть подо́бна поцелу́ю.
И не́жность сло́вно ла́сковый птене́ц,
Слета́ет с у́ст и та́ет вхолосту́ю.
--------------------------------------------------------------------------------
У бу́рных чу́вств неи́стовый коне́ц.
Коне́ц страсте́й и пла́менного се́рдца.
У бу́рных чу́вств неи́стовый ларе́ц,
В кото́ром сча́стье спря́тано наве́чно.
У бу́рных чу́вств неи́стовый коне́ц.
Коне́ц запре́там, пра́вилам, зако́нам.
Зако́нам чу́вств, что со́зданы для на́с.
Коне́ц страстя́м, что пле́щутся на во́лнах.
У бу́рных чу́вств неи́стовый коне́ц.
Коне́ц страсте́й и пла́менного се́рдца.
У бу́рных чу́вств неи́стовый коне́ц.
Коне́ц страстя́м, что пле́щутся на во́лнах.
--------------------------------------------------------------------------------
По планам - перевести генерацию в боте @verslibre_bot на эту модель в начале следующего года.
Прошло время, я научился собирать хороший датасет, качественно делать претрейн char-level моделей, сделал автоматический бенчмарк для сравнения этих моделей на разных специфических downstream задачах типа расстановки ударений на омографах. Ёмкость модели и ее качество выросли кардинально. Ура-ура!
Теперь могу поделиться текущим результатом в модели charllama. Генерация стихотворения " под Шекспира", прямо в том виде, как его выдает модель charllama, с расстановкой ударений (можно подавать в tts пайплайн, ага):
Затравка:> Напиши стихотворение, начав его строкой "У бурных чувств неистовый конец"
У бу́рных чу́вств неи́стовый коне́ц.
Зати́хли во́лны, и вода́ осты́ла.
Не слы́шно пе́нья пти́ц и не́т скворцо́в.
Любо́вь ушла́, но се́рдце не забы́ло.
Проща́й любо́вь, проща́й моя́ печа́ль.
Проща́й любо́вь, но се́рдце не осты́ло.
Проща́й любо́вь, мне ничего́ не жа́ль.
Проща́й любо́вь, но се́рдце не забы́ло.
--------------------------------------------------------------------------------
У бу́рных чу́вств неи́стовый коне́ц,
Когда́ зака́т сменя́ется рассве́том,
Когда́ в душе́ поё́т весны́ певе́ц,
Любо́вь прихо́дит с со́лнечным приве́том.
Не прекраща́й люби́ть и восхища́ть,
Пока́ любо́вь в душе́ не прекраща́ет,
Пока́ любо́вь не прекраща́ет жда́ть,
Пока́ любо́вь совсе́м не исчеза́ет.
--------------------------------------------------------------------------------
У бу́рных чу́вств неи́стовый коне́ц.
У стра́сти стра́сть подо́бна поцелу́ю.
И не́жность сло́вно ла́сковый птене́ц,
Слета́ет с у́ст и та́ет вхолосту́ю.
У бу́рных чу́вств неи́стовый коне́ц.
У стра́сти за́пах сло́вно поцелу́и.
И не́жность сло́вно ла́сковый птене́ц,
Слета́ет с у́ст и та́ет вхолосту́ю.
У бу́рных чу́вств неи́стовый коне́ц.
У стра́сти стра́сть подо́бна поцелу́ю.
И не́жность сло́вно ла́сковый птене́ц,
Слета́ет с у́ст и та́ет вхолосту́ю.
--------------------------------------------------------------------------------
У бу́рных чу́вств неи́стовый коне́ц.
Коне́ц страсте́й и пла́менного се́рдца.
У бу́рных чу́вств неи́стовый ларе́ц,
В кото́ром сча́стье спря́тано наве́чно.
У бу́рных чу́вств неи́стовый коне́ц.
Коне́ц запре́там, пра́вилам, зако́нам.
Зако́нам чу́вств, что со́зданы для на́с.
Коне́ц страстя́м, что пле́щутся на во́лнах.
У бу́рных чу́вств неи́стовый коне́ц.
Коне́ц страсте́й и пла́менного се́рдца.
У бу́рных чу́вств неи́стовый коне́ц.
Коне́ц страстя́м, что пле́щутся на во́лнах.
--------------------------------------------------------------------------------
По планам - перевести генерацию в боте @verslibre_bot на эту модель в начале следующего года.