-
Внезапное открытие: модель генерации стихов умеет переводить стихи с немецкого
Я обнаружил сюрприз сегодня совершенно случайно. Сказать, что я впечатлен - это очень мало.
Оказывается, генеративная модель стихов (отладочный бот в телеге) умеет переводить стихи с английского и немецкого, как минимум ( Read more... ) -
Мой рейтинг LM'ок по качеству расчета перплексии текста
В качестве побочного продукта текущего r&d у меня появилась вот такая табличка:
mistralai/Mistral-7B-v0.1 0.65
NousResearch/Llama-2-7b-hf 0.63
ai-forever/rugpt3large_based_on_gpt2 0.62
ai-forever/rugpt3medium_based_on_gpt2 0.60
AlexWortega/Vikhr-7b-0.1 0.59
В ней несколько открытых языковых моделей, ( Read more... ) -
Текст это не просто кучка слов (или нет?)
Есть такая бородатенькая шутка:
"Не надо меня уговаривать" означает "нет"
"Меня не надо уговаривать" означает "конечно даВ целом её можно считать хорошей иллюстрацией того, что даже в русском языке с его почти свободным порядком слов есть ситуации, когда семантика предложения критично зависит от порядка слов. Заметьте, что в этом примере меняются ( Read more... ) -
Идемпотентность перефразировок через языковые модели
По определению, идемпотентность это такое свойство операций, когда повторное применение операции дает такой же результат, как и первое. Другими словами, f(f(x)) = f(x ( Read more... ) -
Удивительная вещь: универсальность генетического кода (записки дилетанта-айтишнека)
С точки зрения разработчика, сильно испорченного всяким DS с матстатом и оптимизационными штуками, этот факт выглядит крайне интригующе и должен (как кажется) быть основой каких-то невероятно умных теоретических выкладок. Как тезис о постоянстве скорости света и специальная теория относительности со всем ее красивым математическим бэкграундом в ( Read more... ) -
Насколько хорошо справляются LLM'ки с задачами, связанными с программным кодом
В рамках одной перспективной темы делаю рисёч тыкаю открытые PLM'ки: всякие CodeLLama etc ( Read more... ) -
Промптинг в LLM и прайминг у людей
Хочу немного рассказать о том, как недавно встретил необычный пост в одном телеграмм-канале и отправился погулять по ссылкам, почитать и поискать "корреляты" и "аналоги" в своей области. Немного похоже на студента на экзамене по зоологии, который всё сводил к блохам, но в любой шутке, как известно...
Итак, собственно ссылка на пост: https://t.me/ ( Read more... ) -
Старшая сестра charllama-35M
Какое-то время назад (полгода?) я начал эксперименты с посимвольной токенизацией для декодерных генеративок. Первыми результатами, разной степени успешности, были chargpt-96M и charllama-35M. Была еще модель charbloom-35M с позиционными эмбеддингами alibi, но ее я не стал выкладывать, так как она была чуть хуже charllama-35M ( Read more... ) -
Intrinsic dimension для разных жанров поэзии
(в продолжение вот этой темы про топологию эмбеддингов)
Распределения intrinsic dimension, рассчитанные с помощью scikit-dimension по эмбеддингам модели ruroberta для стихов некоторых жанров, выглядят так:
( Read more... ) -
Сочная цитата из статьи про генерацию поэзии
"Any suitor who has pledged their affection in print can attest to how difficult it can be to write good love poetry; and being able to generate rhyming text that also has the lengths of consecutive words matching the digits of pi is sure to swoon all but the most frigid of mathematicians."
Мой примерный перевод:
"Любой поклонник, стремящийся ( Read more... )