В ходе ресёча с коллегами наткнулись на интересную MLM модель: yandex-research/RuLeanALBERT

Она выложена на huggingface тут и есть сопровождающая статья на Хабре: "Самая большая BERT-подобная модель на русском, которая поместится на ваш компьютерЕе релиз был прошлой осенью, но за всеми этими волнами хайпа и всяких неприятных сюрпризов она как-то ( Read more... )

В ходе блужданий по материалам, связанных с дискурсом, нашел вот такую штуку:

"ISANLP is a Python 3 library that encompasses several open-source natural language processing tools for English and Russian"

Среди прочего там есть "Russian semantic role labeler (SRL) based on FrameBank and neural network models.", что делает этот пакет потенциально ( Read more... )

Учебный NLP - это когда разбираем хорошо написанный текст:

"Ещё при жизни Пушкина сложилась его репутация величайшего национального русского поэта"

Красота синтаксического разбора, подкрепленная всей мощью технологий и достижениями computer science и machine learning:
( Read more... )

Любой ML'щик время от времени делает две вещи - меняет работу и свой deeplearning фреймвок (js-фронтэндеры понимающе улыбнутся). Работу я поменял в прошлом году, теперь настало время посмотреть на модный PyTorch ( Read more... )

NLP pipeline включает несколько отдельных питоновских пакетов. Эти пакеты реализуют часть типовой функциональности для NLP - токенизация, лемматизация, частеречная разметка и т.д. Эта группа может использоваться (и используется) независимо от чатботаКроме того, несколько алгоритмов "растворено" в кодовой базе чатбота. Например, машобучаемый NER, ( Read more... )

В репозиторий "NLP Datasets" выложен датасет для тренировки NP чанкера.

NP chunker - это вариант shallow parser'а, извлекающего из предлождений группы существительного (noun phrases). Вот результаты разметки нескольких предложений для иллюстрации идеи:
( Read more... )

Модель релевантности - алгоритм, который для двух заданных фраз (предпосылка и вопрос), определяет, содержит ли предпосылка всю информацию, необходимую для ответа на вопрос.

Добавление новых сэмплов и переобучение

При добавлении новых фактов в базу знаний может возникнуть ситуация, что модель релевантности не знакома с новой лексикой и сильно ( Read more... )

В библиотеку ruword2tags добавлен новый класс RuFlexer, содержащий инструменты для генеративных текстовых моделей. Сейчас этот класс предоставляет единственный метод find_forms_by_tags для подбора форм слова с заданными тегами. Например, чтобы найти форму слова "кошка" для творительного падежа множественного числа, надо написать примерно такой код ( Read more... )

Привел в порядок и выложил пакет rupostagger - простую (и не SOTA) реализацию алгоритма для разметки слов тегами. Пакет не делает ничего, кроме разметки, поэтому токенизацию надо делать самостоятельно. Я использую пакет под 2 и 3 веткой питона, под Windows и Linux. Батарейки (обученная русская языковая модель) входят в комплект, ничего ( Read more... )

В субботу на скорую руку сделал на питоне конвертор моего старого набора правил деления на слоги из проекта русского словаря.
Результат работы конвертора - код на питоне, оформленный в виде стандартного пакета rusyllab.
( Read more... )