NLP pipeline включает несколько отдельных питоновских пакетов. Эти пакеты реализуют часть типовой функциональности для NLP - токенизация, лемматизация, частеречная разметка и т.д. Эта группа может использоваться (и используется) независимо от чатботаКроме того, несколько алгоритмов "растворено" в кодовой базе чатбота. Например, машобучаемый NER, ( Read more... )

По поводу вот этого корпуса https://parus-proj.github.io/PaRuS/Архив с корпусом в формате Conll после распаковки имеет размер около 130 Гб. То есть данных много. Закономерный вопрос - насколько качественны эти данные, учитывая, что ручной модерации они не подвергались в силу объема ( Read more... )

В питоновской библиотеке rulemma добавлена обработка несловарных (out-of-vocabulary) слов. Большинство OOV-слов образуются по относительно небольшому количеству словоизменительных правил русского языка, так что модель неплохо справляется с ними. При этом используются результаты частеречной разметки, чтобы снимать неоднозначности типа крокодил - ( Read more... )

Как оказалось, github позволяет очень просто делать релизы больших бинарных файлов до 2Гб размером. Поэтому я попробовал собрать docker-образ чатбота и оформил его как релиз 0.0.0.1.

Для запуска тестовой версии чатбота под линуксом теперь достаточно скачать этот релиз, затем выполнить две команды:

docker image load -i chatbot.tar.gz ( Read more... )

Датасеты получены в результате автоматической обработки и содержат подмножество возможных вопросов.
Могут быть полезны для проверки идей в области question answering, для чего они собственно и сделаны.
Файл https://github.com/Koziev/NLP_Datasets/blob/master/QA/premise_question_answer4.txt содержит до полусотни тысяч вопросов к предложениям из трех ( Read more... )

Выложил некоторые полезные датасеты сюда: https://github.com/Koziev/NLP_Datasets:

Перефразировки
Частоты слов с учетом частей речи

Леммы
Приведение слов к нейтральной форме "штучка-штука"