Для проекта генеративной поэзии я сделал и выложил на huggingface вспомогательный инструмент - перефразировщик коротких текстов, преимущественно одиночных предложений небольшой длины. В качестве основы взят датасет для детектора перефразировок в чатботе. В него добавлена на данный момент примерно тысяча перефразировок строчек стихов. Публичная ( Read more... )

Закончил первый из двух запланированных больших рефакторингов для проекта https://github.com/Koziev/GrammarEngine: теперь строковые классы FString и UFString являются прямыми наследниками std::string и std::wstring соответственно ( Read more... )

Пока собрано и проверено только для Python 2.7 Windows 64 (Anaconda).

Исходники парсера, сильно отрефакторенные, с новой иерархией для введения абстрагирования от способа вывода результатов парсинга, лежат в репозитории. Сборка выполнена с помощью VisualStudio 2015, соответствующее решение Parser.sln лежит в этой папке. Обертка для вызова C++ кода ( Read more... )

Я немного расширил набор фич в модели синтаксического парсинга и сделал предварительный grid search по метапараметрам ( Read more... )

Иногда анализ текста сводится к определению групп слов, образующих составляющие первого уровня относительно корня в терминах дерева зависимостей (см. описание shallow parsing).

( Read more... )

(продолжение темы про модели для чат-бота, предыдущий текст тут)

В репозиторий проекта выложены тренеры для двух альтернативных моделей, вычисляющих релевантность предпосылки и вопроса к этой предпосылке:

nn_relevancy.py - нейросетка;
xgb_relevancy.py - решение на базе XGBoost ( Read more... )

(Начало тут https://kelijah.livejournal.com/231141.html)

Часть моделей чат-бота при работе используют разные способы векторизации слов. Один из использованных алгоритмов векторизации заключается в упаковке посимвольного представления слова с помощью сжимающего рекуррентного автоэнкодера:
( Подробности реализации и скриншоты... )

Текущие исходники кроме тренировочных скриптов выложены тут https://github.com/Koziev/chatbot/tree/master/PyModels/bot
Ядро диалоговой системы отделено от фронтэнда, что позволило минимальными усилиями реализовать простые фронтэнды в консоли и для Telegram:
( Read more... )

Продолжение https://kelijah.livejournal.com/231141.html.
Исходный текст утилиты (C#, проект для VS Studio 2015) лежит тут https://github.com/Koziev/chatbot/tree/master/CSharpCode/GenerateQA
Далее подробное описание.

( Read more... )

Все исходники буду выкладывать в репозиторий https://github.com/Koziev/chatbot
В ЖЖ буду размещать подробное описание всех использованных моделей.
Для затравки - вспомогательная утилита второго уровня, с помощью которой были сгенерированы некоторые датасеты в этом репозитории, например facts.txt.

( Утилита для сбора предложений-фактов... )