1. Постановка задачи

Нужна модель, которая определяет, эквивалентны ли два фрагмента текста (предложения) семантически.Правила синтаксиса и морфологии допускают очень большую свободу выражения латентной семантики, поэтому простая похожесть цепочек символов недостаточно хороша для некоторых случаев:
( Read more... )

Тренер модели и тестирующая часть доступны в файле nn_chargenerator.py.
Готовая модель натренирована на моем датасете вопросов и ответов, она выложена тут (файлы nn_chargenerator.*). Ее назначение - генерация ответа чатбота при наличии нескольких предпосылок (от 0 до 3) и вопроса. В рассматриваемом случае предпосылок нет, текст вопроса содержит в ( Read more... )

Проверяю результаты обучения моделей чатбота с добавленными арифметическими примерами. Опять просматривается замеченная ранее склонность давать ответ "примерно похожий на то, что нужно". Когда ответ подразумевает число, бот действительно выдает какое-то число, обычно близкое к верному:
( Read more... )

Для проекта вопросно-ответной системы проверяю нейросетку, которая отвечает за выбор ответов "да" и "нет ( Read more... )

Для задачи посимвольной генерации теста ответа в чатботе сравниваю два алгоритма оптимизации:

1) штатный keras.optimizers.nadam, описанный тут http://cs229.stanford.edu/proj2015/054_report.pdf
2) FTML из https://github.com/keras-team/keras-contrib/blob/master/keras_contrib/optimizers/ftml.py, описанный тутСравнивается значение per instance ( Read more... )

Еще одна серия экспериментов с моделью для векторизации символьного представления слов.
Сравним две штатных реализации оптимизаторов в Keras - rmsprop и nadam. Фиксируем batch_size значением 250, делаем несколько запусков обучения модели для каждого варианта оптимизатора (см. строку 356 в файле wordchar2vector_trainer.py).
( ANOVA для сравнения алгоритмов оптимизации... )

В комментарии к предыдущему посту коллега p2004r подсказал замечательную мысль по поводу того, что надо бы смотреть не на количество эпох, а на количество градиентов, которые увидела сетка при обучении. И получается вот такая замечательная картина.

1) Смотрим по-старому, динамика обучения в зависимости от числа эпох:
( Read more... )

Описание задачи: https://github.com/Koziev/chatbot/blob/master/PyModels/trainers/README.wordchar2vector.md
На питоне тренировка модели описана этим кодом: https://github.com/Koziev/chatbot/blob/master/PyModels/trainers/wordchar2vector_trainer.pyИтак, код идентичен, датасеты тоже. Немного отличаются версии Theano, CUDA и CudNN, возможно какие-то ( Read more... )

Описание задачи и решения для выбора ответов "да" и "нет" для заданных предпосылки и вопроса выложено тут.

Тренер модели на движке xgboost - в файле https://github.com/Koziev/chatbot/blob/master/PyModels/xgb_yes_no.py. Точность примерно 99.8%

Тренер для нейросетевого классификатора (Keras) - в файле https://github.com/Koziev/chatbot/blob/master/ ( Read more... )

Задача - анализ строковых данных из номенклатурного справочника ( Read more... )