Посидим рядком, початботим ладком: парное полуавтоматическое тестирование чатботов
Ручное тестирование чатбота постепенно становится обременительным из-за роста числа разных тем, которые поддерживает движок. В связи с этим было решено поручить "протыкивание" второму чатботу. Затем листинги бесед двух мудрецов можно просмотреть и выявить явные разрывы, нерелевантные ответы и так далее.
И важное техническое решение: средняя длина диалогов чит-чата, судя по всему, неплохо подходит в качестве оптимизируемой метрики. Простыми словами, чем дольше два бота беседуют до затыка (при отсутствии повторов реплик), тем лучше. Например, "беседа" длиной 17 реплик:
B: Привет, давай поболтаем?
H: горячо приветствую
B: что будем обсуждать?
H: давай тебя
B: Я готова отвечать на вопросы о себе.
H: ты кто?
B: я чатбот
B: Скажи, пожалуйста, кто ты?
H: я лингвист
B: Отлично, мы узнали друг про друга кое-что
B: Тебе нравится твоя работа?
H: нет, не нравится
B: я не сержусь
H: тебя можно чем-то рассердить?
B: Мне ничего не известно про это
H: печально
B: Ничего не поделаешь.
Еще одна беседа:
B: День добрый, давай поболтаем?
H: ну?
B: какие планы на сегодня?
H: хочу задать тебе пару вопросиков
B: Я готова отвечать на вопросы о себе.
H: ты честная?
B: я честная
H: тебя легко обмануть?
B: Чего не знаю, того не знаю
H: ты глупая
B: Ой, мне такие слова не нравятся
H: а что тебе нравится?
B: Я люблю детей
H: за что ты их любишь?
B: Я люблю людей, потому что с ними можно общаться
H: нравятся ли тебе кошки?
B: почему вопрос про кошек ты задаешь мне?
Полный листинг с сотней диалоговых сессий - тут.