Есть у детей такая особенность - на вопрос, на который они не знают правильного ответа, часто отвечают не "не знаю", а выдумывают ответ, примерно похожий на правильный, чтобы не уронить самооценку. Например, спросите его про время на стрелочных часах, а он не умеет еще читать их, и будет лепить произвольные часы и минуты, главное, чтобы подходило под "общую концепцию времени".
Именно это приходит на ум, когда вижу в логе валидации
нейросетевой модели генерации ответа такие записи ("True answer" это ожидаемый эталонный ответ, "Model answer" это выдача модели.):
Premise: гастрольный тур займет 3 года
Question: сколько продлится гастрольный тур
True answer: 3 года
Model answer: 4 мес
Premise: первый спектакль состоялся 3 марта
Question: когда был первый спектакль
True answer: 3 марта
Model answer: 1 марта
Premise: сейчас 8 часов 46 минут
Question: сейчас сколько времени
True answer: 8 часов 46 минут
Model answer: 5 часов 46 минут
Premise: церемония вручения наград пройдет 16 июня
Question: когда будут вручаться награды
True answer: 16 июня
Model answer: 20 июня
Premise: экскурсия стоит 2000 рупий
Question: сколько стоит экскурсия
True answer: 2000 рупий
Model answer: 100 руб