Отвечаем на вопросы с Word2Vec
Рассмотрим такую задачу - есть нафармленный в интернете массив диалогов, в виде - реплика, ответная реплика. Диалоги на любую тему, из художественной литературы, общим объёмом порядка 70 миллионов реплик.
Диалоги можно конвертировать в набор документов для обучения Word2Vec следующим образом:
Q1_Добрый Q2_день A1_Здорова A3_коли A4_не A5_шутишь.
Q - маркировка первой фразы (вопроса или стимула), A - маркировка второй фразы (ответа). Цифры - позиция слова в фразе. Обучившись в течении примерно месяца в режиме Bag of Words (слова, которые встречаются рядом с исследуемым словом) получаем следующие возможности:
1. Поиск близких по структуре и смыслу фраз (переформулировка).
Скажи-ка дядя, ведь недаром, Москва, спалённая пожаром, французу отдана?
0.914966: Скажи-ка об этом самим ужам-охотникам:
0.893654: Скажи-ка свое полное имя.
0.891312: Ну-ка взгляни, Семен,
0.873881: Поищи-ка таких, да и нам скажи.
0.873735: Ну-ка объясни, это любопытно!
0.873634: Ну-ка говори, Валя, что случилось?
0.872774: Ну-ка посмотрите: полезная вещь или нет?
0.872202: Ну-ка вставай, завтра обижаться будешь,
DONE.
Добрый день!
1: Добрый день!
1: Добрый день!
0.954915: Добрый день! Узнали меня?
0.952281: Добрый день! Можно?
0.948676: Добрый день! Вы
0.940227: Добрый день! Добрый вечер!
0.937763: Добрый день! Машина испортилась?
0.93659: Добрый день! спросила она после едва заметного кивка.
DONE.
Какого цвета трава?
0.980484: Какого цвета машина?
0.978484: Какого цвета волосы?
0.977465: Какого цвета костюм?
0.977016: Какого цвета глаза?
0.975344: Какого цвета хоть?
0.97237: Какого цвета пламя?
0.955668: Какого цвета волосы? Длинные или короткие?
0.955133: Какого цвета туфли подойдут?
DONE.
Скажи мне правду.
1: Скажи мне правду.
0.967608: Скажи мне правду. Скажи!
0.89703: Скажи мне правду. Ты даешь мальчишке курить травку?
0.896007: Скажи мне правду. Ты же хотел поговорить.
0.895684: Говори мне правду.
0.893773: Скажи мне правду. Это мой ребенок?
0.8775: Расскажите мне правду.
0.868331: Рассказать мне правду.
DONE.
Лошади едят овёс и сено.
0.841129: Наши взяли Охабы и Зеленцы.
0.833975: Китодоны едят планктон объяснил Акбар.
0.821173: Внизу все плачут и молятся.
0.820205: Люди пьют и лечатся.
0.818104: Там французский, биология и математика.
0.815571: Там мсье Хамит и Анри.
0.814675: Их считают напыщенными и самодовольными.
0.813978: Ты крикнула Рикса и отшатнулась.
DONE.
2. Поиск наиболее подходящих ответных реплик.
Скажи-ка дядя, ведь недаром, Москва, спалённая пожаром, французу отдана?
0.189678: отлично ну ни чего так вид, пойдет
0.175768: Вот давно бы так:
0.167283: А и ну ее вправду!
0.161148: Да я уж так, далеко отошли?
0.15879: А и еще не почитать ли стихов?
0.153313: Да надобно мне ему челом ударить.
0.151737: Князь-боярин, да ведь этого не едят.
0.147841: Говори здесь отвечал равнодушно барин.
DONE.
Добрый день!
0.219215: Добрый день, добрый день!
0.184856: Здравствуйте, добрый день!
0.178139: Здравствуйте, добрый день,
0.148876: День добрый! День добрый!..
0.147058: Какой день! Великий день!
0.146407: Здравствуйте, добрый вечер всем.
0.14542: Добрый день. Добрый день.
0.144454: Добрый день и добро пожаловать в:
DONE.
Какого цвета трава?
0.218788: И черного цвета, и желтого цвета.
0.208551: используйте цвета;
0.206948: Порошок желтого цвета.
0.182382: цвет;
0.17461: контуры и цвет глаз,
0.157797: Волосы какого цвета?
0.154642: Умение подбирать цвета и ткани.
0.153626: А волосы какого цвета были?
DONE.
Скажи мне правду.
0.231775: Просто скажи мне правду.
0.226747: Лучше скажи мне правду.
0.180582: Он сказал тебе правду.
0.17681: Ему я скажу правду.
0.170746: Но я сказал правду.
0.169845: Я скажу тебе правду.
0.168647: Какую правду хочешь ты знать,
0.163281: Я говорю тебе правду.
DONE.
Лошади едят овёс и сено.
0.154398: Так лошади тоже еще живут?!
0.148951: И лошади едят?.. Такое?
0.146424: Большие рыбы едят маленьких,
0.140893: Две лошади бегут, бегут...
0.134605: Больше одной лошади ему не съесть,
0.13295: Пусть их собаки едят! А пленные есть?
0.129453: Лошади едят каждый день.
0.129001: Горячий хлеб для лошади вредно, да и корове нехорошо.
DONE.
С этим уже вполне можно работать.
Диалоги можно конвертировать в набор документов для обучения Word2Vec следующим образом:
Q1_Добрый Q2_день A1_Здорова A3_коли A4_не A5_шутишь.
Q - маркировка первой фразы (вопроса или стимула), A - маркировка второй фразы (ответа). Цифры - позиция слова в фразе. Обучившись в течении примерно месяца в режиме Bag of Words (слова, которые встречаются рядом с исследуемым словом) получаем следующие возможности:
1. Поиск близких по структуре и смыслу фраз (переформулировка).
Скажи-ка дядя, ведь недаром, Москва, спалённая пожаром, французу отдана?
0.914966: Скажи-ка об этом самим ужам-охотникам:
0.893654: Скажи-ка свое полное имя.
0.891312: Ну-ка взгляни, Семен,
0.873881: Поищи-ка таких, да и нам скажи.
0.873735: Ну-ка объясни, это любопытно!
0.873634: Ну-ка говори, Валя, что случилось?
0.872774: Ну-ка посмотрите: полезная вещь или нет?
0.872202: Ну-ка вставай, завтра обижаться будешь,
DONE.
Добрый день!
1: Добрый день!
1: Добрый день!
0.954915: Добрый день! Узнали меня?
0.952281: Добрый день! Можно?
0.948676: Добрый день! Вы
0.940227: Добрый день! Добрый вечер!
0.937763: Добрый день! Машина испортилась?
0.93659: Добрый день! спросила она после едва заметного кивка.
DONE.
Какого цвета трава?
0.980484: Какого цвета машина?
0.978484: Какого цвета волосы?
0.977465: Какого цвета костюм?
0.977016: Какого цвета глаза?
0.975344: Какого цвета хоть?
0.97237: Какого цвета пламя?
0.955668: Какого цвета волосы? Длинные или короткие?
0.955133: Какого цвета туфли подойдут?
DONE.
Скажи мне правду.
1: Скажи мне правду.
0.967608: Скажи мне правду. Скажи!
0.89703: Скажи мне правду. Ты даешь мальчишке курить травку?
0.896007: Скажи мне правду. Ты же хотел поговорить.
0.895684: Говори мне правду.
0.893773: Скажи мне правду. Это мой ребенок?
0.8775: Расскажите мне правду.
0.868331: Рассказать мне правду.
DONE.
Лошади едят овёс и сено.
0.841129: Наши взяли Охабы и Зеленцы.
0.833975: Китодоны едят планктон объяснил Акбар.
0.821173: Внизу все плачут и молятся.
0.820205: Люди пьют и лечатся.
0.818104: Там французский, биология и математика.
0.815571: Там мсье Хамит и Анри.
0.814675: Их считают напыщенными и самодовольными.
0.813978: Ты крикнула Рикса и отшатнулась.
DONE.
2. Поиск наиболее подходящих ответных реплик.
Скажи-ка дядя, ведь недаром, Москва, спалённая пожаром, французу отдана?
0.189678: отлично ну ни чего так вид, пойдет
0.175768: Вот давно бы так:
0.167283: А и ну ее вправду!
0.161148: Да я уж так, далеко отошли?
0.15879: А и еще не почитать ли стихов?
0.153313: Да надобно мне ему челом ударить.
0.151737: Князь-боярин, да ведь этого не едят.
0.147841: Говори здесь отвечал равнодушно барин.
DONE.
Добрый день!
0.219215: Добрый день, добрый день!
0.184856: Здравствуйте, добрый день!
0.178139: Здравствуйте, добрый день,
0.148876: День добрый! День добрый!..
0.147058: Какой день! Великий день!
0.146407: Здравствуйте, добрый вечер всем.
0.14542: Добрый день. Добрый день.
0.144454: Добрый день и добро пожаловать в:
DONE.
Какого цвета трава?
0.218788: И черного цвета, и желтого цвета.
0.208551: используйте цвета;
0.206948: Порошок желтого цвета.
0.182382: цвет;
0.17461: контуры и цвет глаз,
0.157797: Волосы какого цвета?
0.154642: Умение подбирать цвета и ткани.
0.153626: А волосы какого цвета были?
DONE.
Скажи мне правду.
0.231775: Просто скажи мне правду.
0.226747: Лучше скажи мне правду.
0.180582: Он сказал тебе правду.
0.17681: Ему я скажу правду.
0.170746: Но я сказал правду.
0.169845: Я скажу тебе правду.
0.168647: Какую правду хочешь ты знать,
0.163281: Я говорю тебе правду.
DONE.
Лошади едят овёс и сено.
0.154398: Так лошади тоже еще живут?!
0.148951: И лошади едят?.. Такое?
0.146424: Большие рыбы едят маленьких,
0.140893: Две лошади бегут, бегут...
0.134605: Больше одной лошади ему не съесть,
0.13295: Пусть их собаки едят! А пленные есть?
0.129453: Лошади едят каждый день.
0.129001: Горячий хлеб для лошади вредно, да и корове нехорошо.
DONE.
С этим уже вполне можно работать.