Кластеризация контекстов употребления многозначных слов
Контексты употребления собраны по предложениям длиной от 4 до 6 токенов (включая финальный терминатор, если он есть). Затем получаем средний вектор фразы по w2v векторам слов, исключая само ключевое слово, и скармливаем все это в k-means.
Вроде бы в этих кластерах отражаются какие-то нюансы семантики многозначных слов, хотя и не так качественно, как это делается в толковых словарях с ручной сборкой. Возможно, причина в подборе параметров или нужно попробовать другие кластеризаторы.
Для "визуализации" кластеров просто выводятся 10 ближайших по косинусу фраз из корпуса.
CLUSTER 0
но с бизнесом пришлось завязать ==> 0,861361732283023
так что с шахматами пришлось завязать ==> 0,829531711160229
пора завязать знакомство с бедностью ==> 0,8281471121803
потому с торговлей решил завязать ==> 0,826301124323002
может завязать с бизнесом ==> 0,822293606144682
чтобы завязать знакомство разумеется ==> 0,820548886395189
с работой пришлось завязать ==> 0,81505564145003
с этим нельзя завязать ==> 0,80674655800227
с блондинками придется завязать ==> 0,799041193324269
пришлось с футболом завязать ==> 0,79444883762687
CLUSTER 1
я должен завязать вам глаза ==> 0,867982986900991
я могу завязать ему глаза ==> 0,864967918040914
им пришлось завязать мне глаза ==> 0,861718446018895
может вам завязать глаза ==> 0,829953180669488
дозвольте завязать вам глаза ==> 0,828425823789739
я пришел завязать тебе глаза ==> 0,813953104057385
завязать вам глаза ==> 0,799714248513336
помогите мне завязать компресс ==> 0,788878732928902
доку пришлось завязать ему глаза ==> 0,788351228423183
позвольте мне завязать вашу мантилью ==> 0,772150870099515
CLUSTER 2
я ведь завязать решил ==> 0,90883518772775
просто я решил завязать ==> 0,897669431572549
поэтому он твердо решил завязать ==> 0,863431869261634
теперь завязать уже не можешь ==> 0,856586607974812
так что завязать пришлось ==> 0,856468715066132
когда и как решил завязать ==> 0,848803010620659
надо завязать бы ==> 0,842326434715551
и решил завязать ==> 0,831627404150038
завязать он уже не мог ==> 0,830164433351342
с океанологией я решил завязать ==> 0,829729903991533
CLUSTER 3
корсажа шнурки завязать торопясь ==> 0,862267896625312
пояс можно завязать как бант сзади ==> 0,855696187379922
поясок можно завязать сзади ==> 0,845072935432644
наклоняется чтобы завязать шнурки ==> 0,83950815824525
обмотав и затянув завязать ==> 0,838527868899528
завязать узлом гвоздь ==> 0,821528573300585
сзади можно завязать бант ==> 0,816797258465922
сзади можно завязать бантиком ==> 0,816452315396577
надо плотнее завязать кисть ==> 0,797251147554039
завязать шнурки ==> 0,792309632338022
CLUSTER 0
только не разбей и его ==> 0,865442039519948
и мы непременно разобьем их ==> 0,862094623039298
и тогда разобьем ==> 0,861792404912778
только не разбей калич ==> 0,859886950316314
и не просто разбила ==> 0,857795655928555
как лучше всего разбить их ==> 0,856704898116905
и нас тогда разбили ==> 0,856699828148633
и я их не разбил ==> 0,855057213683744
даже столбуна не разбил ==> 0,852667579431435
но мы обязательно их разобьем ==> 0,851214087239573
CLUSTER 1
я нехочу разбить им сердце ==> 0,896230843968817
ты просто разбила его сердце ==> 0,893533966103639
а ты разбил ей сердце ==> 0,892503920661479
он просто разбил ее сердце ==> 0,885939501096229
иначе я разобью тебе голову ==> 0,884090964799111
я разбил ей сердце ==> 0,878386564263975
а потом разбил мне сердце ==> 0,876162848434405
ты разбила бы мне сердце ==> 0,874009785708905
кому ты опять разбила сердце ==> 0,872173003775157
ты разбила ему сердце ==> 0,871693064711995
CLUSTER 2
однако туматы разбили отряд монголов ==> 0,87480837180594
разбили они лагерь ==> 0,860521622209451
они разбили лагерь ==> 0,860521622209451
ахейский флот палатки здесь разбил ==> 0,856610813664418
и разбил их наголову ==> 0,852882261255692
мы же разбили их наголову ==> 0,845645020015818
чиппева разбили лагерь неподалеку ==> 0,842242935203556
там они разбили лагерь ==> 0,837503535182848
здесь воины разбили бивак ==> 0,837302553687529
воины разбили лагерь ==> 0,837017922106571
CLUSTER 3
булыжник разбил стеклянную витрину ==> 0,81521039367004
я разбил вдребезги окно бензоколонки ==> 0,813066202245144
он разбил стекло ==> 0,806234673073283
я разбила стекло ==> 0,806142346937646
тогда он разбил заднее стекло ==> 0,800473655330809
вдребезги разбили станину ==> 0,798646914874855
вор разбил оконное стекло ==> 0,796339352604795
да и разбили стекло ==> 0,794151149185675
пуля разбила окно на кухне ==> 0,792317214838628
кто-то разбил стекло иллюминатора ==> 0,791709179563275
Вроде бы в этих кластерах отражаются какие-то нюансы семантики многозначных слов, хотя и не так качественно, как это делается в толковых словарях с ручной сборкой. Возможно, причина в подборе параметров или нужно попробовать другие кластеризаторы.
Для "визуализации" кластеров просто выводятся 10 ближайших по косинусу фраз из корпуса.
CLUSTER 0
но с бизнесом пришлось завязать ==> 0,861361732283023
так что с шахматами пришлось завязать ==> 0,829531711160229
пора завязать знакомство с бедностью ==> 0,8281471121803
потому с торговлей решил завязать ==> 0,826301124323002
может завязать с бизнесом ==> 0,822293606144682
чтобы завязать знакомство разумеется ==> 0,820548886395189
с работой пришлось завязать ==> 0,81505564145003
с этим нельзя завязать ==> 0,80674655800227
с блондинками придется завязать ==> 0,799041193324269
пришлось с футболом завязать ==> 0,79444883762687
CLUSTER 1
я должен завязать вам глаза ==> 0,867982986900991
я могу завязать ему глаза ==> 0,864967918040914
им пришлось завязать мне глаза ==> 0,861718446018895
может вам завязать глаза ==> 0,829953180669488
дозвольте завязать вам глаза ==> 0,828425823789739
я пришел завязать тебе глаза ==> 0,813953104057385
завязать вам глаза ==> 0,799714248513336
помогите мне завязать компресс ==> 0,788878732928902
доку пришлось завязать ему глаза ==> 0,788351228423183
позвольте мне завязать вашу мантилью ==> 0,772150870099515
CLUSTER 2
я ведь завязать решил ==> 0,90883518772775
просто я решил завязать ==> 0,897669431572549
поэтому он твердо решил завязать ==> 0,863431869261634
теперь завязать уже не можешь ==> 0,856586607974812
так что завязать пришлось ==> 0,856468715066132
когда и как решил завязать ==> 0,848803010620659
надо завязать бы ==> 0,842326434715551
и решил завязать ==> 0,831627404150038
завязать он уже не мог ==> 0,830164433351342
с океанологией я решил завязать ==> 0,829729903991533
CLUSTER 3
корсажа шнурки завязать торопясь ==> 0,862267896625312
пояс можно завязать как бант сзади ==> 0,855696187379922
поясок можно завязать сзади ==> 0,845072935432644
наклоняется чтобы завязать шнурки ==> 0,83950815824525
обмотав и затянув завязать ==> 0,838527868899528
завязать узлом гвоздь ==> 0,821528573300585
сзади можно завязать бант ==> 0,816797258465922
сзади можно завязать бантиком ==> 0,816452315396577
надо плотнее завязать кисть ==> 0,797251147554039
завязать шнурки ==> 0,792309632338022
CLUSTER 0
только не разбей и его ==> 0,865442039519948
и мы непременно разобьем их ==> 0,862094623039298
и тогда разобьем ==> 0,861792404912778
только не разбей калич ==> 0,859886950316314
и не просто разбила ==> 0,857795655928555
как лучше всего разбить их ==> 0,856704898116905
и нас тогда разбили ==> 0,856699828148633
и я их не разбил ==> 0,855057213683744
даже столбуна не разбил ==> 0,852667579431435
но мы обязательно их разобьем ==> 0,851214087239573
CLUSTER 1
я нехочу разбить им сердце ==> 0,896230843968817
ты просто разбила его сердце ==> 0,893533966103639
а ты разбил ей сердце ==> 0,892503920661479
он просто разбил ее сердце ==> 0,885939501096229
иначе я разобью тебе голову ==> 0,884090964799111
я разбил ей сердце ==> 0,878386564263975
а потом разбил мне сердце ==> 0,876162848434405
ты разбила бы мне сердце ==> 0,874009785708905
кому ты опять разбила сердце ==> 0,872173003775157
ты разбила ему сердце ==> 0,871693064711995
CLUSTER 2
однако туматы разбили отряд монголов ==> 0,87480837180594
разбили они лагерь ==> 0,860521622209451
они разбили лагерь ==> 0,860521622209451
ахейский флот палатки здесь разбил ==> 0,856610813664418
и разбил их наголову ==> 0,852882261255692
мы же разбили их наголову ==> 0,845645020015818
чиппева разбили лагерь неподалеку ==> 0,842242935203556
там они разбили лагерь ==> 0,837503535182848
здесь воины разбили бивак ==> 0,837302553687529
воины разбили лагерь ==> 0,837017922106571
CLUSTER 3
булыжник разбил стеклянную витрину ==> 0,81521039367004
я разбил вдребезги окно бензоколонки ==> 0,813066202245144
он разбил стекло ==> 0,806234673073283
я разбила стекло ==> 0,806142346937646
тогда он разбил заднее стекло ==> 0,800473655330809
вдребезги разбили станину ==> 0,798646914874855
вор разбил оконное стекло ==> 0,796339352604795
да и разбили стекло ==> 0,794151149185675
пуля разбила окно на кухне ==> 0,792317214838628
кто-то разбил стекло иллюминатора ==> 0,791709179563275