Разделение значений слова в рамках HMM?

[kelijah]

Почему-то я пропустил этот подход,
Если рассматривать вхождение слова в предложении как наблюдаемое событие, а значение, в котором употреблено слово - как скрытый параметр, то мы получаем в чистом виде HMM.
Для HMM есть такой алгоритм Баума-Велша, который позволяет подобрать параметры модели по образцовым последовательностям. И этот АБВ вроде бы

Comments

вопрос

[alexander_xom]

Тут возникает вопрос, а что считать значением слова? Другое слово? Тогда это перевод одно текста на другой, что ровным счётом ничего не дает. Если значение - это обобщение, какие то классы, общие для многих слов предложения, то что будет в итоге? Обобщённая структура предложения?

Re: вопрос

[kelijah]

На мой взгляд, hidden markov model не может и не должна давать ответ на вопрос, что же такое "смысл слова".

Это чисто инженерный подход: есть некие скрытые параметры, которые якобы есть у слова. Мы назовем эти скрытые параметры как "варианты смысла", не вдаваясь в подробности. Плюс выдвигается гипотеза, что скрытые варианты смысла проявляются в разной статистике употребления. Грубо говоря:

P(замок.здание | средневековый) > P(замок.с_ключом | средневековый)
P(замок.здание | амбарный) < P(замок.с_ключом | амбарный)

А HMM дает нам способ, как наиболее достоверно проставить номер "варианта смысла" на каждое слово, используя эту статистику.

В итоге, "смысл слова" в данном случае опять сводится к "это употребление слова" :)