aSLM - новая функция ранжирования
На сколько я понял, далеко не все российские поисковые люди поедут в Воронеж на RCDL, поэтому свой доклад я уже выложил на сайте: Спектральные характеристики в задачах обработки текстовой информации, вдруг кому-то будет интересно
( Read more... )
Хотя вот мы на RCDL обсуждали - не плохо бы отдельно на запросах из редких слов потестить, любопытно, останется ли такое же преимущество. Но у мну таких оценок нет, засада... :)
1. Странно что скор зависит от разбиение на интервалы - сделал больше интервалов - скор принципиально изменился, плюс получились нули на которые по формуле ещё и делить нуна
Почему странно? Есть какое-то оптимальное число интервалов, или ты думаешь, что для любого должно быть похоже? Дык так не бывает. Для коллекции РОМИПа 500 где-то в районе оптимального, судя по нашему считалову, больше вряд ли улучшит, потому что коллекция маловата. Меньше - ухудшало. Делить на нули не нуна, мы ранжируем на той же коллекции, на которой считали распределение, нули не пролезут.
2. В такой схеме получается большая плотность стоп слов в документе важнее наличия редкого слова, что выглядит странно.
Как ты сделал такой вывод? Чета у мну он не получается.
То, что из "спектра" (ie распределения TF по документам) можно что-то отжать похоже на правду, но то, что вы с ними сделали - имхо совсем не то :)
Ты скорее всего что-то сделал не так, видимо мы хреново описали. И я только "за" отжать еще чего-то, там есть еще куча вариантов для отжима, все только начинается. :)
Reply
Leave a comment