(no subject)
Еще пяток слов за sigir
1. Оказывается, тут был постер с использованием данных нашего ИМАТ. Контрибьюшн мне кажется туманным, что-то вроде анализа времени между заданием запроса и первым кликом http://myweb.uiowa.edu/sichin/pdf/sigir12_pp145-chin.pdf
Так же, по слухам, на wsdm2013 будет приличных размеров статья, которая в том числе юзает наши данные.
В общем не зря сидел на кофеиновой диете пару недель %)
2. Honorable mention получила статья Robust Ranking Models via Risk-Averse Optimization, Wang et al http://research.microsoft.com/en-us/um/people/pauben/papers/wang-et-al-sigir-2012.pdf
Общая идея в том, что обычно мы оптимизируем метрику качества, усредненную по всем запросам.
Иногда (персонализация) у нас есть некоторый baseline (неперсонализированное ранжирование) и хочется его улучшить, но имея некоторую ручку для трейдоффа - может быть чуток проиграть в смысле улучшения в среднем, но при этом иметь минимальное число запросов, для которых ранжирование ухудшилось.
Минус, в том что бейзлайн как бы нужен заранее, т.к. все достигается посредством lambdamart оптимизации разницы между улучшением и ухудшением.
3. best student paper тоже получила статья за ранжирование: Top-k Learning to Rank: Labeling, Ranking and Evaluation, Shuzi Niu et al. Ее я прогулял; что-то про модность pairwise оценок для top-k ranking. За модность самого top-k ranking у меня сомнения ;)
(пока не доступна, у меня есть на флешке, могу выложить если кому интересно)
4. best paper award получила статья Time-Based Calibration of Effectiveness Measures, Smucker et al, за которую я уже писал: перцы для оценки качества предлагают считать ожидаемое полученное пользователем utility. Это ожидание считается интегрированием по времени.
http://www.mansci.uwaterloo.ca/~msmucker/publications/smucker-clarke-sigir2012.pdf
5. еще была забавная статья о гамификации получения оценок. Перцы запилили систему оценок в виде командной игры и платили туркерам за первую игру. Туркеры увлекались и гамали еще по несколько раз (уже бесплатно). В итоге стоимость получения оценок (не считая стоимости разработки игры) упала в 100 раз. 8000 оценок менее чем за 2 доллара и 600 долларов разработки игры. Кажется, сравнимый "неигровой" набор оценок стоил под 200 долларов.
http://isplab.tudelft.nl/sites/default/files/sigirfp016-eickhoff.pdf
6. На панели за opensource research поразило расстояние между академией и индастри. Первые жалуются что нет модельной выделенной реализации bm25 и ревьюеры статьев запиливают статьи из-за того что "вы не правильно бм25 реализовали или юзали не тот вариант который я люблю", невоспроизводимости и необходимости каждой команде и аспиранту переизобретать велосипед, устанавливая lucene/terrier и месяцами реализуя в них существующие state-of-art методы; вторые думают о модных темах которые вообще никак не покрыты рисерчем, а-ля приоритезация обхода в динамическом мире.
1. Оказывается, тут был постер с использованием данных нашего ИМАТ. Контрибьюшн мне кажется туманным, что-то вроде анализа времени между заданием запроса и первым кликом http://myweb.uiowa.edu/sichin/pdf/sigir12_pp145-chin.pdf
Так же, по слухам, на wsdm2013 будет приличных размеров статья, которая в том числе юзает наши данные.
В общем не зря сидел на кофеиновой диете пару недель %)
2. Honorable mention получила статья Robust Ranking Models via Risk-Averse Optimization, Wang et al http://research.microsoft.com/en-us/um/people/pauben/papers/wang-et-al-sigir-2012.pdf
Общая идея в том, что обычно мы оптимизируем метрику качества, усредненную по всем запросам.
Иногда (персонализация) у нас есть некоторый baseline (неперсонализированное ранжирование) и хочется его улучшить, но имея некоторую ручку для трейдоффа - может быть чуток проиграть в смысле улучшения в среднем, но при этом иметь минимальное число запросов, для которых ранжирование ухудшилось.
Минус, в том что бейзлайн как бы нужен заранее, т.к. все достигается посредством lambdamart оптимизации разницы между улучшением и ухудшением.
3. best student paper тоже получила статья за ранжирование: Top-k Learning to Rank: Labeling, Ranking and Evaluation, Shuzi Niu et al. Ее я прогулял; что-то про модность pairwise оценок для top-k ranking. За модность самого top-k ranking у меня сомнения ;)
(пока не доступна, у меня есть на флешке, могу выложить если кому интересно)
4. best paper award получила статья Time-Based Calibration of Effectiveness Measures, Smucker et al, за которую я уже писал: перцы для оценки качества предлагают считать ожидаемое полученное пользователем utility. Это ожидание считается интегрированием по времени.
http://www.mansci.uwaterloo.ca/~msmucker/publications/smucker-clarke-sigir2012.pdf
5. еще была забавная статья о гамификации получения оценок. Перцы запилили систему оценок в виде командной игры и платили туркерам за первую игру. Туркеры увлекались и гамали еще по несколько раз (уже бесплатно). В итоге стоимость получения оценок (не считая стоимости разработки игры) упала в 100 раз. 8000 оценок менее чем за 2 доллара и 600 долларов разработки игры. Кажется, сравнимый "неигровой" набор оценок стоил под 200 долларов.
http://isplab.tudelft.nl/sites/default/files/sigirfp016-eickhoff.pdf
6. На панели за opensource research поразило расстояние между академией и индастри. Первые жалуются что нет модельной выделенной реализации bm25 и ревьюеры статьев запиливают статьи из-за того что "вы не правильно бм25 реализовали или юзали не тот вариант который я люблю", невоспроизводимости и необходимости каждой команде и аспиранту переизобретать велосипед, устанавливая lucene/terrier и месяцами реализуя в них существующие state-of-art методы; вторые думают о модных темах которые вообще никак не покрыты рисерчем, а-ля приоритезация обхода в динамическом мире.