два кластера на #выборыКС

[_denplusplus_]

Я вчера задавался вопросом, можно ли детектировать достаточно изощренный (случайный, с гиперболическим распределением) вброс на #выборыКС. Женя "rutsh" Крохалев подсказал, что можно. Можно попробовать скластеризовать голоса с помощью EM-метода. Сам Женя с его помощью отделил МММ-щиков. Я попробовал с его помощью поискать "вброс".

Comments

[ext_681947]

У него в модели считается, что вероятности голосования за каждого кандидата независимые, что в реальности конечно ни так, поэтому могут возникать различные "наводки" в ситуации далекой от идеального МММшного вброса.

[a_shen]

что значит "вероятности независимые"? я попытался посмотреть описание в википедии, но моей квалификации не хватает, чтобы быстро понять, что делается и почему это разумно - может, Вы знаете какое-то простое объяснение, что происходит?

Ещё, кстати, было бы интересно попытаться провести следующий шаг разбиения (для каждой из групп в отдельности)

[ext_681947]

ну как я понимаю, в модели считается, что каждый проголосовавший, дает вектор независимых распределений бернулли, где p_i - вероятность наличия крестика за i-го кандидата. В реальности, они же не независимые, то есть условно если кто-то голосует за Ксению Собчак, то вероятность что он проголосует за другую медийную фигуру повышается. Проще говоря существуют кластеры предпочтений, в которых голоса за разных кандидатов скоррелированны, но это не список или вброс. А модель этого не учитывает, и на данных далеких от рафинированного МММ-вброса, может давать странные результаты.

[_denplusplus_]

Нет, извините. Зависимость/независимость по каждой из координат неважна. Еще раз, ищутся сами распределения.

[ext_681947]

ну так они ищутся, из семейства состоящего из смеси независимых распределений, а в реальности они не независимы, разве нет?

[ext_681947]

Проще говоря, есть у нас пространство векторов - голосов, реализованных из какого-то распределения, есть семейство распределений, заданное параметрически, мы подбираем параметры, так чтобы максимизировать вероятность увидеть нашу реализацию. Если мы будем фиттить, n-независимых гауссиан, к примеру, то они и получатся, а не многомерная гауссиана которая есть в данных. Исходя из того, что в модели подразумевается независимость по каждой координат, то ни факт, что на скоррелированных данных она будет давать адекватный результат.

[_denplusplus_]

Я не очень понимаю, о независимости чего вы говорите. Избиратель - либо из первого распределения, либо из второго.

[ext_1357687]

Речь о том, что в данной модели вероятность отдать голос избирателя за кандидата А никак не зависит от того, проголосовал ли он за кандидата Б, т.к. мы при голосовании каждый раз заново бросаем нечестную монетку. Это допущение сильно упрощает выкладки, но на практике не выполняется.

[_denplusplus_]

А как я этим пользуюсь? Правда не понимаю.

[ext_1357687]

Даже не знаю, как лучше объяснить. Ты формулы для EM сам выводил? У тебя порождающая модель генерации голосов является смесью двух многомерных биномиальных распределений, в каждом из которых компоненты нескоррелированы. Не будь это так, в EM не получилось бы таких хороших формул, т.к. логарифм правдоподобия не раскладывался бы в сумму логарифмов.

[a_shen]

А может быть, Вы можете популярно объяснить, что происходит в этом алгоритме? статью в википедии, на которую ссылаются, я пытался посмотреть - но там, видимо, общая ситуация, какие-то параметры и пр. - может быть, можно конкретно в этой ситуации объяснить, что и как ищется?

[ext_1357687]

Вы там ниже по треду вроде уже более-менее разобрались, но все равно напишу, может кому пригодится

[a_shen]

Ага, вроде понял. То есть при благоприятных условиях и нашем везении это сходится к максимуму вероятности случившегося события в рассматриваемом классе моделей?

[ext_1357687]

Если я правильно понял комментарий, то да: если итерационному процессу повезет найти глобальный оптимум, это будет означать, что мы нашли в рассматриваем классе моделей такую, в которой наблюдаемые результаты голосований наиболее вероятны.

[ext_681947]

Ну как, в модели, распределение голосов считается независимым по каждой координате(для кандидата), то есть, очень упрощенно, N независимых гауссиан vs многомерная гауссина (скоррелированные голоса), есть разница?

[_denplusplus_]

Где я этим пользуюсь?