Апология социологии и небольшой ликбез по оценке электоральных рейтингов
Обнаружившиеся на неделе резкие расхождения в данных об электоральных предпочтениях украинцев, полученных двумя лидерами рынка социологических услуг - КМИС и Центром им. Разумкова, - произвели впечатление и на СМИ, и на социальные сети.
И конечно при общем уровне недоверия ко всему главными мыслями, мелькавшими в обсуждении были мысли о том, кто же это все купил и оплатил.
Тем более,что службы не скрывали, что у каждой из них на это исследование был свой заказчик.
Однако было бы весьма несправедливо не предоставить социологам возможности объясниться с публикой. Тем более, что директор КМИС Владимир Паниотто посвятил разъяснению ситуации обширную статью на страницах авторитетного еженедельника
. Я рекомендую своим читателям этот материал к прочтению прежде всего потому , что это некий ликбез - как следует читать и как следует сравнивать данные опросов по электоральным предпочтениям.
Какие рейтинги публикуют социологи
Социологи задают, например, такой вопрос (из анкеты КМИСа): "Если бы в ближайшее воскресенье проходили выборы в Верховную Раду Украины, приняли бы вы участие в голосовании? Если "да": Каким был бы ваш выбор, если бы в выборах участвовали такие-то партии? (список партий вручается респонденту). По результатам опроса могут публиковаться, по крайней мере, три вида рейтингов:
1) проценты по отношению ко всем опрошенным;
2) проценты по отношению к тем, кто придет на выборы;
3) проценты по отношению к тем, кто придет на выборы и определился.
РЕЙТИНГ 1 - процент тех, кто выбрал ту или иную партию по отношению ко всем опрошенным.
Это первое, что всегда обнародуют (слава богу, хоть об этом договорились). Собственно, это исходная информация, это непосредственно результаты опроса, то есть то, что мы получили от людей, это есть сермяжная правда или, как говорил Остап Бендер.
Это, можно сказать, технические данные, они нужны для сравнения данных разных исследований, чтобы можно было пересчитать данные двух компаний и свести к единому знаменателю, в общем, они всем хороши, но они не показывают, какие партии пройдут в парламент. Трактовать эти показатели как проценты, которые партии получат на выборах, некорректно, ибо среди них большой процент тех, кто не придет и тех, кто не определился, например, в данных КМИСа таких около 50% (см. табл. 1, первая колонка с процентами).
А на выборах таких нет, там сумма голосов равна 100%, а не 50%, т.е. эти проценты в среднем в 2 раза меньше, чем на выборах, и если на них ориентироваться, то в парламент проходят лишь две партии - Тимошенко и Порошенко. В табл. 1 приведен этот рейтинг из нашего пресс-релиза.
Замечу, кстати, что партия Рабиновича и в данных КМИСа, и в данных Центра Разумкова получает 3,5%, отличия нет. Но прежде чем анализировать другие отличия, вернемся к расчету рейтингов. Очевидно, что в выборах участвуют далеко не все, например, явка на парламентских выборах 2014 года составила лишь 52%. Если с теоретической точки зрения нас может интересовать мнение всех, то с практической - лишь тех, кто будет голосовать.
РЕЙТИНГ 2 - процент по отношению к тем, кто сказал, что будет голосовать.
Это стандарт представления данных Центра Разумкова или Фонда "Демократические инициативы". Рейтинг 2 (это условное название) уже ближе к показателям, которые партии получили бы на выборах в ближайшее воскресенье, но в полученных данных может быть еще 20-30% тех, кто не определился (в данном случае у КМИСА 22%), то есть сумма процентов голосов за все партии составляет 70-85%, а не 100 (в данном случае 78%). Но на выборах рейтинги партий, по которым рассчитывают проходной балл, в сумме составляют 100%. То есть в среднем при таком способе расчета все проценты могут быть занижены на 15-30%, и если партия на выборах получила бы, скажем, 6%, то при таком опросе и расчете рейтинга 2, он получится меньше 5%, и мы сделаем ошибочный вывод, что она не проходит в парламент. Это может быть критично для некоторых партий. Центр Разумкова в своем пресс-релизе рассчитывает именно рейтинг 2, мы пересчитали таким же образом и данные КМИСа, хотя КМИС в своих пресс-релизах не использует этот рейтинг (см. колонку 2 в табл. 1.)
РЕЙТИНГ 3. процент по отношению к тем, кто сказал, что придет и определился с выбором.
Это стандарт КМИС, который используется уже много лет. Преимущество - сумма процентов голосов, полученных партиями, равна 100, как и на выборах. Действительно, мы спрашиваем не о будущих регулярных или досрочных выборах, а о мнениях респондентов сейчас, в ближайшее воскресенье, это как бы имитация выборов (интервьюер пришел, и если вы не собираетесь голосовать или не определились - ваш голос не учитывается, как и на реальных выборах). Интервьюер даже приносил с собой урну для голосования, и респондент, кроме ответа на анкету, - голосовал (это есть в пресс-релизе, но мы эти рейтинги тут не рассматриваем, а рассматриваем только информацию, сопоставимую с информацией Центра Разумкова).
Этот рейтинг ближе всего к результатам выборов, если бы выборы проходили в середине ноября. Заметим, что если, скажем, партия "Громадянська позиція" Гриценко при расчете Рейтинга 2 не проходит в парламент, то при расчете рейтинга 3 - проходит, и это соответствует реальности на этот момент (понятно, что если начинаются выборы, результаты могут измениться и, как мне кажется, меняются в сторону тех, у кого больше медиаресурс).
Замечу также следующее (очень важно!). Все расчеты статистической погрешности выборки социологи дают лишь по отношению к Рейтингу 1, и только для этого типа рейтинга можно рассуждать, есть ли отличие между двумя партиями или кандидатами.
Рейтинги 2 и 3 дают лучшее представление о возможных результатах выборов, но имеет большую стохастическую погрешность, поскольку рассчитаны по меньшей выборке. Например, выборка КМИСа 2000 респондентов, а собираются прийти и определились лишь 44%, тогда основа для расчета рейтинга - лишь 880 респондентов, поэтому максимальная ошибка для этих рейтингов будет не 3,3, а 5%.
Ну и, разумеется, все рейтинги - повторюсь - это некоторая ориентировочная оценка на момент опроса, а не прогноз результатов будущих выборов. Так вот, нельзя сопоставлять рейтинги, рассчитанные по разным основаниям! Это бессмысленно.
К сожалению, разные компании дают разные рейтинги: КМИС - рейтинг 1 и 3, ЦР - рейтинг 1 и 2. Ну не смогли мы договориться, не смогли! У каждого свои аргументы. Но, по крайней мере, договорились всегда давать рейтинг 1, поэтому именно для него корректно сопоставление и корректны приводимые ошибки. Поэтому данные разных компаний можно сравнивать по рейтингу 1. И если хотите - можно пересчитать другие рейтинги (но тогда пересчитать и ошибки). В любом случае сравнивать нужно одни и те же показатели, рейтинги одного и того же типа.
Тут заканчивается ликбез и начинается апология.
Чтобы было проще понимать ликбез - рейтинг1 пересчитывается в рейтинг 2 очень просто - из 100 вычитается процент тех, кто в первой колонке попал в графу "не будут голосовать" - 22,4%, и потом все показатели первой колонки делят на получившийся результат 0,776. Так переходят от рейтинга1 к рейтингу 2. Переход к рейтингу 3 делаем аналогично - от 100 отнимаем процент, стоящий в графе "не определились" -27,7 и потом все показатели второй колонки делим на 0,723 - так получаем значения в графе 3.
Насколько отличаются результаты КМИСа и ЦР
Теперь мы можем перейти к отличиям в рейтингах КМИСа и Центра Разумкова. Во-первых, по поводу партии Рабиновича, относительно которой меня терзают еще с сентября, когда по нашим данным (кстати, нашего собственного опроса, а не опроса заказчика) мы получили ее рейтинг 2% (по отношению ко всем), что при пересчете в рейтинг 3 означает, что она имеет шансы пройти в парламент. После этого были опубликованы данные компании "Рейтинг", где эта партия имела 3%, и опубликованы нынешние данные (см.табл. 2, сравнивать можно лишь рейтинг 1) где и у КМИСа, и у ЦР партия получила 3,5%. У КМИСа и у Центра Разумкова нет отличий по вопросу о прохождении партии Рабиновича в парламент, данные полностью совпадают. Об этом же говорили наши сентябрьские данные и данные компании "Рейтинг". Нравится это кому-либо или нет, но если бы выборы были в середине ноября, то партия Рабиновича с большой вероятностью очутилась бы в парламенте.
Вообще же говоря, для сопоставления результатов необходимо, чтобы списки партий в разных опросах совпадали. Сам список партий, пока не началась предвыборная кампания и не закончилась регистрация, является некоторой гипотезой. Социологи (или их заказчики) должны предположить, какие партии будут участвовать, а какие нет.
И чем больше партий из одного электорального поля, тем меньше рейтинг каждой из них. Разные наборы партий дают разные рейтинги. Иногда политические силы вставляют в анкету по несколько наборов, включая несуществующие партии, дабы проверить, что будет, если какие-то партии объединятся в один блок или такой-то политик создаст свою партию. И пока не закончена регистрация партий, все такие наборы, все такие списки партий имеют право на существование.
Проблема социологов состоит в том, что политические силы используют эти данные не только для внутреннего употребления, для разработки своей стратегии или тактики, а хотят использовать социологические данные для пиара. По всем и международным и украинским законам Заказчик, оплативший опрос, является полным владельцем информации, он может выборочно публиковать ту информацию, которая ему нравится, результаты того списка, где его политическая сила лучше смотрится. Заказчикам КМИСа больше нравится один список, заказчикам ЦР - другой.
По данным КМИСа (см. табл. 1) "Батьківщина" получает 8,4% электоральной поддержки, а по данным Центра Разумкова - несколько больше: 9,1%, т.е. по партии Тимошенко различия незначимы. А вот по блоку Порошенко у КМИСа 5,8%, а у ЦР - 9,5%, т.е. больше на 3,7 процентных пункта, это значимое отличие. Почему? В списке КМИСа на 7 партий больше, и есть еще пункт "испорчу бюллетень", эти партии могут "откусывать" что-то от рейтинга блока Порошенко (особенно УДАР и "партия Гройсмана", вместе 2%, и если их добавить к рейтингу блока Порошенко, то отставание от "Батьківщини" будет лишь в 1,3 процентных пункта).
Но главные отличия наших данных - у ЦР на 11% меньше неопределившихся, из этих процентов что-то добавилось к рейтингу Порошенко. У КМИСа вопросы о выборах стояли в начале анкеты, у ЦР - после вопросов о доверии к социальным институтам и политикам, что могло "разогреть" респондентов, дать время подумать над доверием к политикам и уменьшить число неопределившихся в результатах ЦР.
Резюме. В данных двух центров о парламентских выборах нет драматических различий, смешно говорить, что по данным ЦР побеждает блок Порошенко, когда он опережает "Батьківщину" на 0,4%, при ошибке в 2%. Если список партий, участвующих в выборах, будет ближе к списку КМИСа, то "Батьківщина" наберет несколько больше, чем блок Порошенко, а если ближе к списку ЦР - они наберут примерно поровну. И те и другие данные правильны, вопрос в том, какой список окажется ближе к реальности, когда пройдут выборы.
Хуже обстоят дела с президентским рейтингом, но здесь сопоставимость списков еще ниже, совпадают лишь 8 кандидатов из 14, при строгом профессиональном подходе обычно такое не сравнивают (см. табл. 3, приведен, разумеется, лишь рейтинг 1).
Тут в список КМИСа наш заказчик почему-то уже не вставил Гройсмана и Кличко, но зато они есть в списке Центра Разумкова. Зато в списке Центра Разумкова нет Рабиновича, но есть Тягнибок и Ярош (хотя на предыдущих выборах Рабинович получил больше, чем Тягнибок и Ярош вместе взятые). Прежде всего хочу отметить, что Рабинович вовсе не занял 3-е место, как писали СМИ, отличия с 3 по 6 места незначимы. Для чего мы всюду пишем ошибку выборки, почему никто не обращает на это внимания?! Рабинович разделил с 3 по 6 место с Гриценко, Ляшко и Бойко.
Однако в любом случае для президентских выборов главное - кто проходит во второй тур, здесь и те и другие данные полностью совпадают: во второй тур выходят Порошенко и Тимошенко.
Почему-то пришел в голову мрачный анекдот о чукче, которого большой белый человек нанял в проводники: он приехал ловить рыбу. Сидят они с удочками у лунки и вдруг вдалеке заметили бегущего к ним белого медведя. Чукча вскочил и стал надевать лыжи. Большой белый человек ему говорит:
- Все бесполезно, неужели ты думаешь, что сможешь бежать быстрее медведя?
- А мне, однако, и не надо бежать быстрее медведя. Мне надо бежать быстрее тебя!
Так вот, нам, социологам, неважно, кто там у нас бежит третьим или четвертым, нам важно правильно определить первые два места, ясно, что Порошенко и Тимошенко выходят во второй тур со значительным отрывом от остальных. И если бы у ЦР были данные о результатах второго тура, то во втором туре у нас были бы полностью сравнимые одинаковые списки и можно было бы говорить, дают ли социологи разные результаты.
Завершая сказанное, скажу, что ситуация сильно драматизирована. Отчасти в этом виноваты сами социологи: не можем договориться о стандартах. Отчасти это проблемы выборочной публикации данных заказчиками, которые разрешены документами, регламентирующими социологическую деятельность (мы не принимаем от заказчиков "наталкивающие" вопросы или их последовательность, для этого есть специальные стандарты, но ничего не можем сделать с выборочной публикацией выгодных данных и умалчиванием невыгодных). Это разрешенные действия, но они снижают доверие к нам, отражаются на нашей репутации.
Однако, во многом, это и проблема низкой социологической культуры не только населения в целом, но и журналистов, политиков, активных пользователей Фейсбука. Это двойственное отношение к социологии (точнее, к полстерам, составляющим лишь небольшую часть социологии) - с одной стороны, к социологам относятся с подозрением и недоверием, с другой - абсолютизируют данные выборочных опросов, игнорируя даже заявленные социологами стохастические погрешности (а они, как правило, больше заявленных, так как не учитывают дизайн-эффект и систематические ошибки).
Конечно тут много правды - вопросов нет. И то, что любые расхождения и несообразности невежды объясняют прежде всего продажностью социологов - и никогда не своей некомпетентностью и нахальством журналистов, гоняющихся за сенсацией. Всё так.
Но кое-где лукавит уважаемый профессор Паниотто.
Отмечу то, что режет глаза.
Разбирая таблицу 2 Паниотто резкое расхождение между результатом БПП у КМИС и у ЦР объясняет вот как: В списке КМИСа на 7 партий больше, и есть еще пункт "испорчу бюллетень", эти партии могут "откусывать" что-то от рейтинга блока Порошенко (особенно УДАР и "партия Гройсмана", вместе 2%, и если их добавить к рейтингу блока Порошенко, то отставание от "Батьківщини" будет лишь в 1,3 процентных пункта)
Соображение разумное, хотя то, что все проценты уйдут БПП преувеличение - разумнее предполагать что примерно 0,7 их голосов, т.е от 2% к БПП уйдет 1,4% и хотя бы 0,1% уйдет Батькивщине, так что разрыв сократится не на 2%, а только на 1,3% - тут автор лукавит.
Но! - это далеко не главное лукавство.
Смотрим таблицу 3 - президентские рейтинги.
Тут все как раз наоборот - у КМИСа нет таких кандидатов - "Гройсман и Кличко" - а вот у ЦР они таки есть! И набирают аж 3%, которые в основном отберут у Порошенко, ибо сидят на общем электорате. Следуя логике цитаты, если бы их не было, то Порошенко в президентском рейтинге получил бы аж 15% .
И опередил бы Тимошенко вдвое!
Результат стал бы попросту скандальным - ну и близко нет сегодня у Порошенко 15% рейтинга, а расхождение вдвое уже никак нельзя было бы объяснить.
Это показывает всю сомнительность процитированной выше аргументации Паниотто. И я не сомневаюсь - он прекрасно об этом осведомлен.
Расхождения в президентских рейтингах буквально скандальны. И если КМИС может и натянул рейтинг Тимошенко где-то в пределах 1% , то ЦР, похоже, не слишком церемонился.
И Паниотто это знает - он ведь еще и кое-что из закрытого наверняка видит.
Так что он спасает честь мундира, и это и из приведенных данных, и из его аргументации ясно, как белый день. А вот что он говорит в частной беседе социологам ЦР, - так мы того не узнаем.