Наша социология
Originally posted by leonwolf at Наша социология
На самом первом штабном планировании, в прошлой жизни еще, в июне этого года, формируя структуру штаба мы решили - нужно создавать собственную социологическую службу. Просто потому, что в современной России, за очень редкими исключениями, политическая социология является ангажированной - как политология, журналистика, и многие другие социальные дисциплины, - а управлять ходом предвыборной кампании без объективных социологических данных - это все равно, что вести машину с закрытыми глазами.
Поэтому мы такую службу создали, и она уже провела три исследования. Организаторы исследований - профессионалы, полевые исследователи - специально обученные волонтеры.
Первые два исследования - это полноценные глубинные уличные опросы, с выборкой в 1300 респондентов, сбалансированной по полу, возрасту, административному округу. В каждой анкете было 20-25 вопросов, мы не просто выясняли "готовность проголосовать за одного из кандидатов, если бы выборы состоялись в эти выходные", но подробнейшим образом исследовали отношение москвичей к важным городским проблемам. Эти данные очень помогли нам в работе над предвыборными агитационными материалами.
Что важно понимать: нам для работы нужны объективные, неискаженные данные. Если мы сами себе наврем - мы будем принимать неверные решения. Именно поэтому на тренингах для волонтеров, которые уходили на полевые исследования, особое внимание уделялось профессиональной добросовестности. Ни в коем случае никто из анкетеров не должен был говорить о своей аффилированности со штабом Навального; ни в коем случае даже после интервью он не должен был выражать свои личные симпатии. У каждого волонтера было четкое задание: принести 10 анкет из такого-то административного округа Москвы, опросив столько-то человек по каждой возрастно-половой группе. Если нужна женщина 60+ лет, а согласившаяся дать ответы говорит, что ей всего 58 - благодарить и отпускать. Ну и так далее: инструктаж был очень подробным и тщательным, а качество возвращаемых в штаб анкет - очень высоким. Качество анкетирования контролировалось при помощи выборочных звонков респондентам; все респонденты, до которых мы дозванивались, подтверждали факт проведения интервью.
Тем не менее, к обработке анкет мы подошли тоже крайне щепетильно. В анкетах были всевозможные контрольные вопросы, которые позволяли независимо верифицировать релевантность собранных данных. Например, мы спрашивали в каждом из опросов о том, сталкивался ли избиратель хотя бы однажды с нашей агитационной продукцией; на позапрошлой неделе положительно отвечали около 30% избирателей, на прошлой неделе (до начала распространения газеты) - около 35%. Во-первых, эти цифры соответствует известной нам динамике нашей агитационной активности, во-вторых - отлично бьются с данными о количестве распространенных нами агитационных материалов. То, что эти (и многие другие) контрольные данные выглядят очень правдоподобно, позволяет с доверием относиться к результатам исследования.
И все же, наши социологи не позволили публиковать результаты своих исследований ни после первого опроса, ни даже после второго (хотя эти опросы дали хорошо согласующиеся между собой данные). И лишь только когда те же результаты мы получили в проведенном по другой методологии экспресс-опросе, они сдались.
Почему такими сильными были колебания наших исследоваталей? Дело в том, что каждый раз они получали выборку, полностью сбалансированную по полу, возрасту и округу (т.е. распределение по этим данным в нашей выборке было ровно таким же, как в генеральной совокупности москвичей), но существенно разбалансированную по уровню образования и доходов. Т.е. в нашей выборке избиратели существенно чаще, чем должны бы средние москвичи, признавались в наличии высшего образования и относительно высокого уровня доходов.
Очевидно, что это может быть объяснено двумя причинам (а, скорее всего, их сочетанием): с одной стороны, оба этих вопроса являются "престижными", и отвечающие на них склонны "завышать" ответы (например, студент-старшекурсник или человек, который в свое время бросил ВУЗ, вполне могут ответить, что у них есть высшее образование), с другой стороны - наши волонтеры все живые люди, и даже стараясь быть предельно добросовестными, интуитивно могли выбирать для анкетирования, завязывать беседы с более "близкими по духу" избирателями. Это смещение является очень существенным для интерпретации результатов исследования, поскольку рейтинг кандидата Навального существенно положительно коррелирует и с уровнем образования, и с уровнем доходов респондента.
Поэтому ниже я публикую две таблицы результатов.
Первая - это исходные данные анкетирования, т.е. результаты в том виде, в котором мы их получили от анкетеров. Эти данные можно считать грубой оценкой сверху для рейтинга Навального. Реальный рейтинг, видимо, ниже. Вторая таблица - это эти же данные, взвешенные по уровню образования и доходов, т.е. искусственно пересчитанные с учетом того, как ответили бы на вопросы нашего исследования наши же анкетируемые, если бы их выборка в точности соответствовала генеральной совокупности по этим параметрам. Эти данные следует считать оценкой снизу для реального рейтинга.
Невзвешенные данные (в процентах от тех из числа опрошенных, кто "точно" или "вероятно" пойдет на выборы):
Собянин 43.5%
Навальный 20.7%
Мельников 4.4%
Митрохин 2.1%
Левичев 1.5%
Дегтярев 1.0%
испорчу/заберу 4.3%
еще не определился 22.6%
Взвешенные данные:
Собянин 46.3%
Навальный 18.1%
Мельников 5.0%
Митрохин 2.1%
Левичев 1.7%
Дегтярев 1.4%
испорчу/заберу 4.1%
еще не определился 21.5%
Если предположить (в общем случае это не очень корректное предположение!), что "неопределившиеся" проголосуют примерно так же, как определившиеся, то от действительных бюллетеней в урне мы получаем результат первого тура в диапазоне между 56%-27% (Собянин-Навальный) по невзвешенным данным и 59%-23% по взвешенным данным. Сейчас - так. Мы работаем исходя из этих цифр.
Все эти цифры говорят нам о следующем:
1) Пока что мы еще на выход во второй тур мы не наработали.
2) Агитацией это лечится: например, среди тех, кто сталкивался с агитацией за Навального хотя бы раз уровень его поддержки выше, чем среди тех, кто с агитацией не сталкивался, аж на 12 процентных пунктов; другими словами, раздавая 1000 листовок на агиткубе вы конвертируете 120 человек в готовых проголосовать за Навального!
3) Динамика роста рейтинга (ее мы не раскрываем, это слишком ценные данные) у нас хорошая, мы можем расти и нам есть куда расти. А также будет очень интересно посмотреть на результаты, которые покажут следующие полевые исследования - после массового распространения первой газеты.
Огромная благодарность тем волонтерам, которые делали эти очень непростые полевые исследования!
Присоединиться к команде наших анкетеров, записаться на тренинг можно по этой ссылке.
На самом первом штабном планировании, в прошлой жизни еще, в июне этого года, формируя структуру штаба мы решили - нужно создавать собственную социологическую службу. Просто потому, что в современной России, за очень редкими исключениями, политическая социология является ангажированной - как политология, журналистика, и многие другие социальные дисциплины, - а управлять ходом предвыборной кампании без объективных социологических данных - это все равно, что вести машину с закрытыми глазами.
Поэтому мы такую службу создали, и она уже провела три исследования. Организаторы исследований - профессионалы, полевые исследователи - специально обученные волонтеры.
Первые два исследования - это полноценные глубинные уличные опросы, с выборкой в 1300 респондентов, сбалансированной по полу, возрасту, административному округу. В каждой анкете было 20-25 вопросов, мы не просто выясняли "готовность проголосовать за одного из кандидатов, если бы выборы состоялись в эти выходные", но подробнейшим образом исследовали отношение москвичей к важным городским проблемам. Эти данные очень помогли нам в работе над предвыборными агитационными материалами.
Что важно понимать: нам для работы нужны объективные, неискаженные данные. Если мы сами себе наврем - мы будем принимать неверные решения. Именно поэтому на тренингах для волонтеров, которые уходили на полевые исследования, особое внимание уделялось профессиональной добросовестности. Ни в коем случае никто из анкетеров не должен был говорить о своей аффилированности со штабом Навального; ни в коем случае даже после интервью он не должен был выражать свои личные симпатии. У каждого волонтера было четкое задание: принести 10 анкет из такого-то административного округа Москвы, опросив столько-то человек по каждой возрастно-половой группе. Если нужна женщина 60+ лет, а согласившаяся дать ответы говорит, что ей всего 58 - благодарить и отпускать. Ну и так далее: инструктаж был очень подробным и тщательным, а качество возвращаемых в штаб анкет - очень высоким. Качество анкетирования контролировалось при помощи выборочных звонков респондентам; все респонденты, до которых мы дозванивались, подтверждали факт проведения интервью.
Тем не менее, к обработке анкет мы подошли тоже крайне щепетильно. В анкетах были всевозможные контрольные вопросы, которые позволяли независимо верифицировать релевантность собранных данных. Например, мы спрашивали в каждом из опросов о том, сталкивался ли избиратель хотя бы однажды с нашей агитационной продукцией; на позапрошлой неделе положительно отвечали около 30% избирателей, на прошлой неделе (до начала распространения газеты) - около 35%. Во-первых, эти цифры соответствует известной нам динамике нашей агитационной активности, во-вторых - отлично бьются с данными о количестве распространенных нами агитационных материалов. То, что эти (и многие другие) контрольные данные выглядят очень правдоподобно, позволяет с доверием относиться к результатам исследования.
И все же, наши социологи не позволили публиковать результаты своих исследований ни после первого опроса, ни даже после второго (хотя эти опросы дали хорошо согласующиеся между собой данные). И лишь только когда те же результаты мы получили в проведенном по другой методологии экспресс-опросе, они сдались.
Почему такими сильными были колебания наших исследоваталей? Дело в том, что каждый раз они получали выборку, полностью сбалансированную по полу, возрасту и округу (т.е. распределение по этим данным в нашей выборке было ровно таким же, как в генеральной совокупности москвичей), но существенно разбалансированную по уровню образования и доходов. Т.е. в нашей выборке избиратели существенно чаще, чем должны бы средние москвичи, признавались в наличии высшего образования и относительно высокого уровня доходов.
Очевидно, что это может быть объяснено двумя причинам (а, скорее всего, их сочетанием): с одной стороны, оба этих вопроса являются "престижными", и отвечающие на них склонны "завышать" ответы (например, студент-старшекурсник или человек, который в свое время бросил ВУЗ, вполне могут ответить, что у них есть высшее образование), с другой стороны - наши волонтеры все живые люди, и даже стараясь быть предельно добросовестными, интуитивно могли выбирать для анкетирования, завязывать беседы с более "близкими по духу" избирателями. Это смещение является очень существенным для интерпретации результатов исследования, поскольку рейтинг кандидата Навального существенно положительно коррелирует и с уровнем образования, и с уровнем доходов респондента.
Поэтому ниже я публикую две таблицы результатов.
Первая - это исходные данные анкетирования, т.е. результаты в том виде, в котором мы их получили от анкетеров. Эти данные можно считать грубой оценкой сверху для рейтинга Навального. Реальный рейтинг, видимо, ниже. Вторая таблица - это эти же данные, взвешенные по уровню образования и доходов, т.е. искусственно пересчитанные с учетом того, как ответили бы на вопросы нашего исследования наши же анкетируемые, если бы их выборка в точности соответствовала генеральной совокупности по этим параметрам. Эти данные следует считать оценкой снизу для реального рейтинга.
Невзвешенные данные (в процентах от тех из числа опрошенных, кто "точно" или "вероятно" пойдет на выборы):
Собянин 43.5%
Навальный 20.7%
Мельников 4.4%
Митрохин 2.1%
Левичев 1.5%
Дегтярев 1.0%
испорчу/заберу 4.3%
еще не определился 22.6%
Взвешенные данные:
Собянин 46.3%
Навальный 18.1%
Мельников 5.0%
Митрохин 2.1%
Левичев 1.7%
Дегтярев 1.4%
испорчу/заберу 4.1%
еще не определился 21.5%
Если предположить (в общем случае это не очень корректное предположение!), что "неопределившиеся" проголосуют примерно так же, как определившиеся, то от действительных бюллетеней в урне мы получаем результат первого тура в диапазоне между 56%-27% (Собянин-Навальный) по невзвешенным данным и 59%-23% по взвешенным данным. Сейчас - так. Мы работаем исходя из этих цифр.
Все эти цифры говорят нам о следующем:
1) Пока что мы еще на выход во второй тур мы не наработали.
2) Агитацией это лечится: например, среди тех, кто сталкивался с агитацией за Навального хотя бы раз уровень его поддержки выше, чем среди тех, кто с агитацией не сталкивался, аж на 12 процентных пунктов; другими словами, раздавая 1000 листовок на агиткубе вы конвертируете 120 человек в готовых проголосовать за Навального!
3) Динамика роста рейтинга (ее мы не раскрываем, это слишком ценные данные) у нас хорошая, мы можем расти и нам есть куда расти. А также будет очень интересно посмотреть на результаты, которые покажут следующие полевые исследования - после массового распространения первой газеты.
Огромная благодарность тем волонтерам, которые делали эти очень непростые полевые исследования!
Присоединиться к команде наших анкетеров, записаться на тренинг можно по этой ссылке.