О боевой революционной социологии

[alextutubalin]

Кросспост из блога автора. Комментировать лучше там, но можно и тут

Я не люблю писать о политике, 10G ethernet или цифровое фото - гораздо интереснее.
Но тут, волею судеб, довелось 10 минут поанализировать данные правильного, настоящего опроса населения (попросили, я и посмотрел), не пропадать же добру.
В интернете (и, в частности, соцсетях) последние дни активно пиарится общественный опрос общественного же мнения (в соцсетях преимущественно ссылаются на сайт эха, сошлюсь и я). Согласно этим данным, рейтинг Путина сильно преувеличен, "Шансы Путина на победу в первом туре равны нулю", и так далее.
По счастью, это тот же самый опрос, "Гражданина Социолога", для которого доступны первичные данные по ряду городов. Список городов совпадает, количество респондентов совпадает, все совпадает.
Давайте посмотрим на них повнимательнее.
В табличке, которую всякий может скачать с Google Docs (внимание, гугл распарсил только первую 1000 строк или 998 данных, нужно скачивать Экселевскую таблицу в которой 1310 анкет) указаны

• Ответы на вопросы анкеты (анкета есть в той же табличке)
• Пол, возраст
• Город
• Инициалы "опросчика" (точнее, как мне объяснили организаторы, координатора).

Что можно сказать по этим данным самим по себе? По большинству городов - ничего, там было по одному опросчику. Есть два исключения:

• Омск, где координаторов два, правда один из них собрал только 11 анкет.
• Рязань, где их тоже два, но анкет больше, 39 и 62.

Вот на Рязань мы и посмотрим. Нас интересует "статистическая однородность", если опрос проводился разумно, то выборки каждого из двух опросчиков похожи одна на другую.
Выясняется, что есть две Рязани:

1. Рязань-1 (39 анкет). В этой Рязани никто не голосовал в декабре за СР (что, вообще говоря, удивительно для 39 анкет), зато за Путина собираются голосовать 20 человек (чуть больше 50%).
2. Рязань-2 (62 анкеты). В этой Рязани у Путина мизерная поддержка, за него собираются голосовать только трое (чуть меньше 5%), зато за Прохорова - пятеро, а за Жириновского - 11.
   Не знаю, что это за Рязань-2 такая, похоже на студенческое общежитие (Прохоров и Жирик в этой среде популярны, вроде бы), но утверждать не могу.

Что можно сказать ученому-социологу, увидев у него такие данные, где по двум подвыборкам оцениваемый параметр расходится в 10 раз (51% и меньше 5%)?
Лично я бы предложил просто убить себя ап стену.
Возможны и более конструктивные решения: можно перевзвесить выборки на соцдем, скажем если Рязань-2 - это действительно общага, а студентов в Рязани 5%, то вот с таким весом и взять. Можно "продолжать работу" (т.е. набирать больше данных), до получения статистической однородности.
Вот чего нельзя делать, так это выдавать результаты опроса за достоверные и одновременно делать доступными первичные данные. Нехорошо может получиться.
С другими городами, где таких подвыборок нет, полезно проделать другое упражнение: сравнить результаты декабрьских выборов по опросу с реальными результатами тех же выборов в том же регионе. Перевзвесить выборку так не получится, а вот отбраковать данные, которые ни в какие ворота - вполне можно. Удобно то, что первичные данные для этого вовсе не нужны, достаточно суммарной таблички (по областям-городам).
Вот, к примеру, Нижегородская область

• По табличке опроса с сайта Эха: 53 опрошенных, из которых только 1 (меньше 2%) голосовал за ЕР.
• Реальные результаты выборов: рукопожатный ruelect.com дает больше 30% по проверенным протоколам. Официальные данные - около 50%. Какие из них правильнее - несущественно, оба варианта сильно отличаются от обсуждаемого опроса.

Риторический вопрос: если выборка опросчиков отличается от реальных проверяемых данных более чем на порядок (2% против 30-50%), то можно ли считать эту выборку представительной для региона?
С другой стороны, задача этого опроса была заявлена вот так: Его основная задача - получить дополнительный надежный аргумент для опровержения лжи о якобы "высокой электоральной поддержке лидера жуликов и воров". С этой задачей организаторы, похоже, справились. А задача "получить объективную картину" - и не ставилась, следов ее я не нашел.
Собственно, ну а что оставалось то? Привычные социологические службы пророчат один тур с понятным результатом (ВЦИОМ, ФОМ, Левада).
Если вдруг эти службы действительно предсказывают похоже на правду (и известно кто выиграет в первом туре), то под какими лозунгами идти на Пушкинскую? "Результаты выборов соответствуют опросам"? С таким настроением слона не продать.
Для организаторов хочу добавить: все помянутые выше настоящие соц-службы, опубликовав опрос в котором "1600 респондентов из 45 регионов" никогда не публикуют детальную раскладку (не говоря о первичных данных). По таким причинам:

• Анкет, на самом деле, собирается сильно больше. Просто очень многое бракуется (втч. и целыми опросчиками, которые нарисовали на коленке дали статистически-неоднородные данные), а остаток - натягивается на соц-дем, чтобы эти самые 1600 в 45 регионах были представительными. Для этого натягивания нужно больше исходных анкет, "1600" признаются представительными.
• 1600 по стране - это более-менее представительно (с учетом предыдущего пункта). А несколько десятков в крупном областном центре - нет, слишком большая возможная ошибка, даже после отбраковки.

P.S. К вранью и натяжкам я вообще отношусь плохо. К вранью под лозунгом Жить не по лжи "За честные выборы" - еще хуже.