Врут ли рейтинги?
Оригинал взят у stukalov_sergey в Врут ли рейтинги?
После моего поста, где было много данный с международных рейтингов, в которых Россия занимала первые позиции по многим рейтингам: по количеству подростковых самоубийств, употреблению алкоголя и др., поступило много критики самих рейтингов. Причем моя позиция не была услышана. Я лишь хотел обратить внимание, что потенциал у страны огромный (лидер по запасам природных богатств), но при этом у нас огромные социальные проблемы.
В данной посте хотел бы рассказать, что такое рейтинг и как к нему относится. Чтобы ответить на эти вопросы необходимо рассматривать на конкретном примере. Возьмем, уровень коррупции.
Рассматривать процесс будем согласно возможных отклонений от истины (условно, но именно к этому потом все апеллируют).
Представим, что мы комиссия ООН по борьбе с коррупцией в странах мира. У нас есть запрос: составить рейтинг стран по коррумпированности. Для начала, чтобы составить такой рейтинг необходимо найти лучшего специалиста по этой проблеме.
1. Составлением рейтинга занимается профильный специалист, который изучал данную тему и имеет свои разработки (ученый, группа ученых).
Лучший специалист, который не первый год занимается данной темой. Он читает профильную литературу. Сам делает практические исследования. Т.е. он лучший среди ученых.
2. Ученый или группа ученых перед составлением рейтинга должны (минимум) должны дать полное определение явлению и определить критерии, определяющие это явление.
Ответим на следующие вопросы:
- Что такое коррупция?
- Какие есть критерии коррупции? Или проще, как мы поняли, что данное действие является коррупционным?
Благодаря ответам на эти вопросы мы должны отобрать те критерии, которые мы можем исследовать (чем больше сомжем проверить, тем ближе результат в истине). И тут начинаются первые проблемы:
- Нет международного определения понятия "Коррупция" (есть конвенция, но она лишь дает направления и приоритеты). У каждой страны есть свое законодательство, где например, во Франции подарок является коррупцией, а в Ботсване - нет.
- У коррупции более 100 критериев (условно), но мы как исследователи не сможем исследовать 100 критериев в 200 странах! Во-первых, это огромные деньги, а во-вторых, затратно по времени, ведь данные нам нужны приблизительного одного времени, а физически в 200 странах одновременно исследования не провести.
3. Специалист субъективно определяет те критерии, которые он будет исследовать.
Чтобы сократить издержки выбирают самые открытие данные, а также берется 2-3 критерия, которые проверяют "вручную".
Например, специалист выбирает (по 1 критерию на группу):
(1) Данные правоохранительных органов стран по соответствующим делам;
(2) Опрос 5 тыс.граждан в 10 крупных городах о том, сталкивались ли они с коррупцией и как часто.
4. Получение данных всегда связан с разными условиями их обработки. Чем больше звеньев от респондента до специалиста, тем больше расхождение от истины.
(1) Не секрет, что количество дел о коррупции зависит от коррумпированности власти в конкретной стране, коррумпированности судов и самих правоохранительных органов. Получается, что данные из многих стран будут зависеть от того, как та или иная страна хочет выглядеть в глазах мирового сообщества.
/Например, В РФ на одно уголовное дело о коррупции приходиться 15 тыс. населения, в США на 25 тыс., в Германии на 120 тыс./ Вычисляем показатель.
(2) На улице в РФ 9 из 10 сказали, что раз в год делают коррупционные действия. В США - 4/10, в Германии - 1/10.
Какие возникают негативные условия: опрос 10 тыс. в стране не может показатель общей картины. Процент в выборке будет перенес на все населения. Это только одно "НО"...
5. Необходимо привести данные к единой системе шкал, чтобы создать единую шкалу для итогового рейтинга.
Задача одна из самых сложных. Например, критерий (2) можно разделить на 10 уровней или на 100, а вот критерий (1) затруднительно разделить на 10 или 100. А второе, теперь необходимо сложить эти две шкалы и получить одну итоговую. А теперь вспомните, что критериев могло быть больше 100, а мы взяли только 2! Т.е. деньги и время работают против истинны (хотя исследователя трудно в этом обвинить).
5.1. Хорошее исследование стоит много денег и требует много времени.
Никакое независимое агентство не имеет подобных ресурсов, поэтому используются данные с уже обработанных результатов, которые могут быть фальсифицированы.
И вот наконец-то перед нами рейтинг стран, выстроенных по уровню коррупции. Врет ли этот рейтинг? Несомненно он, при соблюдении всех правил, стремится отображать реальность, но таковой не является.
Но моя задача не показать, что рейтинги врут. Рейтинг несомненно нужны, ибо они источники решений в той или иной области. И главное, читать рейтинг нужно не с графика, а с обоснования итогов, где указываются критерии и способы получения данных по каждому критерию.
Данный пост популярно объясняет технологию проведения исследования. Подробнее можно прочитать в любом учебнике "Социологии" в разделе "Социологические исследования".
После моего поста, где было много данный с международных рейтингов, в которых Россия занимала первые позиции по многим рейтингам: по количеству подростковых самоубийств, употреблению алкоголя и др., поступило много критики самих рейтингов. Причем моя позиция не была услышана. Я лишь хотел обратить внимание, что потенциал у страны огромный (лидер по запасам природных богатств), но при этом у нас огромные социальные проблемы.
В данной посте хотел бы рассказать, что такое рейтинг и как к нему относится. Чтобы ответить на эти вопросы необходимо рассматривать на конкретном примере. Возьмем, уровень коррупции.
Рассматривать процесс будем согласно возможных отклонений от истины (условно, но именно к этому потом все апеллируют).
Представим, что мы комиссия ООН по борьбе с коррупцией в странах мира. У нас есть запрос: составить рейтинг стран по коррумпированности. Для начала, чтобы составить такой рейтинг необходимо найти лучшего специалиста по этой проблеме.
1. Составлением рейтинга занимается профильный специалист, который изучал данную тему и имеет свои разработки (ученый, группа ученых).
Лучший специалист, который не первый год занимается данной темой. Он читает профильную литературу. Сам делает практические исследования. Т.е. он лучший среди ученых.
2. Ученый или группа ученых перед составлением рейтинга должны (минимум) должны дать полное определение явлению и определить критерии, определяющие это явление.
Ответим на следующие вопросы:
- Что такое коррупция?
- Какие есть критерии коррупции? Или проще, как мы поняли, что данное действие является коррупционным?
Благодаря ответам на эти вопросы мы должны отобрать те критерии, которые мы можем исследовать (чем больше сомжем проверить, тем ближе результат в истине). И тут начинаются первые проблемы:
- Нет международного определения понятия "Коррупция" (есть конвенция, но она лишь дает направления и приоритеты). У каждой страны есть свое законодательство, где например, во Франции подарок является коррупцией, а в Ботсване - нет.
- У коррупции более 100 критериев (условно), но мы как исследователи не сможем исследовать 100 критериев в 200 странах! Во-первых, это огромные деньги, а во-вторых, затратно по времени, ведь данные нам нужны приблизительного одного времени, а физически в 200 странах одновременно исследования не провести.
3. Специалист субъективно определяет те критерии, которые он будет исследовать.
Чтобы сократить издержки выбирают самые открытие данные, а также берется 2-3 критерия, которые проверяют "вручную".
Например, специалист выбирает (по 1 критерию на группу):
(1) Данные правоохранительных органов стран по соответствующим делам;
(2) Опрос 5 тыс.граждан в 10 крупных городах о том, сталкивались ли они с коррупцией и как часто.
4. Получение данных всегда связан с разными условиями их обработки. Чем больше звеньев от респондента до специалиста, тем больше расхождение от истины.
(1) Не секрет, что количество дел о коррупции зависит от коррумпированности власти в конкретной стране, коррумпированности судов и самих правоохранительных органов. Получается, что данные из многих стран будут зависеть от того, как та или иная страна хочет выглядеть в глазах мирового сообщества.
/Например, В РФ на одно уголовное дело о коррупции приходиться 15 тыс. населения, в США на 25 тыс., в Германии на 120 тыс./ Вычисляем показатель.
(2) На улице в РФ 9 из 10 сказали, что раз в год делают коррупционные действия. В США - 4/10, в Германии - 1/10.
Какие возникают негативные условия: опрос 10 тыс. в стране не может показатель общей картины. Процент в выборке будет перенес на все населения. Это только одно "НО"...
5. Необходимо привести данные к единой системе шкал, чтобы создать единую шкалу для итогового рейтинга.
Задача одна из самых сложных. Например, критерий (2) можно разделить на 10 уровней или на 100, а вот критерий (1) затруднительно разделить на 10 или 100. А второе, теперь необходимо сложить эти две шкалы и получить одну итоговую. А теперь вспомните, что критериев могло быть больше 100, а мы взяли только 2! Т.е. деньги и время работают против истинны (хотя исследователя трудно в этом обвинить).
5.1. Хорошее исследование стоит много денег и требует много времени.
Никакое независимое агентство не имеет подобных ресурсов, поэтому используются данные с уже обработанных результатов, которые могут быть фальсифицированы.
И вот наконец-то перед нами рейтинг стран, выстроенных по уровню коррупции. Врет ли этот рейтинг? Несомненно он, при соблюдении всех правил, стремится отображать реальность, но таковой не является.
Но моя задача не показать, что рейтинги врут. Рейтинг несомненно нужны, ибо они источники решений в той или иной области. И главное, читать рейтинг нужно не с графика, а с обоснования итогов, где указываются критерии и способы получения данных по каждому критерию.
Данный пост популярно объясняет технологию проведения исследования. Подробнее можно прочитать в любом учебнике "Социологии" в разделе "Социологические исследования".