Прежде чем разбивать студентов на группы, экспериментаторы сравнивали расхождения между прогнозом и результатом индивидуально для каждого студента, затем высчитывали среднее расхождение. Если предполагать, что разница между прогнозом и результатом в нашей выборке обусловлена случайными причинами и распределена равномерно (кто-то из двоечников был в ударе, кто-то из отличников слишком расслабился etc), то усреднённый прогноз должен совпадать с усреднённым результатом в 50-м квантиле, что у Лекса и можно наглядно наблюдать. Однако у Даннинга с Крюгером усреднённый прогноз оказался систематически завышен по сравнению с усреднённым результатом на ~16 квантилей. И соответственно, в дальнейшем разбиении на группы по двоечникам-отличникам кривая распределения прогнозов также систематически сдвинута в плюс на эти самые 16 квантилей относительно ожидаемой методологически
( ... )
Эффект только в крайних группахson_0f_morningOctober 26 2017, 16:04:08 UTC
Насколько я понимаю в твоём примере есть некоторое хм... лукавство.
Псевдо-эффект (т.е. наблюдение эффекта Даннинга-Крюгера за счёт некорректной оценки результатов там, где его нет) будет проявляться только в крайних группах (*). У тебя при трёх группах две из них крайние. Если бы групп было десять -- на восьми из них ты бы псевдо-эффекта не обнаружил.
Резюмируя: Не смотря на то, что некорректность методики продемонстрирована весьма эффектно, к методам разоблачения большие вопросы.
*) При условии равномерного распределения средних оценок студентов в их группе и равномерного же распределения оценки за тест вокруг среднего в конкретном тестировании.
Re: Эффект только в крайних группахson_0f_morningOctober 26 2017, 16:25:03 UTC
Upd. Эффект будет наблюдаться только в крайних группах.
Подумав понял, что это утверждение несколько заужено. Эффект (*) будет наблюдаться для групп, в которых несимметрично смешаны люди выступившие "лучше среднего" и "хуже среднего".
Для крайних групп это очевидно (при 10-бально системе в 10ю группу попадут "в среднем 9-бальники", но "в среднем 11-бальников" не существует)
Однако вопрос "будут ли в 8й группе симметрично или ассиметрично представлены выступившие хуже и лучше среднего" зависит от характера распределения оценок в эксперименте относительно среднего. А именно от того: может ли "в среднем 10-бальник" получить 8.
Так что: - есть распределения где псевдо-эффект можно наблюдать только на крайних группах - есть распределения где псевдо эффект можно наблюдать не только на крайних группах.
В любом случае брать только 3 группы (из которых заведомо 2 будут показывать псевдо-эффект) не очень хм... корректно.
*) условие равномерного распределения для простоты оставим. Вроде бы в исходном посте это подразумевалось.
Угук, а если учитывать явную нелинейность распределения двоечники - отличники, то кривую расхождения «предполагаемого» результата и «наблюдаемого» можно вообще любую получить.
Re: Эффект только в крайних группахlex_kravetskiOctober 26 2017, 21:33:09 UTC
> Псевдо-эффект (т.е. наблюдение эффекта Даннинга-Крюгера за счёт некорректной оценки результатов там, где его нет) будет проявляться только в крайних группах (*). У тебя при трёх группах две из них крайние. Если бы групп было десять -- на восьми из них ты бы псевдо-эффекта не обнаружил.
Не, он будет тем сильнее, чем группа ближе к краям, а не только в крайних. Я это на численных экспериментах проверил - ещё до того, как начал пытаться понять, почему такое вообще происходит. Весьма устойчивый эффект: воспроизводится практически в 99,9% случаев.
Однако в том графике, который обычно приводят, точек всего четыре (у меня три только для простоты рассуждений - на четырёх оно было бы не менее ярко выражено).
Есть предложение: провести несколько иной эксперимент (хотя бы мысленно). Берём некоторую группу студентов и задаём каждому из них простой вопрос: "На какое место в этой группе вы поставили бы себя (по знанию такого-то предмета)". Дальше отсортировать студентов в соответствии с тем, как они сами себя оценивают, и посмотреть на облако точек (номер студента, оценка). Понятно, что облако будет расположено примерно по диагонали, но интересны отклонения. Ну, например, сколько студентов посчитают, что они находятся в первой десятке? А в последней? А в первую половину сколько народу себя разместит? А точно посередине? Проведение теста в этом эксперименте не предполагается
( ... )
Есть три вида лжи, как известно. Но на самом деле всё просто - отличник не может предположить что он получит большую оценку, нет такой. Только меньшую. Аналогично с двоечником - он может предположить только что получит больше. У них обоих нормальное распределение вероятностей обрезано наполовину.
Comments 18
Прежде чем разбивать студентов на группы, экспериментаторы сравнивали расхождения между прогнозом и результатом индивидуально для каждого студента, затем высчитывали среднее расхождение. Если предполагать, что разница между прогнозом и результатом в нашей выборке обусловлена случайными причинами и распределена равномерно (кто-то из двоечников был в ударе, кто-то из отличников слишком расслабился etc), то усреднённый прогноз должен совпадать с усреднённым результатом в 50-м квантиле, что у Лекса и можно наглядно наблюдать. Однако у Даннинга с Крюгером усреднённый прогноз оказался систематически завышен по сравнению с усреднённым результатом на ~16 квантилей. И соответственно, в дальнейшем разбиении на группы по двоечникам-отличникам кривая распределения прогнозов также систематически сдвинута в плюс на эти самые 16 квантилей относительно ожидаемой методологически ( ... )
Reply
Псевдо-эффект (т.е. наблюдение эффекта Даннинга-Крюгера за счёт некорректной оценки результатов там, где его нет) будет проявляться только в крайних группах (*). У тебя при трёх группах две из них крайние.
Если бы групп было десять -- на восьми из них ты бы псевдо-эффекта не обнаружил.
Резюмируя:
Не смотря на то, что некорректность методики продемонстрирована весьма эффектно, к методам разоблачения большие вопросы.
*) При условии равномерного распределения средних оценок студентов в их группе и равномерного же распределения оценки за тест вокруг среднего в конкретном тестировании.
Reply
Эффект будет наблюдаться только в крайних группах.
Подумав понял, что это утверждение несколько заужено. Эффект (*) будет наблюдаться для групп, в которых несимметрично смешаны люди выступившие "лучше среднего" и "хуже среднего".
Для крайних групп это очевидно (при 10-бально системе в 10ю группу попадут "в среднем 9-бальники", но "в среднем 11-бальников" не существует)
Однако вопрос "будут ли в 8й группе симметрично или ассиметрично представлены выступившие хуже и лучше среднего" зависит от характера распределения оценок в эксперименте относительно среднего. А именно от того: может ли "в среднем 10-бальник" получить 8.
Так что:
- есть распределения где псевдо-эффект можно наблюдать только на крайних группах
- есть распределения где псевдо эффект можно наблюдать не только на крайних группах.
В любом случае брать только 3 группы (из которых заведомо 2 будут показывать псевдо-эффект) не очень хм... корректно.
*) условие равномерного распределения для простоты оставим. Вроде бы в исходном посте это подразумевалось.
Reply
Reply
Если бы групп было десять -- на восьми из них ты бы псевдо-эффекта не обнаружил.
Не, он будет тем сильнее, чем группа ближе к краям, а не только в крайних. Я это на численных экспериментах проверил - ещё до того, как начал пытаться понять, почему такое вообще происходит. Весьма устойчивый эффект: воспроизводится практически в 99,9% случаев.
Однако в том графике, который обычно приводят, точек всего четыре (у меня три только для простоты рассуждений - на четырёх оно было бы не менее ярко выражено).
Reply
https://medium.com/@flavorchemist/dunning-kruger-regression-7d747eecb806
Reply
Reply
Reply
Но на самом деле всё просто - отличник не может предположить что он получит большую оценку, нет такой. Только меньшую.
Аналогично с двоечником - он может предположить только что получит больше.
У них обоих нормальное распределение вероятностей обрезано наполовину.
Reply
Leave a comment