How to cheat on tests - 2 (with examples!)
В дискуссии про то, как нам сделать biased тест, у меня сложилось впечатление, что многие комментаторы у меня в журнале -- учителя математики. А иначе как обьяснить их требования, чтоб я показала им примеры "дискриминирующих" вопросов? Как бы их мог оценить человек, далекий от школьного образования или далекий от математики вообще? Они б проверили, есть ли в вопросе правильный ответ? Допустим, есть. И что дальше? Из этого ведь никак не следует, что этот вопрос адекватно проверяет чьи-то знания математики.
Но начну со спойлера: примеры будут, причем даже не выдуманные, а совершенно реальные.
Что, вообще, значит "знать математику"?
В Америке нет единой школьной программы. Каждая школа или каждый дистрикт, или даже каждый учитель, выбирают себе математическую программу для каждого года сами. И понятное дело, что набор тем разнится. С моей точки зрения, это даже хорошо: математика как наука огромна и глубока. Слишком часто у взрослых людей, да и у детей тоже, складывается впечатление, что математика -- это арифметика, с небольшим вкраплением геометрии.
Чем быстрее мы уйдем от приравнивания математики к арифметике, тем лучше будет всем, потому что в нашем обществе практически нужны и важны много разных разделов математики, а не только эти два. Я могу вам дать задачи по математике, которые решали мои дети в начальной и средней школе, которые абсолютное большинство моих читателей не сможет решить. Не потому, что вы с "низким IQ", как написал мне кто-то, и не потому, что "не знаете математику" -- а потому что, скорее всего, просто не проходили эти темы в школе. И так же из того, что проходят в школе, очень многое зависит от каких-то конкретных идей и подходов. Это не значит, что подходы неправильные (или правильные). Это значит, что тем очень много.
К идее, что есть вопросы, которые будут просто дискриминировать по тому, проходили ли в школе тему, многие отнеслись скептически. Кстати, мне интересно, что большинство требующих "покажите примеры" требовали от меня примеры тех тем, которые белые дети проходят, а афроамериканцы заваливают. Почему-то никто не попросил примера наоборот. Что это говорит о наших собственных предубеждениях?
Вот пример скептического комментария:
что якобы в преимущественно чёрных школах другая программа по математике, м вот если в экзаменах есть что-то что там проходят а в белых не проходят то у чёрных детей будет преимущество, и наоборот. Но доказательств что это так, что действительно есть разница в программах, я не видела. Я так поняла что это в любом случае были теоретические предположения.
Чтоб обьяснить, почему это не "теоретическое предположение", давайте сначала разберемся, как вообще работают multiple choice тесты того типа, о котором идет речь. Эти тесты -- так называемые "norm-referenced test" -- то есть тесты, в задачу которых входит разделить людей на точки на нормированном графе, чтоб можно было сравнивать результаты словами вроде "такой-то человек получил результат в 87м квантиле. Это значит, что 87% студентов напишут тест хуже этого человека.
По определению, такие тесты не могут быть составлены так, чтоб большинство студентов писали "хорошо" (или "плохо"). Потому что тогда тест не будет выполнять свою задачу. Все не могут быть в 80м квантиле и выше.
Значит вопросы, на которые правильно или неправильно отвечает абсолютное большинство студентов, выбрасываются просто по определению. Нам не нужны эти вопросы -- они не несут в себе разделительного смысла. Вместо этого, мы оставляем вопросы, которые помогают нам отличать людей друг от друга. И только из таких вопросов и составляем тест.
Если предыдущий абзац непонятен, то представьте себе, что у вас очень много посетителей на конференции и 100 залов совещания вдоль одного длинного коридора, и вам надо составить тест, который распределит группу людей по ста комнатам так, чтоб количество людей в комнатах соответствовало "нормальному" (gaussian) графику -- где в комнатах посреди коридора больше всего людей, а в комнатах в противоположных краях коридора -- очень мало. К вам один за другим подходят люди, и вам надо задать им несколько вопросов, чтоб решить, в какую комнату их отправить на основании их ответов. Вам будет бесполезно спрашивать, есть ли у этого человека сердце -- оно есть у всех, и по этому фактору на группы не разделить. Возможно, вы захотите спросить, получил ли этот человек степень доктора философии в астрофизике из Оксфорда. Разве что у вас конференция астрофизиков из Оксфорда, то таких людей просто будет очень мало. Хотя, опять-таки, а может именно этот вопрос вам и позволит отправить людей в те комнаты, где людей должно быть мало. В конце концов может оказаться, что самыми "комнато-определительными" вопросами могут стать вопросы, например, про длину волос. Вот по ним распределение может приближаться к нормальному (если у вас не сьезд страдающих от облысения), и можно будет делить людей на группы. Хотя, казалось бы, ну какое особенное значение для человека несет длина его волос? И вообще, длина день ото дня меняется.
Вот так и с тестом, где нам надо распределить студентов на квантили -- скорее всего он будет тестировать не самое-самое основное, а как раз больше разных произвольных тем, которые могут проходить в школах с разной тщательностью. Учитывая, сколько есть разных тем, и сколько в этих темах разных вопросов и терминов, и сколько вообще школ, то было бы довольно невероятно, чисто статистически, если б не было определенных вещей, которые чаще встречаются в школах в черных районах, чем в белых, и наобоорот.
Это как одно обьяснение -- чисто статистическое.
Есть и другие обьяснения -- более последовательные, если вам так нравится. Например, показано, что афроамериканцы, в среднем, зачастую отвечают лучше на более сложные вопросы на словарный запас, по сравнению с белыми студентами, чем на более легкие вопросы. Одно из обьяснений этому то, что в легких вопросах используется лексика, которая в белых районах чаще "на слуху", а в черных может быть результатом специального изучения. А в тяжелых вопросах и те и те студенты должны отвечать используя специально выученные слова, а не те, которые на слуху в обычной жизни.
В конце концов мы все же приходим к тому, что, даже глядя на определенный вопрос, про который известно, что на него отвечают статистически больше люди той или иной расы, мы не сможем обьяснить, почему именно так получается.
А теперь обещанные примеры. Потому что все, о чем я тут и в прошлой записи писала, это не мои выдумки, а реальная ситуация с SAT тестами. Данные -- из статей Jay Rosner.
Вот, например, два разных вопроса на verbal части SAT:
Можете попытаться угадать, какой из этих вопросов "черный", и по этому не попал в настоящий SAT тест, а какой -- "белый", и поэтому был вставлен в настоящий тест. Оба вопроса, заметим, про танцы. Оба одинакового типа. При этом на один из вопросов, афроамериканцы ответили на восемь процентов лучше, чем белые, а на другой вопрос, белые ответили на 34 процента лучше, чем афроамериканцы.
Я знаю, я знаю! Вы мне сейчас скажете, что это не математика, а вы просили математические примеры. Ну раз просили, то вот они:
В них разница в процентных соотношениях даже больше, чем в словесных вопросах. А здесь попробуйте угадать, где какой вопрос, и почему? На "где какой", я ответ знаю. А на "почему" -- нет. Что не отменяет факта того, что раз за разом SAT составляется из "белых" вопросов, а "черные" выкидываются как те, что не соответствуют "общей картине тестов." То, что общая картина рисуется не только изначальной разницей в школах и знаниях, а, в том числе, и именно такими вот составлениями тестов, почему-то не принимается во внимание.
Ну и чтоб совсем-совсем было понятно, что я именно утверждаю: я не говорю, что нет разницы в знаниях между популяциями белых и афроамериканских детей в Америке, или что нет разницы между школами и качеством образования, которые они дают. Я ни на секунду не забываю, что все это есть. Но в том числе могут быть и bias в самих тестах, в том числе и вроде бы в таком "обьективном" предмете, как математика.
This entry was originally posted at https://angerona.dreamwidth.org/1613799.html (
comments).
Please comment there using OpenID.
Но начну со спойлера: примеры будут, причем даже не выдуманные, а совершенно реальные.
Что, вообще, значит "знать математику"?
В Америке нет единой школьной программы. Каждая школа или каждый дистрикт, или даже каждый учитель, выбирают себе математическую программу для каждого года сами. И понятное дело, что набор тем разнится. С моей точки зрения, это даже хорошо: математика как наука огромна и глубока. Слишком часто у взрослых людей, да и у детей тоже, складывается впечатление, что математика -- это арифметика, с небольшим вкраплением геометрии.
Чем быстрее мы уйдем от приравнивания математики к арифметике, тем лучше будет всем, потому что в нашем обществе практически нужны и важны много разных разделов математики, а не только эти два. Я могу вам дать задачи по математике, которые решали мои дети в начальной и средней школе, которые абсолютное большинство моих читателей не сможет решить. Не потому, что вы с "низким IQ", как написал мне кто-то, и не потому, что "не знаете математику" -- а потому что, скорее всего, просто не проходили эти темы в школе. И так же из того, что проходят в школе, очень многое зависит от каких-то конкретных идей и подходов. Это не значит, что подходы неправильные (или правильные). Это значит, что тем очень много.
К идее, что есть вопросы, которые будут просто дискриминировать по тому, проходили ли в школе тему, многие отнеслись скептически. Кстати, мне интересно, что большинство требующих "покажите примеры" требовали от меня примеры тех тем, которые белые дети проходят, а афроамериканцы заваливают. Почему-то никто не попросил примера наоборот. Что это говорит о наших собственных предубеждениях?
Вот пример скептического комментария:
что якобы в преимущественно чёрных школах другая программа по математике, м вот если в экзаменах есть что-то что там проходят а в белых не проходят то у чёрных детей будет преимущество, и наоборот. Но доказательств что это так, что действительно есть разница в программах, я не видела. Я так поняла что это в любом случае были теоретические предположения.
Чтоб обьяснить, почему это не "теоретическое предположение", давайте сначала разберемся, как вообще работают multiple choice тесты того типа, о котором идет речь. Эти тесты -- так называемые "norm-referenced test" -- то есть тесты, в задачу которых входит разделить людей на точки на нормированном графе, чтоб можно было сравнивать результаты словами вроде "такой-то человек получил результат в 87м квантиле. Это значит, что 87% студентов напишут тест хуже этого человека.
По определению, такие тесты не могут быть составлены так, чтоб большинство студентов писали "хорошо" (или "плохо"). Потому что тогда тест не будет выполнять свою задачу. Все не могут быть в 80м квантиле и выше.
Значит вопросы, на которые правильно или неправильно отвечает абсолютное большинство студентов, выбрасываются просто по определению. Нам не нужны эти вопросы -- они не несут в себе разделительного смысла. Вместо этого, мы оставляем вопросы, которые помогают нам отличать людей друг от друга. И только из таких вопросов и составляем тест.
Если предыдущий абзац непонятен, то представьте себе, что у вас очень много посетителей на конференции и 100 залов совещания вдоль одного длинного коридора, и вам надо составить тест, который распределит группу людей по ста комнатам так, чтоб количество людей в комнатах соответствовало "нормальному" (gaussian) графику -- где в комнатах посреди коридора больше всего людей, а в комнатах в противоположных краях коридора -- очень мало. К вам один за другим подходят люди, и вам надо задать им несколько вопросов, чтоб решить, в какую комнату их отправить на основании их ответов. Вам будет бесполезно спрашивать, есть ли у этого человека сердце -- оно есть у всех, и по этому фактору на группы не разделить. Возможно, вы захотите спросить, получил ли этот человек степень доктора философии в астрофизике из Оксфорда. Разве что у вас конференция астрофизиков из Оксфорда, то таких людей просто будет очень мало. Хотя, опять-таки, а может именно этот вопрос вам и позволит отправить людей в те комнаты, где людей должно быть мало. В конце концов может оказаться, что самыми "комнато-определительными" вопросами могут стать вопросы, например, про длину волос. Вот по ним распределение может приближаться к нормальному (если у вас не сьезд страдающих от облысения), и можно будет делить людей на группы. Хотя, казалось бы, ну какое особенное значение для человека несет длина его волос? И вообще, длина день ото дня меняется.
Вот так и с тестом, где нам надо распределить студентов на квантили -- скорее всего он будет тестировать не самое-самое основное, а как раз больше разных произвольных тем, которые могут проходить в школах с разной тщательностью. Учитывая, сколько есть разных тем, и сколько в этих темах разных вопросов и терминов, и сколько вообще школ, то было бы довольно невероятно, чисто статистически, если б не было определенных вещей, которые чаще встречаются в школах в черных районах, чем в белых, и наобоорот.
Это как одно обьяснение -- чисто статистическое.
Есть и другие обьяснения -- более последовательные, если вам так нравится. Например, показано, что афроамериканцы, в среднем, зачастую отвечают лучше на более сложные вопросы на словарный запас, по сравнению с белыми студентами, чем на более легкие вопросы. Одно из обьяснений этому то, что в легких вопросах используется лексика, которая в белых районах чаще "на слуху", а в черных может быть результатом специального изучения. А в тяжелых вопросах и те и те студенты должны отвечать используя специально выученные слова, а не те, которые на слуху в обычной жизни.
В конце концов мы все же приходим к тому, что, даже глядя на определенный вопрос, про который известно, что на него отвечают статистически больше люди той или иной расы, мы не сможем обьяснить, почему именно так получается.
А теперь обещанные примеры. Потому что все, о чем я тут и в прошлой записи писала, это не мои выдумки, а реальная ситуация с SAT тестами. Данные -- из статей Jay Rosner.
Вот, например, два разных вопроса на verbal части SAT:
Можете попытаться угадать, какой из этих вопросов "черный", и по этому не попал в настоящий SAT тест, а какой -- "белый", и поэтому был вставлен в настоящий тест. Оба вопроса, заметим, про танцы. Оба одинакового типа. При этом на один из вопросов, афроамериканцы ответили на восемь процентов лучше, чем белые, а на другой вопрос, белые ответили на 34 процента лучше, чем афроамериканцы.
Я знаю, я знаю! Вы мне сейчас скажете, что это не математика, а вы просили математические примеры. Ну раз просили, то вот они:
В них разница в процентных соотношениях даже больше, чем в словесных вопросах. А здесь попробуйте угадать, где какой вопрос, и почему? На "где какой", я ответ знаю. А на "почему" -- нет. Что не отменяет факта того, что раз за разом SAT составляется из "белых" вопросов, а "черные" выкидываются как те, что не соответствуют "общей картине тестов." То, что общая картина рисуется не только изначальной разницей в школах и знаниях, а, в том числе, и именно такими вот составлениями тестов, почему-то не принимается во внимание.
Ну и чтоб совсем-совсем было понятно, что я именно утверждаю: я не говорю, что нет разницы в знаниях между популяциями белых и афроамериканских детей в Америке, или что нет разницы между школами и качеством образования, которые они дают. Я ни на секунду не забываю, что все это есть. Но в том числе могут быть и bias в самих тестах, в том числе и вроде бы в таком "обьективном" предмете, как математика.
This entry was originally posted at https://angerona.dreamwidth.org/1613799.html (
comments).
Please comment there using OpenID.