Проблема валидности тестов в традиционной и альтернативной педагогике.
Доказательная медицина ,начиная с 90-ых годов, уже развивается, но того же нельзя сказать о доказательной психотерапии и доказательной педагогике. У меня есть основания предполагать, что российский социум не сразу поймёт необходимость перехода на эти рельсы в силу большой попоболи значительного количества шарлатанов в сфере психотерапии, целительства и даже экспериментальной педагогики.
Что касается "доказательного маркетинга" или там "доказательной политэкономики", то на этом уровне она уже невозможна. Почему невозможно централизованно вычислить и применить некоторые экспериментально-доказательные принципы к экономике, не "тормозя" людей и не вредя им- хорошо описали Млодинов, Хаек и Талеб.
Степень фричества в экономической области определятся ,как в большинстве глубоко гуманитарных областей, скорее неочевидными сочетаниями отдельных частных воль в оценках текущих событий, имеющих рефлексивное воздействие на среду и зависимыми от опыта.
Проблема валидности теста существует как в психологии, так и в педагогике. Не всегда понятно,насколько олученный результат отражает степень овладения учащимся теми или иных наыками.
Вопрос,который мучает меня лично - это применимость и полезность игровых обучалок с имитационными интеракциями участников.
С одной стороны, такой академически подкованный автор, как Невеев, отрицает или сводит к иллюзорным плацебо-эффектам эффективность обучения практическим, познавательным и социальным навыкам через ролевую имитацию. Его позиция солидно подкрепляется матчастью по психологическим тренингам, только 10% участников которых обнаруживают в своей жизни предполагаемые тренингом улучшения.
Нет ли той же проблемы и в таких педагогиках, как гуманистическая педагогика, педагогика Вальдорфской школы, природосообразная педагогика, Бодхо-педагогика("накопление фрагментов"), деятельностная педагогика Выготского, ТРИЗ-педагогика, (прямо охарактризованная в переписке со мной физиком vsounder, опытным и матёрым бойцом с фричеством и мракобесием, как лженаучная)?
С другой сторон, кривая эффективности запоминания показывает обратное - именно архаические техники экстаза запоминания и освоения информации через имитацию-подражение и мифопоэтические нарративы дают самую лучшую запоминаемость информации и закрепление её в долговременной памяти.
Кто же тут вернее? Правда ли,что "Притвориться - не значит,стать"(с.Невеев) или же,что "лучший способ стать - это именно притвориться"?
Вопрос глубоко непраздный, потому что от его решения в ту или иную сторону сильно зависит объективная и ресурсно-экономическая оценка деятельности целого ряда программ,имеющих прямое отношение к развитию человека. И это ещё самое малое.
Серьёзные последствия будут для значительной части разработок,связанных с т.н. "дизайном коммуникаций".
В педагогике валидность тестов определить не легче,чем в психологии. Мне, как рендистке-попперистке-адвайтистке(объективизм, критический рационализм,нон-дуализм субъект-объектный), кажется значимым фокусироваться в своих поисковых быстрых эвристиках в этом вопросе(а возможно,когда осилю Матчасть - и медленных) именно на критериальной валидности, которая ищет в тесте соответствия внешним онтологическим реалиям и имеет предсказательную ценность(то есть отражает вневременную, научно-постижимую, независимую и тождественную себе истину)
Педагоги ,конечно, с этим в своей практике профессионально столкнулись давно и пилят эту тему ответственно:
http://uss.dvfu.ru/static/kim_testing_monograph/src/glava_3_9.html
Высокая надежность теста это необходимое, но недостаточное условие получения высококачественного теста. Тест еще должен быть валидным. Валидность - это важнейшая характеристика теста, без указания которой, его нельзя считать измерительным инструментом.
Анализируя сложную ситуацию с валидностью педагогических тестов, Е.Михайлычев отмечает, что педагогу, заинтересовавшемуся валидностью, трудно будет разобраться в том, что же это такое.
Ниже мы приведем несколько определений валидности теста.
ВАЛИДНОСТЬ означает пригодность тестовых результатов для той цели, ради чего проводилось тестирование (В.Аванесов)17.
ВАЛИДНОСТЬ - это характеристика способности теста служить поставленной цели измерения (М.Челышкова).
ВАЛИДНОСТЬ - определяет, насколько тест отражает то, что он должен оценивать (А.Майоров).
Приведенные определения в целом перекликаются и являются практически равноценными. Мы несколько уточним определение, сделав акцент на цель тестирования. Тестирование как измерительная процедура, дает информацию, на основе которой в дальнейшем должно быть принято то или иное управленческое решение. Обоснованность этих решений, зачастую сильно влияющих на судьбу испытуемых, определяется надежностью и валидностью теста.
ВАЛИДНОСТЬ - это характеристика теста, отражающая его способность получать результаты, соответствующие поставленной цели и обосновывающая адекватность принимаемых решений.
После создания теста начинается процесс его валидизации. Приведем определение:
ВАЛИДИЗАЦИЯ - процесс накопления подтверждений для доказательства валидности теста19.
По нашему мнению ВАЛИДИЗАЦИЯ - это не столько сбор доказательств валидности теста, сколько процесс выполнения действий, повышающих его валидность. Вследствие этого будет расти и доказательная база валидности теста.
Выделяют три вида валидности - содержательную, критериальную и конструктную.
КОНСТРУКТНАЯ ВАЛИДНОСТЬ (концептуальная валидность) определяется в случаях, когда представление об измеряемом свойстве существует в форме абстрактного образа, модели. Для объяснения определенных качеств личности создается концептуальная модель, которая с помощью тестов подтверждается или опровергается.
КРИТЕРИАЛЬНАЯ ВАЛИДНОСТЬ (эмпирическая валидность) предполагает наличие внешнего критерия, корреляция с которым определяет валидность теста.
Имеется два вида критериальной валидности - текущая и прогностическая.
Текущая критериальная валидность (concurrent validity) характеризует способность теста измерять некоторые качества личности. Валидность теста подтверждается корреляцией с некоторым внешним критерием, существующим в данное время. Допустим, тест показал для некоторого испытуемого отличные знания по предмету, а школьные отметки, выставленные учителем - неудовлетворительные. Если мы в качестве внешнего, независимого и достоверного критерия выберем школьные отметки, то критериальная валидность теста - низкая, даже если он имеет высокую надежность.
Прогностическая критериальная валидность (predictive validity) характеризует способность теста предсказывать будущие качества, формирующихся в результате воздействия внешних обстоятельств или целенаправленной собственной деятельности. Этот тип валидности характеризует корреляцию результатов тестирования с внешним критерием, который появится в будущем.
СОДЕРЖАТЕЛЬНАЯ ВАЛИДНОСТЬ (content validity) характеризует тест по степени его соответствия предметной области.
Согласно А.Анастази, содержательная валидность означает систематическую проверку содержания теста, с тем чтобы установить, соответствует ли оно репрезентативной выборке измеряемой области поведения. Такая процедура валидизации обычно применяется для тестов достижений20.
Содержательная валидность необязятельно означает полноту отображения изучаемой дисциплины. Например, для нормативно-ориентированного теста, полнота охвата всех тем может быть меньше, чем для критериально-ориентированного. Здесь важнее глубина проработки отдельных подтем, вопросов. Это позволит с большей эффективность дифференцировать обучаемых. Под содержанием понимается не только совокупность фактов, понятий, терминов, но и умение применять имеющиеся знания, оценивать информацию, выполнять действия, соответствующие верхним уровням таксономии Блума.
Для обеспечения содержательной валидности необходим детальный анализ учебных программ, на основании чего составляется спецификация теста. Спецификация содержит перечень учебных тем, их важность, количество и тип тестовых заданий. Оценка содержательной валидности выполняется экспертом в данной предметной области.
Согласно П.Клайну содержательная валидность определяется следующим образом:
1) указать категорию лиц, для которой предназначен тест;
2) составить список знаний, умений, навыков, подлежащих тестированию;
3) выполнить внешнюю экспертизу полученного списка на предмет его полноты и обоснованности;
4) на основе списка составить перечень заданий;
5) выполнить внешнюю экспертизу полученных заданий;
6) после проверки преобразовать их в задания в тестовой форме. В дальнейшем, на этой основе создать тестовые задания, образующие тест, который будет содержательно валидным.
Проблема валидизации педагогического теста является, видимо, самой сложной в процедуре создания высококачественного измерительного инструмента.
Что касается "доказательного маркетинга" или там "доказательной политэкономики", то на этом уровне она уже невозможна. Почему невозможно централизованно вычислить и применить некоторые экспериментально-доказательные принципы к экономике, не "тормозя" людей и не вредя им- хорошо описали Млодинов, Хаек и Талеб.
Степень фричества в экономической области определятся ,как в большинстве глубоко гуманитарных областей, скорее неочевидными сочетаниями отдельных частных воль в оценках текущих событий, имеющих рефлексивное воздействие на среду и зависимыми от опыта.
Проблема валидности теста существует как в психологии, так и в педагогике. Не всегда понятно,насколько олученный результат отражает степень овладения учащимся теми или иных наыками.
Вопрос,который мучает меня лично - это применимость и полезность игровых обучалок с имитационными интеракциями участников.
С одной стороны, такой академически подкованный автор, как Невеев, отрицает или сводит к иллюзорным плацебо-эффектам эффективность обучения практическим, познавательным и социальным навыкам через ролевую имитацию. Его позиция солидно подкрепляется матчастью по психологическим тренингам, только 10% участников которых обнаруживают в своей жизни предполагаемые тренингом улучшения.
Нет ли той же проблемы и в таких педагогиках, как гуманистическая педагогика, педагогика Вальдорфской школы, природосообразная педагогика, Бодхо-педагогика("накопление фрагментов"), деятельностная педагогика Выготского, ТРИЗ-педагогика, (прямо охарактризованная в переписке со мной физиком vsounder, опытным и матёрым бойцом с фричеством и мракобесием, как лженаучная)?
С другой сторон, кривая эффективности запоминания показывает обратное - именно архаические техники экстаза запоминания и освоения информации через имитацию-подражение и мифопоэтические нарративы дают самую лучшую запоминаемость информации и закрепление её в долговременной памяти.
Кто же тут вернее? Правда ли,что "Притвориться - не значит,стать"(с.Невеев) или же,что "лучший способ стать - это именно притвориться"?
Вопрос глубоко непраздный, потому что от его решения в ту или иную сторону сильно зависит объективная и ресурсно-экономическая оценка деятельности целого ряда программ,имеющих прямое отношение к развитию человека. И это ещё самое малое.
Серьёзные последствия будут для значительной части разработок,связанных с т.н. "дизайном коммуникаций".
В педагогике валидность тестов определить не легче,чем в психологии. Мне, как рендистке-попперистке-адвайтистке(объективизм, критический рационализм,нон-дуализм субъект-объектный), кажется значимым фокусироваться в своих поисковых быстрых эвристиках в этом вопросе(а возможно,когда осилю Матчасть - и медленных) именно на критериальной валидности, которая ищет в тесте соответствия внешним онтологическим реалиям и имеет предсказательную ценность(то есть отражает вневременную, научно-постижимую, независимую и тождественную себе истину)
Педагоги ,конечно, с этим в своей практике профессионально столкнулись давно и пилят эту тему ответственно:
http://uss.dvfu.ru/static/kim_testing_monograph/src/glava_3_9.html
Высокая надежность теста это необходимое, но недостаточное условие получения высококачественного теста. Тест еще должен быть валидным. Валидность - это важнейшая характеристика теста, без указания которой, его нельзя считать измерительным инструментом.
Анализируя сложную ситуацию с валидностью педагогических тестов, Е.Михайлычев отмечает, что педагогу, заинтересовавшемуся валидностью, трудно будет разобраться в том, что же это такое.
Ниже мы приведем несколько определений валидности теста.
ВАЛИДНОСТЬ означает пригодность тестовых результатов для той цели, ради чего проводилось тестирование (В.Аванесов)17.
ВАЛИДНОСТЬ - это характеристика способности теста служить поставленной цели измерения (М.Челышкова).
ВАЛИДНОСТЬ - определяет, насколько тест отражает то, что он должен оценивать (А.Майоров).
Приведенные определения в целом перекликаются и являются практически равноценными. Мы несколько уточним определение, сделав акцент на цель тестирования. Тестирование как измерительная процедура, дает информацию, на основе которой в дальнейшем должно быть принято то или иное управленческое решение. Обоснованность этих решений, зачастую сильно влияющих на судьбу испытуемых, определяется надежностью и валидностью теста.
ВАЛИДНОСТЬ - это характеристика теста, отражающая его способность получать результаты, соответствующие поставленной цели и обосновывающая адекватность принимаемых решений.
После создания теста начинается процесс его валидизации. Приведем определение:
ВАЛИДИЗАЦИЯ - процесс накопления подтверждений для доказательства валидности теста19.
По нашему мнению ВАЛИДИЗАЦИЯ - это не столько сбор доказательств валидности теста, сколько процесс выполнения действий, повышающих его валидность. Вследствие этого будет расти и доказательная база валидности теста.
Выделяют три вида валидности - содержательную, критериальную и конструктную.
КОНСТРУКТНАЯ ВАЛИДНОСТЬ (концептуальная валидность) определяется в случаях, когда представление об измеряемом свойстве существует в форме абстрактного образа, модели. Для объяснения определенных качеств личности создается концептуальная модель, которая с помощью тестов подтверждается или опровергается.
КРИТЕРИАЛЬНАЯ ВАЛИДНОСТЬ (эмпирическая валидность) предполагает наличие внешнего критерия, корреляция с которым определяет валидность теста.
Имеется два вида критериальной валидности - текущая и прогностическая.
Текущая критериальная валидность (concurrent validity) характеризует способность теста измерять некоторые качества личности. Валидность теста подтверждается корреляцией с некоторым внешним критерием, существующим в данное время. Допустим, тест показал для некоторого испытуемого отличные знания по предмету, а школьные отметки, выставленные учителем - неудовлетворительные. Если мы в качестве внешнего, независимого и достоверного критерия выберем школьные отметки, то критериальная валидность теста - низкая, даже если он имеет высокую надежность.
Прогностическая критериальная валидность (predictive validity) характеризует способность теста предсказывать будущие качества, формирующихся в результате воздействия внешних обстоятельств или целенаправленной собственной деятельности. Этот тип валидности характеризует корреляцию результатов тестирования с внешним критерием, который появится в будущем.
СОДЕРЖАТЕЛЬНАЯ ВАЛИДНОСТЬ (content validity) характеризует тест по степени его соответствия предметной области.
Согласно А.Анастази, содержательная валидность означает систематическую проверку содержания теста, с тем чтобы установить, соответствует ли оно репрезентативной выборке измеряемой области поведения. Такая процедура валидизации обычно применяется для тестов достижений20.
Содержательная валидность необязятельно означает полноту отображения изучаемой дисциплины. Например, для нормативно-ориентированного теста, полнота охвата всех тем может быть меньше, чем для критериально-ориентированного. Здесь важнее глубина проработки отдельных подтем, вопросов. Это позволит с большей эффективность дифференцировать обучаемых. Под содержанием понимается не только совокупность фактов, понятий, терминов, но и умение применять имеющиеся знания, оценивать информацию, выполнять действия, соответствующие верхним уровням таксономии Блума.
Для обеспечения содержательной валидности необходим детальный анализ учебных программ, на основании чего составляется спецификация теста. Спецификация содержит перечень учебных тем, их важность, количество и тип тестовых заданий. Оценка содержательной валидности выполняется экспертом в данной предметной области.
Согласно П.Клайну содержательная валидность определяется следующим образом:
1) указать категорию лиц, для которой предназначен тест;
2) составить список знаний, умений, навыков, подлежащих тестированию;
3) выполнить внешнюю экспертизу полученного списка на предмет его полноты и обоснованности;
4) на основе списка составить перечень заданий;
5) выполнить внешнюю экспертизу полученных заданий;
6) после проверки преобразовать их в задания в тестовой форме. В дальнейшем, на этой основе создать тестовые задания, образующие тест, который будет содержательно валидным.
Проблема валидизации педагогического теста является, видимо, самой сложной в процедуре создания высококачественного измерительного инструмента.