Разработка тестов знаний требует знаний?
Есть в жизни довольно много дел, о которых практически каждый имеет собственное «обоснованное» мнение и даже считает, что он (она) вполне способны к выполнению этих дел. К таковым, например, относится политика, шоу-бизнес, вождение автомобиля. Вопросы управления компанией (подразделением) тоже могут считаться лидерами по количеству людей, которые готовы уверенно рассуждать на тему правильности/неправильности принятых решений и давать ценные рекомендации.
В HR сфере к таким вопросам безусловно относится оценка персонала. Как известно, многие руководители (если не большинство) уверены в своей способности проницать кандидатов насквозь и узнавать в них будущих сотрудников.
Как ни странно, это же относится и к такой, казалось бы, специфической области как тестирование. Попроси любого бизнес-тренера «накидать» тест по его тренингу - за 10 минут Вы увидите готовый продукт, при помощи которого якобы можно измерить уровень освоения учащимися пройденного курса. Нужен опросник на определение стилей управления - полдня работы с учебником по менеджменту плюс интернет, и методика готова.
Два интересных ученых и человека - Анна Науменко и Екатерина Орел - подготовили отличную статью по этой теме. Они анализируют влияние индивидуальных особенностей составителей тестов на последующие результаты участников. И, среди прочего, они приводят данные, которые меня поразили своей ежедневной встречаемостью и при этом абсолютной глупостью:
В исследовании Р.Марсо и Ф.Пиджи учителя, завучи школ и супервизоры учебных программ оценивали навыки создания тестов у учителей [Marso, Pigge, 1989]. Выяснилось, что наиболее высоко свои навыки оценивают сами преподаватели, чуть ниже - завучи и наиболее низко - супервизоры <…>
Интересно, однако, что между реальным качеством заданий и самооценкой учителя связи обнаружено не было [Boothroyd et al., 1992], либо она и вовсе была отрицательной [Marso, Pigge, 1989]. Важно также, чтопрофессиональный опыт учителей (в исследовании Марсо и Пиджи они были разделены на три группы по опыту работы - от 1 до 3 лет, от 4 до 6 лет, от 7 до 10 лет) не влиял на качество заданий, которые они составляли.
То есть новички, проработавшие в школе всего один год, так же успешны (или неуспешны) в качестве авторов тестовых заданий, как и более опытные учителя с 10-летним стажем <…> Дело не в профессионализме, педагогическом опыте учителя или его знаниях предметной области, а в навыках конструирования тестовых заданий.
На мой взгляд, ситуация очень серьезная. Ведь на местах люди творят что хотят (и в школе, и в компаниях), и даже не подозревают, что есть какая-то проблема в их психометрической (тестологической) некомпетентности.
Заметьте - это никак не связано с вопросом компетентности специалистов в конкретном предмете (истории, математике, ИТ, менеджменте). Дело именно в том, что разработать профессиональный измерительный инструмент - это особая тема, в которой требуются совершенно специфические знания и навыки.
Ведь, например, ни одному врачу не приходит в голову «не зная броду» начать всерьез делать градусники или тонометры. Медицина проделала огромный путь, где в начале пути измерение температуры троганием лба, а на текущий момент это электронные приборы и динамическая термометрия.
Очевидно, что врач должен уметь пользоваться этими предметами, но это никак не означает, что он самопально соорудит что-то стоящее.
______
Так может и нам уже пора осознать, что есть особые технологии производства «термометров» в психологии и педагогике (тесты, опросники)? А ведь они действительно ЕСТЬ! И, что самое главное, они позволяют достигать достаточно высокого качества измерения, принципиально отличного от настряпанных на скорую руку измерителей непонятно чего.
В HR сфере к таким вопросам безусловно относится оценка персонала. Как известно, многие руководители (если не большинство) уверены в своей способности проницать кандидатов насквозь и узнавать в них будущих сотрудников.
Как ни странно, это же относится и к такой, казалось бы, специфической области как тестирование. Попроси любого бизнес-тренера «накидать» тест по его тренингу - за 10 минут Вы увидите готовый продукт, при помощи которого якобы можно измерить уровень освоения учащимися пройденного курса. Нужен опросник на определение стилей управления - полдня работы с учебником по менеджменту плюс интернет, и методика готова.
Два интересных ученых и человека - Анна Науменко и Екатерина Орел - подготовили отличную статью по этой теме. Они анализируют влияние индивидуальных особенностей составителей тестов на последующие результаты участников. И, среди прочего, они приводят данные, которые меня поразили своей ежедневной встречаемостью и при этом абсолютной глупостью:
В исследовании Р.Марсо и Ф.Пиджи учителя, завучи школ и супервизоры учебных программ оценивали навыки создания тестов у учителей [Marso, Pigge, 1989]. Выяснилось, что наиболее высоко свои навыки оценивают сами преподаватели, чуть ниже - завучи и наиболее низко - супервизоры <…>
Интересно, однако, что между реальным качеством заданий и самооценкой учителя связи обнаружено не было [Boothroyd et al., 1992], либо она и вовсе была отрицательной [Marso, Pigge, 1989]. Важно также, чтопрофессиональный опыт учителей (в исследовании Марсо и Пиджи они были разделены на три группы по опыту работы - от 1 до 3 лет, от 4 до 6 лет, от 7 до 10 лет) не влиял на качество заданий, которые они составляли.
То есть новички, проработавшие в школе всего один год, так же успешны (или неуспешны) в качестве авторов тестовых заданий, как и более опытные учителя с 10-летним стажем <…> Дело не в профессионализме, педагогическом опыте учителя или его знаниях предметной области, а в навыках конструирования тестовых заданий.
На мой взгляд, ситуация очень серьезная. Ведь на местах люди творят что хотят (и в школе, и в компаниях), и даже не подозревают, что есть какая-то проблема в их психометрической (тестологической) некомпетентности.
Заметьте - это никак не связано с вопросом компетентности специалистов в конкретном предмете (истории, математике, ИТ, менеджменте). Дело именно в том, что разработать профессиональный измерительный инструмент - это особая тема, в которой требуются совершенно специфические знания и навыки.
Ведь, например, ни одному врачу не приходит в голову «не зная броду» начать всерьез делать градусники или тонометры. Медицина проделала огромный путь, где в начале пути измерение температуры троганием лба, а на текущий момент это электронные приборы и динамическая термометрия.
Очевидно, что врач должен уметь пользоваться этими предметами, но это никак не означает, что он самопально соорудит что-то стоящее.
______
Так может и нам уже пора осознать, что есть особые технологии производства «термометров» в психологии и педагогике (тесты, опросники)? А ведь они действительно ЕСТЬ! И, что самое главное, они позволяют достигать достаточно высокого качества измерения, принципиально отличного от настряпанных на скорую руку измерителей непонятно чего.