Экзамены в компьютерную эпоху
В университетах США/Канады подавляющее большинство экзаменов (а также тестов и квизов) письменные. А многие классы очень большие. Например, в нашем университете «Обыкновенные диффуры» для студентов Arts & Sciene (Farts & Swines :D), которые нематематики бывает до 800 человек (а всякие Calculus гораздо больше). Такие классы разделяются на секции (обычно до 200 студентов), в каждой секции отдельный Лектор, но обычно один из них является Координатором и на него выпадает очень много дополнительной работы и довольно много дополнительной головной боли. Но это позволяет изрядно уменьшить общую работу и спасает от постоянного воя студентов «а почему в другой секции и заданий меньше, и оценки выше, и трава зеленее, и ....».
Ну и когда студенты сдают, например, тест, его проверяет несколько ТА (Teaching Assistants), и каждому достается одна задача (ну а очень больших классах задачу проверяет несколько ТА). И проблема: передача работы от одного проверяющего к другому и финальная «подбивка бабок».
Но сейчас появилось несколько систем проверки, которая сильно облегчила всё это. Работают они примерно одинаково, могут также автоматически проверять multichoice problems (я их не использую) и я расскажу об одной из них Crowdmark что означает «Проверка толпой». Впрочем, даже если проверяющий один, всё равно такая проверка быстрее и качественнее.
Расскажу я в несколько упрощённом варианте (а я использую в более сложном чем стандартный). Перед тестом Координатор составляет задачи, делает буклет в пдф, скажем 4 задачи, на каждую 2 страницы плюс одна запасная, всего 10 (будет ещё титульная), и аплодирует его на сервер. Потом он говорит серверу, что задача 1 будет на стр 2 и стоить будет, скажем, 5 баллов, задача 2 на стр 4 .... и т.д.) и сообщает серверу что нужно 500 буклетов.
Сервер слегка думает и выдает 5000-страничный пдф. Каждая страница имеет индивидуальный QR-код и сервер помнит какой странице в каком буклете этот код соответствует. Затем этот пдф посылается на печать (точнее, в кампусе есть профессиональный печатный миницех). Приходят 500 буклетов, по 5 двусторонних страниц в каждом, скреплённые скрепками (staples), обычно в левом верхнем углу; в этом миницехе такие принтеры, что и сшивать умеют.
Студенты на тесте получают по буклету, заполняют первую страницу своими данными (имя, фамилия, индивидуальный номер), затем решают, сдают. Потом скрепки удаляются (на самом деле эти уголки просто срезаются либо ножницами, либо резаком) и страницы сканируются. Эти сканы всем чохом аплодируются на сервер, который собирает их в буклеты (на основании QR-кодов), а затем распознаёт имена студентов. Если надо, зовёт на помощь человека (некоторые пишут так, что ....).
Потом наступает очередь проверки. Каждый проверяющий выходит на сервер со своего компьютера и проверяет свою задачу на экране, причём одна и та же работа может проверяться одновременно. Проверяющий может ставить значки ✔, ✖, ?, писать «карандашиком», выделять (цветом), печатать комментарии (причём с формулами, выделениями и линками, и даже вставлять графику), и, главное, ставить оценку. Комментарии идут в «библиотеку» и их можно вытаскивать из оттуда и модифицировать, а можно внутри библиотеки менять. Это сильно экономит время, т.к. ошибки у студентов часто однотипные. Суммарные оценки считаются автоматически.
Когда проверка закончена, «лёгким движение руки» суммарные оценки экспортируются на другой сервер (LMS=Learning Management System), принадлежащий университету, и/или в файл, и/или студентам посылаются линки к их проверенным работам.
Потом студенты, если хотят, пишут аппеляции (у меня в классах посылают емейлы координатору, т.е. мне), и я вижу, кто из ТА проверял качественно (написание разумных и достаточно полных коммментариев является одним из критериев), если нахожу нужным меняю оценку, пишу свои собственные комментарии, причём визуально отличные от ТАских и снова экспортирую оценки. Впрочем, я часто после окончания проверки провожу выборочную перепроверку--более тщательно, если я не знаю ТА (или наоборот знаю, но с нехорошей стороны), или мой лог показывает, что он проверял сверхестественно быстро. Была пара случаев, когда я решал перепроверить всю задачу (несколько сотен работ) заново--ТА из преисподней проверял абсолютно халтурно и выставленные им оценки не имели никакого отношения к решениям студентов.