Оценка результатов обучения и Modeling Theory of Science, Cognition and Instruction
"Учись в Китае у профессора, который занимается наукой, и отстанешь на полгода в получении знаний по сравнению с учёбой у не слишком занаученного профессора" -- это один из предварительных результатов исследования инженерного образования в России, Китае и США, который активно обсуждается в моей фейсбук-ленте. Слайды тут https://ioe.hse.ru/data/2016/06/15/1117430416/%D0%9F%D1%80%D0%B5%D0%B7%D0%B5%D0%BD%D1%82%D0%B0%D1%86%D0%B8%D1%8F%20%D0%B4%D0%BE%D0%BA%D0%BB%D0%B0%D0%B4%D0%B0.pdf, а есть ещё видео https://youtu.be/eHmmaXFm6EE.
Вопрос, который немедленно задал akoev -- как измеряли знания. Скажем, использовали ли они concept inventory, или сходили погулять с обычными тестами? Вопрос, замечу, ключевой.
В моей длинной серии постов про тренажёры я как-то не касался материала про concept inventory, а также Modeling Theory of Science, Cognition and Instruction -- хотя это имеет прямое отношение и к конструированию вопросов тренажёра, и к обоснованию того, почему и как я предлагаю организовать обучение. Ибо я это писал уже год назад, и развёрнуто. Сейчас самое время повторить этот текст тут, но я просто дам на него ссылку -- http://ailev.livejournal.com/1197467.html, "Заметки к "Заметкам по теории моделирования" Давида Хестенеса". Там много чего интересного, но самое важное замечание -- что нужно моделировать не только целевую онтологию, целевую и обычно контринтуитивную схему предмета, но и бытовую онтологию (фолк-онтологию, "народное" понимание), текущее интуитивное понимание предмета. И затем использовать это моделирование как для instructional design (объяснений и тренажёров), так и для тестирования -- тех самых concept inventory. Мы, конечно, это делаем -- "типовые ошибки" в мышлемах это как раз результат такого моделирования (скажем, когда стейкхолдера путают с человеком -- принца Гамлета с исполняющим его роль актёром. Это ж и есть "бытовая схема"). Почитайте текст, там много интересного, в том числе по ссылкам -- и про конструктивизм с конструкционизмом, и про необходимость обучения пониманию в явном виде (я это обсуждал тут недавно http://ailev.livejournal.com/1285014.html), и даже про недавно мной зацепленное обучение истории дисциплины вместо самой дисциплины (http://ailev.livejournal.com/1285120.html) -- учить нужно не повторяя историю всех заблуждений от Аристотеля до наших дней (оставить это историкам), а выполняя один ход: между текущей бытовой онтологией (выводя её на уровень сознания! понимание в явном виде!) и state-of-the-art (тоже выводя на уровень осознания!).
Возвращаясь же к исследованию из первого абзаца этого поста, то в целом непонятно что замеряли, и непонятно что следует из результатов замеров -- вполне возможно, что для счастья в жизни нужно что-то такое, что в эти тесты не вошло. Да и само счастье в жизни может по-разному быть измерено. С образованием и счастьем измерения хуже чем в медицине замеры с выздоровлением, http://rusanesth.com/novosti/red/dokazatelnaya-mediczina-vzletyi-i-padeniya.html -- читать, заменяя "лечение" на "обучение" и добавляя лаг в десяток лет на проявление результатов (это ж образование, оно должно давать долгосрочные результаты!). В конце материала по этой ссылке делается разумный вывод, что в подобных случаях не обойтись без заумного для большинства педагогов на сегодняшний день подхода с оценкой вероятностей по Байесу. Но и этим когда-нибудь нужно будет заняться (хотя там всё сложно, но зато описывается как думать про эвристики -- а что мы тут можем предложить, кроме эвристик? С теориями ведь туго! Вот тут тропинка протоптана, через джунгли с дикими зверями, в края без педагогов и философов: http://bayes.wustl.edu/etj/prob/book.pdf).
Вопрос, который немедленно задал akoev -- как измеряли знания. Скажем, использовали ли они concept inventory, или сходили погулять с обычными тестами? Вопрос, замечу, ключевой.
В моей длинной серии постов про тренажёры я как-то не касался материала про concept inventory, а также Modeling Theory of Science, Cognition and Instruction -- хотя это имеет прямое отношение и к конструированию вопросов тренажёра, и к обоснованию того, почему и как я предлагаю организовать обучение. Ибо я это писал уже год назад, и развёрнуто. Сейчас самое время повторить этот текст тут, но я просто дам на него ссылку -- http://ailev.livejournal.com/1197467.html, "Заметки к "Заметкам по теории моделирования" Давида Хестенеса". Там много чего интересного, но самое важное замечание -- что нужно моделировать не только целевую онтологию, целевую и обычно контринтуитивную схему предмета, но и бытовую онтологию (фолк-онтологию, "народное" понимание), текущее интуитивное понимание предмета. И затем использовать это моделирование как для instructional design (объяснений и тренажёров), так и для тестирования -- тех самых concept inventory. Мы, конечно, это делаем -- "типовые ошибки" в мышлемах это как раз результат такого моделирования (скажем, когда стейкхолдера путают с человеком -- принца Гамлета с исполняющим его роль актёром. Это ж и есть "бытовая схема"). Почитайте текст, там много интересного, в том числе по ссылкам -- и про конструктивизм с конструкционизмом, и про необходимость обучения пониманию в явном виде (я это обсуждал тут недавно http://ailev.livejournal.com/1285014.html), и даже про недавно мной зацепленное обучение истории дисциплины вместо самой дисциплины (http://ailev.livejournal.com/1285120.html) -- учить нужно не повторяя историю всех заблуждений от Аристотеля до наших дней (оставить это историкам), а выполняя один ход: между текущей бытовой онтологией (выводя её на уровень сознания! понимание в явном виде!) и state-of-the-art (тоже выводя на уровень осознания!).
Возвращаясь же к исследованию из первого абзаца этого поста, то в целом непонятно что замеряли, и непонятно что следует из результатов замеров -- вполне возможно, что для счастья в жизни нужно что-то такое, что в эти тесты не вошло. Да и само счастье в жизни может по-разному быть измерено. С образованием и счастьем измерения хуже чем в медицине замеры с выздоровлением, http://rusanesth.com/novosti/red/dokazatelnaya-mediczina-vzletyi-i-padeniya.html -- читать, заменяя "лечение" на "обучение" и добавляя лаг в десяток лет на проявление результатов (это ж образование, оно должно давать долгосрочные результаты!). В конце материала по этой ссылке делается разумный вывод, что в подобных случаях не обойтись без заумного для большинства педагогов на сегодняшний день подхода с оценкой вероятностей по Байесу. Но и этим когда-нибудь нужно будет заняться (хотя там всё сложно, но зато описывается как думать про эвристики -- а что мы тут можем предложить, кроме эвристик? С теориями ведь туго! Вот тут тропинка протоптана, через джунгли с дикими зверями, в края без педагогов и философов: http://bayes.wustl.edu/etj/prob/book.pdf).