Конкурс Automated Essay Scoring
Недавно на каггле завершилось соревнование по автоматической оценке школьных/студенческих сочинений. Задача состояла в том, чтобы по тексту сочинения предсказать его оценку. Кое-что про конкурс:
Ссылки по теме:
- Существует около десятка коммерческих продуктов, специализирующихся на задаче по автоматической оценке сочинений. Разработчики этих продуктов также участвовали в конкурсе (отдельно от обычных участников). У разработчиков была пара недель, чтобы настроить свои продукты под условия конкурса. Самый высокий результат получил продукт под названием PEG, разработка которого ведется уже более 40-ка лет. Прикол состоит в том, что результат лучшего продукта оказался ощутимо хуже, чем результат лучшей команды конкурса.
- Из результатов конкурса видно, что согласованность лучших алгоритмов с человеческой оценкой заметно выше, чем согласованность между собой 2х человеческих оценщиков. Лично мне это довольно тяжело осмыслить.
- Чтобы войти в первую десятку на финише, достаточно было реализовать модель на основе GBRT, а в качестве факторов взять полтора десятка тривиальных признаков вроде количества слов в сочинении, средней длины предложений т.п., плюс пару тысяч факторов, соответствующих конкретным словам текста сочинения (при этом слова не отбирались каким-то особым образом - достаточно было тупо взять все слова, встречающиеся хотя бы в десяти сочинениях). Такой подход дает результат, приблизительно соответствующий результату лучшего коммерческого продукта.
Ссылки по теме: