Искусственный интеллект впервые успешно сдал выпускной экзамен
Искусственный интеллект имел восемь подсистем, анализирующих информацию.
Система искусственного интеллекта (ИИ) впервые успешно прошла тесты по естественным наукам для выпускных классов школы США. Компьютер правильно ответил более чем на 90% заданных ему вопросов экзамена за восьмой класс (в большинстве штатов это последний класс средней школы) и более чем на 83% вопросов за двенадцатый класс.
Достижение описано в препринте научной статьи, опубликованном на сайте arXiv.org учёными из Института искусственного интеллекта Аллена в США.
Система под названием "Аристо" (Aristo) прошла тесты, проверяющие знания по естественным наукам и умение рассуждать у выпускников восьмого и двенадцатого класса школы в штате Нью-Йорк.
ИИ отвечал на вопросы теста по естественным наукам за восьмой класс (eighth-grade science test) и теста по наукам об окружающей среде (science regents test for living environment) за двенадцатый класс.
Каждый из этих двух тестов среднего уровня (intermediate-level) за 2019 год содержит 85 вопросов. Примерно половина из них снабжена вариантами ответа (по четыре на каждый вопрос), и требуется выбрать правильный. На остальные вопросы вариантов ответа нет. Ученик должен самостоятельно вписать правильный ответ в пустую строку, начертить график и так далее.
Как поясняют авторы научной работы, ИИ, способный проходить подобные тесты - желанная цель. Они задействуют несколько важнейших аспектов интеллекта: понимание языка, умение рассуждать и наличие запаса знаний. Важно также, что различные вопросы имеют разную сложность и проверяют разные знания и умения.
По информации издания The Seattle Times, четыре года назад более 700 исследователей участвовали в конкурсе по созданию "искусственного школьника". От системы требовалось пройти упомянутый тест для восьмиклассников. Призовой фонд тогда составлял 80 тысяч долларов США (более 5 миллионов 248 тысяч рублей по текущему курсу). Однако эта солидная сумма никому не досталась. Даже самая успешная программа верно ответила лишь на 60% вопросов.
Искусственный интеллект впервые успешно сдал школьные экзамены.
Фото EPA.
Aristo, плод шестилетней работы исследователей, стал первым ИИ, справившимся с подобным заданием. Однако оно было дано ему в урезанном варианте.
Во-первых, разработчики освободили своё детище от вопросов, содержащих графики, диаграммы и иные изображения (или требовавших их построения).
Как поясняют авторы, задача получить научную информацию из иллюстраций сильно отличается от задачи понимания текста. На сегодняшний день есть системы, читающие диаграммы какого-нибудь конкретного типа (например, схемы пищевых цепочек). Но в школьном тесте встречаются самые разные рисунки, от графиков до географических карт и изображений животных. Задача научить ИИ понимать их все была бы слишком сложной.
Кроме того, были отброшены задания, требующие от ученика сформулировать ответ самостоятельно, а не выбрать его из имеющихся вариантов (впрочем, их и так почти не осталось после того, как исследователи исключили вопросы с иллюстрациями). Авторы отмечают, что такие вопросы требуют подлинно человеческого уровня понимания и обобщения информации, которого (пока?) трудно ожидать от ИИ.
Таким образом, "Аристо" выбирал готовые ответы из имеющихся вариантов. Однако было бы ошибкой думать, что его успехи связаны со случайным угадыванием. Вероятность случайно угадать верный ответ среди четырёх вариантов равна 25%. Правильно ответить таким путём на 80-90% вопросов практически невозможно (читатель может убедиться в этом самостоятельно, попытавшись сдать, например, тест на владение незнакомым языком).
"Аристо" не бросал монетку, а использовал восемь "думающих" подсистем, каждая из которых обучалась самостоятельно. При этом использовался целый набор методов. Некоторые модули применяли принципы математической статистики и теории информации. Другие опирались на математическую логику. Третьи базировались на приёмах математической и компьютерной лингвистики.
Для Aristo авторы создали десять обучающих наборов данных и пять обширных баз знаний. Все они находятся в свободном доступе и могут быть использованы для обучения и функционирования других систем искусственного интеллекта.
Авторы подчёркивают, что, создавая и обучая "Аристо", они не знали, на какие вопросы он будет отвечать на экзамене. Поэтому, даже будь у них такое желание, они не могли бы включить эти задания в обучающую выборку или заложить ответы на них в базу знаний.
Также исследователи сообщают, что вопросы теста вводились в систему дословно, в точно таком же виде, в котором они даются учащемуся. Разработчики не делали никаких попыток "объяснить" компьютеру, что от него требуется, "перевести на более понятный язык" и так далее.
В связи с этим успехи искусственного интеллекта действительно впечатляют. Остаётся надеяться, что ученики будущего не будут использовать подобные системы по принципу "Аристо решает, а Вася сдаёт".
К слову, ранее "Вести.Наука" (nauka.vesti.ru) рассказывали об ИИ, который выучил химию по научным статьям, и о программе, позволяющей быстро вникнуть в суть большого текста.
https://nauka.vesti.ru/article/1228895