БЯМ генерирует более оригинальные научные идеи, чем ученые
Считалось, что искусственный интеллект не может заменить человека, ведь для этого необходимо не просто собирать воедино существующие знания из обучающих данных, а уметь генерировать новые знания и совершать научные открытия. Однако современные мультимодальные ИИ, похоже, способны разрабатывать новые исследования, причем более нестандартные, чем у их коллег-людей. Во время эксперимента большая языковая модель сгенерировала научные идеи, превосходящие по новизне и оригинальности идеи ведущих ученых.
В новом исследовании команда привлекла 49 экспертов-ученых, которые занимаются обработкой естественного языка, для написания новых идей по семи темам данной области. Это были кандидаты наук и постдокторанты из 36 различных авторитетных учреждений. За каждую предложенную идею участникам платили $300. Пять лучших идей были дополнительно вознаграждены премией в $1000. Так участников стимулировали разрабатывать оригинальные, понятные и реализуемые концепты. Затем команда создала большую языковую модель для генерации исследовательских идей по тем же семи темам.
Обработка естественного языка (NLP) - это раздел искусственного интеллекта, посвященный взаимодействию человека и машины на естественном языке. NLP позволяет компьютерам понимать не только грамматику, но и более тонкие нюансы языка, такие как подтекст и эмоциональную окраску.
По завершении сбора работ, все тексты обработали с помощью языковой модели, чтобы привести их к единому стилю написания. При этом содержание каждой работы оставалось неизменным. Это создавало равные условия для всех участников исследования и исключило влияние индивидуального стиля написания на оценку идей. После этого 79 экспертов вслепую оценивали все идеи - и людей, и искусственного интеллекта. Всего они представили 298 обзоров - каждый проект получил от двух до четырех независимых отзывов.
ИИ продемонстрировал значительно более высокие результаты по таким критериям, как новизна и оригинальность идей, по сравнению с исследователями-людьми. Оценки по осуществимости и эффективности оказались близки к человеческим и не выявили статистически значимых различий.
Тем не менее, у языковых моделей были недостатки. Во-первых, в генерируемых идеях не было разнообразия. Во-вторых, языковые модели испытывали трудности с оцениванием собственных результатов. В-третьих, они склонны к самоповторам, даже при наличии соответствующих инструкций. Наконец, модели продемонстрировали низкую согласованность при оценке идей по сравнению с исследователями-людьми.
Исследование признает, что человеческая оценка оригинальности идеи может быть субъективна. Для более точной проверки гипотезы о способности языковых моделей к автономным научным открытиям исследователи планируют расширить состав экспертной группы. Авторы предлагают в будущих исследованиях реализовать идеи, сгенерированные как ИИ, так и людьми, что позволит оценить их практический потенциал.