Искусственный Идиот - ChatGPT выдумывает источники

[man_with_dogs]

Никитин рассказал "скрытую возможность" ИИ ChatGPT, который оказался доступен ему и его коллегам - по темам, в которых мало загруженной инфы (типа той биологии, которой занимается Никитин с коллегами), ИИ ВЫДУМЫВАЕТ "источники", на которые ссылается в своих завиральных ответах. Вплоть до того, что выдумывает это в ответ самому автору этой

Comments

[chatlanin]

Правдоподобный врун, если что-то сложное, КО - если вопрос элементарный.

[man_with_dogs]

Вроде, ЧатГПТ сдал экзамен на врача с очень хорошим баллом, и даже предложил один способ лечения, который оказался рабочим, которого до ЧатГПТ не было. Об этом рассказывает Водовозов на своих лекциях и в интервью. Т.е. в какой-то области, где у человека есть проблемы с освоением большого разнородного объёма инфы, ИИ оказывается уже на уровне человека.

Но в той области, где спрашивал Никитин с коллегами - там сетка обучена слабо, и разумеется ничего адекватного не может дать, кроме банальностей и вранья. Но мой пост о том, что эта реализация ИИ оказалась допускает враньё по фактам - выдумывает несуществующие факты, статьи.

[chatlanin]

То есть умышленное обучение правдоподобному вранью?

[man_with_dogs]

Тут возможно и другие интерпретации. Например, невозможность или неумение запретить выдумывать факты. Или необходимость такого выдумывания, чтоб работало всё остальное.

[hedeo]

"ИИ" при текущей архитектуре - это только статистическая машина, не больше. Трансформеры хорошо справляются с трансформацией пространства эмбеддингов под текущий контекст, вот и вся магия.

[man_with_dogs]

А можете перевести на более обывательский язык эту фразу?
Что такое эмбединги, их пространство, и что такое их трансформировать "под текущий контекст"?

[hedeo]

На русском не знаю, к сожалению, каналов где бы хорошо объясняли сложные концепты на столько просто.

Эмбеддинги:

Трансформеры - архитектура нейросетей, на данный момент самая мощная. Первой победила классические методы сжатия в "Large Text Compression Benchmark", это очень показательно, ибо сжатие текста = предсказывание последовательности - почти ИИ. Хуттер об этом с 2000-х писал, и тут "внезапно" ChatGPT - всего лишь предсказывает следующее слово, а так много может.

Отсюда простой вывод: универсального ИИ с текущими архитектурами не будет. ChatGPT не сможет по просьбе изучить что-то новое, только добавить в контекст. Это прекрасно объясняет пример, когда человек "убедил" ChatGPT, что 2 + 2 = 5. Т.е. не возможно самообучение.
Когда появится принципиально новая архитектура требующая для обучения на порядки меньше ресурсов (текущее состояние отлично видно на Large Text Compression Benchmark) тогда можно напрягаться по поводу универсального ИИ.