ChatGPT
Несколько соображений по поводу разумности ChatGPT и его клонов. Я IT-шник, и в моём информационном пузыре довольно много ожиданий по поводу того что ИИ на основе технологий а-ля ChatGPT неминуемо сравняется с человеком, перегонит его, а то и даже возглавит неразумных.
Как я вижу, эти ожидания стоят вот на чём.
1. Превосходящая старые ожидания эффективность
В основе работы ChatGPT лежит модель предсказания следующего слова. Т.е., грубо говоря, дано: "текст вопроса", требуется предсказать первое слово ответа. Потом дано: "текст вопроса + первое слово ответа", требуется предсказать второе слово и т.д. Модель предсказания - специально обработанная статистика огромного числа текстов. Никто из специалистов не ожидал что на одном этом, без использования каких-то вычислительных сверхресурсов можно получить вменяемый текст. Т.е. многие ждали ИИ, предсказывали и т.п., но то что можно достигнуть значительных успехов на такой простой базе никто не ожидал. Ожидали порывов в понимании сути мышления или чего-то подобного. Оказалось - всё намного проще.
Если в простой модели закопано много больше эффективности, чем искали, хочется предположить, что недра разработаны не до конца и добавь в обучение больше текстов, добавь больше параметров в статистическую формулу, и технология выдаст невообразимый максимум. Эти чаяния подогреваются вот ещё чем:
2. Нет математики или другой точной дисциплины, которая может указать на потенциал ChatGPT-технологий
Обычно, когда совершаются какие-то технологические прорывы, сначала появляется теория, а уже потом она проверяется на практике. Поэтому мы мечтаем об орбитальных лифтах и дешёвой термоядерной энергии. Есть примерные теории, как это сделать, есть понимание, что теоретически это возможно. В теме ИИ всё наоборот, теория отстаёт, и каждый год отстаёт всё сильнее. Новые статьи имеют примерное такое содержание: "мы тут попробовали один алгоритм и получили хороший результат". Почему этот новый алгоритм сработал разбираются уже потом. И далеко не всегда получается понять. И далеко не всегда есть время с этим разбираться. Практика сильно обгоняет теорию и потому впереди всегда слепая зона: совершенно непонятно, где предел совершенству и можно вообразить предел где угодно.
3. Сложность и непонятность конечной конфигурации обученной нейросети рифмуется со сложностью и непонятностью работы мозга
Алгоритм предсказания следующего слова это не очень сложная формула. Никакой сложной математики, в основном сложение и умножение. Но множителей до сотни миллионов. Параметры этой формулы подбираются автоматически и никто не знает, какой из них за что отвечает. Немного похоже на мозг, в котором на таком уровне детализации тоже никто не разбирается и "объяснить" сложное поведение мало реально как на "механике" мозга так и на предсказательной формуле.
Не удивлён, что можно решить, будто разум это чёрный ящик, заглядывать в который не обязательно. И потому нет особой разницы между человеком и ИИ, если результат деятельности похожий.
P.S. Решил посмотреть написанный до середины пост, а он взял и опубликовался. Ну и ладно, свои соображения напишу отдельно.