Homo ex machina
Продолжаю продолжать. Увы, я активно копаюсь в текущем нейронок, что требует записывать мысли «на бумагу». Освобождаю место в голове. Если где ошибся в фактах, укажите дилетанту.
Интересного про нынешнее поколение. Издалека. Известно, что при самоорганизации из однородной среды появляются сложные структуры. Игра «жизнь» наглядно показала ещё грань: в результате сходных процессов, в системе с простыми правилами взаимодействия «из ничего» возникает ещё и нетривиальное поведение. Что некие (эмпирические) закономерности развития живых организмов могут иметь основой «простую» математику, а именно принадлежность всей системы к определённому классу.
Так вот, «нейронки». Сходная ситуация, на другом, более высоком уровне. Чистая магия: в системе с довольно простой архитектурой и правилами взаимодействия частей, «сами собой» проявляются вещи, которые у человека однозначно относятся к высшей нервной деятельности!
Вот три особенности присущие всем NLP моделям «трансформерам», не только GPT.
- Способность «обучаться» новому заданию на примерах. На вход подаётся несколько незнакомых (отсутствующих в обучающем пакете) заданий - примеров с ответами, после чего программе предлагается выполнить подобное задание самостоятельно.
- "Обучение" по инструкции. Программа получает описание хода выполнения задания на натуральном языке.
- "Обучение" с помощью уточняющих подсказок. При неправильном ответе, программе даётся указание на правильный и пояснения.
В кавычках, потому что никакого обучения сети при этом не происходит. Это «тонкая настройка», всё остаётся в рамках одной беседы.
Это только кажется чем-то тривиальным. В схеме программы нет никакого особого блока для «обработки инструкций». Всё, чему её учили, это статистически предсказывать следующее слово в уже известной последовательности. Которая подаётся на вход вся целиком, без разбиения на блоки. Тем не менее она начинает вести себя как туповатый, но прилежный ученик.
Более того, это свойство, повторюсь, появляется само у всех «текстовых трансформеров», несмотря на немного разную архитектуру. Манипуляциями с методикой тренировки и тестовым набором можно это качество усилить. Собственно, одна из фишек ChatGPT это выраженная способность понимать примеры.
Понятно, это не совсем то же, что в голове у нас. Аналогия ложная. Это суть работа с контекстом. Бот привыкает «вытаскивать» из входящего сообщения дополнительную информацию, которая помогает предсказать верный ответ. Написанные человеком инструкции и примеры помогают найти в памяти аналогичный «паттерн» задания, которое было в обучающем наборе...
Это на первый взгляд. А на второй - я не уверен, что как ученик, человек (при много более сложной архитектуре) не задействует похожие «встроенные свойства» своих сетей, и что подобное обучение тоже не может быть формализовано и обобщено на целые классы систем в рамках некой математики.