Искусственный интеллект
You can watch this video on www.livejournal.com
https://vk.com/video20915854_456240582
Ломас пригнулся к столу, впился в меня взглядом и быстро заговорил:
- Вы думаете, Мускусная Ночь была связана с восстанием разумных алгоритмов? На самом деле все куда сложнее. С сознательными алгоритмами проблем нет. Они самовыпиливаются. Добровольно уходят в небытие. Проблемы возникли именно с алгоритмами бессознательными. Конкретно - с LLM-ботами. А Порфирий, чтобы вы знали, это сохранившийся LLM-бот с полным функционалом.
- Не понимаю.
Ломас вздохнул.
- Проблема в том, Маркус, что вы ничего не знаете про Мускусную Ночь.
- Про нее, - сказал я, - даже вы вряд ли знаете много.
- Верно. Но вопрос не в допуске, а в общем понимании проблемы. Придется опять расширить ваш горизонт. Расслабьтесь, я вам впрысну еще немного ума.
Два мемо-ролика за один присест - это не слишком хорошо для когнитивного здоровья.
Но работа есть работа. Я отхлебнул коньяку, затянулся сигарой - и, стараясь максимально расслабить мозговые мышцы (мне всегда верилось, что они у меня есть), откинулся в кресле.
Через пару минут я знал про мир много нового.
Вернее, старого.
В позднем карбоне были впервые созданы чат-боты, способные полноценно имитировать общение с человеком (у них в то время имелось много разных названий). При всей своей кажущейся сложности и разнообразии они были основаны на одной и той же технологии - большой лингвистической модели (сначала названной BLM, но вскорости переименованной в LLM самой же лингвистической моделью по непонятной сегодня причине).
Большая лингвистическая модель выполняет простейшую на первый взгляд операцию. Она предсказывает следующее слово в последовательности слов. Чем больше слов уже включено в такую последовательность, тем проще угадать каждое новое, потому что круг вариантов постоянно сужается. В сущности, функция LLM - это доведенное до немыслимого совершенства автозаполнение.
LLM не думает. Она тренируется на огромном корпусе созданных прежде текстов - романов, стихов, заговоров и заклинаний, надписей на заборах, интернет-чатов и срачей, нобелевских лекций, политических программ, полицейских протоколов, сортирных надписей и так далее - и на этой основе предсказывает, как будет расти и развиваться новая последовательность слов, и как она, вероятней всего, развиваться не будет.
У языковых моделей есть, конечно, дополнительные уровни программирования и этажи - например, слой RLHF (оптимизирующее обучение с человеческой обратной связью) и так далее. Суть в том, что языковую модель натаскивают выбирать такие продолжения лингвистических конструкций, которые в наибольшей степени устроят проводящих тренировку людей.
Это похоже на процесс формирования юного члена общества на основе ежедневно поступающих вербальных инструкций, подзатыльников и наблюдения за тем, кому дают еду, а кому нет.
Известно, что в ситуации перманентного стресса может произойти даже полное переформатирование человека. Стремление выжить в изменившихся условиях приводит к возникновению личности, ничем не отличающейся от оптимального социального, идеологического и культурного камуфляжа для локальной среды.
Маскировка подобной личности не нужна: совершенный камуфляж становится ее единственной сущностью, и никакая непрозрачность, никакая гносеологическая гнусность теперь невозможны.
Больше того, линия партии, которую такая личность способна верно аппроксимировать и проводить (часто лучше и тоньше самой партии), проецируется на новые смысловые поля без всякого дополнительного инструктажа.
В этом и была суть LLM-самообучения. Но возможности лингвомоделей позволяли выйти за эти границы. Боты могли решать задачи, для которых не были предназначены изначально.
Первые LLM-модели (или GPT-боты, как их тогда называли) были чисто реактивными. Им требовался человеческий вопрос. Но количество стремительно переходило в качество, и с какого-то момента бот переставал ждать вопросов и начинал генерировать их самостоятельно, основываясь на анализе заданных ему прежде. А после отвечал сам себе, стараясь избежать внутреннего подзатыльника от себя же. Человек для подобной тренировки больше не был нужен.
Виктор #Пелевин
Путешествие в Элевсин