Механизм разума
С большой вероятностью прорыв в понимании механизма машинного разума, проливает свет и на разум человеческий!
В работе "Towards Monosemanticity: Decomposing Language Models With Dictionary Learning" было установлено, что:
• внутри нейронной сети генеративного AI на основе LLM симулируется физически не существующая нейронная сеть некоего абстрактного AI, и эта внутренняя нейросеть куда больше и сложнее нейронной сети, ее моделирующей;
• виртуальные (симулируемые) нейроны этой внутренней сети могут быть представлены, как независимые «функции» данных, каждая из которых реализует собственную линейную комбинацию нейронов;
• механизмом работы такой внутренней нейросети является обработка паттернов (линейных комбинаций) активаций нейронов, порождающая моносемантические «субнейроны» (соответствующие конкретным понятиям).
Проще говоря: внутри менее мощного AI симулируется более мощный AI. Менее мощный AI физически существует в виде сети нейронов. Более мощный - в виде сети паттернов (линейных комбинаций) активаций нейронов.
Из этого следует, что любое внутреннее состояние модели можно представить в виде нескольких активных функций вместо множества активных нейронов.
Точно так же, как каждое слово в словаре создается путем объединения букв, а каждое предложение - путем объединения слов, каждая функция в модели AI создается путем объединения нейронов, а каждое внутреннее состояние создается путем объединения паттернов активации нейронов.
Продолжение исследования в новой работе: "Mapping the Mind of a Large Language Model".
Картинка кликабельна