Теория дополнительных систем обучения
В широких мазках теория дополнительных систем обучения (CLS) утверждает, что мозг полагается на две системы, которые позволяют быстро впитывать новую информацию, сохраняя при этом структурированную модель мира, устойчивого к шуму.
В 1995 году группа видных психологов попыталась объяснить феномен памяти: пациенты с повреждением гиппокампа больше не могли образовывать новые воспоминания, но имели полный доступ к удаленным воспоминаниям и концепциям из своего прошлого.
Учитывая несоответствие, команда предположила, что новое обучение и старые знания, вероятно, зависят от двух отдельных систем обучения.
- Первая система постепенно приобретает знания и навыки от воздействия опыта,
- Вторая специализирует опыт, чтобы их можно было воспроизвести, чтобы обеспечить их эффективную интеграцию в первую систему.
Эмпирические данные вскоре указывали на гиппокамп как место нового обучения, а кора - самый верхний слой мозга - как место удаленных воспоминаний.
Согласно CLS, кора является складом памяти головного мозга.
Вместо того, чтобы хранить один опыт или фрагментированные знания, он служит хорошо организованным складом, который постепенно накапливает общие понятия о мире.
Эта идея, пишет авторы, была поддержанна исследованиями раннего ИИ.
Эксперименты с многослойными нейронными сетями, предшественниками современных мощных нейронных сетей, показали, что при обучении искусственные учебные системы постепенно научились извлекать структуру из данных обучения, корректируя вес соединения - компьютер, эквивалентный нейронным связям в мозге.
Проще говоря, слоистая структура сетей позволяет им постепенно перегонять отдельные переживания (или примеры) в концепции высокого уровня.
Подобно глубоким нейронным сетям, кора состоит из нескольких слоев нейронов, связанных друг с другом, с несколькими входными и выходными уровнями.
Она легко получает данные из других областей мозга через входные слои и перегоняет их в базы данных («предварительные знания»), чтобы использовать их по необходимости.
«Согласно теории, такие сети лежат в основе приобретенных когнитивных способностей всех типов в таких разнообразных областях, как восприятие, язык, представление семантических знаний и квалифицированное действие» - пишут авторы.
Неудивительно, что кору часто называют основой человеческого интеллекта.
Но эта система не без ошибок.
- Во-первых, это очень медленно. Поскольку один опыт считается единым «образцом» в статистике, коре нужно собрать многолетний опыт, чтобы построить точную модель мира.
- Другая проблема возникает после того, как сеть созревает. Информация, хранящаяся в коре, относительно верна и стабильна.
Это благословение и проклятие.
Подумайте, когда вам нужно резко изменить свое восприятие чего-то, после одного травматического инцидента.
Даже сам процесс обновления может радикально нарушить существующую сеть.
Если в соединениях будут сделаны значительные изменения, что-бы быстро установить новые знания в соединениях, это радикально исказит все другие знания, уже сохраненные в соединениях.
Забивание новых знаний в многоуровневую сеть без учета существующих соединений приводит к непоправимым изменениям в сети.
Последствия настолько ужасны, что ученые называют это явление «катастрофическим вмешательством».
К счастью, у нас есть вторая система обучения, которая дополняет кору.
У людей и других млекопитающих эта вторая система находится в структуре, называемой гиппокампом.
В отличие от медленно развивающейся коры, гиппокамп заботится о самых новых новостях. Он не только кодирует конкретное событие (например, выпивает утренний кофе), но и записывает контекст, в котором произошло событие (вы были в постели, проверяя электронную почту, выпивая кофе). Это позволяет легко различать похожие события, которые произошли в разное время.
Причина, по которой гиппокамп может кодировать и очерчивать детализированные воспоминания, даже когда они удивительно похожи, обусловлен его специфическим шаблоном связи. Когда информация втекает в структуру, она активирует другую структуру нейронной активности для каждого опыта в нисходящем пути.
Различные сетевые шаблоны; другая память.
В некотором смысле система обучения гиппокампа является антитезой ее кортикальной аналогии: она быстрая, очень специфическая и адаптирована к каждому индивидуальному опыту.
Тем не менее эти два эллемента неразрывно связаны: новый опыт, временно хранящийся в гиппокампе, постепенно интегрируется в кортикальный уровень знаний, чтобы новое обучение стало частью банка данных.
Зарегистрировав мозговую активность спящих крыс, которые накануне были обучены по определенной задаче, ученые неоднократно находили, что их гиппокампы вызвали определенный тип электрической активности, называемый резкой волновой ряби (СКВ), распространяющейся в кору.
При тщательном изучении рябь фактически «повторила» тот же самый нейронный рисунок, который животное произвело во время обучения, но с ускорением.
Быстрая перемотка изображения с помощью записи - это, по сути, то, что гиппокамп делает во время простоя.
Этот ускоряющий процесс сжимает пики нейронной активности в более плотные окна времени, что, в свою очередь, повышает пластичность между гиппокампом и корой.
Таким образом, изменения в сети гиппокампа могут соответственно корректировать нейронные связи в коре.
В отличие от катастрофических помех, КСВ представляют собой гораздо более мягкий способ интеграции новой информации в базу данных коры.
Способ для мозга «взломать реальность».
Гиппокамп непросто воспроизводит все последние шаблоны активации. Вместо этого он выбирает наградные события и выборочно повторяет их в коре.
Это означает, что для редких, но значимых событий может быть предоставлен привилегированный статус, позволяющий им преимущественно изменять образование коры.
«Эти идеи ... рассматривают системы памяти как оптимизированные для целей организма, а не просто зеркалирование структуры окружающей среды» - объяснили авторы в статье.
Двухсистемная настройка - это естественное решение для эффективного обучения.
Поначалу храня информацию о новом опыте в гиппокампе, мы делаем ее доступной для немедленного использования, что-бы ее можно было воспроизвести обратно в кору, чередуя ее с постоянным опытом и храня информацию о других соответствующих событиях.
Например, сверточные нейронные сети (CNN) представляют собой тип глубокой сети, смоделированной после медленно развивающейся неокортетической системы. Подобно своей биологической музе, CNN также постепенно учатся через многократное чередование воздействия большого количества данных обучения.
Система была особенно успешной в достижении самой современной производительности в сложных задачах расспознавания объектов, включая ImageNet.
Другие аспекты теории CLS, такие как воспроизведение гиппокампа, также были успешно реализованы в таких системах, как Deep Q-Network DeepMind.
В прошлом году компания сообщила, что система способна учиться и играть в десятки игр Atari 2600 на уровне, сопоставимом с профессиональными геймерами.
Как и в теории, эти нейронные сети используют буфер памяти, подобный гиппокампу, который хранит последние эпизоды игры и воспроизводит их чередующимися способами. Это значительно усиливает использование фактического игрового опыта и позволяет избежать тенденции к тому, чтобы определенный локальный опыт мог доминировать в обучении в системе.
Ученые считают, что расширенная версия теории дополнительных систем обучения, скорее всего, будет служить основой для будущих исследований не только в области нейробиологии, но и в стремлении развивать искусственный общий интеллект.
/Источник/
Картинка кликабельна