Мозг, нейросети и все такое
Оригинал взят у pustota_2009 в Мозг, нейросети и все такое
В последнее время много занимаюсь нейросетями и всем, что с этим связанно. Загрузил в мозг кучу информации и теперь ей нужно немного отстояться, чтобы утряслось. А лучший способ что-то запомнить, это изложить письменно, так что решил сделать мини-цикл записей на эту тему.
Итак, начать можно с того, что теперь я могу объяснить самому себе, почему мне нужно время на то, чтобы информация переварилась. Об этом и будет первая запись.
Итак, основное отличие человека от других животных, это наличие большого неокортекса (новая кора), которая по всей видимости и определяет наши способности. Причем любопытно, что толщина её составляет всего 3 мм (у дельфина она примерно в два тоньше). Так вот её можно представить в виде пирамиды состоящей из 6 слоев и гиппокампа. Упрощенно я это представляю себе так:
Основная идея изложенная Д. Хокинсом в книжке "Об интеллекте", заключается в том, что мышление, память и предсказание это разные части одного процесса, происходящего большей частью в рамках описанной схемы. Каждый слой делится на множество колонок, внутри которых идет распознавание паттернов и генерация сигналов (снизу вверх и сверху вниз). Информация от органов чувств идет снизу вверх. Если колонка распознала паттерн и , то вверх колонка передает сигнал "Я знаю, что это". Если она не распознала сигнал то наверх уходит сам паттерн, т.е. колонка как бы говорит "Я не знаю что это, посмотри сама". Колонка из следующего слоя делает то же самое, только с более высокого уровня понимания, так как она агрегирует сигналы уже с нескольких нижестоящих колонок. Важнейшую роль в этом процесс играет процесс предсказания, т.е. тот случай, когда колонка распознает именно тот паттерн, что и ожидает. Если паттерн не ожидался, то колонка также дает об этом знать вышестоящим уровням, чтобы они разобрались с этой необычностью со своей, более высокой точки зрения. В конце концов, новые не распознанные паттерны доходят до последнего слоя. Если и он не в курсе, что это за дела, то в дело вступает гиппокамп. Его основная функция - перевод памяти из краткосрочной в долгосрочную.
Например человек, которому удалили гиппокамп помнил все, что было с ним до этого, но не мог запомнить ничего нового. Ученые провели следующий эксперимент. Мыши должны были нажать на рычажок справа или слева. Если они угадали, то им давалась капелька воды. Далее мышь должна была отбежать к противоположной стенке и немного подождать. В следующий раз рубильник дающий воду инвертировался. Т.е. они должны были держать в памяти, какой рубильник их поил в последний раз и после паузы бежать к другому.
Ученые записали сигналы поступающие в гиппокамп у мышей, которые должны были запомнить где в последний раз их поили водой. И записали выходной сигнал (обратно в неокортекс). Потом блокировали деятельность гиппокампа химическим способом и подменяли выходной сигнал простейшей нейросетью (реализованной на чипе). В результате мыши не забывали, что в последний раз они сделали и действовали как будто гиппокамп в норме. На рисунке слева карта сигналов, где ось х - время, а по вертикали изображены входные сигналы гиппокампа (сверху и снизу), а в середине выходные. На правой схеме изображены результаты работы нейросети.
Как видим, никаких чудес, работу мозга можно моделировать по крайней мере в каком-то приближении. Естественно, за бортом осталась куча аспектов, например работа таламуса, который отвечает за перераспределение информации от органов чувств между колонками (и по всей видимости некую обработку, тут пока не ясно). Также занятно, что мозг реагирует на успешное предсказание выработкой дофамина, который, как я понял, не просто доставляет удовольствие, а оставляет сигнал успешно предсказывающей колонки постоянным. Т.е. это просто способ возбуждения "правильных" колонок. Можно предположить, эволюционно выжили только те особи, которым нравилось успешно предсказывать. А те кто не грузил мозг информацией, помогающей сопоставлять сигналы (не ловил этого микрокайфа), те более часто умирали. Хотя большую роль скорее всего играло удовольствие от размножения :)
Ну и наконец, теперь можно понять, почему мозг отключается от большого потока новой информации. Гиппокамп получив много нового, отключает входы. Например функцию блокировки входов выполняет нейротрансмиттер анандамид, который вырабатывается в качестве реакции на излишнее возбуждение. В результате, человек перестает воспринимать новую информацию, пока гиппокамп пытается передать сигналы обратно в неокортекс, где она откладывается по тем же принципам, что и "настоящая" сенсорная информация.
Таким образом, зная на что способен человеческий мозг, мне кажется просто преступным строить нейросети лишь на куче примитивных перцептронах, не используя методы, которые выработала эволюция в результате бесчисленного количества экспериментов.
В последнее время много занимаюсь нейросетями и всем, что с этим связанно. Загрузил в мозг кучу информации и теперь ей нужно немного отстояться, чтобы утряслось. А лучший способ что-то запомнить, это изложить письменно, так что решил сделать мини-цикл записей на эту тему.
Итак, начать можно с того, что теперь я могу объяснить самому себе, почему мне нужно время на то, чтобы информация переварилась. Об этом и будет первая запись.
Итак, основное отличие человека от других животных, это наличие большого неокортекса (новая кора), которая по всей видимости и определяет наши способности. Причем любопытно, что толщина её составляет всего 3 мм (у дельфина она примерно в два тоньше). Так вот её можно представить в виде пирамиды состоящей из 6 слоев и гиппокампа. Упрощенно я это представляю себе так:
Основная идея изложенная Д. Хокинсом в книжке "Об интеллекте", заключается в том, что мышление, память и предсказание это разные части одного процесса, происходящего большей частью в рамках описанной схемы. Каждый слой делится на множество колонок, внутри которых идет распознавание паттернов и генерация сигналов (снизу вверх и сверху вниз). Информация от органов чувств идет снизу вверх. Если колонка распознала паттерн и , то вверх колонка передает сигнал "Я знаю, что это". Если она не распознала сигнал то наверх уходит сам паттерн, т.е. колонка как бы говорит "Я не знаю что это, посмотри сама". Колонка из следующего слоя делает то же самое, только с более высокого уровня понимания, так как она агрегирует сигналы уже с нескольких нижестоящих колонок. Важнейшую роль в этом процесс играет процесс предсказания, т.е. тот случай, когда колонка распознает именно тот паттерн, что и ожидает. Если паттерн не ожидался, то колонка также дает об этом знать вышестоящим уровням, чтобы они разобрались с этой необычностью со своей, более высокой точки зрения. В конце концов, новые не распознанные паттерны доходят до последнего слоя. Если и он не в курсе, что это за дела, то в дело вступает гиппокамп. Его основная функция - перевод памяти из краткосрочной в долгосрочную.
Например человек, которому удалили гиппокамп помнил все, что было с ним до этого, но не мог запомнить ничего нового. Ученые провели следующий эксперимент. Мыши должны были нажать на рычажок справа или слева. Если они угадали, то им давалась капелька воды. Далее мышь должна была отбежать к противоположной стенке и немного подождать. В следующий раз рубильник дающий воду инвертировался. Т.е. они должны были держать в памяти, какой рубильник их поил в последний раз и после паузы бежать к другому.
Ученые записали сигналы поступающие в гиппокамп у мышей, которые должны были запомнить где в последний раз их поили водой. И записали выходной сигнал (обратно в неокортекс). Потом блокировали деятельность гиппокампа химическим способом и подменяли выходной сигнал простейшей нейросетью (реализованной на чипе). В результате мыши не забывали, что в последний раз они сделали и действовали как будто гиппокамп в норме. На рисунке слева карта сигналов, где ось х - время, а по вертикали изображены входные сигналы гиппокампа (сверху и снизу), а в середине выходные. На правой схеме изображены результаты работы нейросети.
Как видим, никаких чудес, работу мозга можно моделировать по крайней мере в каком-то приближении. Естественно, за бортом осталась куча аспектов, например работа таламуса, который отвечает за перераспределение информации от органов чувств между колонками (и по всей видимости некую обработку, тут пока не ясно). Также занятно, что мозг реагирует на успешное предсказание выработкой дофамина, который, как я понял, не просто доставляет удовольствие, а оставляет сигнал успешно предсказывающей колонки постоянным. Т.е. это просто способ возбуждения "правильных" колонок. Можно предположить, эволюционно выжили только те особи, которым нравилось успешно предсказывать. А те кто не грузил мозг информацией, помогающей сопоставлять сигналы (не ловил этого микрокайфа), те более часто умирали. Хотя большую роль скорее всего играло удовольствие от размножения :)
Ну и наконец, теперь можно понять, почему мозг отключается от большого потока новой информации. Гиппокамп получив много нового, отключает входы. Например функцию блокировки входов выполняет нейротрансмиттер анандамид, который вырабатывается в качестве реакции на излишнее возбуждение. В результате, человек перестает воспринимать новую информацию, пока гиппокамп пытается передать сигналы обратно в неокортекс, где она откладывается по тем же принципам, что и "настоящая" сенсорная информация.
Таким образом, зная на что способен человеческий мозг, мне кажется просто преступным строить нейросети лишь на куче примитивных перцептронах, не используя методы, которые выработала эволюция в результате бесчисленного количества экспериментов.