17 млрд компьютеров
Обычно работу нейронов сводят к идее простого сумматора. В этой идее дендриты - просто устройства для сбора входных данных. Активация каждого входа в отдельности немного изменяет напряжение тока в электрической нейросети. Если суммировать ток со всех дендритов, то генерируется дендритный потенциал действия (спайк), который спускается по аксону и станет входом для других нейронов.
Это удобная ментальная модель, она лежит в основе всех искусственных нейронных сетей. Но она неправильная.
Дендриты - не просто кусочки проволоки. У них тоже есть собственное устройство для генерации спайков. Если на одном небольшом участке дендрита активировано достаточное количество входов, то они будут усилены:
В коре вашего мозга 17 млрд компьютеров
Мы много лет знаем об этих локальных всплесках на отдельных участках дендрита. Мы видели спайки в нейронах на срезах мозга. Мы видели их у животных под наркозом, которым щекотали лапы (да, мозг без сознания ещё что-то чувствует; просто не утруждает себя ответом). Совсем недавно мы видели их в дендритах нейронов у животных в движении (да, Мур с коллегами зафиксировали ЭМ-поле в нескольких микрометрах от мозга бегающей мыши; сумасшедший, правда?). Дендриты пирамидального нейрона действительно генерируют спайки.
Но почему этот локальный всплеск меняет наше представление о мозге как о компьютере? Потому что у дендритов пирамидального нейрона много отдельных веток. И каждая способна вычислить результат и выдать всплеск. Это означает, что каждая ветвь дендрита действует как небольшое нелинейное выходное устройство, суммируя и выводя локальный всплеск, если эта ветвь получает достаточное количество входов примерно в одно время/
Да, каждый пирамидальный нейрон представляет собой двухслойную нейронную сеть. Сам по себе.
...
Прекрасная работа Поирази и Мела ещё в 2003 году явно показала это. Они построили сложную компьютерную модель одного нейрона, имитируя каждый маленький кусочек дендрита, локальные всплески внутри них, и как те спускаются к телу. Затем они напрямую сравнили выход нейрона с выходом двухслойной нейронной сети - и они оказались одинаковыми.
Необычайное значение этих локальных всплесков в том, что каждый нейрон является компьютером. Сам по себе нейрон способен вычислить огромный диапазон так называемых нелинейных функций, которые он просто суммирует и выдаёт спайк. Например, с четырьмя входами (синий, море, жёлтый и солнце) и двумя ветвями, действующими как маленькие нелинейные устройства, пирамидальный нейрон может вычислить функцию «связывания признаков»: реагировать на сочетание синего и моря или на сочетание жёлтого и солнца, но не реагировать иначе, например, на синий и солнце или жёлтый и море. Конечно, у нейронов гораздо больше четырёх входов и гораздо больше двух ветвей: таким образом, они способны вычислять астрономический диапазон логических функций.
Совсем недавно Ромен Кейз с друзьями (я один из друзей) показали, что единственный нейрон вычисляет удивительный диапазон функций, даже если не способен сгенерировать локальный дендритный всплеск. Потому что дендриты, естественно, не линейны: в своём нормальном состоянии они фактически суммируют входные данные, получая результат меньше, чем сумма отдельных значений. В таком режиме они работают сублинейно, то есть 2+2 = 3,5. И наличие многих дендритных ветвей с сублинейным суммированием также позволяет нейрону действовать как двухслойная нейронная сеть. Двухслойная нейронная сеть, которая вычисляет различный набор нелинейных функций, построенный по нейронам с надлинейными дендритами. И почти у каждого нейрона есть дендриты. Таким образом, почти все нейроны в принципе могут быть двухслойной нейронной сетью.
Это удобная ментальная модель, она лежит в основе всех искусственных нейронных сетей. Но она неправильная.
Дендриты - не просто кусочки проволоки. У них тоже есть собственное устройство для генерации спайков. Если на одном небольшом участке дендрита активировано достаточное количество входов, то они будут усилены:
В коре вашего мозга 17 млрд компьютеров
Мы много лет знаем об этих локальных всплесках на отдельных участках дендрита. Мы видели спайки в нейронах на срезах мозга. Мы видели их у животных под наркозом, которым щекотали лапы (да, мозг без сознания ещё что-то чувствует; просто не утруждает себя ответом). Совсем недавно мы видели их в дендритах нейронов у животных в движении (да, Мур с коллегами зафиксировали ЭМ-поле в нескольких микрометрах от мозга бегающей мыши; сумасшедший, правда?). Дендриты пирамидального нейрона действительно генерируют спайки.
Но почему этот локальный всплеск меняет наше представление о мозге как о компьютере? Потому что у дендритов пирамидального нейрона много отдельных веток. И каждая способна вычислить результат и выдать всплеск. Это означает, что каждая ветвь дендрита действует как небольшое нелинейное выходное устройство, суммируя и выводя локальный всплеск, если эта ветвь получает достаточное количество входов примерно в одно время/
Да, каждый пирамидальный нейрон представляет собой двухслойную нейронную сеть. Сам по себе.
...
Прекрасная работа Поирази и Мела ещё в 2003 году явно показала это. Они построили сложную компьютерную модель одного нейрона, имитируя каждый маленький кусочек дендрита, локальные всплески внутри них, и как те спускаются к телу. Затем они напрямую сравнили выход нейрона с выходом двухслойной нейронной сети - и они оказались одинаковыми.
Необычайное значение этих локальных всплесков в том, что каждый нейрон является компьютером. Сам по себе нейрон способен вычислить огромный диапазон так называемых нелинейных функций, которые он просто суммирует и выдаёт спайк. Например, с четырьмя входами (синий, море, жёлтый и солнце) и двумя ветвями, действующими как маленькие нелинейные устройства, пирамидальный нейрон может вычислить функцию «связывания признаков»: реагировать на сочетание синего и моря или на сочетание жёлтого и солнца, но не реагировать иначе, например, на синий и солнце или жёлтый и море. Конечно, у нейронов гораздо больше четырёх входов и гораздо больше двух ветвей: таким образом, они способны вычислять астрономический диапазон логических функций.
Совсем недавно Ромен Кейз с друзьями (я один из друзей) показали, что единственный нейрон вычисляет удивительный диапазон функций, даже если не способен сгенерировать локальный дендритный всплеск. Потому что дендриты, естественно, не линейны: в своём нормальном состоянии они фактически суммируют входные данные, получая результат меньше, чем сумма отдельных значений. В таком режиме они работают сублинейно, то есть 2+2 = 3,5. И наличие многих дендритных ветвей с сублинейным суммированием также позволяет нейрону действовать как двухслойная нейронная сеть. Двухслойная нейронная сеть, которая вычисляет различный набор нелинейных функций, построенный по нейронам с надлинейными дендритами. И почти у каждого нейрона есть дендриты. Таким образом, почти все нейроны в принципе могут быть двухслойной нейронной сетью.