Компания IBM создала первые в мире стохастические нейроны с фазовым переходом
Оригинал взят у 32 в Компания IBM создала первые в мире стохастические нейроны с фазовым переходом
Художественная интерпретация внешнего вида стохастического нейрона от IBM
Разработчики из компании IBM создали первые в мире стохастические нейроны с фазовым переходом, что сулит нам создание нейроморфического чипа, который позволит значительно ускорить вычисления и обработку информации. О попытках создать подобную технологию сообщалось еще в 2012 году, но тогда этим вопросом занималась корпорация Intel. Спустя четыре года уже разработчики из IBM смогли добиться результатов в данной области.
Чем же принципиально отличается чип из стохастических нейронов с фазовым переходом от классического кремниевого?
Фазовый переход в термодинамике - переход вещества из одной термодинамической фазы в другую при изменении внешних условий. Фактически, создание стохастического нейрона с фазовым переходом позволит создать искусственную модель такой биологической системы, как мозг.
Соответствующее исследование было получено журналом Nature еще в мае 2015 года, а опубликовано в апреле 2016.
Схема стохастического нейрона с фазовым переходом, IBM
Как и свой биологический собрат, искусственный нейрон от IBM имеет то же строение. В нем присутствуют дендриты (входы), мембрана (липидный бислой), ядро и аксон (выход). Отличительной особенностью искусственного нейрона является его нейрональная мембрана. В реальном нейроне это липидный бислой, который, по факту, работает как резистор и конденсатор: сигнал пропускается только при накапливании достаточного заряда на дендрите, что приводит к всплеску генерации заряда и прохождению сигнала далее - к другим нейронам.
Динамика поведения нейрона при фазовом переходе, IBM
Фазовый переход в искусственном нейроне важен тем, что с его помощью ученые и инженеры смогут добиться эмуляции познавательного процесса обучения, присущего реальному биологическому мозгу. Фактически, данная разработка может активно использоваться в уже существующих проектах нейросетей для проведения обучения сети и когнитивных вычислений, что значительно ускорит процесс обработки информации, например, анализ данных в сети Интернет.
В нейроне производства IBM мембрана заменена на сплав германия, сурьмы и теллура (GeSbTe или GST). GST уже ранее использовался в производстве перезаписываемых компакт-дисков по причине того, что подвержен фазовому переходу. Это означает, что он успешно может существовать в двух различных состояниях (кристаллическом и аморфном) и легко переключается между ними при поступлении тепла, что косвенно подтверждается перезаписываемыми RW-дисками. В случае с GST материал имеет принципиально различные свойства в зависимости от своей фазы. В кристаллической - это проводник, в аморфной - изолятор.
Наглядная демонстрация разницы в поведении нейрона в течении нескольких секунд, IBM
Особое внимание также уделялось и стохастичности в работе чипа. Ученые предположили, что успешная длительная работа нашего мозга при несравненно меньших напряжениях электромагнитных импульсов в сравнении с искусственными нейронными сетями обеспечивается за счет образования случайных связей между нейронами. Именно эта «случайность» и была реализована инженерами IBM в новой технологии благодаря, в том числе, и использованию в технологии материалов, подверженных фазовому переходу, а именно GST.
В состоянии покоя оболочка искусственных нейронов находится в аморфном состоянии. При подаче сигнала (разряда) она начинает кристаллизоваться, что в итоге делает нейрон из изолятора проводником. После прохождения сигнала нейрон проходит через «сброс», т.е. его мембрана возвращается в свое аморфное состояние.
Где же здесь стохастичность, присущая живым организмам из-за шумов, окружающей среды и прочего? Стохастичность вознакает на этапе обратной аморфизации после кристаллизации оболочки. Для каждого нейрона время возвращения к исходному состоянию и итоговая аморфность мембраны всегда разная, что и приводит к созданию примерно той же степени «случайности» в их работе, что и у биологических аналогов. Именно поэтому инженеры не могут точно предугадать, какие конкретно нейроны будут готовы в нужный момент и задействованы в передаче информации.
Проект нейроморфического компьютера IBM
Инженеры IBM уже собрали 5 кубиков 10 на 10 нейронов и объединили их в сеть из 500 штук. Этот блок показал то же поведение в плане популяционного кодирования, что и биологические нейроны, а также обошел ограничения для обработки цифровых сигналов сформулированные в теореме Котельникова.
Художественная интерпретация внешнего вида стохастического нейрона от IBM
Разработчики из компании IBM создали первые в мире стохастические нейроны с фазовым переходом, что сулит нам создание нейроморфического чипа, который позволит значительно ускорить вычисления и обработку информации. О попытках создать подобную технологию сообщалось еще в 2012 году, но тогда этим вопросом занималась корпорация Intel. Спустя четыре года уже разработчики из IBM смогли добиться результатов в данной области.
Чем же принципиально отличается чип из стохастических нейронов с фазовым переходом от классического кремниевого?
Фазовый переход в термодинамике - переход вещества из одной термодинамической фазы в другую при изменении внешних условий. Фактически, создание стохастического нейрона с фазовым переходом позволит создать искусственную модель такой биологической системы, как мозг.
Соответствующее исследование было получено журналом Nature еще в мае 2015 года, а опубликовано в апреле 2016.
Схема стохастического нейрона с фазовым переходом, IBM
Как и свой биологический собрат, искусственный нейрон от IBM имеет то же строение. В нем присутствуют дендриты (входы), мембрана (липидный бислой), ядро и аксон (выход). Отличительной особенностью искусственного нейрона является его нейрональная мембрана. В реальном нейроне это липидный бислой, который, по факту, работает как резистор и конденсатор: сигнал пропускается только при накапливании достаточного заряда на дендрите, что приводит к всплеску генерации заряда и прохождению сигнала далее - к другим нейронам.
Динамика поведения нейрона при фазовом переходе, IBM
Фазовый переход в искусственном нейроне важен тем, что с его помощью ученые и инженеры смогут добиться эмуляции познавательного процесса обучения, присущего реальному биологическому мозгу. Фактически, данная разработка может активно использоваться в уже существующих проектах нейросетей для проведения обучения сети и когнитивных вычислений, что значительно ускорит процесс обработки информации, например, анализ данных в сети Интернет.
В нейроне производства IBM мембрана заменена на сплав германия, сурьмы и теллура (GeSbTe или GST). GST уже ранее использовался в производстве перезаписываемых компакт-дисков по причине того, что подвержен фазовому переходу. Это означает, что он успешно может существовать в двух различных состояниях (кристаллическом и аморфном) и легко переключается между ними при поступлении тепла, что косвенно подтверждается перезаписываемыми RW-дисками. В случае с GST материал имеет принципиально различные свойства в зависимости от своей фазы. В кристаллической - это проводник, в аморфной - изолятор.
Наглядная демонстрация разницы в поведении нейрона в течении нескольких секунд, IBM
Особое внимание также уделялось и стохастичности в работе чипа. Ученые предположили, что успешная длительная работа нашего мозга при несравненно меньших напряжениях электромагнитных импульсов в сравнении с искусственными нейронными сетями обеспечивается за счет образования случайных связей между нейронами. Именно эта «случайность» и была реализована инженерами IBM в новой технологии благодаря, в том числе, и использованию в технологии материалов, подверженных фазовому переходу, а именно GST.
В состоянии покоя оболочка искусственных нейронов находится в аморфном состоянии. При подаче сигнала (разряда) она начинает кристаллизоваться, что в итоге делает нейрон из изолятора проводником. После прохождения сигнала нейрон проходит через «сброс», т.е. его мембрана возвращается в свое аморфное состояние.
Где же здесь стохастичность, присущая живым организмам из-за шумов, окружающей среды и прочего? Стохастичность вознакает на этапе обратной аморфизации после кристаллизации оболочки. Для каждого нейрона время возвращения к исходному состоянию и итоговая аморфность мембраны всегда разная, что и приводит к созданию примерно той же степени «случайности» в их работе, что и у биологических аналогов. Именно поэтому инженеры не могут точно предугадать, какие конкретно нейроны будут готовы в нужный момент и задействованы в передаче информации.
Проект нейроморфического компьютера IBM
Инженеры IBM уже собрали 5 кубиков 10 на 10 нейронов и объединили их в сеть из 500 штук. Этот блок показал то же поведение в плане популяционного кодирования, что и биологические нейроны, а также обошел ограничения для обработки цифровых сигналов сформулированные в теореме Котельникова.