Компьютер с архитектурой человеческого мозга
Суперкомпьютеры, способные совершать триллионы математических операций в секунду, занимают гигантские помещения, а потребляемая мощность их сравнима с небольшим заводом. Мозг человека, предназначенный для тех же задач, имеет объем в пару литров и потребляет энергии меньше слабенькой лампочки. Так почему бы не создать компьютер, основанный на принципах работы мозга?
С момента появления первого микропроцессора в 1971 году тактовые частоты увеличились на три порядка. «Некоторые склонны рассматривать это как эволюцию в области компьютерных технологий, но ее направление явно расходится с эволюцией биологического мозга, - говорит Дхармендра Модха, директор по науке подразделения Cognitive Computing лаборатории IBM Research в Алмадене. - Тактовые частоты современных компьютеров выше, чем у мозга, в сто миллионов раз, но и удельный расход энергии (на логический элемент) у них в десять тысяч раз больше. При попытке же полномасштабного моделирования функционирования мозга со 100 трлн синапсами все выглядит еще печальнее: даже при использовании Sequoia, одного из самых производительных суперкомпьютеров мира, основанного на архитектуре IBM Blue Gene/Q, функционирование структуры можно воссоздать не в реальном времени, а на скорости в 1500 раз медленнее. И это при том, что Sequoia состоит из 96 стоек, занимает площадь в 300 м2 и имеет потребляемую мощность около 8 МВт. А чтобы «догнать» мозг, нужен гипотетический компьютер, потребляющий около 12 ГВт! Для сравнения: потребляемая мощность человеческого мозга составляет около 20? Вт. Столь большая разница объясняется двумя факторами: технологией и архитектурой. Человеческий мозг использует в качестве элементной базы органические нейроны, а микропроцессоры - неорганические кремниевые транзисторы. Но с этим пока ничего сделать невозможно, и мы решили сосредоточиться на втором факторе - архитектуре».
Ключевая разница
Все современные компьютеры построены по так называемой архитектуре фон Неймана, которая предусматривает наличие процессора и памяти, в которой хранятся данные и логические инструкции по их обработке - программы. Обмен данными между процессором и памятью осуществляется по специальному каналу, который является самым узким местом, ограничивающим производительность такой системы. Операции выполняются последовательно, дирижируют ими внутренние часы (тактовый генератор), и чем больше частота тактов, тем быстрее выполняется обработка данных. И тем выше энергопотребление процессора.
Биологический мозг устроен совершенно по-другому. Основная задача, для которой эволюция путем проб и ошибок создала эту сложную нервную структуру, - обработка большого количества сенсорных сигналов и выдача в ответ на эти сигналы сложных команд. Мозг состоит из множества нервных клеток (нейронов), образующих между собой межклеточные соединения - синапсы. Для такой структуры не существует разделения на «процессор» и «память», язык мозга - это импульсы возбуждения, передаваемые от одного нейрона к другим с помощью синапсов, а инструкции и данные кодируются динамической структурой связей. Такая обработка данных происходит параллельно, то есть не требует высоких тактовых частот внутренних часов, а это означает, что по энергоэффективности такая система не имеет себе равных, на много порядков превосходя самые лучшие изделия рук человеческих.
Синаптическая задача
В 2006 году в исследовательском подразделении IBM задумались над вопросом, нельзя ли построить компьютер, отступив от архитектуры фон Неймана и взяв за образец принципы построения биологического мозга. Это послужило толчком к появлению в 2008 году проекта с говорящим именем SyNAPSE, финансируемого агентством передовых оборонных разработок DARPA.
«Цель проекта, в работе над которым приняли участие множество исследовательских центров и ведущих университетов по всему миру, вполне отражена в его названии. SyNAPSE - это Systems of Neuromorphic Adaptive Plastic Scalable Electronics, нейроморфные адаптивные масштабируемые электронные системы, - объясняет «Популярной механике» Билл Риск, один из руководителей группы разработчиков подразделения IBM Research в Алмадене. - Если говорить более простыми словами, то это создание компьютера, основанного на совершенно новой архитектуре, позаимствованной у человеческого мозга. Ведь это удивительно эффективное устройство. Мозг способен одновременно получать большое количество сигналов - от зрительной системы, слуха, осязания, обоняния - и обрабатывать их. Причем зачастую очень неординарными способами. Вот, например, вы смотрите на изображение розы, но при этом вспоминаете ее запах и ощущение колючек на стебле, хотя ни от обоняния, ни от осязания сигналов в этот момент не поступает: в мозгу нет строгого разделения на поступающие данные, память, инструкции по обработке и команды; все это кодируется с помощью одних и тех же принципов - конфигурации нейронов и синапсов (структуры связей) и передачи нервных импульсов».
Кирпичики мозга
В мозгу мыши насчитывается 16 млн нейронов, образующих разветвленную сеть с помощью 128 млрд синапсов. Это не так уж и много: человеческий мозг образован сетью из 220 трлн синапсов, объединяющих 22 млрд нейронов. Но, несмотря на серьезное количественное различие на несколько порядков, принципы построения мозга и у человека, и у мыши сходны. На макроскопическом уровне можно выделить отдельные области мозга, отвечающие за выполнение тех или иных специализированных задач: зрительная кора, соматосенсорная, моторные области, ассоциативная кора и другие. При более глубоком рассмотрении оказывается, что мозг состоит из так называемых модулей (колонок кортекса), групп нейронов, которые можно рассматривать в качестве строительных блоков коры.
Именно этим и воспользовались разработчики IBM Research. В 2011 году удалось создать полупроводниковый «кирпичик», аналог колонки кортекса - нейросинаптическое ядро из 256 нейронов, объединенных 65?536 синапсами, тем самым продемонстрировав возможность реализации подобного нестандартного подхода «в железе». В состав такого ядра входит также память для хранения параметров конфигурации нейрона и синапсов и модуль коммуникации. А в августе 2014 года команда, работающая над проектом, представила созданный по 28-нм техпроцессу процессор TrueNorth, объединяющий 4096 таких ядер на одном чипе, то есть 1 млн нейронов и 256 млн синапсов. Как утверждает руководитель SyNAPSE Дхармендра Модха, этот процессор - настоящая революция: «Он имеет параллельную, распределенную, модульную, масштабируемую и гибкую архитектуру, объединяющую обработку сигналов, коммуникации и память на одном чипе. Работа TrueNorth управляется не высокочастотным тактовым генератором, а потоком событий («возбуждений» под действием «нервных импульсов»), в результате чего нам удалось добиться рекордных показателей энергоэффективности: при типичной работе процессор потребляет менее 100 мВт, в тысячу раз меньше обычного современного процессора».
Правое полушарие
Важно и то, что TrueNorth масштабируется, - можно строить сложные системы, состоящие из множества таких чипов. В IBM Research уже продемонстрировали компьютер, состоящий из 16 процессоров, то есть из 16 млн нейронов - а это столько же, сколько содержит мозг мыши (правда, синапсов у мыши больше). «Тем не менее нельзя говорить, что мы построили мозг мыши, или какой-либо другой мозг, или что наш компьютер так же умен, как мышь, - говорит Билл Риск. - Это не так. На самом деле мы создали компьютер с архитектурой, позаимствованной у мозга. И он вовсе не предназначен для замены традиционных компьютеров. Подобно тому, как у человека два полушария мозга выполняют разные задачи - левое отвечает за аналитическое мышление, а правое - за обработку сенсорных сигналов, в компьютерном мире обычные процессоры и нейросинаптические отлично дополняют друг друга. TrueNorth в этой аналогии очень точно соответствует правому полушарию, гораздо лучше справляясь с потоком сенсорных данных и распознаванием образов в реальном времени, и мы уже успешно продемонстрировали это на конкурсе DARPA Neovision Challenge.
Не заменяет TrueNorth и специализированные цифровые процессоры сигналов - они могут быть гораздо более точными. Зато в саму конструкцию нейросинаптических чипов заложена непревзойденная энергоэффективность, и это делает возможным создание различных автоматических роботизированных систем сбора данных об окружающей среде, способных работать, скажем, от солнечных батарей».
Новые перспективы, похоже, ожидают и системы распознавания образов, особенно с учетом того, что специалисты компании IBM намереваются построить систему, состоящую из 4096 процессоров TrueNorth, содержащую 4 млрд нейронов и 1 трлн синапсов, причем ее потребляемая мощность будет составлять всего 4 кВт. Впрочем, человеческий мозг по эффективности все еще остается вне конкуренции.
Если смотреть на тактовые частоты, то человеческий мозг является аутсайдером вычислительного мира. А вот если судить по энергоэффективности, то продукт биологической эволюции значительно обгоняет создания человеческих рук.
С момента появления первого микропроцессора в 1971 году тактовые частоты увеличились на три порядка. «Некоторые склонны рассматривать это как эволюцию в области компьютерных технологий, но ее направление явно расходится с эволюцией биологического мозга, - говорит Дхармендра Модха, директор по науке подразделения Cognitive Computing лаборатории IBM Research в Алмадене. - Тактовые частоты современных компьютеров выше, чем у мозга, в сто миллионов раз, но и удельный расход энергии (на логический элемент) у них в десять тысяч раз больше. При попытке же полномасштабного моделирования функционирования мозга со 100 трлн синапсами все выглядит еще печальнее: даже при использовании Sequoia, одного из самых производительных суперкомпьютеров мира, основанного на архитектуре IBM Blue Gene/Q, функционирование структуры можно воссоздать не в реальном времени, а на скорости в 1500 раз медленнее. И это при том, что Sequoia состоит из 96 стоек, занимает площадь в 300 м2 и имеет потребляемую мощность около 8 МВт. А чтобы «догнать» мозг, нужен гипотетический компьютер, потребляющий около 12 ГВт! Для сравнения: потребляемая мощность человеческого мозга составляет около 20? Вт. Столь большая разница объясняется двумя факторами: технологией и архитектурой. Человеческий мозг использует в качестве элементной базы органические нейроны, а микропроцессоры - неорганические кремниевые транзисторы. Но с этим пока ничего сделать невозможно, и мы решили сосредоточиться на втором факторе - архитектуре».
Ключевая разница
Все современные компьютеры построены по так называемой архитектуре фон Неймана, которая предусматривает наличие процессора и памяти, в которой хранятся данные и логические инструкции по их обработке - программы. Обмен данными между процессором и памятью осуществляется по специальному каналу, который является самым узким местом, ограничивающим производительность такой системы. Операции выполняются последовательно, дирижируют ими внутренние часы (тактовый генератор), и чем больше частота тактов, тем быстрее выполняется обработка данных. И тем выше энергопотребление процессора.
Биологический мозг устроен совершенно по-другому. Основная задача, для которой эволюция путем проб и ошибок создала эту сложную нервную структуру, - обработка большого количества сенсорных сигналов и выдача в ответ на эти сигналы сложных команд. Мозг состоит из множества нервных клеток (нейронов), образующих между собой межклеточные соединения - синапсы. Для такой структуры не существует разделения на «процессор» и «память», язык мозга - это импульсы возбуждения, передаваемые от одного нейрона к другим с помощью синапсов, а инструкции и данные кодируются динамической структурой связей. Такая обработка данных происходит параллельно, то есть не требует высоких тактовых частот внутренних часов, а это означает, что по энергоэффективности такая система не имеет себе равных, на много порядков превосходя самые лучшие изделия рук человеческих.
Синаптическая задача
В 2006 году в исследовательском подразделении IBM задумались над вопросом, нельзя ли построить компьютер, отступив от архитектуры фон Неймана и взяв за образец принципы построения биологического мозга. Это послужило толчком к появлению в 2008 году проекта с говорящим именем SyNAPSE, финансируемого агентством передовых оборонных разработок DARPA.
«Цель проекта, в работе над которым приняли участие множество исследовательских центров и ведущих университетов по всему миру, вполне отражена в его названии. SyNAPSE - это Systems of Neuromorphic Adaptive Plastic Scalable Electronics, нейроморфные адаптивные масштабируемые электронные системы, - объясняет «Популярной механике» Билл Риск, один из руководителей группы разработчиков подразделения IBM Research в Алмадене. - Если говорить более простыми словами, то это создание компьютера, основанного на совершенно новой архитектуре, позаимствованной у человеческого мозга. Ведь это удивительно эффективное устройство. Мозг способен одновременно получать большое количество сигналов - от зрительной системы, слуха, осязания, обоняния - и обрабатывать их. Причем зачастую очень неординарными способами. Вот, например, вы смотрите на изображение розы, но при этом вспоминаете ее запах и ощущение колючек на стебле, хотя ни от обоняния, ни от осязания сигналов в этот момент не поступает: в мозгу нет строгого разделения на поступающие данные, память, инструкции по обработке и команды; все это кодируется с помощью одних и тех же принципов - конфигурации нейронов и синапсов (структуры связей) и передачи нервных импульсов».
Кирпичики мозга
В мозгу мыши насчитывается 16 млн нейронов, образующих разветвленную сеть с помощью 128 млрд синапсов. Это не так уж и много: человеческий мозг образован сетью из 220 трлн синапсов, объединяющих 22 млрд нейронов. Но, несмотря на серьезное количественное различие на несколько порядков, принципы построения мозга и у человека, и у мыши сходны. На макроскопическом уровне можно выделить отдельные области мозга, отвечающие за выполнение тех или иных специализированных задач: зрительная кора, соматосенсорная, моторные области, ассоциативная кора и другие. При более глубоком рассмотрении оказывается, что мозг состоит из так называемых модулей (колонок кортекса), групп нейронов, которые можно рассматривать в качестве строительных блоков коры.
Именно этим и воспользовались разработчики IBM Research. В 2011 году удалось создать полупроводниковый «кирпичик», аналог колонки кортекса - нейросинаптическое ядро из 256 нейронов, объединенных 65?536 синапсами, тем самым продемонстрировав возможность реализации подобного нестандартного подхода «в железе». В состав такого ядра входит также память для хранения параметров конфигурации нейрона и синапсов и модуль коммуникации. А в августе 2014 года команда, работающая над проектом, представила созданный по 28-нм техпроцессу процессор TrueNorth, объединяющий 4096 таких ядер на одном чипе, то есть 1 млн нейронов и 256 млн синапсов. Как утверждает руководитель SyNAPSE Дхармендра Модха, этот процессор - настоящая революция: «Он имеет параллельную, распределенную, модульную, масштабируемую и гибкую архитектуру, объединяющую обработку сигналов, коммуникации и память на одном чипе. Работа TrueNorth управляется не высокочастотным тактовым генератором, а потоком событий («возбуждений» под действием «нервных импульсов»), в результате чего нам удалось добиться рекордных показателей энергоэффективности: при типичной работе процессор потребляет менее 100 мВт, в тысячу раз меньше обычного современного процессора».
Правое полушарие
Важно и то, что TrueNorth масштабируется, - можно строить сложные системы, состоящие из множества таких чипов. В IBM Research уже продемонстрировали компьютер, состоящий из 16 процессоров, то есть из 16 млн нейронов - а это столько же, сколько содержит мозг мыши (правда, синапсов у мыши больше). «Тем не менее нельзя говорить, что мы построили мозг мыши, или какой-либо другой мозг, или что наш компьютер так же умен, как мышь, - говорит Билл Риск. - Это не так. На самом деле мы создали компьютер с архитектурой, позаимствованной у мозга. И он вовсе не предназначен для замены традиционных компьютеров. Подобно тому, как у человека два полушария мозга выполняют разные задачи - левое отвечает за аналитическое мышление, а правое - за обработку сенсорных сигналов, в компьютерном мире обычные процессоры и нейросинаптические отлично дополняют друг друга. TrueNorth в этой аналогии очень точно соответствует правому полушарию, гораздо лучше справляясь с потоком сенсорных данных и распознаванием образов в реальном времени, и мы уже успешно продемонстрировали это на конкурсе DARPA Neovision Challenge.
Не заменяет TrueNorth и специализированные цифровые процессоры сигналов - они могут быть гораздо более точными. Зато в саму конструкцию нейросинаптических чипов заложена непревзойденная энергоэффективность, и это делает возможным создание различных автоматических роботизированных систем сбора данных об окружающей среде, способных работать, скажем, от солнечных батарей».
Новые перспективы, похоже, ожидают и системы распознавания образов, особенно с учетом того, что специалисты компании IBM намереваются построить систему, состоящую из 4096 процессоров TrueNorth, содержащую 4 млрд нейронов и 1 трлн синапсов, причем ее потребляемая мощность будет составлять всего 4 кВт. Впрочем, человеческий мозг по эффективности все еще остается вне конкуренции.
Если смотреть на тактовые частоты, то человеческий мозг является аутсайдером вычислительного мира. А вот если судить по энергоэффективности, то продукт биологической эволюции значительно обгоняет создания человеческих рук.