Создан фотонный процессор для быстрого и экономичного обучения нейросетей
Нейронные сети, обслуживающие самые требовательные модели ИИ, стали настолько крупными и сложными, что традиционная электроника перестает справляться. Фотонные устройства предлагают более быстрый и экономичный способ вычислений, однако, они способны выполнять далеко не все типы вычислений, которые используются в нейросетях. Инженеры из США разработали фотонный чип, у которого нет таких ограничений.
Глубокие нейронные сети состоят из множества взаимосвязанных слоев узлов, или нейронов, которые осуществляют различные операции. Одна из ключевых операций требует использования линейной алгебры для выполнения умножения матриц. Но вдобавок к линейным операциям нейросети выполняют и нелинейные, помогающие моделям ИИ решать более сложные задачи. В 2017 году группа ученых из Массачусетского технологического института показала в действии оптическую нейросеть на одном фотонном чипе, которая выполняла умножение матриц светом. Однако тогда это устройство еще не могло осуществлять нелинейные операции на чипе. Оптические данные приходилось превратить в электрические сигналы и отослать в цифровой процессор для обработки.
«Нелинейность в оптике - довольно сложная проблема, поскольку фотоны с трудом взаимодействуют друг с другом. Для запуска оптической нелинейности требуется очень много энергии, так что сложно создать систему, которая выполняла бы эту задачу масштабируемым образом», - пояснил Саумил Бандиопадхья, руководитель научной группы из MIT.
Он и его команда решили эту проблему, разработав нелинейные оптические функциональные блоки (NOFU), сочетающие электронные и оптические элементы и выполняющие нелинейные операции на чипе. Исследователи собрали на фотонном чипе оптическую нейросеть, использовав три слоя устройств, выполняющих линейные и нелинейные операции, сообщает MIT News.
Вначале система кодирует параметры нейронной сети в свет. Затем массив программируемых светоделителей выполняет умножение матрицы. Полученные данные отправляются в программируемые блоки NOFU, которые осуществляют нелинейные функции. В ходе этого процесса небольшое количество света попадает в фотодиоды, которые преобразуют оптические сигналы в электрический ток. Этот процесс устраняет необходимость во внешнем усилителе и потребляет очень мало энергии.
Устройство почти все время работает в оптическом режиме. Это позволяет сократить время ожидания и увеличить эффективность обучения нейросети на чипе. Обычно такой процесс обучения in situ потребляет огромное количество энергии.
В ходе испытаний фотонная система показала 96% точности в задачах на обучение и более 92% точности в задачах с помехами. Эти показатели сопоставимы с производительностью традиционный вычислительных устройств. Вдобавок, чип выполнил ключевые вычисления менее чем за половину наносекунды.
Вся схема изготовлена при помощи того же оборудования и производственных процессов, которые используются в производстве интегральных микросхем по технологиям КМОП. Это значит, что этот чип можно изготавливать массово, при помощи проверенной временем технологии.