Елена Пицик, Университет Иннополис - о том, зачем вживлять в мозг нейроинтерфейсы
Нейроинтерфейсы сегодня находят самое широкое применение: от реабилитации людей после травм и инсультов до мониторинга сна и расслабления во время медитации. Илон Маск в рамках своего проекта Neuralink разрабатывает инвазивные интерфейсы, которые можно будет внедрять прямо в мозг человека без угрозы отторжения. «Хайтек» записал онлайн-лекцию сотрудницы Лаборатории нейронауки и когнитивных технологий Елены Пицик, посвященную интерфейсу «мозг - компьютер» и способам расшифровки электроэнцефалограммы. Выступление проходило при поддержке Университета Иннополис и ЦСК «Смена».
Елена Пицик - младший научный сотрудник Лаборатории нейронауки и когнитивных технологий Университета Иннополис.
Связь между компьютером и мозгом
Интерфейс «мозг - компьютер» - это система, которая обеспечивает взаимодействие между мозгом и компьютером. Она открывает канал связи между мозгом и компьютером и позволяет им обмениваться друг с другом информацией. Наиболее простой пример - это генерация команд для внешнего устройства с помощью активности мозга. Внешним устройством может быть компьютер, приложение, робот, дрон, протез, экзоскелет и всё что угодно. Сфера применения таких интерфейсов очень широкая.
Самая главная составная часть интерфейса - это технология записи биологических сигналов головного мозга. Существует множество технологий, которые можно применять в интерфейсах. Сигналы электрической активности записываются с помощью усилителя - электроэнцефалографа. Они передаются на сервер, который обрабатывает эти сигналы. Существуют очень маленькие, компактные интерфейсы, которые используют беспроводные технологии. Там буквально один маленький чип. Но если вы планируете использовать интерфейс в клинических условиях (для постинсультной реабилитации, например), то, наверное, хотите, чтобы у вас было много каналов и большие данные. Обработка Big Data требует очень много вычислительных ресурсов, поэтому чаще всего используется отдельный компьютер, на котором стоит специальное программное обеспечение. И после того, как это ПО обработает сигнал головного мозга, он переводится в команды для внешнего устройства, обеспечивая обратную связь. На месте классического монитора может быть что угодно: от приложения мониторинга вашего настроения до системы управления роботом.
Интерфейсы «мозг - компьютер» можно разделить на три основных типа. Во-первых, это активный нейроинтерфейс, который подразумевает, что пользователь непосредственно и осознанно контролирует внешнее устройство или приложение. Нейроинтерфейс эту активность мозга, которую пользователь генерирует, считывает, обрабатывает и преобразовывает в комнады. Второй тип - реактивный нейроинтерфейс. В нем активность мозга не вырабатывается мозгом осознанно, а стимулируется внешним воздействием - светом, звуком, тактильными ощущениями, командами. Например, изображения или звуковая стимуляция, которые вызывают у нас в голове определенный ответ. И этот ответ мы не можем осознанно, без внешнего стимула сгенерировать, поэтому нуждаемся в какой-то обратной связи. Интерфейс «мозг - компьютер» ищет в наших мозгах эту реакцию на внешний стимул и использует ее для генерации команд и управления внешним устройством или для профилирования обратной связи. Третий тип нейроинтерфейса - это пассивный нейроинтерфейс. Самый сложный и непонятный, потому что это он вообще не подразумевает генерации никаких команд для внешнего устройства и никакого контроля. Этот интерфейс пассивно на вас сидит и мониторит ваше состояние в процессе повседневной деятельности. То есть вы читаете, работаете, водите машину, а нейроинтерфейс мониторит вас. Он может применяться для отслеживания уровня внимания, сосредоточенности, усталости, когнитивной нагрузки, а также давать вам какую-то обратную связь по поводу вашего состояния.
Нейрореабилитация и другие виды применения интерфейсов
Нейроинтерфейс имеет высокую социальную значимость для разработки различных систем реабилитации и повышения качества жизни людей с дополнительными потребностями. Таких, как люди с синдромом запертого человека - они потеряли любую возможность контакта с внешним миром, но при этом сохранили свое сознание; это полностью парализованные люди, которые не могут говорить, двигаться и даже двигать глазами. Таким образом, у них нет никаких других вариантов для коммуникации, кроме как использовать нейроинтерфейсы для того, чтобы считывать их активность мозга и преобразовывать ее в определенные команды. Этими командами может быть генерация речи, управление различными приложениями для того, чтобы сохранить повседневную функциональность, а также обеспечить базовую коммуникацию с другими людьми. Менее тяжелое состояние - это частичные параличи. Например, люди в инвалидной коляске, которые не могут ходить, или различные парезы после инсульта или в результате травмы. В случае с параличом, если он неизлечимый, то можно улучшить качество жизни такого человека, если предоставить ему какой-то экзоскелет или ортез, который можно будет контролировать с помощью нейроинтерфейса. Это одно из наиболее популярных направлений в разработке нейроинтерфейсов.
Самое популярное применение нейроинтерфейсов в медицине - это нейрореабилитация. Это возможность ускорить процесс реабилитации человека после травмы или инсульта с помощью тренировок с интерфейсом «мозг - компьютер», который подразумевает поддержку моторной активности, то есть ряд воображаемых движений. Существует множество исследований, которые показали, что такие интерфейсы действительно значительно ускоряют и улучшают процесс реабилитации людей, возвращая им утраченные моторные функции.
Недавно интерфейсы «мозг - компьютер» прорвались на общедоступный рынок и получили более широкую аудиторию. Сегодня нейроинтерфейс можно купить на eBay за небольшие деньги, он будет стоить даже дешевле, чем смартфон. В первую очередь, их применяют для развлечения - в игровой индустрии. Также очень часто нейроинтерфейсы используют для мониторинга различных состояний - настроения или фаз сна. Нейроинтерфейсы для медитации помогают человеку расслабляться и направляют его в соответствии с результатами мониторинга активности его мозга. Используют подобные устройства и для разработки различных систем тренировки когнитивных навыков - внимания, сосредоточенности или когнитивной нагрузки. Это важная сфера, потому что может применяться, например, в разработке систем когнитивной нагрузки для пилотов в самолетах, для водителей-дальнобойщиков.
Что такое мозг и как можно измерить его активность
Мы с вами - это наш мозг. Мозг состоит из клеток, которые называются нейронами. А каждый нейрон состоит из ядра, тела и различных отростков, которые обеспечивают его коммуникацию с другими нейронами - это дендриты, аксоны и терминал (продолжение аксона для коммуникации с другими нейронами - «Хайтек»). Один нейрон - довольно простая структура, но нейронов в голове - миллиарды. Таким образом, все вместе они создают огромную сеть, которая может обрабатывать сложные массивы данных и обеспечивать нас как личностей.
Мозг - это суперкомпьютер, то есть такая система, которая способна обрабатывать огромные объемы информации. Нейроны взаимодействуют друг с другом в основном двумя способами - это электричество и химические связи. Электрический сигнал вырабатывается нейроном и через аксон передается на синапсы (связи между нейронами - «Хайтек») другого нейрона. Когда электрический сигнал поступает на выход одного нейрона, он преобразуется в некоторые химические сообщения, которые называются нейротрансмиттеры. И они передаются с выхода одного нейрона на вход другого, который, в свою очередь, их принимает, обрабатывает, превращает в электрический сигнал и передает дальше по этой цепочке. Нейрон может как принять и пропустить через себя электрический сигнал, так и погасить его, не принять и прервать цепочку. Любая наша деятельность формирует сеть нейронов, которые вспыхивают непрерывно, формируют некоторый паттерн, который позволяет обработать множество активных типов деятельности человека.
Измерить электрическую активность мозга можно несколькими методами. Во-первых, это магнитная энцефалография, подразумевающая измерение электромагнитных полей, которые возникают в результате электрической активности мозга. МЭГ-установка - это большое устройство, в котором человек сидит неподвижно, потому что электроды, считывающие магнитное поле, не накладываются на голову, а находятся на некотором расстоянии от нее. МЭГ очень чувствительна к различным внешним помехам - в том числе магнитному полю земли, другим магнитным полям, которыми буквально переполнена вся наша реальность. Поэтому, чтобы МЭГ хорошо работала, ее нужно поместить в экранированную комнату. Еще один метод - спектроскопия ближнего инфракрасного диапазона. Это технология нейровизуализации, которая позволяет нам визуализировать процессы, происходящие в мозге. Она использует инфракрасный диапазон света для измерения концентрации окси- и дезоксигемоглобина. Устройство представляет собой шапку, к которой прикреплены цилиндры, плотно прилегающие к поверхности кожи головы и разделенные на два типа - источник и детектор. Источник выпускает луч света в инфракрасном диапазоне. Этот свет проходит через кожу, череп и верхний слой кортекса, то есть мозга. Он проходит, возвращается обратно на поверхность кожи головы и улавливается детектором. При это все, что можно увидеть, несет в себе очень важную информацию об уровне кислорода в крови. Когда мы совершаем какое-то действие, например, таппинг, у нас кровь в моторной зоне насыщается кислородом. Мы можем это измерить и определить как некоторый паттерн. Следующая технология - это электроэнцефалография, самая эффективная из перечисленных. Она может быть использована в нейроинтерфейсе, потому что сравнительно недорого стоит и достаточно проста. Надел шапку, покрутил электроды, смазал их пастой - и они работают. Установка ЭЭГ - электроэнцефалограф - тоже представляет собой шапку, которая надевается на голову человеку. Она нужна, чтобы прижать электроды плотнее к голове человека и правильно расположить.
Зачем нейроинтерфейсы внедрять в мозг
Электроэнцефалографы бывают разные. Они пишут сигналы с разным разрешение и имеют разное количество каналов. ЭЭГ тоже бывают двух видов. В основном выделяют инвазивную и неинвазивную ЭЭГ. Инвазивная ЭЭГ подразумевает, что вам будет проводиться хирургическая операция со вскрытием черепа и накладыванием электродов непосредственно на поверхность вашего мозга. Понятное дело, что эта технология на людях не применяется. Она в основном применяется в науке на животных для изучения их активности, которая очень схожа с активностью человека. Сигнал с ЭЭГ, который считывается непосредственно с поверхности кортекса и очень маленькой группы нейронов, обладает лучшими характеристиками в сравнении с неинвазивной технологией. Потому что он свободен от различных артефактов, которые характерны для ЭЭГ.
Существуют сферы, в которых инвазивные интерфейсы являются очень важной и фактически единственной технологией, которая может облегчить состояние человека. Например, это эпилепсия. На базе нашей лаборатории изучается такой тип эпилепсии, как абсанс-эпилепсия. Это эпилепсия, которая не связана с судорогами. Человек не испытывает судороги при приступе, он просто на какое-то время отключается от мира. И он не знает об этом, что он отключился. Это состояние тоже очень опасное, несмотря на то, что нет никаких внешних проявлений, кроме того, что человек отключился от реальности. Потому что он может, например, не знать, что у него абсанс-эпилепсия, и отключиться за рулем. Поэтому предотвращать все приступы тоже очень важно, и интерфейс может его предотвратить. Когда у человека случается приступ, во-первых, у него синхронизируются различные ритмы мозговые - это очень легко поймать. Кроме того, приступу предшествует определенный тип активности - за какое-то время до приступа мы можем определить, что сейчас будет. Когда нейроинтерфейс это определяет, он может послать мозгу импульсы, помогающие этот приступ подавить. При этом человек, на постоянной основе носящий этот интерфейс, ничего не почувствует и не будет знать, что у него только что должен был состояться приступ.
Neuralink Илона Маска отличается от других инвазивных нейроинтерфейсов тем, что электроды, которые пишут ЭЭГ, расположены на очень тонких нитях (тоньше, чем человеческий волос), и на одной нити расположено очень много электродов. Возможна запись до 3 тыс. электродов. Это огромный объем данных. Учитывая, что они расположены на кортексе, они очень маленькие и пишут сигнал с маленькой группы нейронов. Таким образом мы можем поймать очень тонкую активность.
Технология Маска частично решает проблему, распространенную при использовании неинвазивной ЭЭГ - field spread (с англ. «напряженность электрического поля» - «Хайтек»). Когда мы пишем неинвазивную ЭЭГ, то накладываем электрод на голову, и он записывает с большой группы нейронов. Она генерирует общее энергетическое поле. Электрические поля с разных нейронов накладываются друг на друга и мешают друг другу. Таким образом, когда мы пишем определенный тип активности, на самом деле имеем много разных активностей, что мешает обработке. И очень большая проблема со всеми инвазивными интерфейсами заключается в том, что наш организм не хочет, чтобы в него пихали посторонние предметы.
Неинвазивная ЭЭГ - это ЭЭГ, которую мы применяем на постоянной основе. По сути, это электроды, накладываемые на поверхность головы при помощи шапки. Каждый электрод пишет активность определенной группы нейронов. Расположение электродов очень важно, потому что сильно влияет на результат обработки.
Электроэнцефалограмма представляет собой электрический сигнал. Обработка этого сигнала - задача радиофизики. Мы можем применять обычные методы анализа для того, чтобы выделять особенности этого сигнала. Наша задача выделить определенные паттерны, которые соответствуют этому движению.
Главные сложности при создании нейроинтерфейсов
Почему вообще так сложно создать нейроинтерфейс? Потому что это очень сложные задачи: обрабатывать ЭЭГ и выделять паттерны. Они требуют комплексного и аккуратного подхода. Во-первых, потому что каждый человек индивидуален, как и его мозг. Даже у гомозиготных близнецов очень разные мозги, как отпечатки пальцев. Мы не можем создать одну универсальную систему, работающую со всеми людьми одинаково. Ее надо под каждого подстраивать, калибровать и постоянно изменять. Следующая причина - специфика задания. Каждый человек может одно и то же задание выполнять по-разному и аккумулировать разные активности. Расположение сенсоров - тоже человеческий фактор. В разных экспериментах сенсоры могут располагаться немного по-другому, но это тоже очень важно, потому что они будут писать другую активность. Еще одна причина - нестационарная динамика мозга во всех временных масштабах. Это значит, что она постоянно меняется во всех временных масштабах. Мы можем взять большой отрезок сигнала ЭЭГ, разбить его на секунды, и каждая секунда будет разной. Мозги постоянно меняются, эволюционируют и подстраиваются под внешнюю среду. Важная проблема - высокий уровень шума в записях ЭЭГ и артефакты. Поскольку мы накладываем электроды на поверхность кожи головы, а под ней, между кожей и черепом, присутствуют мышечные волокна, которые работают, приходят в движение и создают какие-то двигательные артефакты на ЭЭГ-сигнале. Помимо этого мы постоянно двигаем глазами, моргаем, и это всё тоже дает наводку на ЭЭГ, которая видна не только на каналах на лбу, но и на затылке. Кроме того, у нас бьется сердце. Сердечные артефакты присутствуют на ЭЭГ почти у всех людей. Они возникают от пульсации крови в сосудах под кожей.
Click to viewСуществуют классные методы, которые помогают нам избавиться от всех артефактов. Можно удалить артефакты или отфильтровать их. Существуют методы, позволяющие удалять компоненты, соответствующее сердцебиению, глазодвигательным артефактам, и отфильтровать ЭЭГ-сигнал в нужном нам диапазоне. Далее применяется частотно-временной анализ как метод анализа сигнала. Мы оцениваем энергию каждого ритма и смотрим, какой из них содержит некую динамику, ассоциированную с эффектом, который ищем. Частотно-временной анализ - это вейвлеты, анализ Фурье и прочее.
Следующий этап - установление функциональных связей между различными областями мозга. Когда мы что-то делаем (двигаем руками, воображаем движения руками), наши области мозга взаимодействуют либо синхронно, либо десинхронно. Они влияют друг на друга в процессе этого взаимодействия. На основе этих влияний можно построить сеть функциональных связей, описывающую, какие связи усиливаются, какие слабеют, и на основе этого делать вывод о том, как в масштабе всего мозга строится и обрабатывается наша активность нейронами. Здесь наиболее перспективны искусственные нейронные сети, потому что они быстро работают и основаны на биологической модели нейронов.
Сигнал ЭЭГ - это сложная структура, где много компонентов, но ее сложность меняется со временем и в зависимости от того, что мы делаем. По динамике этой сложности мы можем понять, что происходит, оценить это, классифицировать и сделать какой-то классификатор на этой основе. Конкретный пример - удаление артефактов. Допустим, у нас есть многоканальный сигнал ЭЭГ, и на нем видны артефакты, которые дают наводку почти на всех каналах. И они похожи на глазодвигательные артефакты. Они удаляются методом независимых компонентов. Каждый сигнал раскладывается на несколько компонентов, которые содержат свою информацию. Один из них содержит то, что нам не нужно в сигнале - тот самый глазодвигательный артефакт. Мы берем его и выкидываем. Получаем чистый, более информативный сигнал, содержащий то, что нам нужно. Фильтрация - базовая вещь.
Один сигнал можно отфильтровать в разных частотных диапазонах. Альфа-ритм (8-14 Гц) и бета-ритм (15-30 Гц) - это два ритма мозга, две частотные компоненты, которые содержат в себе наибольшее количество информации о том, как мозг обрабатывает моторную активность. Если мы хотим классифицировать воображаемые или реальные движения, мы обращаемся к альфа- и бета-ритму и ищем на них паттерн.
Поиск паттерна - это задача классификации. Чтобы посмотреть на паттерн, мы можем воспользоваться методом частотно-временного анализа. Паттерн - это двигательная активность на ЭЭГ, а наиболее часто упоминаемый - это десинхронизация, связанная с событием. Мы берем активность альфа-ритма. Он содержит в себе много информации о том, как мы двигаемся. Эта информация заключается в следующем: когда мы совершаем движение, уменьшается количество нейронов, которые участвуют в обработке информации. Таким образом, альфа-ритм подавляется. У него уменьшается амплитуда и он генерирует меньше энергии. Вот это подавление альфа-ритма продолжается на всем протяжении совершения движения. Если мы видим, что альфа-ритм упал, можно сказать, что в этот момент произошло движение. Например, человек сжимает кисть в кулак. Альфа-ритм падает, его энергия уменьшается. Он десинхронизируется, и мы это видим. Потом человек разжимает руку, и альфа-ритм восстанавливается и возвращается к своему обычному состоянию. Вся проблема заключается в том, что десинхронизация хорошо видна на усредненных данных. Мы берем несколько движений, для каждого считаем вейвлетную поверхность, усредняем их, получаем яркую картинку. Мы берем одно движение, считаем его вейвлетную поверхность и не видим ничего. Нам ничего не понятно, потому что это движение - это очень тонкий эффект.