Сообразили на троих
Трое человек сыграли в «Тетрис» при помощи интерфейса «мозг-мозг». Так мы научились уже передавать мысли без помощи слов или нет?
В конце сентября на сайте препринтов научных статей arXiv появилась статья ученых из университетов Вашингтона и Карнеги-Меллон, которые создали «первый мультиперсональный неинвазивный интерфейс „мозг-мозг“ для совместного решения проблем» - они объединили мозги трех людей в сеть, и те смогли силой мысли сыграть в «Тетрис». «Чердак» рассказывает, в чем заключается техническое достижение исследователей, и разбирается, можно ли считать, что мы научились передавать друг другу мысли напрямую.
Читать оригинал на chrdk.ru
Нынешние интерфейсы «мозг-мозг» - союз технологий нейровизуализации и нейростимуляции. Суть идеи в том, чтобы передавать информацию от мозга одного человека к мозгу другого напрямую, минуя речь. Такой интерфейс считывает нейронные сигналы из мозга отправителя, преобразовывает в цифровой формат и передает получателю, где те снова «переводятся» в активацию нейронов (так что можно говорить, что «мозг-мозг» раскладывается на «мозг-компьютер» и «компьютер-мозг»).
Для этого ученые используют две давно и хорошо изученные технологии - электроэнцефалографию (ЭЭГ), с помощью которой с поверхности головы записывается электрическая активность мозга, и транскраниальную магнитную стимуляцию (ТМС), при которой кору головного мозга неинвазивно стимулируют короткими магнитными импульсами.
Снятие ЭЭГ выглядит, например, вот так. Фото: Baburov / wikimedia commons / CC BY-SA 4.0
Инструментально схема такая: ЭЭГ измеряет электрическую активность мозга через электроды, закрепленные на голове. Сегодня ученым уже известны некоторые паттерны активности мозга и то, какие именно переживания с ними коррелируют. К примеру, наблюдение за вспышками света с частотой 15 герц заставляет затылочную кору мозга наблюдателя испускать сильный электрический сигнал на той же частоте. Если переключить внимание на световые вспышки на частоте 17 герц, изменится и частота сигналов, которые фиксируются с помощью ЭЭГ.
В свою очередь, транскраниальная магнитная стимуляция возбуждает электрическую активность в специфических областях мозга. Например, магнитный импульс, посланный в затылочную кору, вызывает у человека фосфен (зрительное ощущение, возникающее без воздействия света на глаз) в виде вспышки света. Используя оба этих инструмента, можно посылать и получать сигналы из мозга и в мозг.
Сама схема подобной передачи сигнала тоже применялась не впервые: пять лет назад те же Раджеш Рао и Андреа Стокко сыграли по сети при помощи интерфейса «мозг-мозг». В этот раз ученые впервые провели эксперимент с тремя участниками-людьми, таким образом реализовав обещанный ими интерфейс BrainNet. В этом эксперименте было два «отправителя» и один «получатель». Каждый сидел в отдельной комнате и не общался с другими. Перед каждым находился монитор с игрой вроде «Тетриса»: с верхней части экрана падал блок, который должен был попасть в соответствующий паз в нижней части экрана. Блоки были двух видов: те, которые нужно повернуть на 180 градусов, чтобы они встали в паз, и те, которые поворачивать не надо.
Два отправителя с закрепленными на их головах электродами для ЭЭГ смотрели на экран игры «Тетрис». Им нужно было решить, нужно повернуть фигуру или нет, и передать эту информацию третьему члену группы. Контролировать сигнал можно было, взглянув на один из светодиодов, установленных по сторонам от экрана: один мигал с частотой 15 герц, второй - с частотой 17 герц. Взгляд на 15-герцовую лампочку (который считывался на ЭЭГ) означал «надо повернуть», взгляд на другую - обратное.
Получатель, к которому прикреплена и ЭЭГ, и ТМС, имел другое задание. Он видел только верхнюю часть экрана с падающими блоками, но не знал, надо ли их вращать, чтобы они правильно вставали в паз на дне игрового экрана. Но с помощью ТМС он получал сигнал от каждого отправителя. Преобразованный на стороне получателя сигнал «вращай» состоял из единичного фосфена.
Так выглядел интерфейс, при помощи которого отправитель слал партнеру по игре сигнал. Источник: Linxing Jiang et al. / arXiv
Так выглядели игровые экраны, на которые смотрели получатель (слева) и отправители (справа). Источник: Linxing Jiang et al. / arXiv
Получив данные от обоих отправителей, получатель выполнял действие. Но главное в том, что игра позволяет еще один раунд взаимодействия: отправители видят падающий блок, поэтому могут определить, сделал ли получатель правильное действие, и передать ему следующую команду к действию в следующий раунд коммуникации. В некоторых испытаниях исследователи намеренно меняли информацию от одного из отправителей, чтобы посмотреть, сможет ли получатель определить, стоит ли ее игнорировать. Так в эксперименте появляется элемент ошибки, часто присутствующий в реальных социальных ситуациях.
У экспериментаторов было пять таких групп, которые справились с заданием с довольно высокой точностью - 81,25%. Авторы эксперимента считают, что у технологии большие перспективы. «Основанный на облачной технологии интерфейс „мозг-мозг“ может передавать информацию от любого набора устройств в интерфейс „мозг-мозг“ и делать возможным глобальное взаимодействие между мозгами через интернет», - пишут Стокко и коллеги.
Как пишут в статье ученые, интерфейсы «мозг-мозг» интересуют их с точки зрения расширения возможностей человеческой коммуникации. Кроме уже упомянутого эксперимента в 2013 году, эти же исследователи объединили через нейроинтерфейс двух людей для игры в некоторое подобие «шляпы». Один испытуемый видел объект, а другой на экране монитора задавал ему закрытые вопросы о том, что первый видит. «Зрячий», соответственно, мог мысленно ответить «да» или «нет» с помощью все того же взгляда на мерцающую лампочку и ЭЭГ и послать ответ, соответственно, с помощью ТМС. Ученые признают, что тогда уровень интерактивности был минимальным: отправитель только отвечал на вопросы получателя, чьи действия на решения отправителя не влияли, к тому же для взаимодействия использовалась компьютерная мысль, так что это не была передача сигналов напрямую от мозга к мозгу в полном смысле слова. В новом эксперименте эти ограничения были сняты.
Что дальше? Сами исследователи, во-первых, собираются увеличить пропускную способность канала передачи информации. Все-таки один бит за раз - это слишком мало. Для этого предполагается использовать функциональную МРТ. Исследования с одновременным применением ЭЭГ и фМРТ уже ведутся. Во-вторых, можно попробовать стимулировать с помощью ТМС другие области коры мозга, отвечающие за более сложные вещи, например понимание семантики. В-третьих, можно продолжить изучать нейрокоммуникации с элементами ошибки - например, когда отправитель действует в условиях недостатка информации, рассеянного внимания или даже исходя из злого умысла.
Это передача мысли или нет?
То, что при помощи системы ЭЭГ и ТМС можно передать визуальный сигнал от одного человека другому, в некотором смысле не совсем передача мыслей. Нет никаких сомнений, на подобных принципах можно организовать среду для коммуникации, но эксперименты с BrainNet - это скорее изобретение уровня сигнальных костров, которыми пользовались еще в древние времена: вы предварительно договариваетесь о значении простого сигнала и можете использовать потом подобную однобитную систему для узких целей. А что же с передачей мыслей?
- Да, тут действительно пока еще нет неосознанной компоненты и какой-то сети из мозгов, которая, на мой взгляд, подразумевает, что активность одного мозга наводит каким-то образом такой контекст в активности другого человека, что он становится склонен к определенного рода решениям, - признает Алексей Осадчий, директор Центра биоэлектрических интерфейсов НИУ ВШЭ.
По словам Осадчего, если говорить именно о передаче мыслей, то гораздо интереснее в этом смысле эксперимент, проведенный в 2014 году на крысах. Тогда животных соединяли в пары, вживляя каждой в мозг специальный чип. Одной крысе предлагалось нажать на левый или правый рычаг в зависимости от того, какой светодиод горит. Электрическая активность моторной коры животного записывалась, преобразовывалась в серию сигналов и передавалась другой крысе на имплантат, стимулирующий ту же область мозга. В результате у второй крысы как бы формировалась склонность нажимать на тот же самый рычаг, что и ее компаньонка.
- Настоящая связь [мозг-мозг] позволяет состояние одного мозга передать в другой, который бы при этом ничего не осознавал, или у него бы возникал осознанный, но неожиданный образ, - говорит ученый. - Кроме того, настоящая связь станет возможной, когда один мозг «поймет», что у него есть компаньон! Как только мозг это поймет и примет, он начнет предсказывать состояние своего компаньона, второго мозга. И вот тут уже мы сможем говорить действительно о сети мозгов, о каком-то новом качестве, возникающем вследствие объединения мозгов. Это тот шаг, который позволил бы пойти в направлении создания супермозга, который бы мог решать сложные задачи, чтобы один мозг создавал нетривиальный контекст другому мозгу. И все это происходило бы подсознательно, так же, как к нам подсознательно приходят какие-то мысли, - считает ученый.
Но взаимодействие подобного уровня, не отрицает Осадчий, намного более сложная система, и на данном этапе развития технологий перед исследователями стоят препятствия. Во-первых, технологические: ученые до сих пор не знают, как именно взаимосвязана работа миллиардов нейронов в мозге и как, соответственно, декодировать и передавать их сигналы в другой мозг не посредством фосфеновых вспышек, которые человек сначала осознает, а потом принимает какое-то решение, а на уровне прямых побуждений, мыслей и образов. С этим связано второе ограничение - этическое, о котором уже пора задумываться.
- Потому что идея о том, что чей-то мозг создает вам bias (предвзятость, когнитивное искажение - прим. «Чердака») в принятии какого-то решения - это как-то не очень уютно, - говорит исследователь. - Если спросить философов, то они начнут говорить: «А вот вы вставили железку в мозг, а человек с этой железкой совершил преступление. И откуда мы знаем, виноват человек или железка?» И в чем-то они правы. Это вопрос не только для философов, но и правовой, потому что, если «железка» вдруг «сойдет с ума» и начнет продуцировать определенные импульсы, которые делают человека, например, более рискованным или более раздражительным, и он в таком состоянии кого-то убьет, это будет вина человека или «железки»?
Евгения Щербина
В конце сентября на сайте препринтов научных статей arXiv появилась статья ученых из университетов Вашингтона и Карнеги-Меллон, которые создали «первый мультиперсональный неинвазивный интерфейс „мозг-мозг“ для совместного решения проблем» - они объединили мозги трех людей в сеть, и те смогли силой мысли сыграть в «Тетрис». «Чердак» рассказывает, в чем заключается техническое достижение исследователей, и разбирается, можно ли считать, что мы научились передавать друг другу мысли напрямую.
Читать оригинал на chrdk.ru
Нынешние интерфейсы «мозг-мозг» - союз технологий нейровизуализации и нейростимуляции. Суть идеи в том, чтобы передавать информацию от мозга одного человека к мозгу другого напрямую, минуя речь. Такой интерфейс считывает нейронные сигналы из мозга отправителя, преобразовывает в цифровой формат и передает получателю, где те снова «переводятся» в активацию нейронов (так что можно говорить, что «мозг-мозг» раскладывается на «мозг-компьютер» и «компьютер-мозг»).
Для этого ученые используют две давно и хорошо изученные технологии - электроэнцефалографию (ЭЭГ), с помощью которой с поверхности головы записывается электрическая активность мозга, и транскраниальную магнитную стимуляцию (ТМС), при которой кору головного мозга неинвазивно стимулируют короткими магнитными импульсами.
Снятие ЭЭГ выглядит, например, вот так. Фото: Baburov / wikimedia commons / CC BY-SA 4.0
Инструментально схема такая: ЭЭГ измеряет электрическую активность мозга через электроды, закрепленные на голове. Сегодня ученым уже известны некоторые паттерны активности мозга и то, какие именно переживания с ними коррелируют. К примеру, наблюдение за вспышками света с частотой 15 герц заставляет затылочную кору мозга наблюдателя испускать сильный электрический сигнал на той же частоте. Если переключить внимание на световые вспышки на частоте 17 герц, изменится и частота сигналов, которые фиксируются с помощью ЭЭГ.
В свою очередь, транскраниальная магнитная стимуляция возбуждает электрическую активность в специфических областях мозга. Например, магнитный импульс, посланный в затылочную кору, вызывает у человека фосфен (зрительное ощущение, возникающее без воздействия света на глаз) в виде вспышки света. Используя оба этих инструмента, можно посылать и получать сигналы из мозга и в мозг.
Сама схема подобной передачи сигнала тоже применялась не впервые: пять лет назад те же Раджеш Рао и Андреа Стокко сыграли по сети при помощи интерфейса «мозг-мозг». В этот раз ученые впервые провели эксперимент с тремя участниками-людьми, таким образом реализовав обещанный ими интерфейс BrainNet. В этом эксперименте было два «отправителя» и один «получатель». Каждый сидел в отдельной комнате и не общался с другими. Перед каждым находился монитор с игрой вроде «Тетриса»: с верхней части экрана падал блок, который должен был попасть в соответствующий паз в нижней части экрана. Блоки были двух видов: те, которые нужно повернуть на 180 градусов, чтобы они встали в паз, и те, которые поворачивать не надо.
Два отправителя с закрепленными на их головах электродами для ЭЭГ смотрели на экран игры «Тетрис». Им нужно было решить, нужно повернуть фигуру или нет, и передать эту информацию третьему члену группы. Контролировать сигнал можно было, взглянув на один из светодиодов, установленных по сторонам от экрана: один мигал с частотой 15 герц, второй - с частотой 17 герц. Взгляд на 15-герцовую лампочку (который считывался на ЭЭГ) означал «надо повернуть», взгляд на другую - обратное.
Получатель, к которому прикреплена и ЭЭГ, и ТМС, имел другое задание. Он видел только верхнюю часть экрана с падающими блоками, но не знал, надо ли их вращать, чтобы они правильно вставали в паз на дне игрового экрана. Но с помощью ТМС он получал сигнал от каждого отправителя. Преобразованный на стороне получателя сигнал «вращай» состоял из единичного фосфена.
Так выглядел интерфейс, при помощи которого отправитель слал партнеру по игре сигнал. Источник: Linxing Jiang et al. / arXiv
Так выглядели игровые экраны, на которые смотрели получатель (слева) и отправители (справа). Источник: Linxing Jiang et al. / arXiv
Получив данные от обоих отправителей, получатель выполнял действие. Но главное в том, что игра позволяет еще один раунд взаимодействия: отправители видят падающий блок, поэтому могут определить, сделал ли получатель правильное действие, и передать ему следующую команду к действию в следующий раунд коммуникации. В некоторых испытаниях исследователи намеренно меняли информацию от одного из отправителей, чтобы посмотреть, сможет ли получатель определить, стоит ли ее игнорировать. Так в эксперименте появляется элемент ошибки, часто присутствующий в реальных социальных ситуациях.
У экспериментаторов было пять таких групп, которые справились с заданием с довольно высокой точностью - 81,25%. Авторы эксперимента считают, что у технологии большие перспективы. «Основанный на облачной технологии интерфейс „мозг-мозг“ может передавать информацию от любого набора устройств в интерфейс „мозг-мозг“ и делать возможным глобальное взаимодействие между мозгами через интернет», - пишут Стокко и коллеги.
Как пишут в статье ученые, интерфейсы «мозг-мозг» интересуют их с точки зрения расширения возможностей человеческой коммуникации. Кроме уже упомянутого эксперимента в 2013 году, эти же исследователи объединили через нейроинтерфейс двух людей для игры в некоторое подобие «шляпы». Один испытуемый видел объект, а другой на экране монитора задавал ему закрытые вопросы о том, что первый видит. «Зрячий», соответственно, мог мысленно ответить «да» или «нет» с помощью все того же взгляда на мерцающую лампочку и ЭЭГ и послать ответ, соответственно, с помощью ТМС. Ученые признают, что тогда уровень интерактивности был минимальным: отправитель только отвечал на вопросы получателя, чьи действия на решения отправителя не влияли, к тому же для взаимодействия использовалась компьютерная мысль, так что это не была передача сигналов напрямую от мозга к мозгу в полном смысле слова. В новом эксперименте эти ограничения были сняты.
Что дальше? Сами исследователи, во-первых, собираются увеличить пропускную способность канала передачи информации. Все-таки один бит за раз - это слишком мало. Для этого предполагается использовать функциональную МРТ. Исследования с одновременным применением ЭЭГ и фМРТ уже ведутся. Во-вторых, можно попробовать стимулировать с помощью ТМС другие области коры мозга, отвечающие за более сложные вещи, например понимание семантики. В-третьих, можно продолжить изучать нейрокоммуникации с элементами ошибки - например, когда отправитель действует в условиях недостатка информации, рассеянного внимания или даже исходя из злого умысла.
Это передача мысли или нет?
То, что при помощи системы ЭЭГ и ТМС можно передать визуальный сигнал от одного человека другому, в некотором смысле не совсем передача мыслей. Нет никаких сомнений, на подобных принципах можно организовать среду для коммуникации, но эксперименты с BrainNet - это скорее изобретение уровня сигнальных костров, которыми пользовались еще в древние времена: вы предварительно договариваетесь о значении простого сигнала и можете использовать потом подобную однобитную систему для узких целей. А что же с передачей мыслей?
- Да, тут действительно пока еще нет неосознанной компоненты и какой-то сети из мозгов, которая, на мой взгляд, подразумевает, что активность одного мозга наводит каким-то образом такой контекст в активности другого человека, что он становится склонен к определенного рода решениям, - признает Алексей Осадчий, директор Центра биоэлектрических интерфейсов НИУ ВШЭ.
По словам Осадчего, если говорить именно о передаче мыслей, то гораздо интереснее в этом смысле эксперимент, проведенный в 2014 году на крысах. Тогда животных соединяли в пары, вживляя каждой в мозг специальный чип. Одной крысе предлагалось нажать на левый или правый рычаг в зависимости от того, какой светодиод горит. Электрическая активность моторной коры животного записывалась, преобразовывалась в серию сигналов и передавалась другой крысе на имплантат, стимулирующий ту же область мозга. В результате у второй крысы как бы формировалась склонность нажимать на тот же самый рычаг, что и ее компаньонка.
- Настоящая связь [мозг-мозг] позволяет состояние одного мозга передать в другой, который бы при этом ничего не осознавал, или у него бы возникал осознанный, но неожиданный образ, - говорит ученый. - Кроме того, настоящая связь станет возможной, когда один мозг «поймет», что у него есть компаньон! Как только мозг это поймет и примет, он начнет предсказывать состояние своего компаньона, второго мозга. И вот тут уже мы сможем говорить действительно о сети мозгов, о каком-то новом качестве, возникающем вследствие объединения мозгов. Это тот шаг, который позволил бы пойти в направлении создания супермозга, который бы мог решать сложные задачи, чтобы один мозг создавал нетривиальный контекст другому мозгу. И все это происходило бы подсознательно, так же, как к нам подсознательно приходят какие-то мысли, - считает ученый.
Но взаимодействие подобного уровня, не отрицает Осадчий, намного более сложная система, и на данном этапе развития технологий перед исследователями стоят препятствия. Во-первых, технологические: ученые до сих пор не знают, как именно взаимосвязана работа миллиардов нейронов в мозге и как, соответственно, декодировать и передавать их сигналы в другой мозг не посредством фосфеновых вспышек, которые человек сначала осознает, а потом принимает какое-то решение, а на уровне прямых побуждений, мыслей и образов. С этим связано второе ограничение - этическое, о котором уже пора задумываться.
- Потому что идея о том, что чей-то мозг создает вам bias (предвзятость, когнитивное искажение - прим. «Чердака») в принятии какого-то решения - это как-то не очень уютно, - говорит исследователь. - Если спросить философов, то они начнут говорить: «А вот вы вставили железку в мозг, а человек с этой железкой совершил преступление. И откуда мы знаем, виноват человек или железка?» И в чем-то они правы. Это вопрос не только для философов, но и правовой, потому что, если «железка» вдруг «сойдет с ума» и начнет продуцировать определенные импульсы, которые делают человека, например, более рискованным или более раздражительным, и он в таком состоянии кого-то убьет, это будет вина человека или «железки»?
Евгения Щербина