Видеть языком. Разговор с нейрофизиологом
Уже многие знают про существование прибора, с помощью которого слепые могут видеть языком. Прибор получил название BrainPort. В основе этой технологии лежат идеи Пола Бах-у-Рита (Paul Bach-y-Rita), американского нейрофизиолога, всю жизнь изучавшего феномен пластичности мозга.
Вместе с Бах-у-Рита в университете штата Висконсин (США) бок о бок работал Юрий Петрович Данилов, специалист по сенсорным системам человека. Их сотрудничество и привело к появлению BrainPort. К сожалению, Бах-у-Рита скончался в 2006 году. Но Данилов продолжает его дело. В настоящее время он проводит фундаментальные и клинические исследования, занимается развитием технологии сенсорного замещения. BrainPort теперь используется не только для восстановления зрения, но и в различных случаях нейрореабилитации. Например, когда у человека нарушена координация движений, чувство равновесия, речь и проч. Причем, насколько я понимаю, потенциал применения тактильной электростимуляции не только не исчерпан, но еще до конца не изучен.
Совсем недавно Данилов на несколько дней приезжал в Москву. Я встретился с ним, и он рассказал мне любопытнейшие вещи про языковое зрение слепых. Официальную версию интервью можно прочесть здесь. В силу требований объема его пришлось немного сократить, поэтому для желающих выкладываю полный текст под катом.
* * *
Разговор наш состоялся в Центре патологии речи и нейрореабилитации (ЦПРиН). Прежде чем приступить к вопросам, я присутствовал на мастер-классе, который Данилов проводил для собравшихся в аудитории врачей. Он работал с больной девушкой, используя модификацию BrainPort без камеры. У девушки, совсем еще молодой, была нарушена способность сохранять равновесие. Двигалась она неуверенно и с проблемами, речь была затруднена. Ей подключили прибор, стимулируя верхнюю поверхность языка. В то же самое время Данилов просил ее выполнять определенные физические упражнения. Затем девушку поставили на специально неустойчивый матрас, чтобы она пыталась с закрытыми глазами держать равновесие, в то время как идет электростимуляция. Данилов все 20 минут стоял рядом, подбадривая ее и обеспечивая страховку на случай, если девушка начнет падать.
Было видно, что Юрию Петровичу не привыкать общаться с пациентами. Делал он это легко и в то же время бережно. Разумеется, за одно занятие прогресс заметить трудно, но мне показалось, что у девушки после электростимуляции немного «отпустило» руки - вначале они были полусогнуты и развернуты не совсем естественным образом. Она стала громче говорить. И простояла все 20 минут, как положено.
Потом аналогичное занятие было с парнем, имевшим те же проблемы. На самом деле, я видел лишь один день, а Данилов продолжил работу с этими же пациентами и в последующие дни. Идея метода заключается в том, что при стимуляции языка стимуляцию получает весь мозг. Если в этот момент давать организму конкретную физическую нагрузку, то системы, задействованные в движениях, начинают восстанавливаться.
Данилов Юрий Петрович - нейрофизиолог с более чем 30-летним опытом исследований функций головного мозга и сенсорных систем, включая зрение, вкус, слух, тактильную и вестибулярную систему. Доктор Данилов является первооткрывателем продолженных эффектов электротактильной стимуляции языка и разрабатывает новые эффективные клинические приложения неинвазивной нейромодуляции и технологии сенсорного замещения. Ю. П. Данилов защитил кандидатскую в области нейрофизиологии зрения в 1984 году в институте физиологии им. И.П. Павлова АН СССР. Был одним из основателей и директором клинических исследований в Wicab. Inc., где руководил концептуальным развитием систем BrainPort Vision и BrainPort Balance, а также их клиническими испытаниями. В настоящее время является научным руководителем Лаборатории тактильной коммуникации и нейрореабилитации (TCNL) Университета штата Висконсин (США). В сферу его интересов входят исследование нейропластичности, разработка практических методов нейрореабилитации для травм мозга, рассеянного склероза, инсультов, болезни Паркинсона, расширение возможностей сенсорных систем человека.
Если не секрет, какова основная цель вашего октябрьского визита в Москву?
Было несколько причин. С одной стороны у меня еще остались друзья, коллеги здесь. Наша технология распространена более чем в 20 странах мира, и поэтому не привести ее в Россию… как-то за державу обидно, что называется. В то же время я прекрасно понимаю, что эта технология совершенно бесконечная, бездонная для научных исследований, поскольку это не просто терапевтический прибор, это в то же самое время прибор для исследования мозга. Правда, донести эту мысль непросто. То есть я это понимаю, мои коллеги это понимают. В Америке объясняешь это врачам - их интересует практический выход. Я учился и работал в Российской академии наук много лет, поэтому я прекрасно представляю, что такое новый неинвазивный инструмент для исследования человеческого мозга. Например, почему приборы магнитного резонанса стали такими популярными? Потому что появилось средство исследовать живой человеческий мозг. Нашу технологию не хочу напрямую сравнивать, но по возможностям исследования эта технология не менее важна.
Поэтому я стремился и стремлюсь найти людей, которые бы заинтересовались использованием этой технологии для исследований. К сожалению, в России сейчас, так же как и во всем мире, всех интересует практический выход, очень многих интересует коммерческий выход, и практически никого не интересует академический выход. Что мне по-прежнему обидно.
Я пытаюсь вести исследования сам насколько могу, но пока во всем мире три или четыре человека, которые меня в этом поддерживают. Мне все время приходится в любой стране, в любой клинике, по любому заболеванию сталкиваться с одной и той же последовательностью проблем. Первое, надо найти людей, которые скажут: хорошо, хотел бы послушать хотя бы, о чем это все. Язык? Издеваетесь? Когда я объясняю, что мы сделали прибор, который позволяет слепым видеть языком, народ смеется. Я сам смеялся.
Но я думаю, что ситуация изменится скоро.
Это же реальное научное и техническое достижение, как оно может быть не интересным?
Рассказываю. Сначала мы обращались в исследовательский институт при всероссийском обществе слепых. Когда там узнали, что зрение через язык, они сказали, что мы на больных делаем деньги. Хотя о деньгах вообще речи никакой не было. Два прибора за свои деньги купили, привезли сюда. В Воскресенске находится одна из школ для адаптации слепых. Очень хорошая школа, реально хорошо исследуют. Это 120 км от Москвы, так что мы три дня подряд в шесть утра вставали, туда к девяти приезжали. Весь день пытались объяснить, заинтересовать людей. В итоге там сказали «нам это не интересно». Занятная деталь: нас угощали чаем, и потом мы окольными путями через других узнали, что нас обвинили в том, что мы объедаем слепых.
Но ведь это не кот в мешке, это работающая технология, в эффективности которой любой может убедиться, хотя бы просто посмотрев ролики в youtube… Как тот же слепой скалолаз Erik Weihenmayer читает буквы, лезет по вертикальной стене.
Про это тоже можно говорить долго и упорно, потому что много вещей, которые там показаны, даже близко не дотягивают до перспектив. В роликах не видно перспектив. А прибор в том состоянии, что сейчас существует, один из простых. У нас было семь поколений придумано после этого. Но так получилось, что мы сейчас не можем этим заниматься, это уже акулы капитализма сработали. Сейчас военные упорно исследуют это в Англии и Америке для того, чтобы помочь солдатам, которые возвращаются из Ирака и Афганистана. Как раз для слепых. Есть еще более сложные случаи, когда они слепые и еще глухие - для них это просто единственный источник информации. Это еще более сложная вещь. Я могу долго рассказывать про то, что такие люди способны делать с помощью прибора, то, что вы в роликах не увидите. Потому что объяснений этому даже научных нет. Они каким-то образом чувствуют объем. Например, есть такая штука, когда слепой бросает мяч в корзину. Ведь он же чувствует расстояние. У нас для этого два глаза. У него один язык - как он чувствует расстояние?
Тот самый скалолаз, тестируя самый первый прибор, еще Пол был жив, пошел по коридору и почувствовал дверь. Вот так подходит, проводит рукой в дверной проем и говорит: I feel depth in this little tiny nothing. Это его слова - я чувствую глубину в этом маленьком ничто. Вот как он чувствует глубину? Я не знаю. Никто не знает. Но они чувствуют и пользуются. Что это такое? Это вообще вопрос, как человек ощущает трехмерный мир в данной ситуации. То есть там загадки на загадке. Я могу привести с десяток таких ситуаций, где я пас объяснить, как такое возможно. Либо у мозга ресурсов намного больше, чем мы ожидаем, и возможности для анализа информации намного более мощные, чем мы думаем. Либо это что-то неизвестное вообще, в принципе.
Основоположником технологии сенсорного замещения фактически был Пол Бах-у-Рита. Как он вообще пришел к мысли, что кожей можно видеть?
Для этого нужно читать его биографию. Она, к сожалению, полностью не опубликована. Если вы посмотрите книгу «Пластичность мозга», которая в этом году переведена на русский язык, там в первой главе про него много пишется. В книге есть, по-моему, объяснение и рассказ об этом. Но у человека так голова была устроена. Вот ему пришло в голову так. Он взял простые вещи. Он посмотрел, что спайки всюду одинаковы. Язык мозга универсален. Все сенсорные системы разговаривают с мозгом на одном и том же языке. Проблема, как записать информацию. Через тот же зрительный прибор, если чуть-чуть открыть рамки, например, нормальному человеку можно подключить инфракрасную камеру, или ультразвук, или датчики радиации. То есть BrainPort становится универсальным прибором. Там не просто шестое чувство, можно до 36-го чувства дойти. Например, в компьютерных играх подключить long-range radar, чтобы чувствовать, что у тебя за спиной. У нас есть прибор, когда мы учили подводников плавать с закрытыми глазами, потому что это практически невозможно. А задача такая существует. Аквалангист в воде, в которой он ничего не видит, не может плавать. Мы поставили магнитный компас и глубокомер. Человек языком чувствует направление по компасу, корректирует свое движение. И глубину, и направление влево-вправо.
Я так понимаю, DARPA интересуется данной технологией?
DARPA была первой организацией, которая спонсировала прибор для навигации подводников. В DARPA про это знают, и думаю, что они сами этим занимаются, исследуют. Просто не говорят на эту тему. Там работают очень, очень хорошие специалисты. Мы с ними разговаривали несколько раз и, судя по тому, какие они вопросы задают, они относятся к этому очень серьезно. Но администрация DARPA по-прежнему считает, что это science-fiction. Мы туда подали в 2004 году проект из 23 или 24 независимых идей, как это можно использовать для коммуникации, навигации. Например, пожарникам в задымленном помещении. То же ведь проблема, правильно? Подводникам в мутной воде и прочее. Много можно представить ситуаций, где это может быть полезно, а может быть и жизненно необходимо. Мы прошли, по-моему, 14 ступеней отбора, пока не дошли до финала. И в самом финальном варианте нам сказали: нет, слишком уж выглядит как science-fiction. Но дали деньги на вот этот прибор для подводников. Я почему знаю, потому что мы его сделали и попробовали. Те же самые Navy SEALs во Флориде его испытывали.
Но там вышла очень неприятная история с несколькими звеньями. Посредник-коллаборатор, который согласился с нами участвовать в разработке, не совсем правильно себя повел… Однажды звонит мне приятель и спрашивает: ты знаешь, что про вас Al-Jazeera написала? Присылает мне ссылку. Я смотрю на сайт Al-Jazeera, а там такая кобра стоит с языком, и написано, что американцы делают супер-солдат. То есть коллаборатор сдал журналистам весь наш проект, все 24 проблемы. Чтобы таким образом создать себе паблисити. Никого не спросил, никому не сказал. Соответственно, DARPA была возмущена, мы были возмущены, но уже без толку. В газеты это просочилось. Это, может быть, один из факторов, почему про это больше никто не говорит. Как хочешь это понимай, но поскольку я уже в этих играх не играю, у меня информации доскональной нет. Единственное я знаю, что компания, которая производит BrainPort, получила на прошлой неделе 3.2 млн. долл. от военных для развития систем протезирования для слепых, для солдат.
Можно ли указать естественный предел для языка в качестве органа зрения? Какого разрешения картинки, в принципе, можно добиться?
Вопрос абсолютно справедливый, волшебное слово сказано, «разрешение». Давай поговорим на эту тему. Каждый раз, когда мы говорим про зрение, всех интересует, какая матрица. Исходно у нас была матрица 12х12, сейчас она 20х20. То есть сейчас 400 электродов на этой площадке. Народ спрашивает, как же быть с остротой зрения. У человеческого зрения 250 млн. рецепторов, как вы их заменяете четырьмястами электродами? Какое же там разрешение, какая же там острота зрения может быть. Вы что, смеетесь? Тут есть несколько вариантов ответа. Первый ответ чисто физиологический. На самом деле у нас зона максимально острого зрения размером чуть больше пятирублевой монеты. Все остальное - это низкочастотное зрение. Но мы на это не обращаем внимания. У нас подавляющая часть поля зрения - очень грубые, большие рецептивные поля. Другое дело, что мы все время двигаем глазами, и область максимального зрения таким образом расширяется. Вот чуть сбоку висит плакат. Если смотреть прямо, на меня, можешь сказать, что на плакате изображено?
Нет, у меня размытое изображение.
Деталей не видно, лишь видно, что что-то есть. То есть у тебя низкая частота проходит, а высокая нет. Но человеку этого хватает, ему это жить не мешает, правильно? Я хочу сказать, что большинство информации в поле зрения - низкочастотная. То есть высокое разрешение для всего поля зрения не нужно. Это как бы первый комментарий, насколько вообще нужна острота зрения, для того чтобы читать, узнавать лица, что еще… ну наслаждаться природой, может быть. Хотя наслаждаемся мы в основном низкочастотными каналами. Иными словами, ситуации, где нужно действительно высокое разрешение, высокая частота, они достаточно ограничены.
Второй момент, естественный предел. По моим подсчетам, для того чтобы совпасть по разрешению с матрицей языка, на той же площади должно быть 50 на 50. Это мой расчет, собственный, тактильного разрешения языка.
Если добавить больше, он уже будет путать?
Что будет, если сделаешь больше, другой вопрос. Технически сейчас в мире нет ни одной компании, доступной, не военной, которая могла бы сделать матрицу лучше, чем 20 на 20. Делали матрицу 25х25, то есть 625 элементов, но при этом уже 20 % электродов были нерабочие. Потому что требуется очень тонкий монтаж. То есть физически сделать стопроцентно работающую матрицу лучше чем 20 на 20 не может никто. Плюс дальше идут ограничения компьютерные. Сейчас там стоит микрочип, микропроцессор, который оперирует матрицей 400 электродов. А если сделать 50х50, то получится 2,5 тысячи электродов! Мощность процессора, который оперирует такой матрицей, должна быть существенно выше.
Физиологический предел, оптимальный по моим расчетам, 50х50, технически пока недостижим. Но даже если такую матрицу сделают, это не будет означать, что предел возможностей достигнут. К примеру, в зрении человека есть такой феномен как сверхострота, hyper acuity. Расстояние между фоторецепторами у человека 30 угловых секунд. Когда мы у оптометриста проверяем зрение, вторая строчка снизу как раз рассчитана на матрицу рецепторов с шагом 30 угловых секунд. Точность, с которой человек, скажем, устанавливает нониус на штангенциркуле, 4 секунды. То есть мы решаем задачу при низкой матрице рецепторов с гораздо более высокой точностью. Это называется верньерная острота зрения. А если взять специальным образом поставленные психофизические задачи, то человек показывает, что он способен определять смещение объекта с точностью до восьми сотых секунды! То есть понятие остроты зрения является не очень жестким, скажем так. Есть целая группа феноменов, когда мы даже с нашим зрением решаем задачи намного более сложные, чем предел Найквиста, так называемый физический предел. Соответственно это значит, что даже при низкой решетке мы можем решать задачи с более высоким разрешением.
В качестве примера приведу ситуацию, которую я не могу объяснить. Первый мой слепой, с которым мы начали работать с новой моделью BrainPort-а, однажды пришел неожиданно попрактиковаться с прибором. У меня ничего не было из предметов для занятий, и я начал с ним работать, используя теннисный мячик. То есть на черном столе я кладу мячик, он должен его найти. Чтобы определиться с полем зрения, ему нужно понять, как выглядит рука, чтобы не путать с объектом. Самые вводные информационные процедуры. На следующий день я купил уже кучу других мячиков, больших, маленьких, с дырками и без дырок. И мы занимались где-то недели две-три. Потом прекратили, а через месяц приехали телевизионщики из Германии, захотели снять эпизод про наших слепых. И я позвал этого пациента. Приходит он, садится. Телевизионщики камеру готовят, а я рядом с ним высыпаю коробку всяких разных мячиков. Теннисный мячик к нему выкатывается и останавливается. Пациент, абсолютно не задумываясь, замечает: ой, вот мой теннисный мячик. Вот как он смог через месяц, работая с большим количеством мячиков того же размера - они все были приблизительно одинаковыми - определить с одного взгляда (если это взглядом можно назвать, он от рождения слепой), что это его теннисный мяч?
То есть вы полагаете, он видел даже текстуру?
Я не знаю, как. Вот в этом у меня вопрос. Потому что с точки зрения матрицы или как ты говоришь разрешения, весь мячик - это три или четыре электрода возбужденных. Это некое пятно, причем с довольно размытыми границами. Я, глядя на картинку, не могу сказать, что это мячик. Потому что у меня на компьютере видно, что у него на языке и что видеокамера передает, я это контролирую. Если я не вижу разницы, как он увидел разницу, как он ее почувствовал? И вопрос здесь даже не в остроте зрения, а в каких-то других более изощренных механизмах. Масса вещей, которые даже не исследованы. Даже с той информацией, что сейчас прибор передает, например, человек может определить, улыбаюсь я или нет. Это с матрицей 12 на 12! Кроме того, у них есть функция, которой нет у нас. В BrainPort есть зум. Это для них игрушка, с которой они все время балуются.
Там еще целая проблема понять, что он тебе говорит. Когда слепой от рождения говорит «я вижу», он что на самом деле чувствует? Он использует глагол «вижу», а на самом деле что он чувствует, как передать его ощущения? И когда ты начинаешь спрашивать, а как ты это все делаешь, он начинает использовать слова, но понять, что он под этим подразумевает, очень сложно. Это вообще отдельная проблема, пытаться понять, что они тебе говорят. Они все используют слово «вижу», никто не говорит, что чувствует. От рождения слепой взял BrainPort, через пять минут говорит: я вижу. Как, если он не знает, что такое видеть.
Сколько времени у новичка займет процесс работы с BrainPort, чтобы он начал хоть что-то видеть?
Минуты. У него появляется ощущение. Давай сразу определимся. Это не зрение. На самом деле все гораздо более запутанно. Есть одна статья, опубликованная в журнале Brain 2005 года, автор Maurice Ptito. Он сделал PET scan на нормальных людях и слепых. До стимуляции и после. И показал, что в первый раз стимуляция языка возбуждает моторную кору. Там где это должно быть, вокруг центральной извилины, где находится проекция языка. Задача у испытуемых была в том, чтобы научиться различать ориентацию букв на языке. Через неделю тренировки он повторил скан, и выяснилось, что у нормальных людей проекция языка осталась там же. А у слепых включился зрительный отдел.
То есть в процессе использования прибора возбуждается зрительная кора?
Да, поэтому есть соблазн сказать, что это зрение. Потому что с одной стороны поведение выглядит как решение зрительных задач, другого лучшего слова не подберешь. С другой стороны активируется зрительная кора. Единственное, что информация прошла не через глаз, а через язык. Поэтому нам надо переосмыслить определение зрения. Хотя - возвращаемся к семантике - что значит у слепого видеть? Он не знает, что это такое от рождения. У него появляются некие ощущения, назовем их так осторожно, с помощью которых он может ориентироваться в пространстве, находить объекты, узнавать эти объекты, может быть, определять расстояние и выполнять определенные зрительные функции, например, найти чашку на столе, найти чайник, налить. Является ли это в полноценном смысле зрением - наверняка нет. Но это некая функция, которая замещает зрение, позволяет выполнять задачи, которые нормальный человек выполняет зрением. Но является ли это само зрением - вопрос философский. Все упирается в определение.
А проверяли, можно ли вызвать у использующих BrainPort зрительные иллюзии?
Этот вопрос мы долго обсуждали. Есть иллюзии. Так называемый фи-феномен, но нужно долго про него рассказывать. Аналоги зрительных иллюзий в электротактильных ощущениях есть. Вопрос в том, чтобы создать эти иллюзии, нужно подбирать определенные параметры. То есть можно создать иллюзию, она будет, и во многих смыслах.. По моему собственному убеждению эта система превращается если не в непосредственно зрение, то во что-то, может быть, совершенно новое. Передать мои интуитивные ощущения очень сложно… Приведу пример. Для того, чтобы научить людей различать объекты мы повесили липучий экран на стену и стали на черном фоне приклеивать белые объекты.
Геометрические фигуры?
Ну да, круги, квадраты, треугольники. Для начала человеку нужно какой-то опыт приобрести. Потому что была такая ситуация - я взял и прилепил бублик. А в словаре пациента не оказалось такого объекта. То есть в этих ощущениях он не мог сказать. Треугольник он приблизительно понял, квадрат понял, а бублик нет, до тех пор, пока рукой не пощупал. Мы обязательно ввели правило, что сначала слепой должен попробовать весь алфавит объектов, которые есть, а потом только он будет их опознавать. И пока он не потрогает, у него не щелкает, что он ощущает и с чем это связано. Это отдельная стадия обучения, сама по себе очень интересная, как человек учится совершенно новые формы узнавать.
Одним словом, затем мы приклеили палку. С моей точки зрения я сделал ее максимально горизонтальной. Дальше я смотрю в видеокамеру и снимаю то, что пациент говорит. А он говорит - она наклонена влево. Я смотрю через видеокамеру, для меня горизонтально. Он говорит: нет, наклонена влево. Мы действительно потом выяснили, что просто я с того угла, с которого смотрел, не видел наклон. Когда я встал на его место, я заметил, что она чуть-чуть наклонена влево. Но наклон там был градуса три, наверное. Он это уловил при условии, что у него на голове была вэб-камера, и она еще криво сидела. Как он, несмотря на эти искажения, неточности, деформации и т.д., каким образом он ухитрился правильно оценить отклонение этой линии от горизонтали, я не понимаю.
Какая у него была матрица?
Да 12х12, мы еще с первым прибором работали. Я почему и говорю, что аналитическая часть этого процесса даже на один процент не изучена. Они показывают такие феномены, которые в зрении без высокого разрешения не решаются. А они их решают. То ли они воспринимают это каким-то другим способом, то ли используют другой алгоритм анализа информации. Но задачу они решают. Поэтому я говорю, что может, это не зрение как таковое, может это что-то другое, что замещает зрение. То, чему у нас нет ни определений, ни описаний, ни понимания механизмов обработки информации. Ведь человек чем страдает - тем, что он всегда навязывает антропоморфический подход. Когда мы говорим про животных, мы почему-то считаем, что они как человек, и разговариваем с ними как с людьми. Например, с собаками, с кошками. Хотя мы же понимаем, что они не люди. Мы не знаем, что у них в голове крутится, но почему-то нам привычней считать, что они почти как маленькие люди, только более простые. Хотя никто это не доказал и никто этого не знает, что там происходит. Но мы привыкли это решать таким образом. Поэтому когда человек пришел к выводу, что, замещая зрение, он восстанавливает зрение, на самом деле это может быть и не совсем так. Может быть это что-то другое.
То есть какой-то отдельный феномен, который в обычных условиях не проявляется. Только в критических ситуациях.
Да. Чтобы честно ответить на этот вопрос, я не знаю. Я могу пофантазировать. Потому что есть много вещей, которые не вписываются в мое понимание зрительной системы, а я 35 лет занимался изучением зрительной системы, поэтому знаю, о чем говорю. Я работал в лаборатории физиологии зрения в институте физиологии им. И.П. Павлова РАН. Работал долго.
А как объяснить, почему мозг начинает интерпретировать тактильный сигнал как визуальную информацию?
Можно задать такой же вопрос слепым, которые ходят с палочкой. Ведь они палочку в руке чувствуют только первые дни. Потом они перестают чувствовать палочку в ладони, они строят картинку в голове, опираясь на точку на конце палочки. Мозг анализирует информацию, а дальше интерпретирует для решения какой-то задачи. То есть то, что у нормального человека решается с помощью зрительной системы, у людей с BrainPort решается мозгом. Задача стоит такая же, что и перед человеком видящим. Найти чашку на столе. Для этого нужно понять ощущение тела в пространстве, понять, где находится рука, где находится объект. Тут же задействуются и слух, и проприорецепция, и вестибулярный аппарат, вектор тяжести и прочее. То есть все участвует в построении ощущения пространства и нашего положения в нем. Зрение говорит, что объект находится в этом угловом положении, на таком-то расстоянии. Тебе нужно протянуть руку именно на это расстояние и здесь его взять, это пространственная геометрия. В ситуации с BrainPort слепой человек удивительным образом, очень быстро определяет, что вот это ощущение дает ему положение объектов в пространстве и свое положение относительно объектов.
У меня есть видеоклип, когда лежат три шарика, два целых, а один с дырками. Я прошу слепого сначала найти целые шарики. Он берет целый шарик, я говорю: теперь возьми второй целый шарик. И он руку переносит автоматически, то есть для него геометрия пространства уже в голове сформировалась. Он уже привязал положение руки и положение этого ощущения через язык. Оно встроилось в пространство. И этим занимается не отдельная система, а весь мозг. Просто в этой общей картине место зрительной системы занял BrainPort… Хотелось бы верить, что человек воспринимает плоскость языка как плоскость сетчатки. Но я в этом не уверен.
Но каким образом мозг вообще решает связать стимуляцию языка с ориентировкой в пространстве? Он же может просто воспринять ее как тактильное раздражение и на этом успокоиться.
Так задача стоит. Если это ощущение несет в себе информацию о внешнем мире, мозг пытается ее использовать. Вот перед тобой стол, я на нем положу кусок белой бумаги, закрою тебе глаза и скажу: найди с помощью прибора кусок белой бумаги. Ты начнешь сканировать пространство, ты поймешь, что он где-то в таком положении камеры, где-то вот там. Без подготовки ты сразу не определишь расстояние. Но определить, где он в пространстве находится, ты сможешь совершенно четко. Если пространство ограничено поверхностью стола, который ты уже пощупал, и дальше в этом пространстве появился объект, то ты найдешь его очень легко. Но у тебя будет стоять задача найти объект. То есть должна присутствовать мотивация.
Когда слепой в крестики-нолики играет, это на самом деле я придумал. Очень этим горжусь, потому что никто не подозревал, что слепой с черным фломастером может работать. Они все время путают руку и объект, особенно в начале. Когда в поле зрения появляется рука, это для них не их рука. Нужно специальные упражнения делать, обратить на это внимание, чтобы не путать руку с объектом. И им нужно научиться тому, как выглядит тело, как лицо другого человека выглядит. Тренировка, обучение и мотивация нужны, безусловно. Потому что есть больные, которым это абсолютно все равно, они очень вяло прогрессируют. А есть энтузиасты. Научить читать трехбуквенные слова кого-то практически невозможно, по крайней мере за короткий срок, а кто-то очень быстро учится. Особенно те, кто потерял зрение, уже умея читать. Кстати, сама по себе хорошая задача - можно ли научить слепого от рождения читать.
Ну, азбукой Брейля они читают…
Брейлем да, а я говорю про BrainPort. Потому что там немножко другое. Текст, набранный Брейлем, требует определенной ориентации пальца. Я могу перевернуть этот календарь, и с любого расстояния, под любым углом, и даже с любым шрифтом, совершенно четко скажу, что это цифры 1,2,3,8. Называется это инвариантность восприятия. Она у нас встроена в зрительную, слуховую и другие сенсорные системы. А с тактильной, поскольку она контактная, такое не совсем получится. Если поставить символ Брейля под углом, слепой все равно попробует поймать положение, которое для него правильное. Вот как научить слепого языком читать буквы, я не знаю ответа на самом деле.
Оливер Сакс как-то вспоминал пациента, который признавался, что во время чтения символов Брейля видит точки. То есть какая-то связь тактильной и зрительной системы, видимо, присутствует в мозге.
Уже показано, что все сенсорные системы перекрыты. На самом деле в зрительную кору есть и тактильный вход, и слуховой вход. Они не такие быстрые, но они есть. В последних работах Пол писал об этом, это демаскировка так называемая. Когда возникает необходимость, начинают работать запасные пути. Не что-то новое появляется, а они уже есть, просто не используются. Это одна из гипотез, объясняющая, почему слепой довольно быстро начинает оперировать с этой технологией. Это не что-то необычное, это запасное вдруг начинает работать. Тогда возникает вопрос, для чего мозгу такое количество запасных путей. Это вообще отдельная история, потому что за последние дни перед рождением и первые дни после рождения мы теряем три четверти нейронов. Остаются самые эффективные, неэффективные исчезают. А вот тут выясняется, что что-то на самом деле еще остается. То ли это запасные пути, то ли это запасные системы. Об этом можно только гадать. Потому что за те дни и часы, в течение которых у слепых, например, в экспериментах Ptito, информация перешла из центральной извилины в зрительные области коры - за это время ничего нового вырасти не могло. Но кто и как переключил, правильный вопрос задан. Ответа я не знаю. Поэтому оно и требует исследований академических, чтобы понять, что происходит и как происходит.
На ваш взгляд, есть тут какое-то отдаленное сходство с синестезией, или это по природе своей разные феномены?
По синестезии очень рекомендую послушать лекции В. Рамачандрана. Он сам по себе человек просто фантастический, энергичный. И мы были даже на одной конференции, правда, обсудить ничего не успели. Он объясняет синестезию анатомически, что есть для этого анатомический субстрат. Но в таком случае это скорее инцидент, чем правило. То, что мы имеем в виду, совершенно из другой оперы. Это некие неиспользуемые механизмы. Это, скажем так, процесс, нечто скорее функциональное, чем анатомическое.
В каком статусе сейчас находится BrainPort, на стадии клинических испытаний или уже идет речь о розничных продажах?
Я вообще не думаю, что он поступит в розницу. Это уже законы капитализма. Я думаю, все начнется с того, что будут спецзаказы для конкретной группы больных. Хотя компания по-прежнему пытается получить разрешение на продажу, но будет ли она продавать, я не уверен. Потому что с одной стороны это слишком дорого, я считаю. Для того, чтобы он стал доступен, реально использовался в жизни слепых, надо еще работать, работать и работать. То есть улучшать и улучшать. У нас есть идеи, например, как передавать цвет. У нас есть идеи, как передавать стереоизображение. У нас есть идеи, как встроить в BrainPort модули, разработанные для зрения робота. Масса вещей, которые можно улучшить. Например, задача для слепого на улице - увидит ли он машину. Когда он улицу переходит, встает непосредственная задача увидеть автомобиль. В принципе он его видит, но только очень близко. А если поставить туда детектор движения, например, то он позволит ему увидеть машину или почувствовать машину, находящуюся намного дальше. Или, например, прибор сейчас работает как контрастное изображение. Чем контрастнее изображение, тем легче человеку ориентироваться. Если мы выйдем на улицу, слепой должен увидеть не только край тротуара, но и менее выраженные переходы яркости. Есть модули для роботов, которые подчеркивают именно границы. Вот их тоже можно в прибор встроить и тем самым существенно улучшить ориентацию людей в реальном мире.
* * *
Что касается других применений BrainPort, рекомендую посмотреть видео доклада, где Данилов подробно рассказывает об этом. В том числе показывает ролики с пациентами до и после терапии. Видео находится здесь (внизу выбрать 06/09/2010 Yuri Danilov)
Бонус:
Shams, L., Kim, R. (2010). Crossmodal influences on visual perception. Physics of Life Reviews -- [PDF]
Вместе с Бах-у-Рита в университете штата Висконсин (США) бок о бок работал Юрий Петрович Данилов, специалист по сенсорным системам человека. Их сотрудничество и привело к появлению BrainPort. К сожалению, Бах-у-Рита скончался в 2006 году. Но Данилов продолжает его дело. В настоящее время он проводит фундаментальные и клинические исследования, занимается развитием технологии сенсорного замещения. BrainPort теперь используется не только для восстановления зрения, но и в различных случаях нейрореабилитации. Например, когда у человека нарушена координация движений, чувство равновесия, речь и проч. Причем, насколько я понимаю, потенциал применения тактильной электростимуляции не только не исчерпан, но еще до конца не изучен.
Совсем недавно Данилов на несколько дней приезжал в Москву. Я встретился с ним, и он рассказал мне любопытнейшие вещи про языковое зрение слепых. Официальную версию интервью можно прочесть здесь. В силу требований объема его пришлось немного сократить, поэтому для желающих выкладываю полный текст под катом.
* * *
Разговор наш состоялся в Центре патологии речи и нейрореабилитации (ЦПРиН). Прежде чем приступить к вопросам, я присутствовал на мастер-классе, который Данилов проводил для собравшихся в аудитории врачей. Он работал с больной девушкой, используя модификацию BrainPort без камеры. У девушки, совсем еще молодой, была нарушена способность сохранять равновесие. Двигалась она неуверенно и с проблемами, речь была затруднена. Ей подключили прибор, стимулируя верхнюю поверхность языка. В то же самое время Данилов просил ее выполнять определенные физические упражнения. Затем девушку поставили на специально неустойчивый матрас, чтобы она пыталась с закрытыми глазами держать равновесие, в то время как идет электростимуляция. Данилов все 20 минут стоял рядом, подбадривая ее и обеспечивая страховку на случай, если девушка начнет падать.
Было видно, что Юрию Петровичу не привыкать общаться с пациентами. Делал он это легко и в то же время бережно. Разумеется, за одно занятие прогресс заметить трудно, но мне показалось, что у девушки после электростимуляции немного «отпустило» руки - вначале они были полусогнуты и развернуты не совсем естественным образом. Она стала громче говорить. И простояла все 20 минут, как положено.
Потом аналогичное занятие было с парнем, имевшим те же проблемы. На самом деле, я видел лишь один день, а Данилов продолжил работу с этими же пациентами и в последующие дни. Идея метода заключается в том, что при стимуляции языка стимуляцию получает весь мозг. Если в этот момент давать организму конкретную физическую нагрузку, то системы, задействованные в движениях, начинают восстанавливаться.
Данилов Юрий Петрович - нейрофизиолог с более чем 30-летним опытом исследований функций головного мозга и сенсорных систем, включая зрение, вкус, слух, тактильную и вестибулярную систему. Доктор Данилов является первооткрывателем продолженных эффектов электротактильной стимуляции языка и разрабатывает новые эффективные клинические приложения неинвазивной нейромодуляции и технологии сенсорного замещения. Ю. П. Данилов защитил кандидатскую в области нейрофизиологии зрения в 1984 году в институте физиологии им. И.П. Павлова АН СССР. Был одним из основателей и директором клинических исследований в Wicab. Inc., где руководил концептуальным развитием систем BrainPort Vision и BrainPort Balance, а также их клиническими испытаниями. В настоящее время является научным руководителем Лаборатории тактильной коммуникации и нейрореабилитации (TCNL) Университета штата Висконсин (США). В сферу его интересов входят исследование нейропластичности, разработка практических методов нейрореабилитации для травм мозга, рассеянного склероза, инсультов, болезни Паркинсона, расширение возможностей сенсорных систем человека.
Если не секрет, какова основная цель вашего октябрьского визита в Москву?
Было несколько причин. С одной стороны у меня еще остались друзья, коллеги здесь. Наша технология распространена более чем в 20 странах мира, и поэтому не привести ее в Россию… как-то за державу обидно, что называется. В то же время я прекрасно понимаю, что эта технология совершенно бесконечная, бездонная для научных исследований, поскольку это не просто терапевтический прибор, это в то же самое время прибор для исследования мозга. Правда, донести эту мысль непросто. То есть я это понимаю, мои коллеги это понимают. В Америке объясняешь это врачам - их интересует практический выход. Я учился и работал в Российской академии наук много лет, поэтому я прекрасно представляю, что такое новый неинвазивный инструмент для исследования человеческого мозга. Например, почему приборы магнитного резонанса стали такими популярными? Потому что появилось средство исследовать живой человеческий мозг. Нашу технологию не хочу напрямую сравнивать, но по возможностям исследования эта технология не менее важна.
Поэтому я стремился и стремлюсь найти людей, которые бы заинтересовались использованием этой технологии для исследований. К сожалению, в России сейчас, так же как и во всем мире, всех интересует практический выход, очень многих интересует коммерческий выход, и практически никого не интересует академический выход. Что мне по-прежнему обидно.
Я пытаюсь вести исследования сам насколько могу, но пока во всем мире три или четыре человека, которые меня в этом поддерживают. Мне все время приходится в любой стране, в любой клинике, по любому заболеванию сталкиваться с одной и той же последовательностью проблем. Первое, надо найти людей, которые скажут: хорошо, хотел бы послушать хотя бы, о чем это все. Язык? Издеваетесь? Когда я объясняю, что мы сделали прибор, который позволяет слепым видеть языком, народ смеется. Я сам смеялся.
Но я думаю, что ситуация изменится скоро.
Это же реальное научное и техническое достижение, как оно может быть не интересным?
Рассказываю. Сначала мы обращались в исследовательский институт при всероссийском обществе слепых. Когда там узнали, что зрение через язык, они сказали, что мы на больных делаем деньги. Хотя о деньгах вообще речи никакой не было. Два прибора за свои деньги купили, привезли сюда. В Воскресенске находится одна из школ для адаптации слепых. Очень хорошая школа, реально хорошо исследуют. Это 120 км от Москвы, так что мы три дня подряд в шесть утра вставали, туда к девяти приезжали. Весь день пытались объяснить, заинтересовать людей. В итоге там сказали «нам это не интересно». Занятная деталь: нас угощали чаем, и потом мы окольными путями через других узнали, что нас обвинили в том, что мы объедаем слепых.
Но ведь это не кот в мешке, это работающая технология, в эффективности которой любой может убедиться, хотя бы просто посмотрев ролики в youtube… Как тот же слепой скалолаз Erik Weihenmayer читает буквы, лезет по вертикальной стене.
Click to viewПро это тоже можно говорить долго и упорно, потому что много вещей, которые там показаны, даже близко не дотягивают до перспектив. В роликах не видно перспектив. А прибор в том состоянии, что сейчас существует, один из простых. У нас было семь поколений придумано после этого. Но так получилось, что мы сейчас не можем этим заниматься, это уже акулы капитализма сработали. Сейчас военные упорно исследуют это в Англии и Америке для того, чтобы помочь солдатам, которые возвращаются из Ирака и Афганистана. Как раз для слепых. Есть еще более сложные случаи, когда они слепые и еще глухие - для них это просто единственный источник информации. Это еще более сложная вещь. Я могу долго рассказывать про то, что такие люди способны делать с помощью прибора, то, что вы в роликах не увидите. Потому что объяснений этому даже научных нет. Они каким-то образом чувствуют объем. Например, есть такая штука, когда слепой бросает мяч в корзину. Ведь он же чувствует расстояние. У нас для этого два глаза. У него один язык - как он чувствует расстояние?
Тот самый скалолаз, тестируя самый первый прибор, еще Пол был жив, пошел по коридору и почувствовал дверь. Вот так подходит, проводит рукой в дверной проем и говорит: I feel depth in this little tiny nothing. Это его слова - я чувствую глубину в этом маленьком ничто. Вот как он чувствует глубину? Я не знаю. Никто не знает. Но они чувствуют и пользуются. Что это такое? Это вообще вопрос, как человек ощущает трехмерный мир в данной ситуации. То есть там загадки на загадке. Я могу привести с десяток таких ситуаций, где я пас объяснить, как такое возможно. Либо у мозга ресурсов намного больше, чем мы ожидаем, и возможности для анализа информации намного более мощные, чем мы думаем. Либо это что-то неизвестное вообще, в принципе.
Основоположником технологии сенсорного замещения фактически был Пол Бах-у-Рита. Как он вообще пришел к мысли, что кожей можно видеть?
Для этого нужно читать его биографию. Она, к сожалению, полностью не опубликована. Если вы посмотрите книгу «Пластичность мозга», которая в этом году переведена на русский язык, там в первой главе про него много пишется. В книге есть, по-моему, объяснение и рассказ об этом. Но у человека так голова была устроена. Вот ему пришло в голову так. Он взял простые вещи. Он посмотрел, что спайки всюду одинаковы. Язык мозга универсален. Все сенсорные системы разговаривают с мозгом на одном и том же языке. Проблема, как записать информацию. Через тот же зрительный прибор, если чуть-чуть открыть рамки, например, нормальному человеку можно подключить инфракрасную камеру, или ультразвук, или датчики радиации. То есть BrainPort становится универсальным прибором. Там не просто шестое чувство, можно до 36-го чувства дойти. Например, в компьютерных играх подключить long-range radar, чтобы чувствовать, что у тебя за спиной. У нас есть прибор, когда мы учили подводников плавать с закрытыми глазами, потому что это практически невозможно. А задача такая существует. Аквалангист в воде, в которой он ничего не видит, не может плавать. Мы поставили магнитный компас и глубокомер. Человек языком чувствует направление по компасу, корректирует свое движение. И глубину, и направление влево-вправо.
Я так понимаю, DARPA интересуется данной технологией?
DARPA была первой организацией, которая спонсировала прибор для навигации подводников. В DARPA про это знают, и думаю, что они сами этим занимаются, исследуют. Просто не говорят на эту тему. Там работают очень, очень хорошие специалисты. Мы с ними разговаривали несколько раз и, судя по тому, какие они вопросы задают, они относятся к этому очень серьезно. Но администрация DARPA по-прежнему считает, что это science-fiction. Мы туда подали в 2004 году проект из 23 или 24 независимых идей, как это можно использовать для коммуникации, навигации. Например, пожарникам в задымленном помещении. То же ведь проблема, правильно? Подводникам в мутной воде и прочее. Много можно представить ситуаций, где это может быть полезно, а может быть и жизненно необходимо. Мы прошли, по-моему, 14 ступеней отбора, пока не дошли до финала. И в самом финальном варианте нам сказали: нет, слишком уж выглядит как science-fiction. Но дали деньги на вот этот прибор для подводников. Я почему знаю, потому что мы его сделали и попробовали. Те же самые Navy SEALs во Флориде его испытывали.
Но там вышла очень неприятная история с несколькими звеньями. Посредник-коллаборатор, который согласился с нами участвовать в разработке, не совсем правильно себя повел… Однажды звонит мне приятель и спрашивает: ты знаешь, что про вас Al-Jazeera написала? Присылает мне ссылку. Я смотрю на сайт Al-Jazeera, а там такая кобра стоит с языком, и написано, что американцы делают супер-солдат. То есть коллаборатор сдал журналистам весь наш проект, все 24 проблемы. Чтобы таким образом создать себе паблисити. Никого не спросил, никому не сказал. Соответственно, DARPA была возмущена, мы были возмущены, но уже без толку. В газеты это просочилось. Это, может быть, один из факторов, почему про это больше никто не говорит. Как хочешь это понимай, но поскольку я уже в этих играх не играю, у меня информации доскональной нет. Единственное я знаю, что компания, которая производит BrainPort, получила на прошлой неделе 3.2 млн. долл. от военных для развития систем протезирования для слепых, для солдат.
Можно ли указать естественный предел для языка в качестве органа зрения? Какого разрешения картинки, в принципе, можно добиться?
Вопрос абсолютно справедливый, волшебное слово сказано, «разрешение». Давай поговорим на эту тему. Каждый раз, когда мы говорим про зрение, всех интересует, какая матрица. Исходно у нас была матрица 12х12, сейчас она 20х20. То есть сейчас 400 электродов на этой площадке. Народ спрашивает, как же быть с остротой зрения. У человеческого зрения 250 млн. рецепторов, как вы их заменяете четырьмястами электродами? Какое же там разрешение, какая же там острота зрения может быть. Вы что, смеетесь? Тут есть несколько вариантов ответа. Первый ответ чисто физиологический. На самом деле у нас зона максимально острого зрения размером чуть больше пятирублевой монеты. Все остальное - это низкочастотное зрение. Но мы на это не обращаем внимания. У нас подавляющая часть поля зрения - очень грубые, большие рецептивные поля. Другое дело, что мы все время двигаем глазами, и область максимального зрения таким образом расширяется. Вот чуть сбоку висит плакат. Если смотреть прямо, на меня, можешь сказать, что на плакате изображено?
Нет, у меня размытое изображение.
Деталей не видно, лишь видно, что что-то есть. То есть у тебя низкая частота проходит, а высокая нет. Но человеку этого хватает, ему это жить не мешает, правильно? Я хочу сказать, что большинство информации в поле зрения - низкочастотная. То есть высокое разрешение для всего поля зрения не нужно. Это как бы первый комментарий, насколько вообще нужна острота зрения, для того чтобы читать, узнавать лица, что еще… ну наслаждаться природой, может быть. Хотя наслаждаемся мы в основном низкочастотными каналами. Иными словами, ситуации, где нужно действительно высокое разрешение, высокая частота, они достаточно ограничены.
Второй момент, естественный предел. По моим подсчетам, для того чтобы совпасть по разрешению с матрицей языка, на той же площади должно быть 50 на 50. Это мой расчет, собственный, тактильного разрешения языка.
Если добавить больше, он уже будет путать?
Что будет, если сделаешь больше, другой вопрос. Технически сейчас в мире нет ни одной компании, доступной, не военной, которая могла бы сделать матрицу лучше, чем 20 на 20. Делали матрицу 25х25, то есть 625 элементов, но при этом уже 20 % электродов были нерабочие. Потому что требуется очень тонкий монтаж. То есть физически сделать стопроцентно работающую матрицу лучше чем 20 на 20 не может никто. Плюс дальше идут ограничения компьютерные. Сейчас там стоит микрочип, микропроцессор, который оперирует матрицей 400 электродов. А если сделать 50х50, то получится 2,5 тысячи электродов! Мощность процессора, который оперирует такой матрицей, должна быть существенно выше.
Физиологический предел, оптимальный по моим расчетам, 50х50, технически пока недостижим. Но даже если такую матрицу сделают, это не будет означать, что предел возможностей достигнут. К примеру, в зрении человека есть такой феномен как сверхострота, hyper acuity. Расстояние между фоторецепторами у человека 30 угловых секунд. Когда мы у оптометриста проверяем зрение, вторая строчка снизу как раз рассчитана на матрицу рецепторов с шагом 30 угловых секунд. Точность, с которой человек, скажем, устанавливает нониус на штангенциркуле, 4 секунды. То есть мы решаем задачу при низкой матрице рецепторов с гораздо более высокой точностью. Это называется верньерная острота зрения. А если взять специальным образом поставленные психофизические задачи, то человек показывает, что он способен определять смещение объекта с точностью до восьми сотых секунды! То есть понятие остроты зрения является не очень жестким, скажем так. Есть целая группа феноменов, когда мы даже с нашим зрением решаем задачи намного более сложные, чем предел Найквиста, так называемый физический предел. Соответственно это значит, что даже при низкой решетке мы можем решать задачи с более высоким разрешением.
В качестве примера приведу ситуацию, которую я не могу объяснить. Первый мой слепой, с которым мы начали работать с новой моделью BrainPort-а, однажды пришел неожиданно попрактиковаться с прибором. У меня ничего не было из предметов для занятий, и я начал с ним работать, используя теннисный мячик. То есть на черном столе я кладу мячик, он должен его найти. Чтобы определиться с полем зрения, ему нужно понять, как выглядит рука, чтобы не путать с объектом. Самые вводные информационные процедуры. На следующий день я купил уже кучу других мячиков, больших, маленьких, с дырками и без дырок. И мы занимались где-то недели две-три. Потом прекратили, а через месяц приехали телевизионщики из Германии, захотели снять эпизод про наших слепых. И я позвал этого пациента. Приходит он, садится. Телевизионщики камеру готовят, а я рядом с ним высыпаю коробку всяких разных мячиков. Теннисный мячик к нему выкатывается и останавливается. Пациент, абсолютно не задумываясь, замечает: ой, вот мой теннисный мячик. Вот как он смог через месяц, работая с большим количеством мячиков того же размера - они все были приблизительно одинаковыми - определить с одного взгляда (если это взглядом можно назвать, он от рождения слепой), что это его теннисный мяч?
То есть вы полагаете, он видел даже текстуру?
Я не знаю, как. Вот в этом у меня вопрос. Потому что с точки зрения матрицы или как ты говоришь разрешения, весь мячик - это три или четыре электрода возбужденных. Это некое пятно, причем с довольно размытыми границами. Я, глядя на картинку, не могу сказать, что это мячик. Потому что у меня на компьютере видно, что у него на языке и что видеокамера передает, я это контролирую. Если я не вижу разницы, как он увидел разницу, как он ее почувствовал? И вопрос здесь даже не в остроте зрения, а в каких-то других более изощренных механизмах. Масса вещей, которые даже не исследованы. Даже с той информацией, что сейчас прибор передает, например, человек может определить, улыбаюсь я или нет. Это с матрицей 12 на 12! Кроме того, у них есть функция, которой нет у нас. В BrainPort есть зум. Это для них игрушка, с которой они все время балуются.
Там еще целая проблема понять, что он тебе говорит. Когда слепой от рождения говорит «я вижу», он что на самом деле чувствует? Он использует глагол «вижу», а на самом деле что он чувствует, как передать его ощущения? И когда ты начинаешь спрашивать, а как ты это все делаешь, он начинает использовать слова, но понять, что он под этим подразумевает, очень сложно. Это вообще отдельная проблема, пытаться понять, что они тебе говорят. Они все используют слово «вижу», никто не говорит, что чувствует. От рождения слепой взял BrainPort, через пять минут говорит: я вижу. Как, если он не знает, что такое видеть.
Сколько времени у новичка займет процесс работы с BrainPort, чтобы он начал хоть что-то видеть?
Минуты. У него появляется ощущение. Давай сразу определимся. Это не зрение. На самом деле все гораздо более запутанно. Есть одна статья, опубликованная в журнале Brain 2005 года, автор Maurice Ptito. Он сделал PET scan на нормальных людях и слепых. До стимуляции и после. И показал, что в первый раз стимуляция языка возбуждает моторную кору. Там где это должно быть, вокруг центральной извилины, где находится проекция языка. Задача у испытуемых была в том, чтобы научиться различать ориентацию букв на языке. Через неделю тренировки он повторил скан, и выяснилось, что у нормальных людей проекция языка осталась там же. А у слепых включился зрительный отдел.
То есть в процессе использования прибора возбуждается зрительная кора?
Да, поэтому есть соблазн сказать, что это зрение. Потому что с одной стороны поведение выглядит как решение зрительных задач, другого лучшего слова не подберешь. С другой стороны активируется зрительная кора. Единственное, что информация прошла не через глаз, а через язык. Поэтому нам надо переосмыслить определение зрения. Хотя - возвращаемся к семантике - что значит у слепого видеть? Он не знает, что это такое от рождения. У него появляются некие ощущения, назовем их так осторожно, с помощью которых он может ориентироваться в пространстве, находить объекты, узнавать эти объекты, может быть, определять расстояние и выполнять определенные зрительные функции, например, найти чашку на столе, найти чайник, налить. Является ли это в полноценном смысле зрением - наверняка нет. Но это некая функция, которая замещает зрение, позволяет выполнять задачи, которые нормальный человек выполняет зрением. Но является ли это само зрением - вопрос философский. Все упирается в определение.
А проверяли, можно ли вызвать у использующих BrainPort зрительные иллюзии?
Этот вопрос мы долго обсуждали. Есть иллюзии. Так называемый фи-феномен, но нужно долго про него рассказывать. Аналоги зрительных иллюзий в электротактильных ощущениях есть. Вопрос в том, чтобы создать эти иллюзии, нужно подбирать определенные параметры. То есть можно создать иллюзию, она будет, и во многих смыслах.. По моему собственному убеждению эта система превращается если не в непосредственно зрение, то во что-то, может быть, совершенно новое. Передать мои интуитивные ощущения очень сложно… Приведу пример. Для того, чтобы научить людей различать объекты мы повесили липучий экран на стену и стали на черном фоне приклеивать белые объекты.
Геометрические фигуры?
Ну да, круги, квадраты, треугольники. Для начала человеку нужно какой-то опыт приобрести. Потому что была такая ситуация - я взял и прилепил бублик. А в словаре пациента не оказалось такого объекта. То есть в этих ощущениях он не мог сказать. Треугольник он приблизительно понял, квадрат понял, а бублик нет, до тех пор, пока рукой не пощупал. Мы обязательно ввели правило, что сначала слепой должен попробовать весь алфавит объектов, которые есть, а потом только он будет их опознавать. И пока он не потрогает, у него не щелкает, что он ощущает и с чем это связано. Это отдельная стадия обучения, сама по себе очень интересная, как человек учится совершенно новые формы узнавать.
Одним словом, затем мы приклеили палку. С моей точки зрения я сделал ее максимально горизонтальной. Дальше я смотрю в видеокамеру и снимаю то, что пациент говорит. А он говорит - она наклонена влево. Я смотрю через видеокамеру, для меня горизонтально. Он говорит: нет, наклонена влево. Мы действительно потом выяснили, что просто я с того угла, с которого смотрел, не видел наклон. Когда я встал на его место, я заметил, что она чуть-чуть наклонена влево. Но наклон там был градуса три, наверное. Он это уловил при условии, что у него на голове была вэб-камера, и она еще криво сидела. Как он, несмотря на эти искажения, неточности, деформации и т.д., каким образом он ухитрился правильно оценить отклонение этой линии от горизонтали, я не понимаю.
Какая у него была матрица?
Да 12х12, мы еще с первым прибором работали. Я почему и говорю, что аналитическая часть этого процесса даже на один процент не изучена. Они показывают такие феномены, которые в зрении без высокого разрешения не решаются. А они их решают. То ли они воспринимают это каким-то другим способом, то ли используют другой алгоритм анализа информации. Но задачу они решают. Поэтому я говорю, что может, это не зрение как таковое, может это что-то другое, что замещает зрение. То, чему у нас нет ни определений, ни описаний, ни понимания механизмов обработки информации. Ведь человек чем страдает - тем, что он всегда навязывает антропоморфический подход. Когда мы говорим про животных, мы почему-то считаем, что они как человек, и разговариваем с ними как с людьми. Например, с собаками, с кошками. Хотя мы же понимаем, что они не люди. Мы не знаем, что у них в голове крутится, но почему-то нам привычней считать, что они почти как маленькие люди, только более простые. Хотя никто это не доказал и никто этого не знает, что там происходит. Но мы привыкли это решать таким образом. Поэтому когда человек пришел к выводу, что, замещая зрение, он восстанавливает зрение, на самом деле это может быть и не совсем так. Может быть это что-то другое.
То есть какой-то отдельный феномен, который в обычных условиях не проявляется. Только в критических ситуациях.
Да. Чтобы честно ответить на этот вопрос, я не знаю. Я могу пофантазировать. Потому что есть много вещей, которые не вписываются в мое понимание зрительной системы, а я 35 лет занимался изучением зрительной системы, поэтому знаю, о чем говорю. Я работал в лаборатории физиологии зрения в институте физиологии им. И.П. Павлова РАН. Работал долго.
А как объяснить, почему мозг начинает интерпретировать тактильный сигнал как визуальную информацию?
Можно задать такой же вопрос слепым, которые ходят с палочкой. Ведь они палочку в руке чувствуют только первые дни. Потом они перестают чувствовать палочку в ладони, они строят картинку в голове, опираясь на точку на конце палочки. Мозг анализирует информацию, а дальше интерпретирует для решения какой-то задачи. То есть то, что у нормального человека решается с помощью зрительной системы, у людей с BrainPort решается мозгом. Задача стоит такая же, что и перед человеком видящим. Найти чашку на столе. Для этого нужно понять ощущение тела в пространстве, понять, где находится рука, где находится объект. Тут же задействуются и слух, и проприорецепция, и вестибулярный аппарат, вектор тяжести и прочее. То есть все участвует в построении ощущения пространства и нашего положения в нем. Зрение говорит, что объект находится в этом угловом положении, на таком-то расстоянии. Тебе нужно протянуть руку именно на это расстояние и здесь его взять, это пространственная геометрия. В ситуации с BrainPort слепой человек удивительным образом, очень быстро определяет, что вот это ощущение дает ему положение объектов в пространстве и свое положение относительно объектов.
У меня есть видеоклип, когда лежат три шарика, два целых, а один с дырками. Я прошу слепого сначала найти целые шарики. Он берет целый шарик, я говорю: теперь возьми второй целый шарик. И он руку переносит автоматически, то есть для него геометрия пространства уже в голове сформировалась. Он уже привязал положение руки и положение этого ощущения через язык. Оно встроилось в пространство. И этим занимается не отдельная система, а весь мозг. Просто в этой общей картине место зрительной системы занял BrainPort… Хотелось бы верить, что человек воспринимает плоскость языка как плоскость сетчатки. Но я в этом не уверен.
Но каким образом мозг вообще решает связать стимуляцию языка с ориентировкой в пространстве? Он же может просто воспринять ее как тактильное раздражение и на этом успокоиться.
Так задача стоит. Если это ощущение несет в себе информацию о внешнем мире, мозг пытается ее использовать. Вот перед тобой стол, я на нем положу кусок белой бумаги, закрою тебе глаза и скажу: найди с помощью прибора кусок белой бумаги. Ты начнешь сканировать пространство, ты поймешь, что он где-то в таком положении камеры, где-то вот там. Без подготовки ты сразу не определишь расстояние. Но определить, где он в пространстве находится, ты сможешь совершенно четко. Если пространство ограничено поверхностью стола, который ты уже пощупал, и дальше в этом пространстве появился объект, то ты найдешь его очень легко. Но у тебя будет стоять задача найти объект. То есть должна присутствовать мотивация.
Когда слепой в крестики-нолики играет, это на самом деле я придумал. Очень этим горжусь, потому что никто не подозревал, что слепой с черным фломастером может работать. Они все время путают руку и объект, особенно в начале. Когда в поле зрения появляется рука, это для них не их рука. Нужно специальные упражнения делать, обратить на это внимание, чтобы не путать руку с объектом. И им нужно научиться тому, как выглядит тело, как лицо другого человека выглядит. Тренировка, обучение и мотивация нужны, безусловно. Потому что есть больные, которым это абсолютно все равно, они очень вяло прогрессируют. А есть энтузиасты. Научить читать трехбуквенные слова кого-то практически невозможно, по крайней мере за короткий срок, а кто-то очень быстро учится. Особенно те, кто потерял зрение, уже умея читать. Кстати, сама по себе хорошая задача - можно ли научить слепого от рождения читать.
Ну, азбукой Брейля они читают…
Брейлем да, а я говорю про BrainPort. Потому что там немножко другое. Текст, набранный Брейлем, требует определенной ориентации пальца. Я могу перевернуть этот календарь, и с любого расстояния, под любым углом, и даже с любым шрифтом, совершенно четко скажу, что это цифры 1,2,3,8. Называется это инвариантность восприятия. Она у нас встроена в зрительную, слуховую и другие сенсорные системы. А с тактильной, поскольку она контактная, такое не совсем получится. Если поставить символ Брейля под углом, слепой все равно попробует поймать положение, которое для него правильное. Вот как научить слепого языком читать буквы, я не знаю ответа на самом деле.
Оливер Сакс как-то вспоминал пациента, который признавался, что во время чтения символов Брейля видит точки. То есть какая-то связь тактильной и зрительной системы, видимо, присутствует в мозге.
Уже показано, что все сенсорные системы перекрыты. На самом деле в зрительную кору есть и тактильный вход, и слуховой вход. Они не такие быстрые, но они есть. В последних работах Пол писал об этом, это демаскировка так называемая. Когда возникает необходимость, начинают работать запасные пути. Не что-то новое появляется, а они уже есть, просто не используются. Это одна из гипотез, объясняющая, почему слепой довольно быстро начинает оперировать с этой технологией. Это не что-то необычное, это запасное вдруг начинает работать. Тогда возникает вопрос, для чего мозгу такое количество запасных путей. Это вообще отдельная история, потому что за последние дни перед рождением и первые дни после рождения мы теряем три четверти нейронов. Остаются самые эффективные, неэффективные исчезают. А вот тут выясняется, что что-то на самом деле еще остается. То ли это запасные пути, то ли это запасные системы. Об этом можно только гадать. Потому что за те дни и часы, в течение которых у слепых, например, в экспериментах Ptito, информация перешла из центральной извилины в зрительные области коры - за это время ничего нового вырасти не могло. Но кто и как переключил, правильный вопрос задан. Ответа я не знаю. Поэтому оно и требует исследований академических, чтобы понять, что происходит и как происходит.
На ваш взгляд, есть тут какое-то отдаленное сходство с синестезией, или это по природе своей разные феномены?
По синестезии очень рекомендую послушать лекции В. Рамачандрана. Он сам по себе человек просто фантастический, энергичный. И мы были даже на одной конференции, правда, обсудить ничего не успели. Он объясняет синестезию анатомически, что есть для этого анатомический субстрат. Но в таком случае это скорее инцидент, чем правило. То, что мы имеем в виду, совершенно из другой оперы. Это некие неиспользуемые механизмы. Это, скажем так, процесс, нечто скорее функциональное, чем анатомическое.
В каком статусе сейчас находится BrainPort, на стадии клинических испытаний или уже идет речь о розничных продажах?
Я вообще не думаю, что он поступит в розницу. Это уже законы капитализма. Я думаю, все начнется с того, что будут спецзаказы для конкретной группы больных. Хотя компания по-прежнему пытается получить разрешение на продажу, но будет ли она продавать, я не уверен. Потому что с одной стороны это слишком дорого, я считаю. Для того, чтобы он стал доступен, реально использовался в жизни слепых, надо еще работать, работать и работать. То есть улучшать и улучшать. У нас есть идеи, например, как передавать цвет. У нас есть идеи, как передавать стереоизображение. У нас есть идеи, как встроить в BrainPort модули, разработанные для зрения робота. Масса вещей, которые можно улучшить. Например, задача для слепого на улице - увидит ли он машину. Когда он улицу переходит, встает непосредственная задача увидеть автомобиль. В принципе он его видит, но только очень близко. А если поставить туда детектор движения, например, то он позволит ему увидеть машину или почувствовать машину, находящуюся намного дальше. Или, например, прибор сейчас работает как контрастное изображение. Чем контрастнее изображение, тем легче человеку ориентироваться. Если мы выйдем на улицу, слепой должен увидеть не только край тротуара, но и менее выраженные переходы яркости. Есть модули для роботов, которые подчеркивают именно границы. Вот их тоже можно в прибор встроить и тем самым существенно улучшить ориентацию людей в реальном мире.
* * *
Что касается других применений BrainPort, рекомендую посмотреть видео доклада, где Данилов подробно рассказывает об этом. В том числе показывает ролики с пациентами до и после терапии. Видео находится здесь (внизу выбрать 06/09/2010 Yuri Danilov)
Бонус:
Shams, L., Kim, R. (2010). Crossmodal influences on visual perception. Physics of Life Reviews -- [PDF]