Нейрокомпьютерный симбиоз: движение силой мысли
Представим 2014 г., открытие чемпионата мира по футболу в Бразилии. На зеленом поле огромного – на 62 тысячи зрителей – стадиона Морумби стоит стройный юноша в форме национальной бразильской команды. Его руки и ноги оплетены легкими ажурными металлическими конструкциями, на спине – плоский ранец. Футболист замахивается и сильным ударом ноги посылает мяч. Этим символичным ударом открывается не только чемпионат, но и новая эра в протезировании, ведь юноша-футболист – инвалид, который не смог мог бы сделать ни одного движения без помощи надетого на него экзоскелета, непосредственно управляемого его мозгом.
Именно так выглядит триумф современных биотехнологий в представлении М. Николелиса – знаменитого бразильца, который по праву считается одним из первооткрывателей нейропротезирования. Уникальные результаты, полученные в этой новой области восстановительной медицины двумя известными научными коллективами, вошли в список наиболее выдающихся достижений 2012 г. по версии журнала «Science»
Прошедший 2012 г. отмечен выдающимися достижениями в одной из наиболее интригующих областей исследования мозга – расшифровке мозговых нейронных кодов, отвечающих за организацию движения конечностей. Помимо фундаментальной значимости эти исследования представляют большой практический интерес: сегодня ученые вплотную приблизились к решению уникальной задачи – подключению к мозгу внешних электронно-механических исполнительных устройств, таких как искусственная рука. Технологиями так называемого интерфейса мозг – компьютер, позволяющего «силой мысли» управлять внешними электронными устройствами, уже более двадцати лет занимаются во многих нейрофизиологических лабораториях мира, в том числе и в России.
Идея заключается в том, что с помощью специальной системы (нейроинтерфейса), регистрирующей активность нервных клеток моторной (т. е. отвечающей за движения) коры головного мозга и дешифрующей намерение человека совершить то или иное движение, мозг напрямую соединяется с внешними исполнительными устройствами. Это позволит здоровому человеку расширить сферу своих манипуляций, а инвалиду – получить функциональное замещение отсутствующих конечностей. При этом регистрирующие электроды могут либо вживляться в мозг, что требует сложной нейрохирургической операции, либо просто закрепляться на голове, как это делается при снятии электроэнцефалограммы. Идея проста, однако ее реализация на практике встречается с рядом трудностей.
Механизм исполнения желаний
Действительно, если бы имелась возможность перехватывать «мозговой план» человека по совершению движения, то его можно было бы в реальном времени трансформировать в команду для того же протеза, который бы стал исполнителем замысла человека. Возникает ряд вопросов. Насколько точно можно выделить (и расшифровать) намерение к конкретному движению в рисунке сложной электрической активности множества нервных клеток? Насколько такие «коды намерений» будут устойчивы во времени и при действии различных отвлекающих факторов? Достаточно ли будет мозгу одной лишь зрительной обратной связи от исполнительного устройства, чтобы полноценно замкнуть контур управления?
Кроме того, здесь вступает в действие и субъективный фактор, ведь десятки и сотни миллионов лет эволюции закрепили в мозгу животных и предков человека определенные схемы передачи мозговых планов действия системам управления мышцами. Стадию обучения управлению мышцами (фактически – внешними по отношению к нему исполнительными механизмами) мозг в обязательном порядке проходит в младенчестве. Поэтому мы особо не задумываемся при выполнении привычного движения, например, откусывая кусочек от сочного яблока или сохраняя баланс при скольжении на коньках: генетически закрепленные схемы и благоприобретенные навыки автоматически решают задачу, не требуя нашего внимания. Но обращению с нейроинтерфейсом придется обучаться специально: сформировавшийся мозг должен будет адаптироваться к совершенно новым условиям, когда его центральные программы будут транслироваться к исполнительным устройствам напрямую, минуя нервы и мышцы.
Рука-роботНа сегодняшний день это, возможно, самая сложная искусственная конечность в мире. В скором времени ее предполагается оснастить датчиками, измеряющими физические параметры окружающей среды, и исследователи примутся за обратную задачу, касающуюся проведения информационных потоков от протеза к мозгу.
Исследования, проводимые командой Э. Шварца, также финансировалось агентством DARPA, как и разработка самой механической руки. Это наводит на мысль о существовании единого проекта, который предусматривает помимо создания искусственной руки с системой мозгового управления еще и разработку экзопротеза. Последний позволит не только замещать, но и поддерживать вышедшие из строя двигательные системы тела и само туловище. Возможно, об испытании такого экзопротеза в контуре интерфейса мозг–компьютер мы услышим уже в ближайшее время
Признаться, что чем больше вдумываешься в операционную архитектонику мозга, тем больше скепсиса вызывает возможность полноценного управления с помощью интерфейса мозг–компьютер, например, протезом руки. Ведь даже самый продвинутый протез лишен возможности обеспечить мозгу тот поток обратной связи о текущем состоянии элементов двигательной системы, к которому мозг приспособлен в естественных условиях, т. е. при управлении рукой из плоти.
И совсем неправдоподобной выглядит гипотеза, что конкретное намерение человека при его повторении каждый раз будет иметь одинаковое отображение в виде активности двух-трех сотен нервных клеток двигательной коры, расположенных на месте вживления электродов, выбранном достаточно случайным образом. При этом именно от точности расшифровки намерений к тому или иному движению зависит, насколько быстро и прочно закрепятся в мозгу новые схемы «исполнения желаний», насколько сложные и разнообразные движения сможет выполнить человек или животное посредством управляемых манипуляторов или протезов.
Можно было бы и далее множить нейрофизиологические аргументы «против», чтобы, по крайней мере, не увлекаться футуристическими ожиданиями в области интерфейса мозг–компьютер, но всем им противостоит один фундаментальный аргумент «за», а именно: невероятная пластичность самого мозга. Наверное, именно этим обстоятельством обусловлен тот факт, что, несмотря на все скептические прогнозы, нейротехнологии с использованием нейроинтерфейса в последнее десятилетие развиваются особенно бурными темпами.
«Третья рука» обезьяны
Среди реальных достижений в области использования интерфейса мозг–компьютер в первую очередь нужно отметить широко известные исследования нейробиологов Д. Чапина (Университет Нью-Йорка, США) и М. Николелиса (Медицинский центр при университете Дьюка, США). В их опытах на животных, в кору головного мозга которых были вживлены электроды, управляемый «силой желания» манипулятор исправно подавал крысе поилку, а обезьяне бутылочку с соком тотчас, как только у последних появлялось желание утолить жажду.
Впечатляющие результаты были получены и в экспериментах на людях, по той или иной причине лишенных двигательной функции. В 1999—2000 гг. Ф. Кеннеди и Р. Бакей (Университет Эмори, Атланта, США) впервые вживили электроды для регистрации активности нервных клеток пациенту, полностью обездвиженному после автомобильной катастрофы. В результате человеку, многие годы пребывавшему в состоянии вынужденного бездействия, удалось фактически только «силой мысли» двигать курсор по экрану компьютера и набирать тексты.
В Интернете сегодня можно найти множество коротких видеоклипов, показывающих, как человек или обезьяны управляют манипуляторами или игрушками посредством нейроинтерфейса. Но все они представляют собой лишь удачные «кинопробы», а это только верхушка айсберга. Научная оценка надежности целевых действий таких испытуемых свидетельствует, что ошибки составляют 25—40%, и обусловлены они преимущественно недостаточно точной расшифровкой намерений. К тому же человеку с вживленными электродами никогда не удавалось достигнуть более или менее естественного управления протезом: все ограничивалось выполнением нескольких целевых движений, причем далеко не с первой попытки. Чем не оправдание исходного скепсиса в отношении возможностей нейроинтерфейсных технологий?
Как ни удивительно, но надежда на прорыв появилась благодаря нашим братьям меньшим: оказалось, что обезьяны стали подозрительно опережать испытуемых-людей в опытах по расшифровке намерений на основе регистрации электрической активности нейронов.
В начале 2000-х гг. в лабораториях М. Николелиса и Д. Донахью (Университет Брауна, Провиденс, США) обезьяны, благодаря совокупным усилиям математиков, инженеров и нейрофизиологов, стали ловко орудовать приставным манипулятором (по сути, дополнительной рукой) в трех измерениях (Nicolelis, 2001; Donoghue, 2002). Новоявленный обезьяний «Шива» из лаборатории Николелиса в 2011 г. получил для своей «третьей руки» даже датчики, которые могли кодировать и напрямую, посредством стимуляции сенсорных областей коры, передавать в мозг особенности поверхности целевых объектов, с которой они якобы соприкасались (O’Doherty et al., 2011). Так протез впервые получил сенсорное обеспечение, замкнутое непосредственно на мозг.
Поразительно, как быстро высокая пластичность мозга позволила животному приспособиться манипулировать объектами внешней среды с учетом текстуры их поверхности! Например, обезьяна научилась хватать манипулятором на экране монитора только те виртуальные диски или шары, которые обладали определенными и при этом зрительно не распознаваемыми поверхностными особенностями! Так в контуре интерфейса мозг–компьютер была впервые замкнута петля обратной связи – он стал интерактивным.
От манипулятора – к нейропротезу
В 2012 г. американские журналы Nature и The Lancet опубликовали еще более впечатляющие результаты работ двух именитых научных коллективов, но на этот раз в качестве испытуемых выступили уже люди, больные тетраплегией (параличом всех конечностей), т. е. полностью лишенные двигательной функции.
Группа исследователей под руководством Донахью сообщила о первом успешном испытании протеза руки, управляемого непосредственно мозгом пациентов – женщины 58 лет и мужчины 66 лет, которые в течение многих лет были полностью обездвижены и лишены речи в результате инсульта. В мозг испытуемых, в зону, отвечающую за движения правой руки, была вживлена матрица 4´4 мм из тонких (40—50 мкм) игольчатых электродов длиной 1,5 мм. Оба пациента научились подводить манипулятор к целевому предмету (например, к термосу с кофе) и захватывать его, а иногда даже подносить термос ко рту (Hochberg et al., 2012).
Но при всей внешней эффектности соответствующих кино- и фотоматериалов достижения были достаточно скромные: после почти пятилетнего еженедельного тестирования пациентке лишь в половине случаев удавалось подвести манипулятор к целевому объекту и захватить его. Мужчина после пятимесячных тренировок достигал успеха в двух из каждых трех попыток. Таким образом, добиться полноценного владения протезом с помощью нейротехнологии не удалось – испытуемые смогли управлять протезом лишь в рамках ограниченного набора трафаретных движений.
Складывалось впечатление, что во всех этих случаях мозг не научился управлять траекторией движения протеза в трехмерном пространстве, а мог лишь после большого числа проб и ошибок кое-как задавать короткие сегменты его движений, последовательно приближая протез к целевому объекту. К тому же оставался неясным вопрос о помощи, которую оказали испытуемым сами манипуляторы, разработанные в рамках оборонного ведомства для выполнения разнообразных задач и имевшие весьма продвинутую автоматику для сглаживания и доводки движений. Без такой высокотехнологичной поддержки мысленное управление могло оказаться еще менее успешным.
Гораздо результативнее оказалась работа второй группы исследователей под руководством Э. Шварца, заведующего лабораторией «MotorLab» (Университет Питтсбурга, США). Среди 11 авторов статьи этого коллектива, опубликованной в журнале «The Lancet» (Collinger et al., 2012), – биоинженеры, нейрохирурги, нейрофизиологи и специалисты по вычислительной математике и кибернетике из девяти научно-исследовательских и медицинских учреждений, преимущественно локализованных в г. Питтсбург (США).
Видео- и фотоматериалы, хранящиеся на сайте лаборатории, запечатлели поразительные достижения их пациентки: 52-летняя Джэн Шерман – больная тетраплегией, но с сохраненной речью, управляла манипулятором почти как собственной рукой. Самое удивительное, что при этом она еще и комментировала свои действия! Это означает, что достигнутый ею уровень автоматизация управления манипулятором аналогичен владению собственной рукой.
В чем же секрет этого поистине революционного прорыва в области нейрокомпьютерных симбиозов?
Слушаю и повинуюсь!
Ведущим экспериментальным методом Э. Шварца, посвятившего почти 30 лет изучению кодов мозга, управляющих движениями конечностей, является регистрация электрической активности нейронов моторной коры головного мозга. Как и другие нейробиологи, он пытался «поймать» контуры формирования замысла того или иного движения, отследить процесс претворения двигательных программ в реальные движения. Обычно исследователи, работающие в этой области, идут по пути создания библиотек эталонных пространственно-временных карт активности нейронов, характерных для фрагментов того или иного движения. Сравнивая текущую активность нейронов с этими эталонными «картинами», можно определять моменты, когда они будут совпадать. Тогда мы можем считать, что расшифровали намерение (текущая активность совпала с эталонной, например, обозначающей «хочу поднять руку вверх»). Теперь, зная, каково намерение, мы можем транслировать эту команду манипулятору и выполнить движение (поднять его вверх).
Еще в 1986 г. Э. Шварц со своим старшим коллегой А. Георгополосом показали, что каждый двигательный нейрон своей электрической активностью вносит определенный вклад в программирование направления движения конечности; направление же траектории движения в каждый момент времени определяется итоговым вектором разряда всех задействованных корковых нейронов (Georgopoulos et al., 1986). Грубо говоря, транслировать планы мозга в движение манипулятора можно, вычисляя в реальном времени этот интегральный вектор направления по активности отдельных нейронов, при этом для точности вычислений необходимо отслеживать достаточно большой пул нейронов. Поэтому в феврале 2012 г. пациентке было вживлено сразу две матрицы по 96 электродов, с помощью которых удавалось регистрировать активность до 270 корковых нейронов одновременно.
Но здесь возникла очередная трудность, связанная с проблемой построения калибровки. Как понять, какому направлению соответствует интегральный вектор, рассчитанный на основе электродных матриц, если пациент не владеет своей рукой и не может продемонстрировать движение? Был найден поистине удачный выход: пациентке было предложено просто наблюдать за движениями манипулятора, управляемого компьютером, и представлять себе, что эти действия совершает ее рука. Предполагалось, что одно только наблюдение этого действия будет модулировать активность нейронов, таким образом создавая основу для вычисления специфического суммарного вектора направления движения.
КАК ВСЕ НАЧИНАЛОСЬОткрытие таких технологий состоялось еще в 1960-х гг., когда американские нейрофизиологи Н. Миллер и Д. Камия независимо друг от друга показали, что человек может научиться управлять параметрами таких автономных физиологических функций, как частота сердцебиения, тонус сосудов и, наконец, спектр самой электрической активности головного мозга.
С начала 1980-х гг. центром этих разработок и клинических приложений, а с кого-то момента даже «законодателями мод» в этом направлении и стала лаборатория Штарка. Сегодня эти разработки известны далеко за пределами Сибири и России. Их изюминка состоит в том, что измерения саморегулируемых параметров организма представляются на экране монитора не обычными скучными столбиками, которые испытуемому требуется удерживать выше или ниже определенной линии, а увлекательными играми, в которых от измерений физиологических параметров зависит, например, скорость погружения соревнующихся водолазов или пышность распускающихся бутонов цветов. По сути, речь идет о тех же индикаторах успешности регуляции состояния человека, но с гораздо более выраженным эмоциональным компонентом.
Моя командировка оказалась очень успешной. Знакомство с работами по биологической обратной связи, которые велись в Новосибирске, позволили начать на кафедре физиологии человека в МГУ исследования по новой реализации биологической обратной связи, при которой параметры электроэнцефалограммы используются уже в качестве команд для управления внешними исполнительными устройствами (например, клавиатурой компьютера или радиоуправляемыми устройствами). В этом случае технология биологической обратной связи интегрируется в более универсальную нейрокомпьютерную систему, где внешние объекты (пусть те же соревнующиеся аквалангисты) становятся не просто индикаторами успешности саморегуляции, а собственно объектами динамического управления
Успех превзошел все ожидания: когда на второй день после окончания двухнедельного курса «тренировки» манипулятор подключили к мозгу пациентки, Дж. Шерман, она смогла обменяться рукопожатием с участником эксперимента, используя кисть манипулятора. А спустя 14 недель уже вовсю манипулировала искусственной рукой с надежностью 91,6 %: на видео и фотоматериалах зафиксировано, как с помощью манипулятора она кормит себя шоколадом и угощает гостей печеньем.
Работы коллектива лаборатории Э. Шварца стали настоящим триумфом технологии интерфейсов мозг–компьютер. Кстати сказать, попутно удалось прояснить и причину успеха, которого добились в освоении манипулятора обезьяны: очевидно, они, подобно Дж. Шерман, наблюдали за своей рукой, а потом и за манипулятором как бы со стороны, формируя целостный образ движения.
Из глубин подсознания
Технологии нейрокомпьютерных интерфейсов сегодня разрабатываются не только за рубежом, но и в России. Первая отечественная публикация, прямо связанная с разработкой такой технологии, по-видимому, вышла из стен лаборатории нейрокомпьютерных интерфейсов в Московском государственном университете им. М. В. Ломоносова (Kaplan et al., 2005). В ней обсуждался очень важный вопрос: может ли мозг самостоятельно, без волевого участия человека, напрямую (без посредства мышц и нервов) установить коммуникацию с внешней средой, если ему обеспечить прямой канал связи? Ведь все разработанные до этого протоколы интерфейсов мозг–компьютер требовали от человека напряженного внимания, не оставляя ему возможности попутно заниматься другой деятельностью.
В эксперименте испытуемым, которым снимали электроэнцефалограмму, предлагали одновременно смотреть на экран монитора. При этом они не знали, что цветовая палитра монитора определялась исключительно соотношением величины мощности определенных диапазонов спектра их ЭЭГ. Исследователи исходили из предположения психологов, что каждый человек имеет свои неосознанные цветовые предпочтения, так что в созданном контуре мозг сам мог установить на мониторе нужную палитру. Оказалось, что 12 из 15 испытуемых на 3—4-й день тренировок действительно показали индивидуально воспроизводимую стабилизацию определенной цветовой гаммы. Так было доказано, что мозг способен неосознанно управлять параметрами внешнего мира – нужно только дать ему рычаги для такого управления!
Помимо этого исследователям из МГУ удалось улучшить характеристики системы набора текста через интерфейс мозг–компьютер, разработанный в 1988 г. американскими нейрофизиологами Э. Дончином и Л. Фарвелом. Согласно этому методу, меткой, указывающей на букву алфавита, которая в данный момент находилась в фокусе внимания человека, служила одна из волн электроэнцефалограммы, появляющаяся в ответ на предъявление целевого стимула только через 300 мс после его включения. Модификация методики позволила уменьшить время калибровки алгоритмов на распознавание индивидуальных форм волн и повысить надежность методики до 95% (Shishkin et al., 2009). На этой основе были построены интерфейсы мозг–компьютер с подвижными элементами: в отличие от статичной системы набора текста, в таких интерфейсах фигуры на экране перемещаются, при этом их движением можно управлять через нейроинтерфейс. Эта разработка пригодится при создании интерфейсов, управляющих мобильными роботами и игровыми приложениями (Shishkin et al., 2011; Kaplan et al., 2013, in press).
ФУНКЦИОНАЛЬНАЯ МАГНИТНО-РЕЗОНАНСНАЯ ТОМОГРАФИЯ И НЕЙРОНАУКИЛокальное кровенаполнение мозговой ткани увеличивается при процессах формирования или реорганизации нейронных ансамблей, обеспечивающих разнообразные операции (сенсомоторные, речевые и т. п.). Таким образом, визуализируя изменения гемодинамических реакций, можно визуализировать и эти мозговые реакции.
Функциональная магнитно-резонансная томография имеет ряд преимуществ в сравнении с другими технологиями исследования высшей нервной деятельности, в первую очередь – исключительно высокое пространственное разрешение и возможность многократного повторения исследования. Можно говорить о грядущей новой эпохе в исследованиях головного мозга – создании «географической» функциональной карты высшей нервной деятельности человека.
В Новосибирске исследованиями, связанными с нейрокомпьютерными технологиями, занимается отдел биофизики и биоинженерии Института молекулярной биологии и биофизики СО РАМН, возглавляемый академиком РАМН М. Б. Штарком. В частности, здесь разрабатывается технология биоуправления, основанная на принципе обратной связи. Суть ее в том, что с помощью технических устройств человек получает информацию о состоянии той или иной функции своего организма (например, пульса) и учится произвольно изменять значения этого параметра. Весь процесс зачастую происходит в форме игрового сюжета.
Такая технология может быть использована как с диагностической целью (например, для диагностики стрессоустойчивости), так и с лечебной (например, для реабилитации после травм позвоночника).
С помощью технологии функциональной магнитно-резонансной томографии, позволяющей в реальном времени исследовать активность различных зон мозга, можно визуализировать процессы биоуправления: создать «карту» активности нейронов, отследить формирование нейронных сетей. Такие разработки открывают широкие возможности для диагностики и коррекции различных неврологических состояний.
В настоящее время в лаборатории нейрокомпьютерных интерфейсов МГУ идет разработка систем интерфейса мозг–компьютер для управления андроидным роботом и антропоморфными манипуляторами (протезами). В будущем такие системы можно будет использовать для тренировки движений у временно парализованных пациентов, чтобы поддерживать моторные программы мозга в действии в самый острый период, когда собственные мышцы и нервы еще не в силах выполнять команды мозга.
Но лаборатория нейроинтерфейсов в МГУ – не единственное место в России, где сейчас занимаются нейрокомпьютерной проблематикой. Так, в Институте высшей нервной деятельности и нейрофизиологии РАН (Москва) под руководством д. б. н. Г. А. Иваницкого и д.б.н. А. А. Фролова разрабатываются эксклюзивные алгоритмы классификации паттернов электроэнцефалограммы, позволяющие ученым создавать прототипы интерфейсов мозг–компьютер, которые в недалеком будущем дадут постинсультным пациентам возможность овладеть парализованными частями тела с помощью управляемых мозгом экзопротезов. А в Институте нейрокибернетики им. А. Б. Когана (Ростов-на-Дону) под руководством профессоров Б. М. Владимирского и В. Н. Кироя на основе технологий интерфейсов мозг–компьютер разработаны системы управления инвалидной коляской, которые уже в недалеком будущем позволят больным передвигаться без посторонней помощи. В более же далекой перспективе такие технологии дадут нам возможность управлять тихоходными передвижными средствами.
Технология интерфейса мозг–компьютер в первую очередь, безусловно, ценна своими возможными практическими приложениями. Но немаловажным обстоятельством является и то, что в этом случае мы встречаемся с возникновением новой парадигмы исследования в психофизиологии. Ученые впервые получили концептуальный инструмент, который ставит мозг человека в уникальную экспериментальную ситуацию – прямого подключения к внешнему миру.
Сможет ли мозг адаптироваться к условиям, когда его центральные программы могут быть напрямую транслированы к исполнительным устройствам, минуя нервы и мышцы? Наконец, как глубоко сможет мозг интегрироваться в цифровую мультимедийную реальность, если дать ему возможность управлять параметрами этой реальности? Может быть, нейрокомпьютерные интерфейсы, – это закономерный технологический ответ на вызовы высокоиндустриальной цивилизации?
Стремительное развитие современных нейрокомпьютерных технологий служит залогом того, что нам недолго предстоит ждать ответа на все эти вопросы.
Литература
Ганин И. П. и др. Интерфейс «мозг–компьютер» «на волне P300»: исследование эффекта номера стимулов в последовательности их предъявления // Физиология человека. Т. 38. № 2. С. 5—13.
Collinger J. L. et al. High-performance neuroprosthetic control by an individual with tetraplegia // The Lancet. 2012. № 6736(12). P. 61816—61819.
Hochberg L. R. et al. Reach and grasp by people with tetraplegia using a neurally controlled robotic arm// Nature. 2012. N 485(7398). P. 372—375.
Kaplan A. Y. et al. Unconscious operant conditioning in the paradigm of brain-computer interface based on color perception // Int. J. Neurosci. 2005. N 115(6). P. 781—802.
Kaplan A. Y. et al. Adapting the P300-based brain-computer interface for gaming: a review // IEEE Transactions on Computational Intelligence and AI in Games, 2013.
Nicolelis M. A. Mind in Motion // Sci. Amer. 2012. N 307. P. 58—63.