: 25 апр 2013 , Полеты в виртуальности и наяву , том 49, №1

Полеты в виртуальности и наяву

Применение инновационных технологий, созданных в результате многолетнего успешного научно-технического сотрудничества бизнеса и ученых в качестве базы для построения современных тренажерных и обучающих систем, должно привести к качественному скачку в развитии систем обучения и тренинга космонавтов, повысить эффективность подготовки экипажей орбитальных станций и кораблей, отправляющихся к другим планетам.

Так, разработка одной из таких технологий – Виртуальной деятельностной образовательной среды – инновационной платформы для дистанционного обучения и удаленной межпользовательской коммуникации в трехмерном виртуальном мире, создает мощные коммуникативные возможности и максимально приближает виртуальное межличностное общение к реальному, что позволяет проводить совместное обучение не только космонавтов, находящихся в географически удаленных центрах подготовки на Земле, но и на борту космических орбитальных станций и кораблей. Это особенно важно для долгосрочных орбитальных экспедиций и полетов на другие планеты, когда невозможно заранее обучить космонавтов всему, что может понадобиться им в космосе.

В новосибирском Академгородке многие до сих пор помнят приезд космонавта Алексея Леонова. Тогда, в далеком теперь 1985 г., во время демонстрации первой в стране программно-аппаратной системы виртуальной реальности «Аксай» произошел курьезный случай.

В процессе виртуальной посадки, находясь в трех метрах от взлетно-посадочной полосы, оператор системы выполнил «бочку» (поворот самолета на 360° вокруг продольной оси) – маневр, фатальный во время посадки для любого летчика. От неожиданности увлеченный процессом Алексей Архипович выкрикнул не вполне печатные слова и чуть не разбил головой зеркало коллиматора. В тот исторический день было принято решение об использовании «Аксая» в качестве первого компьютерного тренажера стыковки кораблей Союз с космической станцией Мир. Разработка «Аксая» велась коллективом из нескольких лабораторий Института автоматики и электрометрии (ИАиЭ) и СКБ Научного приборостроения (СКБ НП) Сибирского отделения академии наук СССР под руководством А. М. Ковалева.

Впоследствии коллектив разработчиков приступил к созданию и других – более мощных систем для летных и космических тренажеров, но грянула перестройка, финансирование работ сократилось, а в 1992 г. прекратилось вовсе.

Но дело ученых не пропало даром. Не все уехали за границу. В бурные 1990-е гг. многие молодые ученые и инженеры начали создавать малые предприятия, которые помогли им выжить в это непростое время. Так в 1991 г. появилась инновационная компании СофтЛаб, объединившая специалистов, разрабатывающих программное обеспечение тренажеров. Развитие персональных компьютеров привело к пониманию того, что системы виртуальной реальности можно разрабатывать в виде программного продукта.

В 1993 г. компании СофтЛаб удалось одной из первых в мире достигнуть рекордной по тем временам графической производительности: 40 000 полигонов в секунду на стандартной IBM PC класса 486DX33. Она уже была сопоставима с производительностью «Аксая», но в отличие от компьютера, «Аксай» выглядел, как несколько полноразмерных шкафов и требовал отдельного машинного зала со специальным охлаждением. Вскоре на персональных ЭВМ появились первые графические ускорители. Их производительность удваивалась практически ежегодно.

К этому моменту за плечами компании был ряд успешных проектов в игровой индустрии с высококачественной графикой и реалистичной физической моделью виртуального мира. Это позволило убедить руководство Центра подготовки космонавтов (ЦПК) в необходимости перехода на программные системы виртуальной реальности, базирующиеся на персональных компьютерах (Белаго и др. 1995; Белаго, Кузиковский, 1995; Белаго и др., 1996).

Компания СофтЛаб разработала первые программные системы виртуальной реальности для тренажеров стыковки транспортных кораблей с орбитальной станцией МИР и системы для ознакомления астронавтов NASA с интерьером и бортовым оборудованием орбитальных модулей и транспортных кораблей, использующих технологии стереоотображения в реальном времени. Так, в 1995 г. в новосибирском Академгородке уже умели работать с 3D-отображением на экран, т. е. с технологиями, получившими второе дыхание через 15 лет, а именно после выхода на мировой рынок фильма «Аватар».

Работая над тренажерами для космической станции МИР, разработчики тяжело переживали решение о ее ликвидации и затоплении в 2002 г. Специалисты компании знали станцию не хуже космонавтов. Ведь им пришлось создавать ее модули в мельчайших деталях. Дальнейшие разработки СофтЛаб были связаны уже с Международной космической станцией (МКС). И в первую очередь это коснулось систем виртуальной реальности для тренажеров стыковки. Работы по совершенствованию этого тренажера и поддержанию его в актуальном состоянии продолжаются и сегодня. Появляются новые космические корабли, растет и сама станция, соответственно меняются и требования к качеству и функциональности тренажеров, на которых должны обучаться все без исключения экипажи: как российские, так и международные.

Еще один интересный проект компании СофтЛаб для космоса – это тренажер орбитального мониторинга Земли методами визуально-инструментальных наблюдений. Система имитирует виды Земли из иллюминаторов станции и виды через фото- и видеоаппаратуру с объективами с различными фокусными расстояниями, вплоть до 800 мм. Тренажер служит для отработки навыков визуального ориентирования и фото- и видеосъемки объектов детального наблюдения на земной поверхности. Для этого проекта была разработана методика непрерывной подкачки данных разного уровня детальности, включая участ­ки с разрешением 15 м на пиксель.

Взгляд в будущее

Еще совсем недавно казалось, что период бурного развития технологий виртуальной реальности закончился. Трехмерная компьютерная визуализация достигла своих высот, прирост производительности и качества графических ускорителей перестал быть очевидным. Пошумели и затихли 3D-технологии в киноиндустрии, которые столкнулись с теми же медицинскими проблемами и противопоказаниями, что и полвека назад – стереотехнологии. Индустрия тренажеров наигралась со шлемами виртуальной реальности и отложила их на дальнюю полку, так как решение психологической проблемы погружения человека в виртуальный мир оказалась значительно сложней, чем просто снабжение наголовных микродисплеев датчиком положения и ориентации.

Но в последние годы незаметно для многих произошли революционные подвижки, открывающие качественно новые возможности для обучения и тренинга. Рассмотрим те из них, которые непосредственно связаны с процессом подготовки космонавтов.

Возможность переноса процесса коллективного обучения в виртуальный мир

В рамках этого подхода обучение проходит в многопользовательском трехмерном виртуальном мире, в котором пользователи представлены своими аватарами. Многопользовательские виртуальные миры обладают мощными коммуникативными возможностями, максимально приближающими виртуальное межличностное общение к реальному (Бартош, и др., 2013). Это достигается за счет виртуальной имитации таких наиболее важных аспектов эмоционального общения, как голос, мимика, жесты, возможность свободного перемещения и манипулирования изучаемыми объектами почти так же, как это делается в реальном мире.

Создаются все необходимые предпосылки для организации командной работы обучаемых, достижения ими совместных целей в учебных проектах. Возможности применения направленных интерактивных симуляций революционно обогащают образовательный контент, позволяют создавать ситуации (включая те, которые невозможно создать в земных условиях), при которых обучаемые смогут на практике применять полученные знания и навыки. Несмотря на географическую удаленность пользователей, становится доступным совместное проектно-деятельностное и очное обучение.

Компания СофтЛаб-НСК в сотрудничестве с Новосибирским государственным университетом и АНО «Мастерская методологических разработок ЗЕНОН» ведет разработку Виртуальной деятельностной образовательной среды – инновационной технологической платформы для дистанционного обучения и удаленной межпользовательской коммуникации в виртуальном мире. Платформа может с успехом применяться для совместного обучения космонавтов, находящихся в географически удаленных центрах подготовки – например в Российском ЦПК, в НАСА и Европейском космическом агентстве. С помощью технологии виртуальных миров становятся доступными совместные тренинги методистов ЦПК и космонавтов, находящихся на борту космической станции. Это особенно важно для долгосрочных орбитальных экспедиций и полетов к другим планетам, так как невозможно предусмотреть все научные эксперименты, которые будут проводиться на борту станции или на поверхности другой планеты, и обучить космонавтов заранее, еще на Земле.

Возможность тренинга деятельности, направленной на непосредственное взаимодействие с близкими целевыми объектами

В основе успешности применения классических компьютерных тренажеров лежит близость зрительного восприятия человеком реальной и виртуальной визуальной обстановки в тех случаях, когда целевые объекты находятся от человека на значительном расстоянии. Например, во время посадки летчики ориентируются по объектам на земле (взлетно-посадочная полоса, сигнальные огни), водители автомобилей большую часть времени зрительно сканируют ту часть дорожного окружения, которая находится от них на удалении 10—20 м и более. Такие типы визуальной обстановки успешно имитируются с помощью проекционных устройств, экраны которых устанавливаются на расстоянии шесть метров и более от обучаемого или с помощью коллимационной оптики, фокусирующей человеческий глаз на бесконечность.

Для отработки непосредственного взаимодействия человека с близкими целевыми объектами (например, деятельности космонавта на внешней поверхности космической станции или ручных операций на поверхности других планет) традиционные методы визуальной имитации не применимы, так как на расстояниях менее шести метров начинают согласованно работать более сложные механизмы зрительного восприятия: аккомодация (фокусировка глаза на близкий целевой объект) и конвергенция (встречное движение глаз, в результате которого обе зрительные линии сходятся на целевом объекте).

Попытки исправить ситуацию за счет применения стереопроецирования и стереоскопических дисплеев оказалось имеют «побочный эффект» – между аккомодацией и конвергенцией возникает конфликт – глаз аккомодирует на фиксированное расстояние до плоскости экрана (Z – на схеме), независимо от того, в какой точке виртуального пространства (ближе или дальше) пересекаются зрительные оси глаз вследствие конвергенции (точка F – на схеме на расстоянии d от глаза). В результате у человека возникает бинокулярный стресс, утомление глаз, головная боль, тошнота и т. д. По этой причине в процессе обучения космонавтов операциям на внешней поверхности станции по-прежнему используются методики погружения в гидробассейн, в котором располагается воссозданное в натуральную величину внешнее оборудование модулей МКС.

Для того чтобы справиться с этой проблемой специалисты компании СофтЛаб-НСК, ИАиЭ СО РАН и СКБ НП СО РАН ведут разработку мультифокального стереодисплея (МФД), идея которого принадлежит А. М. Ковалеву. В базовой технологии стереопары представлены не плоскими, а 3D-изображениями на поверхностях, образованных участками объектов виртуальной среды, которые видимы в пределах каждого пиксела, или в «пиксельной» пирамиде видимости. Таким образом, каждый пиксел стереопары наряду с плоскими координатами XY получает третью координату D =1/d, где D – глубина в диоптриях, d – расстояние до видимого участка объекта в метрах.

Такая технология не имеет методической погрешности как при монокулярном, так и при бинокулярном зрении. В первом случае виртуальное пространство воспринимается объемным за счет аккомодации глаза на точки фиксации взгляда F с глубиной d. При этом изображение вокруг точки фиксации становится резким, а изображение удаленных (d<DF) или более близких точек (d>DF) в поле зрения естественным образом дефокусируется.

Во втором случае, при стереозрении, аккомодация и конвергенция глаз приходится на одни и те же точки фиксации F. Возникает процесс стереопсиса, который усиливает объемное ощущение пространства. Таким образом, в области интереса изображение оказывается и резким, и слитным (без диплопии). Появление визуального дискомфорта принципиально невозможно. Дефокусировка изображений вне области фиксации остается, что является необходимой компонентой достоверного когнитивного восприятия пространства. Дисплеи обеспечивают согласованное стереоскопическое и аккомодационное зрение при большом динамическом диапазоне расстояний до предметов (от 40 см до бесконечности).

Введение мультифокальных стереодисплеев, откроет возможности применения технологий виртуальной реальности в новых областях обучения и тренинга космонавтов там, где ранее их применение считалось невозможным или нерентабельным.

Возможность смешения виртуального и реального миров в обучении и тренинге

Сравнительно недавно во всем мире появились и стали бурно развиваться технологии дополненной реальности (augmented reality), которые позволяют реальный воспринимаемый нами мир смешивать с виртуальным миром, синтезированным с помощью компьютера. Наиболее известной и распространенной технологией дополненной реальности является технология подмешивания синтезированных изображений к кадрам видеокамеры. Этот метод получает все большее распространение в рекламе, туриндустрии, индустрии развлечений. Например, если вы смотрите хоккей по телевизору, то, как правило, реклама на стенках хоккейной коробки – это региональная реклама, которую подмешивают в видеопоток специально для вашего региона. Технология основана на распознавании компьютером специальных графических маркеров, наклеенных на объекты реального мира и наложении синтезированных изображений в те точки видеокадра, в которые эти маркеры попали при съемке. Корпорация Google ведет активную разработку очков дополненной реальности, снабженных миниатюрной видеокамерой и просветным (полупрозрачным) микродисплеем, на который выводятся компьютерные изображения (http://ria.ru/technology/20120405/618349194.html, 11.04.2013).

Человек в таких очках видит одновременно и окружающую обстановку, и компьютерные изображения. В качестве компьютера может использоваться обычный смартфон. Алгоритм распознавания позволяет определить не только наличие конкретного маркера, но его ориентацию в пространстве и степень удаления от наблюдателя. В простейшем случае эта информация дает возможность как бы приклеить синтезированную бирку к объекту реального мира при его просмотре через цифровую видеокамеру или очки дополненной реальности. В более сложном случае алгоритм распознавания позволяет совместить системы координат реального и виртуального мира и произвести их смешивание в соответствии с теми или иными критериями. Более того, в качестве маркеров могут быть использованы сами объекты реального мира.

Рассматриваемая технология в применении к непосредственному сопровождению вне корабельной деятельности космонавтов позволит разместить виртуальные подсказки на реальных объектах станции и, более того, добавить на реальную поверхность станции виртуальные детали и агрегаты, которые еще только предстоит там монтировать. Визуально космонавт будет осуществлять свою деятельность в смешанном пространстве – частично реальном, а частично в виртуальном. Аналогичное обучение космонавтов сможет проводиться на борту станции, но уже полностью в виртуальном пространстве.

Преимущества такого подхода трудно переоценить, учитывая сложность условий, в которых вынужден работать космонавт, особенно при выполнении незапланированных работ или работ, которые невозможно предусмотреть заранее в долгосрочных орбитальных экспедициях и экспедициях посещения.

Возможность интуитивного управления объектами виртуального мира

Одной из существенных проблем, сдерживающих широкое применение технологий виртуальной реальности в обучении космонавтов, является сложность управления виртуальной камерой и целевыми объектами внутри виртуального мира. Для того чтобы посмотреть на интересующий нас предмет в реальности, нам достаточно повернуть голову и перевести на него свой взгляд. А для того чтобы изучить интересующий нас предмет, нам достаточно взять его в руки и покрутить перед глазами. Эти движения подсознательны и естественны для взрослого человека. Им не нужно обучать. Интерфейс человека с компьютером не является изначально интуитивным. В частности, большинство из нас с легкостью справляется с двухмерной навигацией «мышки» по рабочему столу компьютера, но этим навыкам нам пришлось научиться.

Еще хуже обстоит дело с управлением объектами в трехмерной виртуальной среде. Даже опытному графическому дизайнеру приходится ориентироваться по трем проекциям объекта и непрерывно двигать его, чтобы восстановить быстро теряющееся ощущение глубины сцены. В результате эффективность обучения, основанного на естественности восприятия человеком информации об объекте по его трехмерной визуальной модели, снижается за счет сложности освоения человеко-машинного интерфейса с трехмерной виртуальной средой.

Огромный успех жестового управления, применяемого на современных смартфонах и планшетах, основан на том, что эти жесты имитируют привычные манипуляции человека с объектами реального мира, например, сдвиг или переворачивание бумажных страниц, повороты фотографий, которые мы крутим в руке. Недавнее появление на массовом рынке достаточно качественных беспроводных трекеров (датчиков положения) и бесконтактных устройств распознавания человеческих жестов дает возможность перенести жестовое управление из плоскости в трехмерное пространство (http://rucap.ru/um5/about, 11.04.2013; http://ru.wikipedia.org/wiki/Kinect, 11.04.2013).

Компания СофтЛаб занимается разработкой трехмерного жестового управления объектами виртуального мира, которое в идеале позволит исключить из процесса обучения космонавтов лишнюю фазу, связанную с привыканием к инструментам взаимодействия с виртуальной средой.

В рамках этого же направления специалисты компании работают над распознаванием перемещения обучаемого в реальном мире с помощью наголовных трекеров положения и переносом этого движения в виртуальный мир. Учет этих данных позволит повысить качество подготовки космонавтов к деятельности по визуальному мониторингу объектов земной поверхности и по осуществлению фото- и видеосъемки через иллюминаторы станции.

Суть проблемы текущего обучения можно легко пояснить на следующем примере. Попробуйте двигаться вперед/назад/влево/вправо относительно монитора вашего компьютера. Изображение на мониторе будет оставаться неизменным. Теперь попробуйте повторить эти действия, стоя рядом с окном. Вы увидите эффект параллакса – объекты за окном будут сдвигаться относительно рамы и друг относительно друга. То же самое происходит при движении космонавта относительно иллюминатора, и это необходимо учитывать в тренажерах орбитального мониторинга Земли. На рисунке видно, как при движении наблюдателя сдвигаются внешние имитируемые объекты (земная поверхность и элементы конструкций станции) относительно обрамления иллюминатора в разрабатываемом нами тренажере.

В статье перечислена лишь некоторая часть инновационных технологий, развиваемых компанией СофтЛаб и ее партнерами. Следует отметить, что эти работы – реальный пример многолетнего успешного научно-технического сотрудничества коммерческого предприятия и двух институтов – академического и конструкторского. При должном финансировании перечисленные инновации могут быть интегрированы в уникальный модульный технологический комплекс, не имеющий аналогов в мире. Применение такого комплекса в качестве базы для построения современных тренажерных и обучающих систем позволит поднять качество подготовки космонавтов на принципиально новый уровень, существенно повысить эффективность и снизить стоимость обучения. В советские времена ЦПК в силу своего преимущественного положения имел возможность осваивать технологические решения, находящиеся на переднем крае науки. Являясь одновременно лидирующим исследовательским центром и центром практической подготовки космонавтов, ЦПК обладал еще одной, на первый взгляд неприметной ролью – ролью экспериментальной площадки для обкатки новейших образовательных и тренировочных технологий. Хотелось бы надеяться, что у нашего государства хватит здравого смысла и доброй воли вернуть Центру подготовки космонавтов принадлежащий ему по праву статус и лидирующее положение в мире. Ведь даже самая дальняя дорога в космос начинается на Земле.

Литература

Белаго И. В., Некрасов Ю. Ю., Романовский А. В., Тарасов Ю.В. Концептуальная модель системы виртуальной реальности на персональной ЭВМ // Тр. 5-й Международ. конф. по компьютерной графики и визуализации “Графикон 95”, Санкт-Петербург, Июль 1995. Том 2.

Белаго И. В., Кузиковский С. А. Управление компьютерными генераторами изображений в авиационных и космических тренажерах // Там же.

Белаго И. В., Морозов Б. Б., Шадрин М. Ю. Некоторые аспекты применения технологий компьютерной графики и виртуальной реальности для создания тренажерных и обучающих систем // Ежегод. науч.тех. семинар “Технические средства и технологии для построения тренажеров”, Москва, Звездный городок, апрель 1996 г. (Пленарный доклад).

Бартош В. С. , Белаго И. В., Дьяков М. С. и др. Виртуальный формат интеллектуального труда // НАУКА из первых рук. 2013. № 1(49).

Google показала концепт компьютера, который можно носить как очки // РИА Новости. 05/04/2012. URL: http://ria.ru/technology/20120405/618349194.html (дата обращения 11.04.2013).

Трекер RUCAP UM-5 // Официальный сайт компании RuCap. URL: http://rucap.ru/um5/about (дата обращения 11.04.2013).

Kinect // Википедия – свободная энциклопедия. 2013. URL: http://ru.wikipedia.org/wiki/Kinect (дата обращения 11.04.2013).

: 25 апр 2013 , Полеты в виртуальности и наяву , том 49, №1