ДР для ББМ Норвегии. Часть 2. Дополненная реальность в реальности виртуальной

Jul 19, 2016 00:18

Продолжение, начало см. здесь


Симуляция изображения ОЭС с ДР в ходе эксперимента NORBASE на раннем этапе исследований в 2006 году

НИОКР в НИИ "Ффи" по теме ОЭС с ДР идут с середины 2000-х годов в рамках научно-исследовательских программ "Проект-1019: Технологии сетевой интеграции боевых машин" (TEKNISK - TEKnologier for NettverksIntegrert StridsKjøretøy) и "Проект-1156: Технологии для боевых машин".

Первый эксперимент по лабораторному моделированию ДР был проведен специалистами института в 2006 году на базе виртуального тренажера боевой машины национальной разработки, созданного на основе модифицированной среды компьютерной игры "Анриал турнемент-2004" (Unreal Tournament 2004). Эти работы стали одним из направлений масштабного эксперимента по компьютерной симуляции и моделированию UT2004 NORBASE (Norwegian Battle Simulation Experiment).

В 2007 году специалисты расположенной в г. Хальден (Halden, пров. Остфолл) компании AR-Lab (Augmented Reality Laboratory Norge AS) по заказу НИИ "Ффи" разработали первый прототип новой системы, и в октябре 2008 года он прошёл полевые испытания. При этом была продемонстрирована потенциальная возможность внедрения концепции ДР в ОЭС БМП CV90. Затем последовали еще два аналогичных эксперимента с более подробной детализацией ДР, в ходе которых платформой для моделирования уже стала игровая среда VBS2 (Virtual Battlespace 2).

Примечание: Virtual Battlespace 2 (VBS2) - полностью интерактивная трехмерная виртуальная среда, созданная на базе компьютерной игры Armed Assault, для использования в ходе военной подготовки и экспериментальных исследований. VBS2 разработана компанией Bohemia Interactive Simulations (BISim) и применяется в ВС многих государств мира.
В НИИ "Ффи" VBS2 используется для испытания в синтетической среде всех разрабатываемых систем В и ВТ, для чего два раза в год выпускаются обновленные версий VBS2.

Хотя VBS2 была на тот момент и остается до настоящего времени наиболее современной игровой средой, однако скриптовый язык первых ее версий имел ограниченные возможности по созданию графических наложений из-за отсутствия простого способа совмещения географических и экранных координат на карте. Поэтому разработанная с их использованием система ДР была достаточно примитивной и не отвечала большинству заданных требований.

В 2010 году на базе языка программирования высокого уровня С++ разработан новый интерфейс прикладного программирования (API) VBS2 Fusion V2.0, который впервые обеспечивал все необходимые для тестирования функциональные возможности ДР. Именно начиная с версии 2.0, стала доступной возможность разработки любых графических изображений для наложения их в игровой среде VBS2.

На этом этапе успешно начатое сотрудничество "Ффи" с "АР-лаб" отчего-то прекратилось. В 2011 году в НИИ "Ффи" сменили подрядчика на компанию "Аугменти дифенз" (Augmenti Defence AS) из г. Тронхейм.

В ноябре 2012 года текущая версия разрабатываемой системы ДР прошла лабораторные испытания с привлечением к участию в компьютерной игре на VBS2 шести профессиональных экипажей БМП CV90 из состава мпб "Телемарк" мбр "Север". Эксперимент проводился в течение одной рабочей недели и состоял из последовательного розыгрыша нескольких типовых тактических сценариев. Целью эксперимента стала оценка потенциальной функциональности системы ДР, уже не самостоятельно, а в комбинации с АСУБ FACNAV MARIA, при их совместном использовании на ББМ. Полученные в ходе испытаний результаты стали исходными данными при проектировании реальной системы ДР для использования ее в ОЭС БМП CV9003N и ОБТ "Леопард-2", с целью обеспечения командира, наводчика и механика-водителя данными в прицеле и перископе в форме стандартных графических символов.

Дальнейшая разработка системы ДР для ОЭС ББМ проводится в НИИ "Ффи" на базе виртуального тренажерного комплекса (VTK - Virtual Training Kit), который связан с виртуальной же АСУБ в игровой среде VBS2 и состоит из следующих трех основных компонентов:

1) рабочий стол (экранная среда) тренажера VBS2;
2) комплект развития VBS2;
3) межсетевой интерфейс VBS2 HLA/DIS (LVC Game).

Экранная среда тренажера VBS2 представляет собой главное приложение, включающее игровой клиент, редактор сценариев игровых эпизодов и модуль послеигрового просмотра (After Action Review - AAR). В игровом клиенте пользователь контролирует свой аватар, который может действовать и двигаться пешим строем, управлять боевой машиной или летательным аппаратом, использовать личное оружие или платформу с вооружением и датчиками. В игровой среде VBS2 представлен большой выбор наземных, морских и воздушных систем В и ВТ, а также около 10 типовых моделей различных рельефов местности.



Некоторые типы военной техники игровой среды VBS2

Комплект развития VBS2 включает набор инструментальных средств для создания нового контента VBS2. Образцами нового контента могут быть перспективные или модернизированные ББМ, другие платформы для вооружения, аватары или новые модели рельефа местности.

Межсетевой интерфейс VBS2 HLA/DIS позволяет соединить в игровой среде VBS2 различные тренажеры военного назначения, поддерживающие HLA/DIS.

Стандартная процедура начальной установки для моделирования в среде VBS2 предусматривает наличие выделенного сервера VBS2, определенного количества игровых клиентов VBS2, подключенных через шину данных HLA/DIS.



Стандартная архитектура VBS2

Условием активации системы ДР является ее совместимость и установление связи с экспериментальной виртуальной АСУБ НИИ "Ффи". Для командира ББМ в меню VBS2 добавлена позиция "Установить соединение с АСУБ" (Connect to BMS). Это действие открывает комбинированное окно, в котором пользователь может выбрать клиент АСУБ для подключения.



Отображение данных на экране командира ББМ в VBS2 при выборе и соединении с клиентом АСУБ

После установления соединения между игровыми клиентами ББМ и АСУБ через IP соединение передаются следующие данные:

- местоположение ББМ;
- направление ББМ;
- направление орудийной башни;
- направление лазерного дальномера.

Обновление данные производится каждую секунду (помните, у NORTaC BMS обновление производилось не чаще, чем каждые 5 секунд?).

Разработанный НИИ "Ффи" плагин VBS2 Fusion передает данные от клиента VBS2 к клиенту АСУБ.

После установления соединения между клиентами ББМ и АСУБ система ДР может быть активирована выбором в меню позиции "Включить ДР" (Active AR). Командир, наводчик и механик-водитель могут активировать свою систему ДР независимо. Отключение системы ДР производится выбором в меню позиции "Выключить ДР" (Deactivate AR). Командир прерывает соединение с АСУБ выбором позиции "Отключится от АСУБ" (Disconnect from BMS).



Основные параметры объекта дополненной реальности

Все объекты дополненной реальности в системе ДР имеют одинаковую структуру и состоят из пяти следующих основных параметров:

1. Символ, указывающие на принадлежность и тип объекта ДР. При этом используются условные обозначения для нанесения на военных карты стандарта MIL-STD-2525C. Система ДР получает данные о принадлежности и типе объекта ДР от системы АСУБ.



Основные условные обозначения стандарта MIL-STD-2525C

2. Идентификатор объекта ДР - расположенная над символом уникальная текстовая строка. Система ДР получает этот идентификатор от АСУБ.

3. Численное расстояние от ББМ до объекта ДР в метрах. Указывается справа под символом.

4. Точка фактического положения объекта ДР, которая обозначается белым цветом, если объект ДР находится на линии прямой видимости от БМ, в противном случае - используется красный цвет.

5. Линия, соединяющая точку фактического положения объекта ДР и его символ, изображается тем же цветом, что и символ в соответствии с принадлежностью объекта ДР. Длина этой линии всегда соответствует фиксированной высоте над фактическим положением объекта. По умолчанию это значение всегда составляет 25 метров. С учетом уменьшения геометрических размеров из-за эффекта оптической перспективы это сразу позволяет визуально грубо оценить расстояние до объекта.

Во избежание загромождения поля зрения оператора установлена минимальная и максимальная дистанции отображаемых объектов ДР, составляющие 15 метров и 6 000 метров соответственно.

АСУБ обеспечивает сопровождение своих сил (Blue Force Tracking - BFT) для всех ББМ, подключенных к клиенту АСУБ. Данные сопровождения своих сил передаются в систему ДР, где визуализируются с объектами ДР. Ниже на рисунке приведен пример отображения своих сил на экране АСУБ (слева) и через виртуальный прицел командира ББМ (справа). Информация представлена с ракурса ББМ с идентификатором 1-1, из которой визуализируются две ББМ своих сил с идентификаторами 1-2 и 1-3. Первая цифра в идентификаторах АСУБ обозначает взвод, вторая - порядковый номер боевой единицы в составе взвода. На экране АСУБ синие точки отмечают местоположение ББМ, короткие синие линии - направление ББМ, а V-образные пары синих линий - сектор визирования наводчиков. Короткая оранжевая линия на ББМ с идентификатором 1-1 отмечает направление линии прямой видимости, которая также обозначает направление линии визирования командира.



Отображение своих сил через прицел командира ББМ с системой ДР (справа) и на карте АСУБ (слева). Точка - местоположение ББМ, короткая синяя линия - направление ББМ, V-образная синяя пара - сектор обстрела башни, короткий оранжевый отрезок - направление лазерного дальномера

В состав комплекта виртуальной ОЭС входит интегрированный с АСУБ лазерный дальномер, управляемый командиром ББМ. Полученные при его включении данные автоматически передаются в АСУБ. В реальной системе это местоположение определяется замеренным расстоянием и угловыми координатами линии визирования дальномера. Местоположение отображается в виде оранжевой точки на экране АСУБ в течение нескольких секунд, и за это время командир может принять указанную позицию как данные наблюдения, выбрав из графического интерфейса пользователя АСУБ позицию "Подтвердить" (Confirm). По умолчанию данные наблюдения добавляются как неизвестный наблюдаемый наземный объект, позднее может быть указана его точная принадлежность и тип.

Ниже на рисунке показана последовательность формирования отображения объекта ДР с использованием лазерного дальномера.



Обнаруженный автомобиль отмечается как неизвестный наземный объект с использованием лазерного дальномера

Объекты ДР могут масштабироваться в зависимости от расстояния до них от ББМ. Данная функция может включаться и выключаться по выбору пользователя. Масштабирование влияет на размер символов, точек и ширину линий между точками и символами. Во избежание отображения очень маленьких или очень больших символов, в системе установлен минимальный и максимальный коэффициент масштабирования. Текстовые формуляры всегда имеют одинаковый размер, а символы всегда располагаются на заданной высоте в метрах над точками, отмечающими реальные позиции.



Объекты ДР и расстояние до БМ в масштабе (слева)

Также специалистами НИИ "Ффи" в лабораторных условиях успешно проведены эксперименты по использованию совместимого с АСУБ программного обеспечения, обеспечивающего распознавание речи оператора. Таким способом командир может точно установить принадлежность и тип объекта через голосовые команды. Например, при направлении лазерного дальномера на ББМ противника и произнесении голосовой команды "Подтвердить автомобиль противника", должен сформироваться наблюдаемый объект с его точной принадлежностью и типом. Существуют определенные сложности с интеграцией системы распознавания голоса в условиях шумов, сопровождающих эксплуатацию реальной ББМ, но в лабораторных условиях в тренажере ББМ она работает эффективно.

Текст формуляров объектов ДР должен иметь четкую видимость на темном и светлом фоне. Для решения проблемы используются буквенно-цифровые символы с эффектом черной тени, толщиной не менее 5-10% от высоты знака.



Текст, одинаково хорошо видимый на светлом и темном фоне

В случае если из-за особенностей рельефа местности возникают сложности визуализации местоположения наблюдаемого объекта с текущей позиции ББМ, скрытая складками местности точка отмечается красным цветом, а скрытая часть линии между точкой и символом - белым.



Объекты, расположенные за холмом, визуализируются при помощи красных точек и частично белых снизу линий

В реальной системе ДР всегда существует запаздывание системы передачи данных, которое представляет собой разницу во времени между моментом измерения текущих значений местоположения/ориентации точки обзора и тем моментом, когда соответствующая им графика ДР появляется на мониторах. Запаздывание всегда возникает с началом движения объекта и визуально наблюдается на экране ОЭС, как некоторое отставание объектов ДР от наблюдаемой позиции реального объекта. Этот эффект тем сильнее, чем выше угловая скорость движения объекта относительно наблюдателя. Данная особенность реальной системы ДР учтена и использована при создании симулятора системы ДР с целью придания большей реалистичности, а также проверки экспериментальным путем, с каким запаздыванием по времени обстановка ДР может беспроблемно восприниматься оператором. Подобная задержка может регулироваться, но по умолчанию всегда составляет 0,1 секунды.



Визуальный эффект запаздывания сквозной системы передачи данных

Симулятор системы ДР создан на основе языка программирования высокого уровня С++ с использованием API VBS2 Fusion V2.0. Данная версия имеет функции, обеспечивающие доступ к интерфейсу Direct3D и позволяет изображать графические примитивы и текст в окне VBS2. Direct3D является частью программного интерфейса Microsoft DirectX API и используется для получения аппаратно ускоренной трехмерной компьютерной графики. Система ДР подчиняется динамически подключаемой библиотеке DLL, которая используется в процессоре VBS2.

image Click to view


https://youtu.be/SZ6FTpOKopw

Система ДР предназначена для использования командиром, наводчиком и механиком-водителем ББМ. В тренажере ББМ командир использует АСУБ, а наводчик и механик-водитель имеют возможность следить за обстановкой по её данным.



Операторы и компоненты виртуальной ББМ

Для функционирования системы ДР в каждой ББМ клиент VBS2 командироа должен быть подключен к клиенту АСУБ. С использованием интерфейса VBS2 Fusion разработан отдельный плагин связи АСУБ, который передает данные ББМ от клиентов VBS2 через командиров клиентам АСУБ. Плагины системы ДР для клиентов VBS2, используемых командирами, наводчиками и механиками-водителями ББМ передают данные об объектах ДР от клиентов АСУБ.

Ниже на рисунке представлен типовой вариант связи между клиентами АСУБ и клиентами VBS2 в системе с двумя ББМ, оснащенными системами ДР. Коммуникационные плагины отмечены желтым цветом, плагины системы ДР - синим. Моделируемая система имеет архитектуру, сходную с системами реальных ББМ, использующих АСУБ и оборудованных ОЭС с ДР.



Связь между клиентами АСУБ и клиентами VBS2 (вариант)

Каждый плагин системы ДР непрерывно получает от клиента АСУБ, сообщения содержащие данные о сопровождении своих сил или данные наблюдений. Каждый раз когда данные наблюдений формируются, обновляются или удаляются сообщения о сопровождении своих сил отправляются через протокол дейтаграмм пользователя (User Datagram Protocol - UDP), а сообщения по наблюдаемым объектам - через протокол управления передачей (Transmission Control Protocol - TCP). Когда плагин системы ДР подключен к клиенту АСУБ, он посылает запрос на получение сообщений обо всех текущих наблюдениях, таким образом синхронизируясь с клиентом АСУБ.

В ходе испытаний системы ДР были отмечены эксплуатационные проблемы, связанные со снижением частоты воспроизведения кадров на экране, возникающим в случае отображения более десяти объектов ДР. Причиной подобного явления стали функции изображения текста в VBS2 Fusion API. Недостатки были устранены путем использования интерфейса Direct3D непосредственно для изображения текста. Для дальнейшей оптимизации системы ДР интерфейс Direct3D стали напрямую использовать для графических текстур, что позволило помещать текстуры в кэш-память.

Эксплуатационные характеристики конечной версии системы ДР с учетом доработки оказались очень высокими - одновременное наблюдение более 50 объектов ДР без негативного влияния на частоту кадров.

После завершения всех проверок системы ДР в симулированной игровой среде на виртуальных тренажерах, специалисты НИИ "Ффи" и компании "Аугменти дифенз" приступили к натурным полевым испытаниям новой системы, получившей предварительное наименование AWARE.

Об этом - в заключительной части цикла.

( окончание следует)


virtual reality, forsvarets forskningsinstitutt (ffi), c4isr, augmented reality, situation awareness, network centric warfare, nettverks-basert forsvar (nbf), virtual battlespace 2 (vbs2), ar-lab, norway, Аугменти, сетецентрическая война, c2is, augmenti defence, Норвегия, thales, тренажеры, battlefield management system (bms), norsk battlelab eksperimentering (noble), forsvaret

Previous post Next post
Up