Живые 3D метки

Официальный логотип технологии

«Живые 3D метки» — это одна из ряда технологий дополненной реальности, разработанная в России в 2010 г.

Принцип работы технологии

Дополненная реальность — одна из ряда существующих технологий взаимодействия человека и компьютера (составляющая часть смешанной, а также расширенной реальности).

Ее основная цель — это визуальное совмещение двух изначально независимых пространств: мира реальных объектов вокруг человека и виртуального мира, созданного на компьютере.

Эта интерактивная технология дает пользователю возможность наложить специальные компьютерные 2D и 3D объекты поверх сигнала с видеокамеры и таким образом «дополнить» реальность.

Основа технологии дополненной реальности − это система оптического трекинга. Это значит, что «глазами» системы становится камера, а «руками» — метки (или маркеры). Камера распознает метки в реальном мире, «переносит» их в виртуальную среду, а затем накладывает один слой реальности на другой и так создает мир дополненной реальности.

Интерактивное решение дополненной реальности «живые 3D метки» работает как на базе маркерной, так и безмаркерной технологии. Основное отличие двух типов технологий - в алгоритме распознавания маркеров дополненной реальности.

Типы инсталяций системы «живые 3D метки»

Инсталляция системы дополненной реальности может быть создана при помощи различных инструментов. Сегодня на рынке существует ряд технологий, которые работают на обычном мобильном телефоне со встроенной камерой. Их также можно запустить на стандартном ноутбуке, оснащенном web-камерой. Существуют более масштабные комплексные инсталляции, которые требуют наличия серьезных графических станций и больших экранных систем, либо 2D и 3D дисплеев моно и стерео формата, а также хорошей звуковой системы.

Технология «живые 3D метки» изначально создана для работы на различных проекционных системах и для различных типов инсталляций: от мобильной и до сложных проекционных решений на базе стереоскопических 3D технологий. На сегодняшний день она уже оттестирована в работе на различных 3D системах: на безочковом 3D дисплее на базе лентикулярной технологии, на 3D дисплее на базе технологии круговой поляризации, на 3D экране обратной проекции на базе технологии линейной поляризации, а также на проекционной технологии типа Infitec.

Know-how: алгоритм распознавания маркеров

Метки — это визуальные идентификаторы виртуальных 2D и 3D моделей.

Технологическое know-how и новизна технологии заключается в специальном алгоритме, заложенном в технологию их распознавания.

Маркерная технология

«Живая 3D метка» с анимированной 3D моделью космического корабля «Буран»

Данная технология была разработана и официально защищена в начале 2010 г.

Она работает на базе специально разработанных черно-белых или цветных контрастных меток. «Живая 3D метка» на базе маркерной технологии отличается от других типов меток своей рамкой. Это тонкий контур из четырех линий и опорных точек на углах квадрата. Точки используются для того, чтобы «камера» безошибочно определила углы метки и точно перенесла ее положение и ориентацию из реального пространства в виртуальное.

Рамка метки должна быть максимально четкой и контрастной по сравнению с остальными объектами реального мира. Ее основная функция – задать точный размер и положение метки для камеры. Технология удобна тем, что подобные метки легко распознаются камерой и дают ей более жесткую привязку к виртуальной модели. Подобные маркерные системы работают весьма надежно при условии хорошего освещения даже при наличии непрофессиональной оптики. «Живая 3D метка» на маркерной основе выглядит как картинка внутри специальной графической рамки.

Рамка метки представляет собой тонкий контур из четырех линий и опорных точек на углах квадрата. Точки используются для того, чтобы камера и ПО безошибочно определили углы метки и точно перенесли ее положение и ориентацию из реального пространства в виртуальное.

Основная задача системы — определить трехмерное положение реальной метки по ее снимку, полученному с помощью камеры.

Алгоритм распознавания маркера происходит поэтапно:

Сначала снимается изображение с камеры. Затем программа распознает пятна на каждом кадре видео в поисках заданного образа рамки метки. Поскольку видео передается в формате 2D, то и найденная на кадре рамка метки определяется как 2D контур. Как только камера «находит» в окружающем пространстве рамку, ее следующая задача — определить, что именно изображено внутри нее. Как только сделан последний шаг, задача системы — построить виртуальную 3D модель в двухмерной системе координат изображения камеры и привязать ее к метке.

После этого как бы пользователь ни перемещал метку в реальном пространстве, виртуальная 3D модель на ней будет точно следовать за движением метки.

Безмаркерная технология

Данная технология была разработана в середине 2011 г.

В безмаркерной технологии программное обеспечение EligoVision находит «живую 3D метку» не по квадратной рамке с опорными точками, а по комбинации из нескольких десятков «особых точек» — контрастных пятен на выбранном изображении. Технологическое «ноу-хау» заключается в специальном алгоритме, заложенным в технологию распознования любого графического изображения.

Онлайн плагин EView

Плагин EView прездназначен для просмотра приложений дополненной реальности на «живых 3D метках» в браузере в онлайн режиме.

Данный плагин был специально разработан для удобства пользователей. Он позволяет просматривать приложения дополненной реальности на «живых 3D метках», не скачивая отдельные программы для каждого из приложений.

Теперь для того чтобы увидеть 3D модель на «живой 3D метке», пользователю достаточно единожды скачать и установить плагин на жесткий диск ПК, а затем просто открывать web-страницы с демо-версиями программ и подгружать их непосредственно с сервера разработчика, не скачивая дополнительные программы на свой ПК.

Поддерживаемые ОС:

• Microsoft Windows (2000, XP, Vista, 7);
• Linux (32-bit, 64-bit).

Поддерживаемые браузеры:

• Microsoft Internet Explorer (версии 5.01 и выше);
• Mozilla Firefox;
• Opera;
• Google Chrome.

Преимущества EView:

• встроенная реализация технологии дополненной реальности;
• визуализация 3D сцен с использованием аппаратных средств (графической карты), что позволяет демонстрировать сложные высокополигональные 3D модели с фотографическим качеством отображения в реальном масштабе времени;
• хранение и передача контента демонстрации в зашифрованном виде, что не позволяет сторонним лицам завладеть исходными мультимедийными материалами.

Студия дополненной реальности (AR студия)

AR студия — это новый способ представления иллюстративного материала широкой аудитории на базе технологии дополненной реальности.

Цель создания подобной системы — дать докладчику или ведущему существенно большую свободу в использовании в презентации новых 3D визуальных средств.

Традиционно при выступлении на большой сцене докладчик вынужден располагать метку дополненной реальности вертикально перед собой и направлять ее на фронтальную камеру для корректного отображения «привязки» виртуальной 3D модели поверх изображения метки. Такой способ затрудняет выступление и ограничивает докладчика в передвижении и управлении меткой.

В AR студии используется несколько камер разного стандарта, откалиброванных между собой по специальной схеме, что позволяет решить проблему ограничения области взаимодействия метки с камерой. В результате докладчик получает большую гибкость во время презентации, свободно перемещая метку в горизонтальной и вертикальной областях.

Принцип работы AR студии

Сигнал с камеры (1) передается ПО для распознавания метки и определения координат назначенной ему модели. HD камера (2) подключена к карте видеозахвата (3).

Через видеоадаптер (4) изображение, снятое картой видеозахвата с камеры, поступает на дисплейную систему. ПО «привязывает» 3D модель поверх изображения с камеры также с помощью видеокарты.

Если метку не удалось определить с помощью верхней камеры, то производится ее поиск на изображении, полученном с фронтальной камеры.

Сейчас в AR студии используется схема из двух модулей регистрации сигнала (камер). В будущем планируется дополнить систему еще двумя камерами.

Процесс создания «живой 3D метки»

Каркас 3D модели для «живой 3D метки» совы-серой неясыти

1. Первый шаг – идея. Разрабатывается концепция модели, ее анимация и эффекты. Например, требуется создать фотореалистичную модель совы, «оживить» ее анимацией и привязать к ней аудио.

2. В программе для 3D моделирования дизайнером полностью создается каркас модели. Модель серой неясыти создавалась вручную на основе множества фотографий. Затем на созданный каркас накладываются текстуры – перья, клюв, когти, на дерево – текстура коры, среза и т.д.

3. Третий этап – «оживление», или анимация трехмерной компьютерной модели. На этой «живой 3D метке» сова вертит головой, двигает плечами и хвостом, а также моргает. Если это требуется, то для создания специфической 3D модели тщательно изучаются реальные фотографии и видео.

Поскольку «живая 3D метка» может находиться в интерактивной зоне неограниченно долго, то может пройти не одна, а несколько десятков итераций одного сюжета. Поэтому анимация, как правило, делается цикличной, с плавными переходами между стадиями.

4. Существует также прямая зависимость между размером самой метки и размером запрограммированной на нее виртуальной модели. «Подгонка» модели рассчитывается заранее, в качестве исходного стандарта используется самый удобный для пользователя размер.

5. Модель нужно «посадить» на метку так, чтобы при ее внесении в интерактивную зону картинкой к пользователю, модель появлялась бы «лицом» к нему, а не «боком» или «спиной». Камера четко считывает расположение картинки на метке и «сажает» 3D модель именно так, как она заранее запрограммирована.

6. Один из сложных этапов – это программирование физики модели. Любое движение и изменение положения реальной метки в реальном пространстве влечет за собой изменение модели в виртуальном пространстве.

Законченная 3D модель совы на 3D метке

Возможности поведения 3D модели на конкретной метке просчитываются математически на программном уровне. Например, в случае с меткой с совой можно запрограммировать физику так, что птица будет взлетать с ветки при наклоне метки перед камерой. На этом же этапе программируются и анимируются всевозможные взаимосвязи между различными «живыми 3D метками», например, соединение в реальном времени нескольких элементов конструктора, каждый из которых запрограммирован на отдельной метке.

7. Следующая стадия – программирование аудио для модели. Аудиофайл «нарезается» в нужном формате нужной длины, и программным образом «привязывается» к картинке на метке. Когда система распознает картинку, она автоматически загружает аудиофайл. Если в зону действия системы попадает несколько меток с аудио, то в большинстве случаев система автоматически ставит режим «без звука» («mute»). К метке привязывается аудиофайл любой длительности, он может воспроизводиться циклично, единожды или несколько заданных раз с нужными интервалами.

8. Внешний дизайн метки: картинкой для метки может служить любое изображение, в том числе и штрих код. Однако пользователям быстрее и легче научиться работать с очевидными графическими символами, например, с изображением совы, чем со штрих кодом.

9. Завершающим этапом является сведение всех стадий в виртуальной интерактивной среде дополненной реальности. Система «живые 3D метки» работает в открытой программной среде – OpenSceneGraph. В этой среде написаны специальные программные библиотеки, математические модули и алгоритмы. Они позволяют работать с приложениями дополненной реальности в реальном времени на разных дисплейных системах.

Примеры использования технологии

• Выставочный проект: «Autodesk Форум 2011» и «Живой 3D план Форума» для Autodesk Форума 2011 (сентябрь 2011 г.)

• Web-проект на базе безмаркерной технологии: «Раскрась автомобиль» для издания «Практика интернет маркетинга» (июль 2011 г.)

• Выставочный проект: «Система Геос» для КБ «ГеоСтар» (июнь 2011 г.)

• Презентация на большой сцене на базе AR студии: «65-ая параллель» для ОАО «Российские космические системы» (май 2011 г.)

• Выставочный проект: «Космическая связь» для ФГУП «Космическая связь» (май 2011 г.)

• Выставочный проект: «3D Движение» для компании Midexpo (апрель 2011 г.)

• Выставочный проект: «МОЭСК» для ОАО «Московская объединенная электросетевая компания» (апрель 2011 г.)

• Web-проект: «С Праздником весны» - 3D открытка на 8 марта (март 2011 г.)

• Презентационный проект: «Собери 3D логотип» для коммуникационного агентства «НестЛайн» и фармацевтической компании «Астразенека» - игра, построенная на одновременном взаимодействии 5 меток (январь 2011 г.)

• Web-проект: «Здравствуй 2011!» - новогодняя 3D игра-поздравление (декабрь 2010 г.)

• Выставочный проект: «3D лабиринт» для коммуникационного агентства «НестЛайн» и фармацевтической компании «Астразенека» (ноябрь 2010 г.)

• Демонстрационный web проект: вертолет «Ми-34» для ОАО «Вертолеты России» (октябрь 2010 г.)

• Выставочный и web-проекты: «Autodesk: проектирование» и «Autodesk: архитектура» для Autodesk форума (сентябрь 2010 г.)

• Web-проект: «Путешествие внутри компьютера!» - интерактивная 3D игра под Windows для компьютерного издания ComputerBild(сентябрь 2010 г.)

• Web-проект: «Неутомимый робот!» для журнала «Хакер» (август 2010 г.)

• Презентационный проект: «Дышите свободно» для рекламного агентства Poster One (август 2010 г.)

• Web-проект: «Девушка XXL» для глянцевого мужского журнала XXL (август 2010 г.)

• Презентационный VIP проект: «НегоциантЪ» (июнь 2010 г.)

• Выставочный проект: «С уверенностью в будущее» для ОАО «Российские Космические Системы» (июнь 2010 г.)

• Демонстрационное приложение: «Моделирование интерьеров» (февраль 2010 г.)

• Образовательный проект: «Зеленая машина времени» для ГАО ВВЦ и Экоцентра «Воробьевы горы»: (декабрь 2009 г.)

• Выставочный проект: «Космос» для ОАО «Российские Космические Системы»(август 2009 г.)

• Выставочный проект: «Виртуальный мир наночастиц» для Федерального агентства по науке и инновациям (ноябрь 2008 г.)

См. также

• Виртуальная реальность
• Дополненная реальность
• Система отслеживания движений головы
• Степени свободы
• Системы трекинга

Ссылки

• О технологии дополненной реальности «живые 3D метки» на портале Mir3D
• Репортаж о технологии на канале CnewsTV
• Обзорная статья ресурса AllProjectors.ru о перспективах использовании технологии в сфере образования
• Российские разработки в области виртуальной и дополненой реальности на системах оптического трекинга
• http://www.hitl.washington.edu/artoolkit/
• http://www.computerra.ru/terralab/softerra/448481/

Связать^?