Дополненная реальность

Дополненная реальность (augmented reality, AR) — технология, при которой пользователь видит реальный мир, а поверх него или вместе с ним в реальном времени отображаются виртуальные (сгенерированные компьютером) объекты, которые выглядят так, будто находятся в том же пространстве, что и реальные¹². В отличие от виртуальной реальности, полностью заменяющей окружение синтетическим, дополненная реальность не заменяет реальный мир, а дополняет его¹.

Виртуальные объекты показывают информацию, которую человек не может воспринять собственными органами чувств, и тем самым помогают ему выполнять задачи в реальном мире: собирать и ремонтировать оборудование, ориентироваться, видеть скрытые конструкции¹.

Определение

Классическое определение дал Рональд Азума (Ronald Azuma) в обзоре 1997 года, который, по оценке авторов более позднего обзора, и определил эту область исследований². Чтобы не привязывать понятие к конкретным устройствам, он определил дополненную реальность как системы с тремя характеристиками¹:

совмещают реальное и виртуальное;
интерактивны в реальном времени;
совмещены (registered) в трех измерениях — виртуальные объекты точно привязаны к реальным.

Под это определение подходят шлемы и очки с прозрачным экраном, системы на мониторах и другие способы совмещения изображений. Не подходят фильмы с компьютерной графикой (они не интерактивны) и плоские надписи поверх видео (они не привязаны к реальному миру в 3D)¹.

Дополненная реальность не ограничивается зрением: она может затрагивать слух (синтезированный объемный звук, подавление реальных звуков), осязание (тактильные перчатки) и другие чувства¹². Кроме добавления объектов возможно и удаление реальных объектов из поля зрения; такую задачу иногда называют опосредованной или уменьшенной реальностью (mediated, diminished reality), но Азума и соавторы считают ее частью дополненной реальности².

Континуум реальность — виртуальность

Пол Милгрэм (Paul Milgram) и Фумио Кисино (Fumio Kishino) в 1994 году предложили рассматривать среды отображения на «континууме виртуальности» (virtuality continuum): на одном его конце — полностью реальная среда, на другом — полностью виртуальная. Все, что находится между ними, — смешанная реальность (mixed reality, MR), в которой реальные и виртуальные объекты показываются вместе³.

Дополненная реальность в этой схеме — случай, когда изображение в целом реальной среды дополняется виртуальными объектами. Обратный случай — дополненная виртуальность (augmented virtuality, AV): в виртуальную среду добавляются реальные объекты³². Для классификации систем смешанной реальности авторы предложили три измерения: насколько полно система знает отображаемый мир (extent of world knowledge), насколько реалистично она его воспроизводит (reproduction fidelity) и насколько сильна у наблюдателя иллюзия присутствия (extent of presence metaphor)³.

Устройство систем

Устройства отображения

Азума и соавторы делят дисплеи дополненной реальности на три группы²:

носимые на голове (head-worn displays) — шлемы и очки. В оптических прозрачных (optical see-through) пользователь видит мир напрямую через полупрозрачный оптический элемент, на который накладывается графика; в видеопрозрачных (video see-through) мир снимается камерами, и пользователь видит видеоизображение, совмещенное с графикой¹²;
ручные (handheld) — плоский экран с камерой работает как «окно» или «лупа», показывающая реальные объекты с наложенной информацией²;
проекционные — виртуальная информация проецируется прямо на поверхности реальных объектов².

Возможны и системы на обычном мониторе, где изображение с камер совмещается с графикой и выводится на экран¹.

Совмещение и отслеживание

Главная техническая проблема дополненной реальности — совмещение (registration): реальные и виртуальные объекты должны быть точно выровнены относительно друг друга, иначе иллюзия их сосуществования разрушается¹. В виртуальной реальности пользователь видит только синтетические объекты, и ошибки совмещения заметны слабее; в дополненной реальности расхождение виртуального изображения с реальным видно сразу¹.

Поэтому требования к отслеживанию (tracking) положения и ориентации пользователя и объектов в дополненной реальности выше, чем в виртуальной, а требования к реалистичности графики, напротив, ниже: виртуальных объектов нужно немного, и они не обязаны быть фотореалистичными¹. Основной источник ошибок совмещения — задержка: по эмпирическому правилу для работы на близком расстоянии одна миллисекунда задержки дает около миллиметра ошибки².

Многим приложениям нужна переносимость: пользователь должен находиться там, где выполняется задача, и перемещаться, в том числе вне помещений¹. Для отслеживания на открытом пространстве используют GPS и счисление пути, компас и инклинометры, а также распознавание естественных ориентиров на видео².

Применение

Азума в 1997 году выделил шесть классов приложений, которые к тому времени исследовались¹:

Медицина — совмещение данных МРТ, КТ и УЗИ с видом пациента для малоинвазивных операций, биопсии и обучения хирургов.
Сборка, обслуживание и ремонт сложного оборудования — пошаговые трехмерные инструкции поверх самого оборудования; например, в Boeing исследовали сборку жгутов электропроводки самолета с подсказками дополненной реальности.
Аннотирование и визуализация — подписи к объектам окружения, а также визуализация скрытого: при наличии базы данных о конструкции здания архитектор мог бы увидеть трубы, электропроводку и несущие элементы внутри стен.
Планирование движения роботов — оператор отрабатывает действия на виртуальной модели робота, наложенной на изображение реальной сцены, и только затем передает план реальному роботу.
Развлечения — виртуальные декорации, в которые в реальном времени помещаются живые актеры.
Военная авиация — индикаторы на лобовом стекле и нашлемные прицелы, накладывающие навигационную информацию и отметки целей на вид из кабины.

К 2001 году появились мобильные приложения (навигация, ситуационная осведомленность, информация с географической привязкой), системы совместной работы и коммерческие применения — например, дополнение спортивных телетрансляций². В предисловии к справочнику по дополненной реальности 2023 года Азума отмечает, что коммерческие инвестиции сделали некоторые формы дополненной реальности доступными сотням миллионов пользователей; к потребительским применениям в справочнике отнесены игры, образование, театр, музеи и туризм, а первыми исследовались промышленные (обслуживание и ремонт), медицинские и военные применения. Азума также рассматривает дополненную реальность как интерфейс к «зеркальному миру» — цифровому двойнику реального мира, связанному с ним через интернет вещей⁴.

Ограничения

По обзору 2001 года, широкому внедрению мешали в первую очередь технологии: дисплеи, системы отслеживания и системы в целом должны были стать точнее, легче, дешевле и экономичнее; дисплеи, рассчитанные на помещения, плохо видны на солнце, а носимый комплект для работы на улице был тяжелым². Отдельные проблемы — человеческий фактор (в том числе конфликт аккомодации и вергенции в шлемах, влияние длительного использования) и социальное принятие: внешний вид устройств и вопросы приватности².

История

Истоки дополненной реальности Азума и соавторы связывают с работой Айвена Сазерленда (Ivan Sutherland) 1960-х годов, в которой трехмерная графика показывалась через прозрачный шлем². Как самостоятельное направление исследований область сложилась в 1990-х: обзор Азумы 1997 года определил ее и сформулировал основные проблемы, а в конце 1990-х появились специализированные конференции и свободно распространяемая библиотека ARToolkit для создания приложений².

Литература

Azuma R. T. A Survey of Augmented Reality // Presence: Teleoperators and Virtual Environments. — 1997. — Vol. 6, № 4. — P. 355–385.
Milgram P., Kishino F. A Taxonomy of Mixed Reality Visual Displays // IEICE Transactions on Information and Systems. — 1994. — Vol. E77-D, № 12. — P. 1321–1329.
Azuma R., Baillot Y., Behringer R., Feiner S., Julier S., MacIntyre B. Recent Advances in Augmented Reality // IEEE Computer Graphics and Applications. — 2001. — Vol. 21, № 6. — P. 34–47.
Azuma R. Foreword // Springer Handbook of Augmented Reality / Ed. by A. Y. C. Nee, S. K. Ong. — Cham: Springer, 2023.

См. также

Azuma R. T. A Survey of Augmented Reality // Presence: Teleoperators and Virtual Environments. — 1997. — Vol. 6, № 4. — P. 355–385. ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶ ↩⁷ ↩⁸ ↩⁹ ↩¹⁰ ↩¹¹ ↩¹² ↩¹³
Azuma R. et al. Recent Advances in Augmented Reality // IEEE Computer Graphics and Applications. — 2001. — Vol. 21, № 6. — P. 34–47. ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶ ↩⁷ ↩⁸ ↩⁹ ↩¹⁰ ↩¹¹ ↩¹² ↩¹³ ↩¹⁴ ↩¹⁵ ↩¹⁶
Milgram P., Kishino F. A Taxonomy of Mixed Reality Visual Displays // IEICE Transactions on Information and Systems. — 1994. — Vol. E77-D, № 12. — P. 1321–1329. ↩ ↩² ↩³
Azuma R. Foreword // Springer Handbook of Augmented Reality / Ed. by A. Y. C. Nee, S. K. Ong. — Cham: Springer, 2023. ↩