Для чего нужны очки дополненной реальности
Очки дополненной реальности – для чего нужны?
Многим, наверняка, доводилось слышать об очках виртуальной реальности, благодаря которым пользователь может перенестись в компьютерный мир. Однако большую пользу представляют очки дополненной реальности, способные накладывать созданные процессором изображения на картину окружающей действительности, благодаря чему решается множество задач: от сугубо развлекательных до утилитарных, способных сделать жизнь легче и безопаснее.
Принципы конструкции и работы
Аксессуар состоит из нескольких элементов:
Описание работы очков расширенной реальности основывается на том, что они создают виртуальный экран. Вообразите, что вы надели аксессуар и устремили взгляд на белую стену. Посредством дополненной реальности на стене вдруг появляются контакты, сохраненные в вашем смартфоне, прогноз погоды, новости. При этом все картинки не статичны, а интерактивны, предполагающие возможности взаимодействия и редактирования.
Конечно, формируемые объекты не ограничиваются указанными примерами. Расширенная реальность может создавать и трехмерные модели, вокруг которых можно ходить, оценивая со всевозможных ракурсов, изучая подробности и детали.
Какая польза от этого устройства?
Очки смешанной реальности могут использоваться в следующих целях:
Таким образом, Augmented Reality – это по-настоящему полезная технология, находящая применение в реальном мире.
Концепция очков дополненной реальности. Моя идеальная AR гарнитура, которая возможна
Всем привет! Меня зовут Дядиченко Григорий, и я основатель и CTO студии Foxsys. Недавно мне пришла в голову идея интересная концепция AR очков, которые могут быть нужны пользователю. Многие недооценивают некоторые аспекты с точки зрения удобства использования и пользовательского опыта. Если вам интересна данная тема, добро пожаловать под кат.
Чтож, чтобы написать концепцию надо сначала посмотреть на текущие решения на рынке и текущие технологии, чтобы понимать почему то, что существует сейчас совершенно не нужно пользователю. Мы достаточно долго занимаемся AR/VR разработкой, и успели поработать со многими AR/VR технологиями, технологиями трекинга и т.п, а так же провести эксперименты с точки зрения пользовательского опыта. Это чисто бизнес история, и дело не столько в цене. Но об этом чуть позже.
Существующие очки
За время работы с Hololens, Magic Leap и другими устройствами становится всё больше понятно, что это бизнес устройства. Они могут решать только конкретные задачи. В сущности, большая часть работы человека сейчас связана с вводом текстовой информации, с которыми у этих решений есть проблемы. В меджик липе вроде можно вводить текст с телефона, а вот в hololens на уровне операционной системы — нет.
Голограммы — это конечно прикольно, но это частные случаи. Так как сейчас, если анализировать сколько времени средний человек проводит в каких приложениях, это по большей части почта, соц. сети и месенджеры. Все остальные приложения на телефоне уже зависят от конкретной личности: интересы, профессиональная деятельность и т.п. Голограммы — это либо конкретные b2b задачи, или развлечения типа игр. Что важно, но не является предметом первой необходимости в повседневной жизни.
Проблемы существующих очков
Сначала разберём основную проблему — текстовый ввод. Голосовой ввод — неудобен во многих случаях, особенно в публичных местах. Забудем про то, что работает он неидеально. Я думаю вы не захотите произносить вслух некоторые детали переписок или банальные пароли от сервисов. Плюс он довольно медленный по сравнению с клавиатурным 10-ти пальцевым вводом. Даже если бы существовал идеальный распознаватель речи — это история про то, когда вы сидите дома, причём в одиночестве. Так как это вопрос приватности, если это не простые команды отдаваемые очкам, а личная переписка.
Ввод жестами, трекинг рук. Сейчас пошёл какой-то нереальный ажиотаж на трекинг рук, который меня поражает. Он красиво смотрится в фильмах и на картинках (Сразу вспоминается “Особое мнение”) Но, что с точки зрения отправки простых команд — кнопки удобнее жестов, что с точки зрения текстового ввода — даже клавиатура телефона будет удобнее, чем ввод текста в воздухе без какого либо тактильного отклика. Поэтому зачем изобретать велосипед, если есть телефон в виде почти идеального пульта управления очками и вспомогательного устройства? Так же, как и на телевизоре можно вводить текст с IPhone, если у вас есть Apple TV. Так же почему бы не перенести этот опыт на очки. Да, должна быть “неудобная альтернатива”, если скажем телефон не в доступе и далеко, а вы не торопитесь. Но на уровне операционной системы синхронизация с мобильным устройством должна быть в каждых очках дополненной реальности.
FOV (Field of view или поле зрения) — немного переоценённая проблема. В будущем в цикле выхода новых устройств, чтобы их было смысл покупать это то, чем могут меряться производители. В данный момент времени FOV достаточен для решения многих задач, и основной задачи, для которой я хотел бы иметь себе AR очки.
Вес. Большинство очков действительно тяжёлые, но с тем, какими темпами развивается перенос расчётов в облако и технологии интернета — эта проблема может решится в скором времени, вместе с энергоэффективностью. Локальным вычислительным центром может являться телефон, так как если вы покупаете себе AR гарнитуру (за скажем 1-2к$), то вероятно у вас есть флагманский смартфон, обладающий очень хорошей мощностью.
Цена. И вот тут хочется начать рассказывать про основную идею концепта. По долгу службы я работаю за ноутбуком, и работаю удалённо. Долгое время я мечтал об идее: “самое компактное рабочее место, которое можно быстро создать в любой точке мира”. И по сути всё упиралось в одну деталь: в реальности невозможно уменьшить дисплей ноутбука до размеров небольшого устройства. Так как это получится телефон. Даже сейчас периодически с планшета с клавиатурой подключенного по какому-нить RDP, мне удобно проводить код ревью, править мелкие баги или писать небольшие скрипты. Но в AR можно создать дисплей любого размера, при этом если очки по форм фактору могут занимать места в разы меньше, чем средний ноутбук. Возвращаясь к стоимости, наша команда работает со сложной компьютерной графикой. Поэтому мой ноут (коих ещё и два, так как нужны и Windows, и MacOS) стоит больше 2к$. Если бы у меня были очки + телефон с подключением по RDP или другому протоколу с подпиской для работы — это было бы идеально. Так как мощность можно было бы изменять под текущую задачу. Запускать системы запекания света или тяжелого рендера, просто оплачивая их с карты для работы. И это мечта.
Вот теперь можно описать сам концепт.
Концепция идеальных AR очков
По сути моя мечта — это максимально компактное удалённое рабочее место, чтобы не носить с собой тяжёлый ноутбук. Можно сказать, что это частный случай — программисты. Но на самом деле большое количество профессий связано с тем, что нужно удобное устройство для текстового ввода. Это связка двух устройств. Телефон + очки.
Проблема текстового ввода решается тем, что телефон превращается в пульт или полноэкранную клавиатуру в зависимости от задачи. Очки же выступают в роли монитора произвольной диагонали. Набор датчиков — стандартный IMU (акселерометр, гироскоп, магнетометр). Чем больше будет угол обзора, тем лучше, но основное это читаемость текста и яркость на улице. Так как у текущих очков с улицей есть некоторые проблемы. Я уверен, что с таким набором функций станет удобно решать много задач. Написание статей и копирайтов, написание кода, подключение к серверу и отображение консоли для дебага и метрик мониторинга. При этом исчезнет необходимость с собой носить устройство весом 2кг+, которое занимает достаточно много места в сумке.
По сути в “минимальной комплектации” очки — это просто устройство вывода, дисплей. Потом уже поверх можно накручивать голограммы и прочие “рюшечки”. Вычислительным центром может выступать телефон. По сути аналог DEX, только разворачивающий ОС для работы с AR гарнитурой. Хочется всего и сразу, вроде распознавания окружающего мира и прочих функций, но по сути они не являются обязательными. И на текущем уровне развития технологий просто виртуальный дипслей для работы звучит чем-то реалистичным. Многие очки монокуляры таким образом и работают (тот же старый добрый Google Glass), но всё же это не полноценные дисплеи.
Если вспомнить первые рекламные ролики Apple, там не было миллиона приложений, функций или чего-то подобного. Это был IPod, почта, телефон, карты и браузер в одном флаконе с удобным управлением.
Как работают очки дополненной реальности и кто их использует
Как работают очки смешанной реальности
Чтобы понять, как работают очки смешанной реальности, нужно разобраться, какие еще существуют варианты погружения в другие пространства с помощью технологий.
Идея очков виртуальной реальности (Virtual Reality) заключается в том, чтобы полностью перенести пользователя в нарисованный мир, совершенно отключить его от реальности.
Очки дополненной реальности (Augmented Reality) накладывают на реальный мир проекцию или голограмму, но не дают никакой возможности взаимодействовать со всем, что происходит в реальности. Например, как в случае с приложением AR Hunter, которое восстанавливает стертые граффити на постройках.
Смешанная реальность (Mixed Reality) — это наиболее прогрессивный формат взаимодействия, когда реальные и виртуальные объекты становятся частью одного мира. Наглядно продемонстрировать работу MR может сборка двигателя. Допустим, сам двигатель находится около вас, тогда очки смогут спроектировать недостающие детали и по типу инструкции показать, куда их поставить.
Где используют такие очки
Сегодня очки смешанной реальности на практике применяют в хирургии. Благодаря такой технологии врачи проводят для своих коллег трансляцию операций, а также могут с большей эффективностью оценить ситуацию и увидеть всю информацию о пациенте в реальном времени — например, снимки КТ или УЗИ.
В армии США очки используют пока что только для тренировок, но в будущем планируют полноценно ввести их в оборот. Компания Microsoft уже занялась разработкой шлема для военных. В прототипе все, что видно внутри шлема, напоминает игру Call of Duty. В реальности он будет напоминать компьютер на голове и сможет сканировать местность и составлять карту, помогать разрабатывать тактику, определять местонахождения членов команды, выводить на экран компас. Основная задача для разработчиков заключается в том, чтобы сделать шлем безопасным для использования в армии: добавить ему автономности и прочности.
В бизнесе технологию можно применять на конференциях: команды могут находиться на разных концах планеты, а их голограммы — совещаться в одной комнате.
Технология MR также будет полезна дизайнерам и архитекторам при проектировании, а еще строителям и людям на больших производствах. За счет визуализации всех процессов очки смешанной реальности позволяют быстрее и эффективнее пройти обучение сложным этапам сборки конструкций и деталей.
В 2018 году очки Microsoft даже использовали на презентации автомобиля Volkswagen Teramont. С помощью них производители показали несколько вариантов эксплуатации пространства внутри машины. Например, вместимость при перевозке строительных материалов и крупногабаритных объектов.
Почему MR-очки — это дорого
Написать софт и вложить хороший процессор внутрь очков несложно. Высокая стоимость очков упирается в линзы: чтобы увеличить угол обзора хотя бы на 30% при разработке HoloLens 2, Microsoft Research потребовалось четыре года.
Тем не менее, заменить линзы на что-то более дешевое пока не получится. Еще нет оптических технологий, которые могли бы выводить сложную проекцию на глаза и делать угол обзора безрамочным.
Рынок MR-очков
Сейчас рынок очков смешанной реальности не такой большой. Наряду с HoloLens существуют также Magic Leap с меньшим углом обзора. Возможно, скоро MR-очков станет больше. Недавно компания Lynx выпустила демо-ролик подобного гаджета, но разработчики ничего не рассказали про даты выхода очков:
Такая же ситуация и у компании Apple. Скорее всего, разработчики «яблочных гаджетов» сделают что-то вроде солнечных очков, которые, как и Apple Watch, будут выносить дополнительную информацию на экран перед глазами, но не смогут отслеживать движения рук и открывать ресурсозатратные приложения.
AR-очки в деле. Реальные кейсы о том, как дополненная реальность нашла применение в самых разных сферах бизнеса
Рассказывая о видеоочках Epson Moverio, зачастую сталкиваемся со скепсисом (как в комментариях, так и в сообщениях в «личку»): «Ваши очки – просто дорогая игрушка. Ну или в «Pokemon go» сыграть, разве что». Или, как изящно отметил один наш читатель, — «ювелирная свистелка»:
Поэтому, покопавшись в интернете, решил собрать реальные кейсы со всего мира, которые показывают, насколько такое устройство (не обязательно производства Epson) может быть полезно там, где нужно освободить руки сотрудников, повысить эффективность работы и снизить риск «человеческой ошибки».
Постарался выбрать самые интересные проекты из нескольких сфер: логистика, медицина, техподдержка, авиастроение и помощь людям с ограниченными возможностями.
VR или AR?
На всякий случай начну с разделения понятий VR и AR. Обе технологии преследуют свои цели и подходят для разных задач.
Задача виртуальной реальности — перенести пользователя в полностью искусственно созданный мир. Ее чаще всего используют для проектов симуляции и игр. Именно поэтому максимальный эффект погружения ощущается в специальном шлеме, блокирующем большую часть сигналов извне. VR бывает стационарный и мобильный, в том числе используются необычные гаджеты вроде очков с зеркалами.
Дополненная реальность — легко догадаться, о чем речь, если вспомнить фильм «Железный человек». Все необходимые показатели выводились на стекле шлема Тони, при этом сам дисплей был прозрачным.
Сведем основные моменты в простенькую таблицу:
| VR | AR | |
| Устройства | Шлем (+смартфон), контроллер (+трекеры) | Смартфон, планшет, видеооочки |
| Основное направление | Игры, симуляции, отработка навыков | Игры, наглядные руководства, визуальная инспекция, обслуживание оборудования |
| Возможность передвижения | В большинстве стационарных VR-шлемов есть провода. Они должны быть достаточно длинными, чтобы не сильно ограничивать передвижение, и прочными, потому что понятно, почему. |
Для перемещения необходима дополнительная настройка под параметры помещения. Требуется корректное размещение сенсоров, калибровка и последующая настройки шлема.
Мобильные VR-шлемы лишены этих проблем, но можно во что-нибудь врезаться. Ситуация меняется в лучшую сторону с выходом Oculus Quest и Rift S со встроенными камерами. Внимательно наблюдаем.
Однако в инструкции к нашим очкам, например, прописано, что машину в них водить запрещено. Хотя, если подумать, я и в шлеме не стал бы садиться за руль…
Планшет или телефон необходимо держать перед глазами, глядя на экран с проекцией поверх картинки с камеры.
От продолжительной носки VR-шлема сильно устают глаза и шея. Про головокружение и шок вестибулярного аппарата при перемещении в виртуальном пространстве без перемещения в реальном рассказывать не буду – кто пробовал, знают, каково это пережить такое «укачивание».
Углубляться в описание самих очков не буду, уже неоднократно о них рассказывали. Например, тут (Epson BT-200), тут (Epson BT-300) и тут (Epson BT-35E).
Два основных типа применения AR «в деле»
Первое — демонстрация информации. Оператор работает с предустановленными руководствами, наглядно показывающими процесс сборки, разборки, ТО чего-либо или просматривает заранее загруженные данные, которые в прямом смысле должны быть перед глазами.
Второе – удаленная поддержка во внештатных ситуациях. В режиме реального времени удаленный специалист видит изображение со встроенной камеры и отправляет интерактивные подсказки и направляет пользователя в его действиях.
Важно отметить, что возможности приложения зависят исключительно от ПО, разработанного под конкретную задачу. Именно поэтому все версии очков Epson, например, имеют открытый SDK.
Перейдем уже к интересным кейсам по основным категориям, а то утомил уже, наверное!
Логистика
Несколько лет назад компания DHL протестировала дополненную реальность на складе в Берген-оп-Зом (Нидерланды), где сотрудникам выдали смарт-очки. На дисплеях очков отображался маршрут к товару и только те товары, которые нужно было собрать в конкретный заказ. Пилотный проект показал отличные результаты: логистика и процесс выбора стали эффективнее на 25%.
Кстати, смарт-очки с функцией дополненной реальности пригодились бы и в компаниях, на складах которых хранится огромное количество разноименных артикулов, или там, где часто нанимают временных рабочих. Для того чтобы освоиться и узнать, где и что находится нужно время, соответственно, применение такого «помощника» имеет большой потенциал.
Кстати, отличное решение для Почты России…
ST Logistics and MGG Software разработали приложение, которое как раз обеспечивает подобные возможности:
Медицина
В 2017 году хирурги испанской клиники Gregorio Marañon первыми в мире использовали очки дополненной реальности для выполнения операции. Врач мог видеть историю болезни, данные анализов и монитора пациента, рентгеновские снимки, МРТ, КТ, а также управлять данными движениями руки. Встроенная камера записываела происходящее в операционной и транслировала видеопоток на мониторы для обучения интернов.
Другой интересный кейс также из области хирургии – проведение эндоваскулярной операции в видеоочках дополненной реальности (видео по ссылке, т.к. для него почему-то запрещен имбеддинг на сторонних ресурсах).
Кстати, проводилась операция с помощью Epson Moverio BT-35E, о которых мы недавно рассказывали на Хабре.
Эндоваскулярная хирургия представляет собой относительно новое, но очень перспективное направление в современной медицине. Основное ее преимущество — малоинвазивность, когда для доступа к сложным анатомическим структурам или внутренним органам достаточно лишь небольшого кожного разреза и введения проводника через сосуд.
К сожалению, поскольку сама тема для меня совершенно непрофильная – прокомментировать сложно. Возможно, хабраэксперты помогут в комментариях к посту.
Стоматологи тоже «в теме»
Стоматологи не отстают от коллег и используют дополненную реальность в повседневных процедурах. Например, при протезировании. Врач использует специальный стик с HD-видеокамерой для сканирования участка, требующего протезирования. На основании отсканированной трехмерной модели протезист создает компьютерные образы коронок и мостовидных конструкций.
Неудобство процесса состоит в том, что изображение с камеры передается на внешний монитор, обычно располагающийся сбоку от врача (видимо, не у всех врачей есть возможность поставить его перед глазами): поэтому ему необходимо постоянно поворачиваться во время сканирования то к пациенту, то к экрану. Это отвлекает и может доставлять определенные неудобства пациенту. ПО EyeCad выводит изображение с камеры сканера сразу на дисплеи очков, таким образом врач смотрит и на пациента, и видит рабочую область. Разработчики также предусмотрели управление жестами.
Другой пример – приложение ICNOS – позволяет пациенту поддерживать коммуникацию с врачом. Если во время лечения пациенту необходимо что-то сказать врачу, например, что ему необходим перерыв, или спросить, сколько времени осталось до конца процедуры, то он может сделать это, используя специальное приложение, которое при помощи Bluetooth-соединения с динамиком воспроизводит заданный текст.
А, если пациент заскучает, то может посмотреть новую серию любимого сериала или «посерфить» в интернете.
Удаленная техподдержка и ТО
Российский промышленный гигант СИБУР разрабатывает индустриальную AR-платформу на базе технологий дополненной реальности. По замыслу разработчиков решение позволит специалисту получать оперативную поддержку при проведении ТО и ремонта от территориально удаленных внутренних и внешних экспертов.
В своем блоге «Цифровой СИБУР» они подробно рассказывают о перспективах и сложностях, с которыми сталкиваются при внедрении решения.
А сотрудники колумбийского университета провели исследование с целью оценить преимущества дополненной реальности при обслуживании турели бронетранспортёра (“Evaluating the Benefits of Augmented Reality for Task Localization in Maintenance of an Armored Personnel Carrier Turret”). Вроде даже успешно.
Авиастроение
Военно-промышленная корпорация Lockheed Martin (США), выпускающая авиационную технику, ввела в арсенал своих инженеров очки дополненной реальности со специально разработанным приложением. С их помощью значительно упростилась задача информационной поддержки специалистов — в процессе сборки техник видит на экране данные о том, куда и как требуется подключить необходимую деталь. Компания NGRAIN, которая занималась внедрением этого оборудования, подсчитала, что благодаря такому решению рабочие тратят на 30% меньше времени на выполнение задач, а точность труда повысилась на целых 96%.
Помощь людям с ограниченными возможностями
Для слабослышащих при помощи AR-устройств возможно визуализировать или переводить в текстовый формат звуковую информацию. Так в Астраханском краеведческом Музее доступна версия экскурсии с сурдопереводом.
А Национальный британский театр совместно с партнером по инновациям – агентством Accenture и компанией StageText разработали проект, в котором видеоочки дополненной реальности Epson Moverio BT-350 используются для вывода синхронизированной с постановками транскрипции диалогов и звуков на дисплеи очков.
Технология Open Access Smart Capture использует программное обеспечение, распознающее речь и синхронизирующего титры с текстом постановки. Для точной калибровки программа считывает световые, звуковые и видео метки, уникальные для каждой постановки. Зрители могут настраивать размер шрифта, цвет и расположение титров на свое усмотрение.
Специалисты продолжают совершенствовать проект. В настоящее время дорабатывается программное обеспечение, с тем чтобы очки можно было использовать для формирования титров в режиме реального времени.
Для людей с ограниченными физическими возможностями устройства дополненной реальности смогут создавать информационные карты доступной среды, позволят составлять удобные маршруты, предупреждать о труднопроходимых или труднодоступных местах.
Вместо вывода
Примеры, которые удалось найти – это лишь демонстрация малой части возможностей, которые открывают гаджеты дополненной реальности. Epson предлагает видеоочки дополненной реальности, с помощью которых становится возможно реализовать многое из того, о чем рассказывалось в посте.
Возможно, и вы найдете им применение в своем следующем AR-проекте?