Extended reality что это
Виртуальная реальность: разбираемся в терминологии
Сегодня в блоге Puzzle English расшифровываем и переводим новые термины виртуальной реальности и в конце делимся подборкой англоязычных курсов про VR.
VR/AR/MR — не новое направление на рынке, но развивается быстро: AR используют в мобильных приложениях Pokémon GO и Snapchat, MR — в HoloLens от Microsoft, а Google Tango объединяет VR, AR и MR.
Все больше продуктов используют технологии VR/AR/MR/RR одновременно: медицинские аппараты моделируют и проводят операции, программы для военных воссоздают условия для тренировок, приложения для архитекторов помогают разрабатывать и отображать здания в реальном окружении.
Разработчики заметили эту тенденцию и решили использовать для VR/AR/MR/RR один термин: XR — Extended Reality. О том, что все реальности — это единое целое, написал в твиттере глава AR и VR Google Клэй Бэйвор:
«VR/MR/AR/RR – не отдельные и разные вещи. Это удобные ярлыки для разных точек спектра».
Разберемся, как VR/AR/MR/RR существуют вместе и зачем нужен новый термин Immersive reality (IR)?
Virtual Reality (VR) — виртуальная реальность
Что делает: виртуальная реальность основана на создании компьютерных звуков и изображений. Она полностью отделяет пользователя от реальной реальности (RR) c помощью VR-шлема, наушников, джойстиков и заменяет её симуляцией. Термин «виртуальный» происходит от лат. virtualis — возможный.
Примеры гаджетов или приложений: VR-шлемы или VR-очки.
Augmented Reality (AR) — дополненная реальность
Что делает: AR — это компьютерно-опосредованная реальность, в которой RR дополняется с помощью виртуальных изображений, анимаций, эффектов или титров. Термин ввел инженер Boeing Том Кодел в 1990 году: тогда специалисты компании закрепляли на голове цифровые дисплеи, которые помогали монтировать провода в самолёте. Цель AR — усилить восприятие реальности. В этом ее отличие от VR, которая заменяет реальность на симуляцию.
Примеры гаджетов или приложений: Pokémon GO, Snapchat и Instagram с фильтрами Motion Tracking, Google Glass, City Lens от Nokia.
Mixed Reality (MR) — смешанная реальность
Что делает: MR объединяет реальные и виртуальные элементы: они сосуществуют и взаимодействуют в RR. В MR используют дополненную реальность (AR) и дополненную виртуальность (AV — от Augmented Virtuality) — компьютерную симуляцию, в которой присутствуют элементы реального мира. Термин Mixed Reality изобрели в Microsoft 16 лет назад. Иногда MR называют Hybrid Reality (гибридная реальность).
Примеры гаджетов или приложений: Skype (при помощи HoloLens), Microsoft HoloLens, CAVE и 2D.
Extended Reality (XR) — расширенная реальность
Что делает: XR объединяет реальные и виртуальные реальности: дополненную реальность (AR), дополненную виртуальность (AV), виртуальную реальность (VR) и другие. Расширенная реальность — это спектр явлений и разработок от «полного реального» до «полного виртуального».
Примеры гаджетов или приложений: к XR относятся все, что мы перечислили выше.
Другие реальности — другие термины
XR объединяет все точки спектра, однако для расстояния VR/AR пока термина нет. В блоге на Medium Клэй Бэйвор предложил найти термин для обозначения технологий:
«Если VR и AR – две точки спектра, то что мы должны назвать спектром? Вот несколько идей: погружающие вычисления (Immersive Computing), вычисления с присутствием (Computing with Presence), физические вычисления (Physical Computing), перцепционные вычисления (Perceptual Computing), смешанная реальность (Cross-Reality) или погружающая реальность (Immersive Reality). Эта технология является зарождающейся, и мы можем многое сказать о наших определениях, но сейчас давайте назовем это иммерсивным вычислением».
Расшифруем термины, которые Клэй Бэйвор предложил в статье для обозначения спектра VR/AR:
Computer-generated imagery — сгенерированная компьютером группа изображений;
Virtual representation — виртуальное представление (репрезентация);
Photo-realistic digital representations — фотореалистичное цифровое представление;
Immersive computing — погружающие вычисления (многонаправленные, с одновременным воздействием на человека);
Computing with presence — вычисления с присутствием;
Physical computing — физические вычисления;
Perceptual computing — перцепционные вычисления (относящиеся к восприятию человека);
Immersive reality — погружающая реальность (многонаправленная, с одновременным воздействием на человека).
В каждом термине есть отсылка к сгенерированным изображениям, компьютерным вычислениями или реальности. При этом IR (Immersive Reality) лучше укладывается в существующий список по смыслу: в названии учитывается многонаправленность симуляций и то, как они воздействуют на человека. В статье Клэй замечает, что пока термин Immersive Reality — его фаворит.
Вместо итога
Грань между сгенерированной и реальной реальностью становится тоньше: подростки снимают селфи с Motion Tracking-системой, взрослые охотятся на условных покемонов, а дети играют с помощью VR-шлемов.
Далее — список открытых курсов по виртуальной реальности, которые можно пройти онлайн на английском языке:
Лучше VR и AR. Что такое XR и при чем тут Qualcomm
В последнее время много заговорили о виртуальной реальности. Конечно, ее не только что изобрели, но именно сейчас с выходом нового Half-Life и перехода на виртуальное общение тема как-то вспыхнула с новой силой. Хотя, до идеала этой технологии еще далеко. Далеко до идеала пока и с дополненной реальностью, которую так активно взялись развивать сначала Apple, а затем и Google. Дополненная реальность куда перспективней виртуальной. Ее можно использовать каждый день в любом месте, а виртуальную — только в ограниченном пространстве для погружения в отдельный мир. Но есть еще кое-что более интересное и перспективное — XR. И нет, это не модель iPhone прошлого поколения.
новый уровень реальности уже близко. Но это не точно.
Что будет после AR и VR
Буквально пару дней назад завершилась выставка Augmented World Expo (AWE 2020), которая проходила в Соединенных Штатах. Проходила она, как и все сейчас, в онлайн-формате. Одним из участников выставки была компания Qualcomm Technologies, известная своими чипами, которые стоят в огромном количестве флагманских смартфонов на Android и других гаджетах. Являясь дочерней компанией Qualcomm Incorporated, она недавно установила партнерские отношения с крупнейшими мировыми операторами, производителями мобильных устройств и производителями XR. Все это уже в следующем году должно поспособствовать широкому распространению XR среди пользователей.
Средство просмотра XR не совсем категория устройств. В основном это комбинация AR и VR, которая может применяться в разных устройствах. Его просто нужно стандартизировать, и поэтому глобальные операторы вместе решили поделиться планами дальнейшей коммерциализации технологии. Потребителем XR будет простой пользователь AR и VR. Пользоваться новым стандартом он может в том числе и через новые сети пятого поколения, где это будет наиболее актуально с учетом тех скоростей, которые предлагает эта сеть.
Дополненная реальность на Android. Чем она лучше виртуальной
Что такое XR
Изначально XR (или, как его еще называли ”Extended Reality” или ”Cross Reality”) не предполагался как что-то конкретное. Маркетологи говорили о нем в основном, как об объединении VR (виртуальной реальности), AR (дополненной реальности), MR (модифицированная реальность), CR (кинематографическая реальность) и других сокращений, который сейчас не используются. Все эти сочетания букв в конце концов свелись в VR и AR. Эти два понятия в некоторых кругах и объединялись в XR.
AR это хорошо, но тоже есть куда улучшаться.
Теперь все чаще встречается определение XR как отдельной технологии, которая представляет собой перенос виртуальных объектов в реальный мир, например, по средством голограмм или, наоборот, перенос реальных объектов в выдуманный мир. Например, сделать полную вашу копию в компьютерной игре.
Все это выглядит очень интересно, но говорить о настоящих достижениях в этой отрасли пока рано. А еще неизвестно, сохранит ли это течение свое название или получит какое-то другое. Сейчас все любят букву ”Х”, но что будет через несколько лет, никто не знает.
Подборка лучших VR игр для Android
Верители вы в такие технологии? Это надо обязательно решить в нашем Telegra
Кто занимается XR
К пятнадцати мировым компаниям, присоединившимся к этой работе, относятся China Telecom, China Mobile, China Unicom, Deutsche Telekom, EE, KT, LG Uplus, KDDI, Orange, SoftBank, Verizon, Vodafone, Telefonica и NTT DOCOMO. Эти бренды согласны с тем, что средства просмотра XR могут работать на мобильном процессоре Qualcomm Snapdragon 855 или 865. Они будут подключаться к смартфону через кабель USB-C или по сети 5G. Все это может вывести AR и VR на новый уровень. Представьте себе голографическое телеприсутствие, как новый способ общения и потребления контента.
Устройства могут быть разными, но работать они должны едино.
Средство просмотра XR позволяют производить виртуальные контакты с кем угодно или с выдуманным миром. С более стандартизированной системой и технологией пользователям может быть доступно более простое взаимодействие. Программа Qualcomm XR Optimized Certification предлагает свои стандарты унификации технологий XR и того, как это все будет интегрировано в мировую систему потребления и создания контента, вне зависимости от того, на устройстве какого производителя это будет осуществляться.
Основными целями такого продвижения являются:
Когда появится XR
Мы можем ожидать появления новых устройств для просмотра XR в следующем году, поскольку все больше брендов проходят сертификацию, такие, как Nreal, iQIYI, 3Glasses, Panasonic, OPPO, Shadow Creator и Pico. Скоро мы увидим и новые устройства XR и смартфоны со значком Qualcomm XR Optimized.
Вот тогда заживем! После прихода таких технологий, мир уже никогда не станет прежним, а те каналы коммуникации и контента, к которым мы привыкли, сильно изменятся. Получится как со смартфонами. Многие пользователи, скорее всего, примут новую технологию. А к тем, кто не примет, будут относиться как к тем, кто до сих пор принципиально выбирает кнопочные ”звонилки”, имея возможность купить любой смартфон.
Безграничные технологии XR в эпоху распределённых вычислений
Как трансформация Wireless Edge поможет в разработке фотореалистичных мобильных систем расширенной реальности.
Расширенная реальность (Extended Reality, XR) уже сейчас даёт пользователям революционные возможности, но добиться ещё большей реалистичности и нового уровня погружения, учитывая ограничения, связанные с производительностью и охлаждением тонких портативных гаджетов, — задача достаточно нетривиальная.
Взгляд в будущее: тонкие и стильные очки дополненной реальности
С трансформацией систем Wireless Edge (беспроводные системы, работающие на стыке сети и гаджета) начнётся новая эпоха распределённых вычислений, в которой будут активно использоваться технологии 5G, обработка информации на самих устройствах и пограничные облачные вычисления. И именно эта трансформация должна помочь найти оптимизированное решение.
Лучшее из обоих миров
Что если бы мы могли взять все преимущества мобильных XR-устройств и объединить их с производительностью XR-систем на базе ПК? Мобильные гаджеты для расширенной реальности — это будущее XR, ведь их можно использовать где угодно и когда угодно, без предварительной подготовки и без проводов. Реализация XR на базе ПК, хоть и не может считаться будущим расширенной реальности, имеет важное преимущество – она не ограничена по потребляемой мощности и эффективностью систем охлаждения, что, в свою очередь, позволяет делать более экстенсивные вычисления. Благодаря сетям 5G с более низкой задержкой и большой пропускной способностью мы планируем взять лучшее от обоих подходов. Распределение вычислительных задач при помощи технологий 5G позволит предложить лучшее двух миров – безграничный мобильный XR-опыт и фотореалистичную графику в тонких и доступных XR-гарнитурах. В результате пользователи получат во всех смыслах «безграничные» возможности, ведь они смогут подключаться к расширенной реальности, где захотят, и степень погружения в XR-приложения станет еще выше.
Технологии безграничной расширенной реальности предлагают взять лучшее от мобильных XR-устройств и устройств с подключением к ПК
Повышение эффективности обработки данных расширенной реальности на устройстве
Работа с графикой в системах расширенной реальности требует больших вычислительных мощностей и чувствительна ко времени отклика. Для корректного разделения вычислений необходим системный подход. Давайте рассмотрим, как использование пограничных облачных вычислений может помочь более эффективно дополнять обработку на устройстве, создавая системы безграничной расширенной реальности с фотореалистичной графикой (более подробная информация есть в нашем вебинаре).
Когда пользователь системы XR поворачивает голову, обработка на устройстве определяет положение головы и отправляет эти данные в облако пограничных вычислений по 5G-каналу с минимальной задержкой и высоким качественным показателем сервиса. Эта система использует полученные данные о положении головы, чтобы провести частичный рендеринг очередного кадра изображения, закодировать данные и отправить их обратно на XR-гарнитуру. Затем гарнитура расшифровывает последний полученный пакет и, используя регулярно обновляемые данные об изменениях положения головы, продолжает визуализацию и подстройку изображения, чтобы минимизировать показатель motion-to-photon latency (задержка между сменой положения головы пользователя и сменой изображения в гарнитуре). Напомним, что в соответствии с этим показателем вся обработка должна быть завершена за время, не превышающее 20 миллисекунд. Превышение этого порога приводит к появлению у пользователя неприятных ощущений и снижению уровня погружённости в дополненную реальность.
Вычисления на устройстве дополняются при помощи пограничных облачных вычислений и канала 5G с низким временем отклика.
Как видите, для получения качественного эффекта погружения в XR необходимо системное решение с низким временем отклика и высокой надёжностью, поэтому сети 5G с их минимальной задержкой, высокой пропускной способностью являются критически важным элементом XR. По мере совершенствования 5G-сетей и роста их покрытия пользователи смогут наслаждаться фотореалистичной графикой в XR-приложениях в большом количестве мест и будут уверены, что премиальный автономный XR-опыт останется доступным благодаря эффективным вычислениям на самом устройстве.
И это ключевой момент, который стоит подчеркнуть ещё раз: обработка данных на устройстве остаётся крайне важным фактором в любых сценариях. В автономном режиме «бортовое» вычисление на устройстве отвечает за вообще все вычисления, связанные с XR. При совместной работе с системой пограничных облачных вычислений «бортовая» обработка обеспечит XR-гарнитуре возможность энергоэффективной, высокопроизводительной визуализации и трекинга с низкой задержкой.
Создавая «безграничную» дополненную реальность
Qualcomm Technologies уже занимается созданием высокопроизводительных автономных мобильных XR-решений и остаётся лидером в продвижении технологий 5G в мире. Но мы не можем претворить свои идеи «безграничной» XR в реальность в одиночку. Мы активно сотрудничаем с крупнейшими представителями экосистем XR и 5G, включая OEM-производителей и создателей контента, поставщиков услуг и инфраструктуры, ведь архитектура раздельного рендеринга — это системное решение.
Участники экосистем XR и 5G должны работать совместно, чтобы технологии «безграничной» XR стали реальностью
В результате синергии все участники экосистемы XR получат большую общую выгоду от её активного развития, и имя этой выгоде «рост принятия потребителями». К примеру, операторы связи получат определённые выгоды от трансформации Wireless Edge в целом, но давайте рассмотрим пользу именно от развития безграничного XR. Во-первых, с приходом сетей 5G улучшенный ШПД повысит емкость, снизит время отклика и обеспечит гарантированный класс обслуживания, что даст возможность появления более богатых и интерактивных XR-приложения. Во-вторых, по мере увеличения операторами мощностей для пограничных облачных вычислений они смогут предложить массовому пользователю совершенно новые услуги, например, XR-приложения с фотореалистичной графикой.
Мы верим, что большим преимуществом станет новый революционный пользовательский опыт, включая совместную интерактивную работу в реальном времени, многопользовательские игры с фотореалистичной графикой, новое поколение видео с поддержкой шести степеней свободы, образовательные приложения с погружением и персонифицированный шопинг какого не было. Эти перспективы вдохновляют, поэтому мы надеемся на плодотворную совместную работу с другими участниками экосистемы — эта работа поможет превратить наше видение XR в реальность.
Что такое расширенная реальность понятным языком
Сооснователь студии Sila Sveta рассказывает, как XR-технологии связывают Билли Айлиш, бэйби-Йоду и «Сбер Конф 2020».
Александр Ус
Сооснователь и креативный директор Sila Sveta, одной из самых крупных компаний мира, занимающихся мультимедийными инсталляциями.
Студия поставила «Лебединое озеро» на фасаде Большого театра, сделала сцену для североамериканского тура Drake и контент для онлайн концерта Billie Eilish, создала мир Audi внутри шлемов виртуальной реальности, построила светодиодный портал Mercedes в Шанхае, а также разработала графику для концерта Halsey на Coachella и контент для показов Alexander Wang и Phillip Lim.
Команда сделала более 600 проектов и открыла офисы в Москве и Нью-Йорке.
Пишем о событиях, явлениях и понятиях из мира дизайна и программирования, геймдева, образования и бизнеса.
Как работает XR
XR (Extended Reality, расширенная реальность) — технология, которая позволяет погрузить человека в виртуальное окружение. Взаимодействовать с ним можно только при помощи смартфона, планшета или компьютера. Среда выстраивается на основе данных с видеокамер, передающих на экран изображение.
Декорации для съёмки XR-проекта состоят из LED-экранов. Технология расширенной реальности достраивает окружение за границами этих экранов, дополняя изображение настолько, насколько его позволяет захватить камера.
XR также использует AR-технологии (Augmented Reality, дополненная реальность) — они позволяют внедрять объекты, которые перекрывают актёра. Например, в виртуальной студии появляется автомобиль, с которым человек может взаимодействовать: он заходит за него, обходит вокруг — и у зрителя сохраняется ощущение его присутствия в кадре.
Датчики на камерах позволяют всегда снимать объекты дополненной реальности в нужной перспективе, чтобы зрителям всё казалось максимально правдоподобным. Куда бы камера ни повернулась, датчики подстраивают графические элементы в кадре под нужный ракурс.
Чаще всего XR используют в прямых трансляциях, онлайн-концертах, виртуальных студиях телепрограмм и презентациях продуктов. Если вместо хромакея («зелёного экрана») использовать LED-экран, можно добиться эффекта реалистичного света. Например, на экранах появляется закатное солнце — и свет от них даёт правильные блики на объекты и людей вокруг.
Эту же технологию используют и в кино, но в усечённом варианте. Для кинопроизводства немаловажен тот факт, что благодаря XR участники видят на съёмочной площадке не просто хромакей, а оператор и режиссер могут поправить картинку в прямом эфире. Однако в кино обычно не используют пол из LED-экранов, а вместо него ставят реальные декорации — землю, элементы интерьера и другие предметы.
Как XR используют в мире
В 2020 году Билли Айлиш провела первый в мире виртуальный концерт, для которого Sila Sveta создала специальные декорации: для каждой песни разработали свой виртуальный мир. Например, когда Билли исполняла трек ilomilo, она оказывалась в подводном мире с огромными акулами, и всё это происходило в прямом эфире.
Технология XR активно применяется и на презентациях автомобилей. Американская креативная студия MBA создает моушн-дизайн для Kia, Honda и Hyundai. В презентациях благодаря XR автомобиль движется, но на самом деле на экранах просто меняются декорации.
Раньше производителям кино приходилось работать на фоне зелёного экрана. Сейчас с помощью XR и огромных LED-экранов на съёмочной площадке выставляют уже готовые 3D-изображения, чтобы перенести героев в виртуальную реальность. Lucasfilm сняла сериал «Мандалорец» по вселенной «Звёздных войн» полностью на XR.
В кинопроизводстве такая технология помогает сэкономить время на постпродакшне, а актерам — глубже погрузиться в роль. С помощью XR сняли и многие сцены в фильмах «Книга джунглей»(2016) и «Король лев» (2019).
Как применяют XR в России
Самым громким кейсом в России стала презентация «Сбер Конф 2020», где компания презентовала свою экосистему и новые продукты. В ней приняли участие актёры, музыканты, блогеры и другие известные личности, а руководители каждого подразделения простым языком объяснили работу своих сервисов.
Михаил Боярский с помощью XR оказался в отделении Сбербанка будущего с новым аутентичным интерьером, Дима Билан сидел в виртуальном автомобиле и слушал музыку, а Кристина Асмус общалась с голосовым помощником, который отображался в виде голограммы прямо перед ней.
В декабре 2020 года компания МТС провела первый в мире музыкальный фестиваль в расширенной реальности — МТС Live XR. В нем приняли участие Cream Soda, Feduk, «Пошлая Молли», «ЛСП» и Дора. Для каждого музыканта создали собственный виртуальный мир. Концерт длился 5 часов, его посмотрело 14 млн человек.
XR и Sila Sveta
В 2021 году в партнёрстве с «М-продакшн» Sila Sveta построили большую студию с самым современным оборудованием. Там проходили съёмки XR-эксперимента Levitation 2. Это перформанс на стыке театра, хореографии, высоких технологий и иллюзий. Вторая часть начинается буквально с того же кадра, которым заканчивалась первая «Левитация» 5 лет назад.
Главным героем проекта, как и в прошлый раз, стал танцор Юрий Чулков. Его история продолжается и эволюционирует: это отражено как в самой хореографии, так и в технологических приёмах. XR позволяет выйти за пределы сетапа и попасть в другую вселенную со своими законами физики.
Если в первой «Левитации» Sila Sveta были ограничены рамками проекционных экранов, расположенных в форме книжки, то во второй части они решили показать выход за пределы экрана и возможность работать с бесконечным пространством и ландшафтом. Эта история про преодоление и выход за рамки не только в графике, но и в характере героя.
Первая часть была монохромной и более камерной. Герой перемещался в рамках одного чёрно-белого пространства. А в Levitation 2 появилось множество оттенков, которые специально подбирали по смыслу под каждый кадр. Расширить пространство перформанса удалось за счёт ярких XR-декораций.
В будущем большинство клипов, фильмов и концертов будет сниматься с применением XR. При наличии своей студии у Sila Sveta появится больше возможностей постоянно изучать ещё не раскрытые возможности этой технологии.
Обложка: Sila Sveta / Moment Factory / Billie Eilish