Для чего нужен времяпролетный объектив
Тime-Of-Flight: технология, которая может совершить революцию в мобильной фотографии
Наращиванием мощностей железа смартфонов уже никого не удивишь. Прошли те времена, когда дополнительными «гигабайтами и гигагерцами» можно было заинтересовать новую аудиторию. И поэтому производители смартфонов вкладываются в разработку инновационных технологий. Но если тренды на складные или безрамочные смартфоны, что называется, видны без дополнительных пояснений, то другие технологии не всегда понятны конкретному пользователю. Одна из таких носит название Тime-Of-Flight (ToF), и она способна поднять качество работы фотокамеры телефонов до невероятных высот. Но что это такое и как это работает? Давайте разбираться.
Дословно Тime-Of-Flight переводится как «время полета» и, на самом деле, это не далеко от истины. За тем лишь исключением, что ваш смартфон никуда не лететь не должен. Работа ToF основана на работе ряда датчиков. Особый сенсор испускает свет инфракрасного диапазона. Этот свет, грубо говоря, «летит» и, отражаясь от ряда поверхностей и объектов на своем пути, возвращается обратно. Это время фиксируется для каждой конкретной точки и после этого происходит анализ полученных данных.
Время, полученное в результате работы камеры с ToF-датчиком, обеспечивает крайне точное определение глубины снимка и позволяет очень хорошо измерять расстояние от всех объектов, находящихся в кадре. Благодаря этому достигается невероятная четкость и глубина снимков, которую невозможно получить, используя любые другие технологии, представленные на рынке сегодня.
Помимо этого, по сравнению с другими технологиями сканирования, ToF является относительно дешевой. Датчики ToF могут работать с частотой до 160fps, а это означает, что они отлично подходят для работы в реальном времени и обработки «на лету» не только фотографий, но и видео.
На что способна камера с датчиком ToF?
На самом деле, применений у технологии масса. ToF не ограничивается только лишь размытием фона в портретном режиме. ToF может проводить 3D-сканирование объектов, улучшать алгоритмы навигации в помещении и на открытом пространстве, позволяет улучшить распознавание жестов. Можно использовать ToF для отслеживания перемещения объектов, для улучшенной работы автофокуса камеры, для создания 3D-фотографий и еще много другого. Если технология «зайдет» покупателю, новые фичи не заставят себя долго ждать.
Где применяется ToF?
На самом деле, технология совсем не нова. Еще Microsoft использовала первые версии датчиков ToF во втором поколении игровых устройств Kinect. Но сейчас ToF начинает свой путь на рынке мобильных телефонов и используют ее далеко не самые последние компании в индустрии. Среди них:
И это лишь модели, известные на данный момент. К ним, наверняка, присоединятся и другие производители Android-смартфонов и даже, как недавно сообщало издание Bloomberg, возможно один из следующих смартфонов от Apple. Также ToF является крайне перспективной для гарнитур смешанной и дополненной реальности, так что совсем скоро нас ждет настоящий поток инновационных устройств.
Еще больше новостей из мира мобильных технологий вы можете узнать в нашем новостном канале в Телеграм.
Времяпролетный метод: современное состояние развития ToF-технологии и ее применение в 3D-системах
В отличие от простой камеры, которая фиксирует только значения силы света на изображении, с помощью 3D-камеры можно получить дополнительную ценную информацию об объекте съемки со светоотражающей поверхностью, в том числе о его форме, положении и ориентации в пространстве. В трехмерной съемке объектов особенно эффективна технология ToF, поскольку измерение осуществляется бесконтактным методом и занимает буквально доли секунды.
Как устроена времяпролетная камера?
При использовании времяпролетной камеры каждым пикселем регистрируются два типа данных: значение силы света (как уровень яркости) и расстояние между объектом и сенсором, то есть значение глубины. Времяпролетная технология базируется на двух различных принципах: принципе непрерывной волны и импульсном времяпролетном принципе. Они различаются тем, как источник испускает свет и как работает сенсор.
Принцип непрерывной волны основан на измерении электрической длины модулируемого по яркости источника света. Он может быть реализован средствами стандартного электронного оборудования и считается полностью разработанным, однако здесь используются только сенсоры низкого разрешения и относительно крупного оптического формата.
Напротив, камеры на базе импульсного время-пролетного принципа для измерения расстояния до объекта фиксируют время, за которое это расстояние покрывают множество отдельных световых импульсов. Времяпролетная технология быстро развивается, не в последнюю очередь по причине расширения экономических возможностей для создания устройств, генерирующих точные световые импульсы, и систем для их безошибочной регистрации. Времяпролетная камера состоит из активного встроенного источника света, встроенного объектива и ToF-сенсора, представляя собой, таким образом, компактную и полнофункциональную систему без подвижных компонентов.
Что происходит со светом? Световые импульсы, испускаемые встроенным в камеру источником света, достигают объекта и отражаются от него обратно в сторону камеры. Этот отраженный свет направляется на сенсор через встроенный объектив. Камерой измеряется время, за которое свет покрывает расстояние до объекта и обратно до сенсора. Зная скорость света, полученное значение можно использовать для вычисления расстояния до светоотражающей поверхности для каждого пикселя.
Этот метод позволяет одновременно получать плотное множество точек и карты глубин, а также профиль интенсивности и таблицы точности в режиме реального времени.
Типичные области применения ToF-технологии
Если основными условиями являются большое рабочее расстояние, высокая скорость работы и при этом несложная архитектура системы, а также если соблюдение этих условий более важно, чем абсолютная точность измерений вплоть до миллиметра, то ваш идеальный выбор – времяпролетные камеры, даже в случае сравнительно небольшого бюджета. Ввиду относительно низкой точности значений глубины они лучше всего подходят для решения задач, не требующих предельной точности, таких как автоматизация производства и перемещение крупногабаритных объектов с помощью роботизированных систем. Эти камеры широко применяются в логистике для измерения объемов грузов в целях определения стоимости фрахта или транспортировки, а также загрузки и разгрузки поддонов полностью в автономном режиме роботами, без прерывания технологических процессов.
Времяпролетной технологией оснащаются автоматические самоходные тележки (АСТ), что приносит несомненные преимущества в логистике и на производстве: одна или несколько ToF-камер в реальном времени осуществляют съемку окружающего пространства, позволяя АСТ анализировать объекты вокруг, чтобы объезжать препятствия или следовать за человеком. За счет этого ускоряются технологические процессы и повышается эффективность.
ToF-системы можно условно разделить на два типа: с управлением жестами и с другим принципом управления. В системах с управлением жестами человек взаимодействует с устройством жестами. Это может быть взаимодействие человека с роботом или управление медийной системой в автомобиле.
Системы, для управления которыми не требуются жесты, широко распространены в логистике. В этом случае камерой осуществляется съемка изображений, которые анализируются специальным алгоритмом. Получаемые трехмерные данные можно использовать, например, для определения объемов и местоположения объектов для оптимального размещения грузов при загрузке контейнеров или самолетов, чтобы как можно более плотно заполнить пространство и не допустить пустот при транспортировке.
Времяпролетные камеры также идеально справляются с дополнительными задачами визуализации в медицинской сфере. Съемка 3D-изображе-ний открывает целый ряд возможных сценариев применения камер, включая контроль состояния или положения пациента, а также определение размеров тела и рентгенодиагностику.
ToF-камеры помогают оптимально разместить пациентов для проведения магнитно-резонансной томографии (МРТ) или компьютерной томографии (КТ). Плотное множество точек на контрольном изображении сравнивается с плотным множеством точек, отражающим текущее положение пациента. Цель заключается в размещении пациента в точно таком положении, как на контрольном изображении.
ToF-камеры также используются в реанимационных отделениях. Они все чаще заменяют классические камеры наблюдения, поскольку медсестры, опираясь на дополнительные значения глубины, получают возможность удаленно контролировать как само помещение, так и состояние каждого пациента в нем. ToF-камеры способны определять положение пациентов даже под одеялом и, благодаря интеллектуальным алгоритмам, даже предупреждать о начинающемся эпилептическом припадке или критическом ухудшении жизненно важных параметров.
Времяпролетная технология используется в рентген-диагностике, например для выбора корректной дозы излучения в зависимости от объема тела. На стандартных рентгеновских аппаратах дозы излучения вручную выставляются техником. Чтобы получить наилучшее качество снимка, зачастую выбирается значение по умолчанию – максимальный уровень излучения. Однако результаты текущих исследований говорят в пользу консервативной рентгенографии, то есть с более низкими дозами излучения. Для этого необходимы одна или несколько ToF-камер, которые вычисляют объем и определяют точное положение тела пациента, после чего на основе собранных 3D-данных рассчитывается оптимальная доза излучения.
Другие современные 3D-технологии
Времяпролетный метод – не единственная технология формирования трехмерных изображений. В зависимости от области применения некоторые задачи могут быть решены с помощью таких методов, как стереоскопическое зрение и структурированный свет, лазерная триангуляция. Каждая из этих технологий опирается на свой принцип определения глубины объекта съемки.
В основе стереоскопического зрения лежит принцип функционирования человеческого глаза. Две классические матричные камеры используются для съемки двух 2D-изображений с разных позиций. После определения диспа-ратности, то есть поиска соответствующих друг другу точек на левом и правом изображениях с помощью алгоритма сравнения, вычисляется расстояние между этими точками по методу триангуляции. На основе вычисленных данных и другой полученной информации из двух изображений формируется скорректированное 3D-изображение и воссоздается глубина объекта. Точность измерений можно повысить с помощью неструктурированного света.
Принцип лазерной триангуляции предполагает комбинирование 2D-камеры и устройства, проецирующего лазерную линию или лазерные точки. Лазерная линия фокусируется на объекте съемки, в то время как 2D-камера фиксирует ее отражение. При изменении расстояния между объектом и светочувствительным сенсором меняется угол проецирования лазерной линии и вместе с этим ее положение на изображении, передаваемом камерой. К полученным данным применяется тригонометрическая функция, чтобы вычислить расстояние между объектом съемки и лазерным проектором. Камерой фиксируется положение лазерной точки на изображении. Затем в зависимости от этого положения в пределах изображения определяется расстояние между сенсором и объектом съемки.
В таблице приведено сравнение различных технологий по ключевым критериям.
Выводы и перспективы
Как уже упоминалось, на данный момент не существует универсальной 3D-технологии для решения всех возможных задач. Необходимо внимательно сформулировать свои требования заранее и исходя из них выбрать наиболее подходящую технологию.
К основным преимуществам времяпролетных камер по сравнению со стереоскопическим зрением и лазерной триангуляцией можно отнести их компактные размеры и высокую скорость работы. Они также очень просты в интеграции и управлении. Невозможно дать универсальную рекомендацию касательно того, какая из технологий – 2D или 3D – будет оптимальной в каждом случае, как невозможно однозначно ответить на вопрос о наиболее подходящем методе съемки. Задачи, как и системы машинного зрения для их решения, как правило, настолько комплексные, что необходимо отталкиваться от конкретных требований и условий съемки, а также имеющегося бюджета. Это касается не только стоимости отдельных компонентов, но и общих инвестиционных затрат на протяжении всего жизненного цикла 3D-системы, особенно учитывая потенциально высокие затраты на ее построение.
С этой точки зрения доступность времяпролетной технологии уже способствует повышению эффективности и снижению затрат во многих областях. Можно ожидать, что в последующие годы эта тенденция будет продолжать расти.
ToF-камеры в смартфонах: что это такое, зачем нужно, как работает
Пару лет назад в смартфонах начали появляться так называемые ToF-камеры. Сначала – во флагманских моделях, потом в среднем сегменте, а в итоге новинка докатилась и до бюджетников.
Как обычно бывает в таких случаях, свежая технология дружно считалась нереально крутой весьма перспективной, но… Время – лучший судья.
Новые поколения флагманов уже не содержат в своем блоке камер этого самого тофу, или как его там ToF. Почему так случилось? Будем разбираться.
Как работает ToF сенсор
Сама аббревиатура ToF означает «time of flight», или в переводе – «время полета». Другое название этого элемента – сенсор глубины. И все это вкупе отражает принципы работы устройства.
Что такое сонар – большинству из нас объяснять не нужно. Излучатель звука посылает звуковую волну, которая, отражаясь от препятствий, возвращается к источнику и регистрируется специальным сенсором.
При этом происходит замер времени, потребовавшегося волне, чтобы достичь препятствия и вернуться. На основании этих данных строится картина рельефа, например, морского дна.
ToF сенсор работает в точности так же. Только вместо звука используется длинноволновое ИК-излучение, испускаемое специальным инфракрасным светодиодом.
А CMOS матрица улавливает его отражение и с точностью до наносекунд регистрирует время.
На основании полученных данных можно не только измерить расстояние до объекта, но и снять его рельеф. Выглядит прямо-таки чертовски заманчиво… на первый взгляд.
Очевидно, что новинка впервые пришла отнюдь не в смартфоны: ранее она уже была обкатана на беспилотных авто и даже спутниках. Однако миниатюризация и удешевление позволили прикрутить ее и к мобильным девайсам.
Где это можно использовать
Первым и наиболее очевидным вариантом является получение снимков с эффектом боке. Говоря понятнее – портретов с размытием фона, подчеркивающих сам образ запечатленного на снимке человека.
Раньше, в досмартфонную эпоху, такие фото получали манипуляцией с фокусным расстоянием объектива.
В смартфонах со временем появились двойные камеры, и размытие достигалось благодаря обработке данных с двух объективов. Ну а теперь вот появилась новая возможность.
Учитывая прогрессирующий «ум» камер, становится логичной возможность удаления из поля зрения объектива посторонних объектов.
Фотографируете вы, к примеру, какой-то исторический объект – а тут какой-то редиска нехороший человек прямо перед ним припарковал свой поганый утиль на колесах!
Р-р-р! Дожидаться, пока он соизволит убраться прочь? Еще чего! Чик-чик виртуальными ножницами – и помеха вначале очерчена благодаря сенсору глубины, а затем и устранена.
Еще можно измерять расстояние, т.е. использовать смартфон в качестве рулетки. В точности, как это делает эппловский LIDAR. Точность при этом будет невысока, порядка сантиметров, но во многих случаях и этого достаточно.
Прикинуть, поместится ли на свое место новое кресло, хватит ли ширины стола для монитора и т.п.
Дополненная реальность – все о не слышали, кое-кто ею даже пытался пользоваться, но на практике… Да, на практике это не более чем игрушка на пару часов. Не получается у вендоров затащить в «глубину» никого, ошибся в свое время Пейсатель.
Но вообще без снятия рельефа разработчиков софта для этой пока еще сомнительной сферы очень тяжко. Так что и здесь ToF сенсор отрабатывает по полной.
Хватает и других теоретических применений технологии: отслеживание движений рук пользователя, биометирческое сканирование лица и даже импровизированный прибор ночного видения. А вот на практике…
А на практике все выглядит так
Для подавляющего большинства изложенных выше областей применений требуется мощный специализированный софт в сочетании с крутейшими возможностями «железа».
И если с последними еще так-сяк, особенно в премиальных монстрах типа Snapdragon 888+, то с программным обеспечением все обстоит достаточно печально.
В том же Google Play есть несколько программ типа пресловутой «рулетки», позволяющих оценить возможности новой технологии, но до тотального внедрения, проникающего во все сферы жизни – как от Москвы до Пекина в позе пьющего оленя.
Даже если какой-то вендор B/C класса и воткнет ToF сенсор в свой мегакрутой бюджетник – далеко не факт, что он вообще будет работоспособным.
Но даже если производитель не схалтурит, то в 99,9% случаев возможности сенсора глубины сведутся к тому самому эффекту боке, да может быть, скверно работающему Face Unlock, распознающему владельца через два раза на третий.
Говоря проще, не работает нынешнее поколение ToF сенсоров достаточно хорошо, чтобы оправдывать свое присутствие в смартфонах. Как результат – массовый отказ производителей от технологии в своих новых моделях.
Samsung Galaxy S21, Xiaomi Mi 11, Huawei P50, еще с десяток других флагманов – все они, в отличие от своих предшественников, вышли без сенсора глубины в составе блока камер.
А вот у той же Apple, начиная с iPhone X и до сих пор, используются похожие технологии под названием Face ID, разработанные эксклюзивно для купертинцев Sony.
Хотя далеко не все вендоры отказались в своих новых моделях от данной технологии. Например, в том же Honor 50, модели субфлагманского класса со 108 МП основным объективом, ToF сенсор никуда не делся.
Есть он и в бюджетниках Nokia, анонсированных в текущем году.
Весьма неоднозначный вопрос с неоднозначным ответом. Все зависит от того, насколько Apple, Google, Facebook и другим разработчикам платформ дополненной реальности удастся «пропихнуть» свои проекты в массы.
В этом случае ToF, а заодно и аналогичные технологии вроде LIDAR в самом деле окажутся востребованы и будут далее развиваться.
Что же касается мобильной фотографии, то повышение качественной и количественной мощи AI современных чипсетов вкупе с наличием других, более полезных типов объективов, вроде ультраширокоугольника и телевика, делает плюсы от ToF практически бесполезными.
Что такое «времяпролетная камера» (ToF) и зачем она в телефоне
TOF-камера – это как сонар для телефонов, но вместо звука он использует свет
В смартфонах последних лет в дополнение к куче обычных камер начинает появляться еще одна с непривычным названием «времяпролетная камера» (time-of-flight, ToF). Она уже есть у iPhone X, Huawei Honor View 20, Oppo RX17 Pro, Huawei P30 Pro, скоро появится у Samsung Galaxy S10 5G. Попробуем разобраться, что такое «времяпролетная камера» и какие преимущества она дает.
TOF-камера – это как сонар для телефонов, но вместо звука он использует свет. Она излучает свет и регистрирует время задержки, когда свет поступает обратно в камеру после отражения от объекта. Благодаря этому можно точно рассчитать расстояние до предмета, на который наведена камера. Чаще всего для работы используется инфракрасный свет. Разрешение такой камеры крошечное по сравнению с обычными фотосенсорами – оно составляет 0,03-0,3 мегапикселя.
Зная точное расстояние до объектов, можно построить виртуальную 3D-карту пространства перед объективом смартфона. Также ToF можно использовать как сенсор глубины пространства.
Идея времяпролетных камер не нова, и ее уже много лет используют в электронике. Одним из наиболее известных примеров является Microsoft Kinect 2 для приставки Xbox One. Именно благодаря этой технологии у iPhone X появились анимоджи – эмоджи, воспроизводящие выражения лица пользователя.
Прорывом является то, что эту технологию начали использовать в смартфонах. На мобильниках ToF-камера может выполнять две функции. Во-первых, она позволит выделить предмет съемки от фона. Это в дальнейшем облегчит обработку кадра, например, можно точнее добавить эффект боке – размытие фона.
Второй опцией ToF-камеры на смартфоне является дополненная реальность. С ней мобильник будет знать, как размещаются предметы вокруг него. Точное знание размеров объектов и расстояния до них позволяет получить качественную работу дополненной реальности.
Что такое ToF-камера в смартфоне
Между производителями смартфонов идет постоянное соперничество. Чтобы как-то выделиться среди конкурентов и переманить покупателей на свою сторону, компании наделяют мобильники все новыми и новыми фишками. Кто-то развивается в плане дизайна, предлагая то вырезы, то изогнутые дисплеи, а кто-то разрабатывает новые форм-факторы вроде слайдеров, выдвижных элементов и гибких дисплеев.
Один из распространенных рецептов по созданию уникального и интересного смартфона касается камеры. Поле для экспериментов в этой области широкое: в современных мобильниках используются несколько объективов. Производителю остается только выбрать, какую комбинацию установить.
Последним нововведением в мобильных камерах стал датчик ToF, или времяпролетная камера. Давайте разберемся, что это и какую пользу от нее может получить простой обыватель.
Что такое ToF-камера
Времяпролетная камера, как подсказывает ее название, измеряет время, затраченное на движение импульса света от датчика до объекта съемки и обратно. Полученные данные используются камерой для построения карты глубины, то есть объемной картинки.
Этот метод построения изображения существует давно. У него есть свои особенности, которые до недавних пор не позволяли использовать его в коммерческих целях в таких малогабаритных устройствах, как смартфон. Свет перемещается с невероятной скоростью – 299 792 458 метров в секунду, поэтому ToF-камера должна обладать технологией, способной улавливать мельчайшую разницу в показателях времени, и иметь компактный размер, чтобы уместиться в корпусе смартфона.
ToF-камера состоит из 4 основных компонентов:
Сенсор и линза – обязательные компоненты любой камеры. У времяпролетного датчика есть еще излучатель и процессор. Первый испускает поток света, второй отвечает за измерение времени. На работу ToF-камеры уходят доли секунды.
Как работает ToF-камера
Луч света, испускаемый датчиком, возвращается быстро, если объект съемки находится близко к объективу. Чем дальше расположен объект или его часть, тем больше времени уйдет на то, чтобы луч достиг его, отразился и вернулся. Показатель расстояния измеряется для каждого пикселя. Это дает подробное представление о том, как выглядит объект, какие особенности формы имеет и как далеко находится. В качестве импульса используется инфракрасный свет, невидимый для человеческого глаза.
Аналогичный подход использует Apple в камере TrueDepth для разблокировки по лицу: там тоже создается трехмерное изображение лица пользователя по точкам, только за основу взята лазерная технология LIDAR.
У мобильной ToF-камеры есть свои недостатки. Первый связан с тем, что яркое освещение может мешать работе датчика: отраженные лучи теряются в окружающем пространстве, а камере не хватает чувствительности, чтобы распознать их и не перепутать с посторонними бликами. Второй недостаток – относительно низкое разрешение по сравнению с основными камерами.
Для чего нужна ToF-камера в смартфоне
В смартфонах времяпролетные камеры используются для сбора информации о глубине кадра, которая в свою очередь нужна для построения трехмерных изображений, отделения фона от объекта съемки в портретном режиме и распознавания жестов.
До недавнего времени смартфоны могли создавать 3D-изображения с помощью программных алгоритмов или специально выделенной камеры, исполняющей роль датчика глубины (стереовидение). ToF-камера – это новая ступень в развитии мобильной фотографии, так как она способна работать в темноте, обладает более высокой точностью и сниженным энергопотреблением.
В каких смартфонах есть ToF-камера
Времпролетная камера – инновационный элемент в мобильной индустрии. Пока она доступна лишь во флагманском сегменте, но в будущем наверняка станет встречаться и в аппаратах среднеценового класса. Пока что обладателями ToF-датчика являются:
По слухам, времяпролетная камера будет включена в фотомодуль iPhone 2019.