Face трекер что это
Фейс-трекер в Битрикс24 помогает знать клиентов в лицо
Чтобы понять, как работает фейс-трекер, допустим, что в кондитерскую заходит покупатель. Продавец обращается к нему по имени: «Антон, Ваших круассанов пока нет, они еще пекутся. Зайдите через час». И так можно установить личный контакт с любым посетителем, что бесспорно привлекает клиентов.
Система распознает лицо человека, узнает, что и когда он покупал и выводит информацию продавцу. Если клиент приходит впервые, то она заводит его карточку, куда поступает информацию о первой покупке.
Нейронное решение
Различение и опознание образов – это популярная задача на сегодня, решаемая при помощи нейросетей. Разработчики таких интеллектуальных систем, используют принципы работы человеческого мозга. Они внедрили их в электронные машины, которые теперь думают и анализируют, могут идентифицировать личность, распознавать голоса, лица в общей массе людей, автомобильные номера.
В частности, Face-tracker Битрикс 24 распознает лица по такому алгоритму:
Как включить Фейс-трекер?
Настройка отсутствует как таковая. Все уже готово к работе.
Следует выбрать пункт «Еще» в CRM-системе Битрикс 24. Далее откроется окно с полем настроек. Устройство самостоятельно будет запоминать лица, после их распознавать и вносить данные в карточку CRM
Возможности Face-tracker
После установки face-tracker появляется множество сценариев его использования. Перечислим самые значимые из них:
Учет всех посетителей.
Камера размещенная на входе и подключенная к face-tracker к концу для выдаст точную цифру всех клиентов посетивших торговую точку.
Выявление посетителей, пришедших повторно.
Сервис по обслуживанию клиентов с face-tracker улучшается многократно. Программа, позволит отследить, какие покупки и как часто делает тот или иной клиент, его предпочтения и примерную сумму денег которую он тратит. В следующий раз, когда этот клиент придет, будет понятно, какой товар и по какой цене предложить конкретно ему.
Персональное обслуживание.
С помощью face-tracker можно отыскать страничку клиента в социальной сети. Это происходит благодаря алгоритмам анализа фото. Все делается быстро, вы сможете поддерживать контакт с каждым клиентом (делится информацией о новой продукции, оповещать о скидках, поздравлять с Днем рождения, узнавать предпочтения).
Автоматическая идентификация на мероприятиях, через CRM.
При проведении крупных мероприятий возникает необходимость анализа посещаемости и фиксации компаний, которые присутствовали на событии. Раньше для этого составлялись длинные списки, в которых все отмечались. Теперь система запомнит и отметит всех, кто посетил мероприятие. А в карточке можно узнать информацию о том, какую компанию они представляли.
Знайте о конфликтных посетителей.
Подведем итог
В итоге мы имеем отличное решение для автоматизации бизнеса. Битрикс 24 является первопроходцем в применении этой технологии на рынке в таком масштабе. Применение системы возможно в сфере общественного питания, страхования, банковской сфере, индустрии красоты и медицины.
Face-трекер
Фотографируя каждого вашего посетителя, Face-трекер автоматически распознаёт его лицо, используя технологии нейронных сетей. Вы узнаете, сколько человек посетили ваш магазин за день или за год, а также сколько из них пришли к вам повторно.
Существует несколько сценариев работы с Face-трекером.
Автоматическая съемка и распознавание
Для автоматической съемки нужен отдельный компьютер с веб-камерой или ноутбук. Камера должна быть направлена туда, где обязательно проходят все ваши посетители и где их лица можно снять анфас. Обычно это вход в магазин.
На компьютере откройте свой Битрикс24, страницу CRM > Face-трекер и разрешите использование вашей камеры:
Отметьте на странице пункт АВТОМАТИЧЕСКИ делать фотографии и распознавание начнется.
Обычный режим съемки
В отличие от автоматического режима, съемка производится только по нажатию кнопки.
Это может быть удобно, если законы вашей страны требуют обязательного уведомления о съемке и получения согласия на неё.
Сохранение в CRM
Сохранять распознанных посетителей в CRM можно вручную или автоматически. К примеру, в конце дня менеджер может просмотреть список посетителей и нажать кнопку Сохранить в CRM для тех, кого требуется записать в качестве лида:
Или вы можете настроить автоматическое сохранение:
Добавить количество распознаваний
Вы получаете 1000 распознаваний на 1 месяц. При работе Face-трекера на странице ведется автоматический подсчет оставшихся распознаваний:
За каждое распознавание лица списываются единицы:
Если за месяц единицы не потрачены, оставшиеся сгорают. Перейдя по ссылке Добавить вы сможете заказать и оплатить дополнительные единицы распознавания.
Как купить Face-трекер
Для облачной версии купить Face-трекер можно в разделе CRM > меню Еще > Face-трекер > Добавить.
Для коробочной версии Битрикс24 Face-трекер можно приобрести на сайте в разделе Купить > Face-трекер.
Face Tracker, Hand Tracker, Plane Tracker, Target Tracker в Spark AR
Уже из названия можно догадаться, что Tracker необходим для определения и отслеживания чего-то. Но в Spark AR Studio далеко не один трекер: каждый из них имеет свою сферу применения и особенности использования. Поэтому расскажу о каждом из них более подробно.
Face Tracker
Используется для обнаружения лица и отслеживания его перемещения в пространстве, а также определения мимики этого лица.
Используйте столько Face Tracker, для скольких лиц предназначен эффект — именно столько лиц пользователей будет отслеживаться. Эффект на одно лицо: используем один Face Tracker, эффект на два лица: используем два Face Tracker и так далее!
Все объекты, которые вы добавите в Face Tracker, будут повторять все перемещения лица в пространстве. Если этот объект — face mesh то на лицо пользователя будет наложена текстура по специальной сетке лица (скачать шаблон с сеткой). Именно по ней рисуют текстуру маски для лица пользователя (смотреть урок).
Если в вашем проекте есть Face Tracker, то автоматически добавляется инструкция «Find a face!» («Найдите лицо»), если лицо не обнаружено.
Также с помощью Face Tracker можно извлечь текстуру лица пользователя.
Свойства Face Tracker
Layer — на каком слое располагается трекер.
Visible — видимость трекера и всех дочерних к нему (согласно иерархии) объектов.
Tracked face — какое лицо отслеживает трекер (согласно нумерации).
Transformations — эти свойства (положения, размера и поворота) не могут быть изменены вручную, они зависят от отслеживаемого лица.
Enable For — в каких случаях будет работать Face Tracker и отображаться его дочерние объекты (фронтальная камера, основная камера, запуск эффекта, фото/видео эффекта).
Texture Extraction — извлечение текстуры отслеживаемого лица.
Interactions — добавление готовой связки патчей с Face Tracker и выбранным патчем.
Hand Tracker
Используется для обнаружения руки и отслеживания ее положения. Данный трекер доступен для использования в эффектах только для платформы Фейсбук.
Вы можете добавить только один Hand Tracker. Причем, чтобы эффект с ним работал корректно, рука должна находиться достаточно близко к камере.
Все объекты, которые вы добавите в Hand Tracker, будут повторять все перемещения руки в пространстве.
Если в вашем проекте есть Hand Tracker, то автоматически добавляется инструкция «Hold up a hand!» («Поднимите руку»), если рука не обнаружена.
Свойства Hand Tracker
Layer — на каком слое располагается трекер.
Visible — видимость трекера и всех дочерних к нему (согласно иерархии) объектов.
Transformations — эти свойства (положения, размера и поворота) не могут быть изменены вручную, они зависят от отслеживаемой руки.
Interactions — добавление готовой связки патчей с Hand Tracker.
Enable For — в каких случаях будет работать Hand Tracker и отображаться его дочерние объекты (фронтальная камера, основная камера, запуск эффекта, фото/видео эффекта).
Plane Tracker
Используется для обнаружения горизонтальной поверхности. Ориентируясь на эту горизонтальную поверхность вы можете размещать различные объекты в мировом пространстве.
Вы можете добавить только один Plane Tracker. Но разместить в нем можно несколько объектов.
Все объекты, которые вы добавите в Plane Tracker, будут размещать на обнаруженной горизонтальной поверхности с учетом того, как построена ваша сцена в Spark Ar Studio. С помощью патчей или скриптов также можно добавить интерактивность этим объектам: дать возможность пользователям с помощью жестов изменять размер объектов и перемещать их.
Plane Tracker работает только на основной камере (даже если в свойствах поставить отображение и на фронтальной камере). При использовании фронтальной камеры автоматически добавляется инструкция «Переключите камеру и положите телефон на плоскую поверхность» — она ошибочна, необходимо переключить камеру и навести ее на плоскую поверхность. Возможно, неточности перевода.
Свойства Plane Tracker
Layer — на каком слое располагается трекер.
Visible — видимость трекера и всех дочерних к нему (согласно иерархии) объектов.
Auto start — поиск горизонтальной поверхности сразу после открытия эффекта.
Transformations — эти свойства (положения, размера и поворота) не могут быть изменены вручную, они зависят от отслеживаемой поверхности.
Enable For — в каких случаях будет работать Plane Tracker и отображаться его дочерние объекты (фронтальная камера — не будет работать в любом случае, основная камера, запуск эффекта, фото/видео эффекта).
Interactions — добавление готовой связки патчей с Plane Tracker.
Target Tracker
Используется для обнаружения определенного изображения в реальном мире. Данное изображение заранее загружается в проект Spark AR Studio и является целевым для Target Tracker.
Все объекты, которые вы добавите в Target Tracker, станут видимыми, когда целевое изображение будет обнаружено и распознано с помощью камеры.
Само целевое изображение должно отвечать целому ряду требований, чтобы Target Tracker смог его распознать.
При использовании в проекте Target Tracker автоматически добавляется инструкция «Поиск изображения», пока целевое изображение не найдено.
Свойства Target Tracker
Layer — на каком слое располагается трекер.
Visible — видимость трекера и всех дочерних к нему (согласно иерархии) объектов.
Texture — целевое изображение, которое необходимо загрузить.
Transformations — эти свойства (положения, размера и поворота) не могут быть изменены вручную.
Enable For — в каких случаях будет работать Target Tracker и отображаться его дочерние объекты (фронтальная камера, основная камера, запуск эффекта, фото/видео эффекта).
Interactions — добавление готовой связки патчей с Target Tracker.
Face трекер что это
The Face Tracker
On this page
Есть вопрос?
On this page
In Spark AR Studio, use the face tracker to create an effect that responds to someone’s face.
When a face tracker is combined with a face mesh, it creates a surface that can detect facial movements and expressions. You can add a material to the face mesh to create a mask effect.
Adding a face tracker
To add a face tracker to your scene:
You’ll see an axis tracking the face in the Viewport:
If your effect has a face tracker in it, an instruction saying Find a face! will appear until a face is detected by the camera. You can also add custom instructions to effects.
Adding more than one face tracker
To create an effect that can be used by more than one person, you can add more than one face tracker to a scene.
The face tracker texture
You can use the face tracker to create a texture that replicates the face of the person using the effect.
Making objects respond to face movements
Objects that are children of a face tracker will move with the face detected in the scene.
To make an object the child of the face tracker, simply drag the object onto the face tracker in the Scene panel. You can then use the manipulators to adjust its position.
To track objects to precise positions on the face, use face landmark patches.
Properties
When you’ve selected the face tracker in the Scene panel, you’ll see its properties in the Inspector on the right of the interface.
Adjust these properties to make changes to how the face tracker works.
Click the dropdown next to Layer to adjust which layer the face tracker is assigned to.
Clear the box next to Visible to stop the face tracker and any children from being rendered in the scene.
Choose which face the face tracker will track.
Adjust this property if you’re creating an effect with more than one face tracker, to be used by more than one person.
For example, if a face tracker is set to Face 1, it will track the first face to appear in the camera after the effect has been opened.
You can’t change the position, scale or rotation of a face tracker. This is because these values are controlled by the position of the face detected by the face tracker.
Turn the points being tracked on the face into a texture.
Insert simple combinations of patches involving the face tracker into the Patch Editor.
Choose whether the face tracker and its children are rendered in the front or back camera, or both.
The face tracker patch
You can create a patch representing the face tracker by dragging it from the Scene panel into the Patch Editor.
Three patches will be created:
Optimization
Adding multiple face trackers to a scene will have an impact on performance, so it’s good idea test your effect as you build it using the Spark AR Player app.
Face трекер что это
Создание эффекта с отслеживанием лица
Файлы для скачивания
Содержание
Есть вопрос?
Файлы для скачивания
Здравствуйте! Из этого руководства вы узнаете, как создать эффект, который будет отслеживать движения лица. Вам понадобятся трекер лица, сетка лица, материал и текстура.
Скачайте архив с образцами контента. Он понадобится вам в процессе обучения. Этот архив содержит пользовательскую текстуру, которая будет использоваться в эффекте. Остальные элементы можно создать в Spark AR Studio.
Вы также можете открыть наш шаблон в Adobe® Photoshop® и создать на его основе собственную текстуру. Подробнее о создании текстур.
Созданные в Spark AR Studio эффекты дополненной реальности можно использовать в камерах Facebook и Instagram. Чтобы создать рамку для фото профиля на Facebook, воспользуйтесь Frame Studio.
Настройка
Чтобы начать, перейдите в скачанную папку с образцами и откройте незавершенный эффект.
Пространство в центре экрана называется окном просмотра. Здесь показывается эффект, который вы создаете.
Эмулятор демонстрирует, как ваш эффект будет выглядеть на устройстве.
Мы уже импортировали в эффект нужную текстуру. Она называется Moustache и находится на панели Assets («Объекты»).
Объединив ее с материалом, вы создадите эффект в виде усов, появляющихся на лице человека.
Spark AR Studio поддерживает файлы текстур в форматах PNG и JPG. Максимальный размер файла — 1014 x 1024. Подробнее об использовании текстур.
Добавление трекера лица
Прежде всего нужно добавить в проект трекер лица — инструмент, определяющий положение и ориентацию лица человека. Это основа любого эффекта для лица.
Нажмите кнопку Add Object («Добавить объект»), чтобы открыть список всех доступных объектов в Spark AR Studio. Для этого проекта:
После включения трекера в окне просмотра появятся оси, которые будут перемещаться вместе с лицом.
Добавление сетки лица
Теперь вы можете добавить сетку лица — 3D-модель, которая будет реагировать на отслеживаемые трекером выражения лица. Добавляя на сетку разные материалы, вы сможете изменить ее внешний вид и создать эффект маски.
В этом проекте сетка лица выступает дочерним объектом трекера, то есть любые изменения в трекере будут автоматически применяться к ней. Кроме того, сетка будет реагировать на движения, отслеживаемые трекером.
Чтобы добавить сетку лица в качестве дочернего объекта для трекера лица:
Новый объект появится в окне просмотра и эмуляторе:
Нажав стрелку слева от родительского объекта на панели Scene («Сцена»), вы сможете просмотреть его дочерние объекты, а также показать или скрыть любой из них.
Создание материала
Прежде чем создавать материал для сетки лица, выберите ее на панели Scene («Сцена»).
В правой части интерфейса появится панель Inspector («Инспектор»). Здесь вы можете вносить изменения в объекты, выбранные на панели Scene («Сцена»), в том числе создавать для них материалы.
На панели Inspector («Инспектор») нажмите + рядом с вариантом Material («Материал»), чтобы добавить материал для сетки лица.
Он появится на сетке лица в окне просмотра и эмуляторе:
Его название (material0) появится на панели Assets («Объекты»):
Материалы можно создавать и на панели Assets («Объекты»). Для этого нажмите Add Asset («Добавить объект») и выберите Material («Материал»). Чтобы добавить материал в объект на сцене, перейдите на панель Inspector («Инспектор») и откройте раскрывающийся список рядом с пунктом Materials («Материалы»).
Объекты в Spark AR Studio можно переименовывать, что помогает не запутаться в ходе работы над проектом. Чтобы переименовывать объект, нажмите на него правой кнопкой мыши и выберите соответствующий вариант. Для этого проекта:
Чтобы отредактировать материал, вернитесь на панель Inspector («Инспектор»).
В ее верхней части есть параметр Shader Type («Тип шейдера»):
В Spark AR Studio вы можете выбрать один из встроенных шейдеров, чтобы настроить внешний вид материалов в эффекте.
Мы создаем маску, под которой будет видно лицо человека, поэтому нам подойдет шейдер Face Paint («Раскраска лица»). Он сохраняет яркость лица, но убирает цвет и поэтому лучше всего подходит для эффектов с масками, в которых текстура накладывается поверх лица. Вашу текстуру можно наносить поверх.
Чтобы изменить шейдер:
Теперь материал накладывается на лицо:
Применение текстуры
Теперь можно применить текстуру. Рядом с пунктом Texture («Текстура»):
Маска готова! Давайте добавим второй трекер лица, чтобы пользователь мог использовать эффект с другом.
Добавление второго трекера лица
Вы можете продублировать существующий трекер лица. В таком случае все его дочерние объекты тоже скопируются. Для этого выполните следующее:
Трекер и сетка продублируются.
После этого вам потребуется внести небольшое изменение на панели Inspector («Инспектор»). На панели Scene («Сцена») выберите второй трекер лица (он называется faceTracker1). На панели Inspector («Инспектор») вы увидите свойство Tracked Face («Отслеживаемое лицо»). С его помощью вы можете указать, какое из лиц будет отслеживать определенный трекер.
Значение по умолчанию — Face 1 («Лицо 1»). Измените его на Face 2 («Лицо 2»):
Новый трекер будет реагировать на лицо, которое появится в камере вторым. Теперь ваш эффект могут использовать два человека. Чтобы внести немного разнообразия, к материалу второй сетки лица можно применить другую текстуру.
Поздравляем! Вы создали эффект с отслеживанием лица.