Driver monitoring system что это
Обзор рынка DMS (мониторинг водителей автомобилей)
Примерное время чтения: 6 мин
Что такое DMS
DMS (Driver Monitoring Systems) – специальные системы трекинга взгляда, которые следят за тем, чтобы водитель не засыпал и не отвлекался во время вождения автомобиля. Наличие таких систем в скором времени может стать обязательным во всех выпускаемых в Европе и Северной Америке автомобилях. Сейчас DMS устанавливается преимущественно в автомобилях среднего и премиального классов.
В конце октября 2020 Volvo, известная во всем мире как производитель одних из самых безопасных автомобилей, сделала отличную рекламу системам DMS, заявив о намерении устанавливать их в свои выпускаемые автомобили. При этом 8 ноября 2019 был одобрен Европейским парламентом законопроект, по которому новые выпускаемые в Европе автомобили должны быть оборудованы системами DMS, а с 2024 и вовсе – все автомобили, находящиеся в продаже. Такое решение было принято, так как ежегодно порядка 40% из 35 тысяч случаев автомобильных аварий в Европе совершается из-за невнимательности водителя.
По прогнозам количество DMS систем в мире в ближайшие годы будет расти быстрыми темпами, и к 2025 в 60% новых выпускаемых автомобилях будет установлена DMS. При этом количество выпускаемых автомобилей также будет постепенно расти.
Сама система состоит из железа (hardware) и софта, о котором мы и будем говорить ниже. Важной метрикой в индустрии является количество Design Win. Design win означает, что DMS софт компании был выбран производителем и будет использоваться при производстве определенной модели автомобиля. После этого требуется от 1 до 3 лет, прежде чем начнутся первые поставки и установки в выпускаемые автомобили.
При этом модель выпускается на протяжении 7 лет, однако, как правило, производители продолжают производить ее и после, но уже в меньших объемах, поэтому суммарно автомобиль с DMS софтом производится в течение 14 лет, которые составляют жизненный цикл продукта. Соответственно первые доходы от design win компания получит в лучшем случае через 1-3 года, поэтому чем больше на сегодняшний день у компании design win, тем больше в будущем она получит доходов.
Помимо автомобилей системы DMS начинают применяться еще и в авиации, где конечно их количество будет кратно ниже, чем в автомобильной индустрии, однако ASP (Average Selling Price – средняя цена продажи) будет намного выше.
Ниже разберем основных игроков в секторе – сейчас всего две компании фактически уже поделили между собой рынок на ближайшие годы. Обе торгуются на европейских биржах и их акции доступны через Interactive Brokers.
Обзор компаний и мнение об их инвестиционной привлекательности доступны для подписчиков.
Старший брат: что дают системы мониторинга усталости водителя?
«Старший Брат смотрит на тебя». Оруэлловскую антиутопию уже претворяют в жизнь многие автомобили с DMS — системами слежения за состоянием водителя Driver Monitoring System. Но если мой Volkswagen Tiguan делает это опосредованно, то Subaru Forester глядит на вас буквально, специальной камерой. Какая система лучше — и что нас ждет в будущем?
Первые серийные объективы с инфракрасными датчиками, которые смотрели водителям в лицо, появились на автомобилях марки Lexus в теперь уже далеком 2006 году. Причем, что любопытно, использовались они… системой автоторможения. Да-да, японцы тогда всерьез полагали, что коль водитель смотрит на дорогу, то автоматика должна лишь предупреждать об угрозе столкновения, а тормозить она обязана плавно! И только когда человек за рулем смотрит в сторону, можно применить экстренное замедление.
У шведов из Volvo к тому времени уже было четкое понимание, что отслеживать надо усталость водителя как таковую, поскольку снижение концентрации за рулем к середине 2000-х являлось причиной каждой пятой аварии. Напомню, это еще в доайфонную эпоху. Но вместо наблюдения за людьми в салоне шведы использовали информацию от камеры слежения за разметкой: если автомобиль достаточно часто начинал повиливать, значит, кондиции водителя далеки от оптимальных.
А настоящую революцию в определении состояния водителя в 2009 году совершил Mercedes-Benz. Для этого немцы решили использовать статистику сигналов датчика угла поворота руля. Просто, как все гениальное! Высочайшая точность и никаких дополнительных затрат в производстве — ведь датчик является неотъемлемой частью системы стабилизации. Неудивительно, что эту идею у мерседесовцев передрали партнеры из фирмы Bosch, затем предложив всем желающим. В течение пары лет мониторинг усталости на основе датчика поворота руля появился даже на самых недорогих автомобилях.
Собственно, на моем Тигуане именно такая система контроля усталости и стоит. Работает она как автомат Калашникова — безотказно. Когда я не выспался, система обычно через полтора-два часа показывает «чашку кофе». А вот в нормальном состоянии призыв взбодриться я получаю от машины только спустя четыре часа непрерывного движения — так срабатывает зашитый в систему таймер.
Призыв отдохнуть Tiguan высвечивает лишь на трассе
Критический временной интервал, похоже, взят фольксвагеновцами из норм для дальнобойщиков, запрещающих безостановочную езду дольше четырех часов. Но этот «тахограф» обмануть проще простого: на светофоре открываете дверь водителя — и счетчик обнуляется.
А поскольку на Тигуане отсчет времени запускается только на скорости 65 км/ч и выше, то на городских скоростях можно рулить как угодно — «чашки кофе» вы от Фольксвагена не дождетесь.
Тем временем идею с камерами активно дорабатывали — особенно такие монстры-поставщики, как Continental, Valeo и другие. Считается, что самый мощный стимул развитию «камерных» технологий в 2017 году дал комитет Euro NCAP, когда опубликовал свою очередную «дорожную карту», то бишь стратегический план изменения методик тестирования до 2025 года с упором на превентивную безопасность. Кстати, именно тогда, четыре года назад, в Apple представили iPhone X с технологией распознавания лица Face ID. Например, новый Mercedes-Benz S-класса W223 имеет аж несколько камер в салоне, которые пристально следят за углом поворота вашей головы, степенью ее наклона по горизонтали, положением век и направлением взгляда. Но у Subaru система попроще мерседесовской: камера здесь только одна и спрятана под козырьком верхнего дисплея в центре передней панели. Тем не менее в нее уже заложена технология Face ID. То есть Forester, коль вы ему разрешите запомнить вашу физиономию, сам будет автоматически подстраивать под вас кресло с электроприводом и зеркала. Удобно, когда вы используете машину попеременно, например с супругой.
Японская инфракрасная камера смотрит вам в глаза из-под центрального козырька
Системы отслеживания состояния водителей
Автомобильные и технологические компании лихорадочно занимаются системами безопасности, которые могут обнаруживать различные объекты и избегать столкновения с ними. Но занимается ли кто-нибудь разработкой систем, которые могли бы наблюдать за водителями и отслеживать опасное рассеивание их внимания?
Да, но об этом почти никто не говорит.
Многие компании считают, что системы мониторинга водителей (DMS, Driver Monitoring Systems) устарели или неэффективны, а потому пытаются внедрять в автомобили различные функции автоматизации. Для того, чтобы решать проблему отвлечения водителей и спасать жизни, они внедряют автоматические системы безопасности и «выводят человека из игры» – что-то подобное мы видели в фильме «Военные игры».
Впрочем, люди будут оставаться в игре еще много лет, а частичная автоматизация создает ложное чувство безопасности – из-за него люди слишком сильно отвлекаются от управления автомобилем.
Многие исследования и испытания подтверждают тот вывод, который можно сделать после просмотра фильма. В этом тексте мы хотим задать два ключевых вопроса:
Собираем сведения
На прошлой неделе Страховой институт безопасности дорожного движения (IIHS) опубликовал результаты исследования, по которым видно негативное влияние автоматизации в автомобилях 1 и 2 уровня автономности.
Исследовательская группа (в которую вошли представители IIHS и Массачусетского технологического института) в течение четырех недель изучала поведение 20 добровольцев. Десять человек ездили на Range Rover Evoque c адаптивным круиз-контролем, а другие 10 – на Volvo S90 с адаптивным круиз контролем и системой Pilot Assist. Результаты исследования показали, что «чем дольше водители пользовались системами автоматизации езды, тем чаще они убирали руки с руля, пользуясь телефонами или взаимодействуя с салонной электроникой».
Тревогу в связи с этим бьет не только IIHS.
Британская компания Thatcham Research в прошлом месяце представила методику оценивания «систем помощи водителю» совместно с Euro NCAP. Согласно первым результатам испытаний, можно сделать вывод, что автоматизация езды не является панацеей для дорожной безопасности. В качества примера можно привести Tesla Model 3. Этот автомобиль обошел всех по критериям помощи и резервирования (по ним оценки выше 90), но получил 36 из 100 за вовлеченность водителя. Директор по исследованиям из Thatcham Мэтью Эйвери пояснил, что «Tesla опустилась в нашем рейтинге из-за того, что их система автопилота явно поощряла отвлечение водителей от управления».
Оценки систем помощи при вождении – октябрь 2020
Мисси Каммингс, директор лаборатории по исследованиям взаимодействия людей и систем автоматизации из Университета Дюка в прошлом месяце высказывалась о «загадках частичной автоматизации». В своем недавнем исследовании «Взаимодействие автопилота и систем мониторинга водителей в Tesla Model 3” Каммингс подчеркнула, что так называемая „совместная ответственность“ компьютеров и людей является реальной проблемой.
Ранее в этом году Национальный совет по транспортной безопасности (NTSB), расследовавший две фатальные аварии с участием автомобилей от Tesla, опубликовал итоговый отчет по этому делу. Председатель NTSB делал весьма резкие замечания о системе автопилота от Tesla: „Чрезмерное доверие водителей к автопилоту от Tesla привело к трагическим последствиям“.
Принимая во внимание все свидетельства об отвлечении водителей из-за систем автоматизации, Колин Барнден, ведущий аналитик из Semicast Research сказал, что он „просто не понимает почему мы так долго не осознавали важность систем мониторинга водителей и потребность в них“.
Барнден, который зачастую в одиночку защищает системы мониторинга водителей перед СМИ и сообществом аналитиков, имеет свое мнение по этому вопросу. Он сделал следующее заявление:
Все основные СМИ сейчас преимущественно пишут о системах беспилотной езды. Пресса склонна следить за деньгами. Так, например, рыночная капитализация Tesla составляет 460 миллиардов долларов. Mobileye была продана за 15 миллиардов. Seeing Machines (разработчик систем мониторинга водителей) стоит около 275 миллионов долларов.
Несмотря на все деньги, которые крутятся на этом рынке, у NHTSA нет никаких нормативов касательно систем мониторинга водителей. Между тем, в Европе есть две дорожные карты внедрения этих систем (Euro NCAP и общие правила безопасности в ЕС). Даже у Китая есть стратегия развития мониторинга водителей! Кажется, что все сложилось в пользу разработчиков полноценных стеков для беспилотной езды. Так уж сложилось, что все они находятся в США.
Оглядываясь назад, Барнден сказал:
Скепсис в отношении систем мониторинга водителя
В мае 2018 года Илон Маск в своем твиттере прокомментировал решение Tesla об отказе от систем мониторинга водителей на основе компьютерного зрения. В его твите говорилось, что «отслеживание направления взгляда было отброшено, поскольку эта технология неэффективна».
Внесем ясность, автопилот от Tesla оснащен датчиком, который отслеживает небольшие сдвиги положения рулевого колеса – так система контролирует, что водитель не убирает руки с руля. Как известно, эта система не идеальна, она не принимает никаких решений, пока водитель не убирает руки с руля на целых две минуты.
За последние несколько лет на рынке систем мониторинга водителей появилось множество новых компаний. Среди них можно выделить Seeing Machines (Канберра, Австралия), Smart Eye AB (Гётеборг, Швеция), Eyesight Technologies (Герцлия, Израиль), Jungo Connectivity (Нетания, Израиль), Xperi, которая приобрела FotoNation (Сан-Хосе, Калифорния) и Affectiva (Бостон).
Базовые блоки систем мониторинга водителей от Smart Eye.
Если Маск все еще считает, что системы мониторинга водителей ограничиваются отслеживанием направления взгляда, то он немного отстал. Многие системы от ведущих компаний уже не ограничиваются отслеживанием какого-то одного параметра (вроде положения головы, взгляда, лица или положения век). Эти системы отслеживают совокупность параметров для более целостного представления данных и их анализа.
«Некоторые люди думают, что системы мониторинга водителей исключительно отслеживают направление взгляда – это не так». Такой комментарий нам дал Майк Ленне, старший вице-президент по человеческому фактору и рыночной стратегии из компании Seeing Machines.
Он отметил, что «отслеживание взгляда – это минимальное требование, чтобы заниматься отслеживанием состояния водителя, и оно должно работать исключительно хорошо». На вопросы вроде «А можете ли вы распознавать визуальное или когнитивное отвлечение, сонливость, интоксикацию и т.д?» Ленне отвечает, что все сводится к «качеству применения ИИ к необработанным сигналам от систем распознавания взгляда и определению более конкретных состояний водителя на основе этих данных».
Ник ДиФоре, старший вице-президент по автомобильной промышленности из Seeing Machines, согласен с этим утверждением. «Если ваше решение не может качественно отслеживать голову, лицо и глаза, то вам не будет хватать данных». Именно эти данные позволяют распознавать более конкретные состояния водителя, пояснил он.
Также ДиФоре отметил, что раннее лидерство Seeing Machines на рынке беспилотного транспорта обусловлено не только точностью собираемых данных, но и архитектурой их решений, которая облегчила работу с сигналами и доступ к ним.
По словам ДиФоре, «оптические инструменты» (камеры, датчики изображения, линзы и технологии освещения) критически важны. Совместно с ПО и алгоритмами «они определяют надежность всей системы».
ДиФоре рассказывал, что на этапе лабораторных исследований Seeing Machines мало чем отличалась от многочисленных конкурентов. Но как только системы мониторинга водителей стали встраивать в машины, которые ездят и днем, и ночью, автопроизводителями пришлось учитывать тот факт, что люди делают «странные вещи» – надевают очки или контактные линзы. ДиФоре отметил, что это «даже не краевые случаи. Это реальный мир».
Различий между Seeing Machines и их конкурентами стало больше, когда компании на рынке систем мониторинга водителей стали применять научные сведения о человеческом факторе к собранным данным, чтобы понять что же на самом деле происходит в голове у водителя.
Модели машинного обучения, обученные на неточных и неповторяемых низкоуровневых данных и сигналах не могут быть точными. «Если вы подаете мусор на вход, то и на выходе получите мусор», сказал ДиФоре. По его словам, Seeing Machines была на шаг впереди конкурентов, потому что работала с «стабильными и надежными сигналами».
От распознавания лиц к чтению мыслей
Итак, каково будущее систем мониторинга водителей? Барнден сказал, что «сейчас индустрия стремится к разработке решений, которые будут работать с частотой 60 кадров в секунду». Он также добавил, что «У этих систем огромная пропускная способность, они работают с очень сложными процессами».
Барнден отметил, что то, что она сейчас видит похоже на то, «чего могла бы добиться Mobileye с фронтальной камерой». Он предсказывает, что DMS может помочь в создании решения, в котором будут тесно связаны микросхемы и ПО».
В области оптических технологий тоже появляется множество инноваций. «Переход от ИК-излучения на 850 нм к 940 нм» очень важен, поскольку на 940 нм гораздо меньше помех от прямого солнечного света, отметил Барнден.
Следующий этап – использование вероятностных систем ИИ для применения сведений о человеческом факторе и поведении к оценке уровне вовлеченности водителей.
Чипы и программные решения
До недавнего времени многие компании были уверены в том, что в их решениях не нужны системы мониторинга водителей, либо ограничивались обсуждением передачи ответственности между машинами и людьми в автомобилях с 3 уровнем автономности. Многие компании думали, что если они планируют перескочить третий уровень и сразу разрабатывать машины четвертого, то и системами мониторинга можно не заниматься.
Сейчас же приведены доказательства того, что частичная автономия на 1, 2 и более высоких уровнях влияет на отвлечение водителя, а потому обсуждение систем мониторинга снова стало актуальным. Россу Жату, вице-президент и генеральный директор «On Semiconductor» в своем недавнем интервью сказал, сказал, что наличие системы мониторинга водителей становится практически обязательным.
Отвечая на вопрос о автопроизводителях, которые используют в своих решениях системы мониторинга водителей, Барнден отметил, что GM в начале 2013 года представила систему мониторинга, которая позже стала Super Cruise. За ними вскоре последовали BMW, Subaru и Nissan, затем в 2017 такую систему установили в Mercedes S-Class 2017 года, а в 2018 году систему мониторинга установили в Ford F-150.
Любопытно, что Audi, Porsche и Jaguar Land Rover, похоже, быстро отказались от разработки систем мониторинга после первых попыток. Барнден сказал, что «систему мониторинга водителей невероятно легко сделать плохо»
Барнден делает ставку на Seeing Machines – отчасти ввиду их опыта и ряда их соглашений на поставку. Компания Seeing Machines гордится большими массивами данных, собранных с более чем 23 000 водителей грузовиков (к ним также нужно прибавить данные с нескольких тысяч автомобилей, собранные в рамках лицензионного соглашения с Caterpillar).
Представитель Seeing Machines отметил, что у компании уже сейчас есть девять партнерских соглашений на использование их систем в продуктах OEM-производителей.
Впрочем, в индустрии будут использовать не только решения от австралийской компании. Ранее в этом году Smart Eye объявила о 24 соглашениях с четырьмя разными OEM-производителями. В заявлении Smart Eye говорилось, «Из четырех наших партнеров двое – новые клиенты. Один – крупный американский автопроизводитель, а другой – европейский производитель автомобилей премиум-класса. Двое существующих клиентов – также европейские автопроизводители, работающие в люксовом рыночном сегменте».
DMS в железе и ПО
Как нам объяснил ДиФоре, примерно половина бизнеса Seeing Machines в области систем мониторинга водителей основана на программных решениях, а другая – на микросхемах. В области систем мониторинга давним партнером Seeing Machines является Xilinx. Благодаря своей программируемости, чип Xilinx Fovio получил признание от OEM-производителей.
Seeing Machines также предлагает OEM-производителям исключительно программные системы мониторинга, которые позволяют экономить на специфических чипах.
В качестве хорошего примера можно привести компанию Qualcomm. Она интегрировала информационно-развлекательную систему и ADAS с помощью своей платформы Snapdragon. Seeing Machines вместе с Qualcomm разработали «оптимизированный программный конвейер, который использует не только ядра ARM-процессоров, но и проприетарные ускорители от Qualcomm», пояснил ДиФоре.
Принимая во внимание тот факт, что процессоры для ADAS будут запускать не только системы мониторинга, ДиФоре сказал, что оптимизация «очень важна».
Не называя OEM-производителей, которые будут пользоваться конечными продуктами, ДиФоре отметил, что Seeing Machines уже демонстрировала работу своих систем на платформах от Nvidia, Renesas, Texas Instruments и «ряде других платформ, популярных среди OEM-производителей».
Продолжая выводить свою систему мониторинга на рынок, в сентябре Seeing Machines анонсировала движок ИИ нового поколения под названием Occula. Компания заявляет, что этот движок будет доступен как в виде ПО, так и в виде готового чипа Fovio. Occula будет обеспечивать работу систем мониторинга водителей и пассажиров следующего поколения. Seeing Machines также предоставляет поставщикам микросхем лицензию на использование своего движка в форме ASIC, что позволит «эффективно интегрировать Occula в автомобильные вычислительные платформы компаний, занимающихся полупроводниковыми технологиями».
Согласно заявлениям Seeing Machines, GM – единственный автопроизводитель, использующий систему мониторинга водителей в Cadillac CT6 (в качестве компонента системы Super Cruise). Seeing Machines добавила, что новые модели уже находятся в разработке. Seeing Machines поставляла только свое ПО GM по условиям партнерского соглашения.
Seeing Machines также выиграла контракты на поставку систем мониторинга водителей в виде чипов Fovio у двух американских автопроизводителей и одной китайской компании.
НПП ИТЭЛМА всегда рада молодым специалистам, выпускникам автомобильных, технических вузов, а также физико-математических факультетов любых других высших учебных заведений.
У вас будет возможность разрабатывать софт разного уровня, тестировать, запускать в производство и видеть в действии готовые автомобильные изделия, к созданию которых вы приложили руку.
В компании организован специальный испытательный центр, дающий возможность проводить исследования в области управления ДВС, в том числе и в составе автомобиля. Испытательная лаборатория включает моторные боксы, барабанные стенды, температурную и климатическую установки, вибрационный стенд, камеру соляного тумана, рентгеновскую установку и другое специализированное оборудование.
Если вам интересно попробовать свои силы в решении тех задач, которые у нас есть, пишите в личку.
Мы большая компания-разработчик automotive компонентов. В компании трудится около 2500 сотрудников, в том числе 650 инженеров.
Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.
У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.
Слежение за мимикой и глазами водителя
Совместная разработка Jaguar Land Rover (Британия), Intel (США) и Seeing Machines (Австралия), которая носит название Driver Monitor System (DMS), сможет контролировать состояние водителя по мимике и движению глаз. Это снижает вероятность засыпания за рулем, а также рассеянного внимания, что в свою очередь повысит безопасность движения.
Датчики, будучи смонтированы на передней панели автомобиля, мониторят состояние находящегося за рулем человека, фиксируют момент потери внимания (отвлекающие факторы, усталость и т.д.). При этом создатели DMS утверждают, что система способна отслеживать состояние в любых условиях, даже если водитель пользуется при управлении транспортным средством очками, или при ярком солнечном свете.
Тесно связанная с другими системами безопасности, DMS может, взаимодействуя с ними, включать систему экстренного торможения, если понимает что водитель не в состоянии вовремя среагировать на опасность.
Отвлекаясь от дороги (взгляд в боковое стекло, на мультимедиа систему), водитель будет получать предупреждающие сигналы. По заявлению представителей компаний, занятых в разработке и внедрении DMS, аналогов данной системе безопасности на сегодняшний день просто не существует.
Это своего рода усовершенствованные системы контроля усталости, коих существует множество, самым примитивным из них является устройство «антисон». Мы уже рассматривали некоторые из них на страницах нашего сайта.