Eye control что это
Microsoft Eye Control — технология для управления компьютером с помощью взгляда
Microsoft представила функцию Eye Control для управления Windows с помощью глаз. Технология создавалась для пользователей с нарушениями моторно-двигательной системы.
Eye Control уже доступна в предварительных сборках Windows. Полноценный релиз функция получит вместе с выходом осеннего обновления Windows 10 Creators Update. В настоящее время технология работает только с контроллер-камерой Eye Tracker 4C.
Разработчики создают полноценную замену привычным манипуляторам. К примеру, технология shape-writing позволяет печатать текст движениями глаз. Пользователь смотрит на виртуальную клавиатуру, задерживает взгляд на первой букве слова и бегло проводит глазами по остальным. Результат корректируется с помощью подсказок. Такая механика оказалась эффективней, чем набор с задержкой на каждой букве, сообщает cossa.ru.
Команда, отвечающая за Eye Control, вдохновляется письмом Стива Глисона. Он был знаменитым игроком в американский футбол, но у него обнаружили боковой амиотрофический склероз. Из-за неизлечимой болезни спортсмен потерял двигаться и говорить.
«Когда я обратился в Microsoft три года назад, я попросил сотрудников компании помочь с разработкой новаторских программ, которые бы помогли людям с ограниченными возможностями оставаться продуктивными и целеустремлёнными. Там сразу же согласились помочь мне. Тогда я даже не думал, что это превратится в нечто большее и войдёт в Windows 10».
Microsoft’s Eye Control: Управление Windows 10 с помощью глаз
Microsoft анонсировала технологию для управления Windows 10 с помощью собственных глаз, без стандартной периферии — клавиатуры и мыши. Как несложно догадаться, в первую очередь она направлена на людей с ограниченными возможностями, в частности, с нейро-мышечными заболеваниями.
Что это такое?
Microsoft’s Eye Control — система управления интерфейсом операционной системы Windows 10, а также набора текста с помощью взгляда. Бета-версия уже доступна для последней Windows Insider Preview (предварительные сборки Windows). Скачать программы бесплатно для Windows 10 таких редакций можно тут. По продуктивности они ничем не отличаются от обычной «Pro» или «Домашней» версий.
Как это работает?
Весь «комплект» беспроводного управления состоит из двух элементов — экранной клавиатуры и специального контроллера Tobii Eye Tracker 4C, который используется для управления интерфейсом в играх с помощью взгляда. Связка работает даже в случае, если вы носите очки или контактные линзы — в контроллере есть автоматическая калибровка (этот параметр указывается при первоначальной настройке). На данный момент Eye Control «понимает» только английскую раскладку клавиатуры. В полноценном релизе, дата которого, впрочем, пока не известна, будут добавлены все основные мировые языки, в т.ч. и русский.
Как это выглядит на экране?
Microsoft уже внедрила интересную функцию, которая несколько напоминает и даже развивает то, что мы давно наблюдаем на мобильных устройствах — автокоррекция текста. Для ввода слова мы можем ввести только первую и последнюю букву, а на всех тех, что между ними — просто «проскользнуть» взглядом. Полученный результат будет иметь несколько вариантов, среди которых нужно выбрать нужный.
Контроллер Tobii Eye
Tobii Eye Tracker 4C — девайс, который с помощью инфракрасного излучения отслеживает движение глаз. Контроллер устанавливается на ТВ или мониторе чуть ниже самого экрана и подключается через USB-порт. Первой ласточкой интеграции с операционной системы Windows 10 стала технология Windows Hello. Она позволяет авторизоваться в ОС с помощью взгляда или прикосновения, что избавляет вас от ручного ввода пароля для вашей учетной записи
Изначально создан для геймеров, чтобы дополнить управление персонажем со стандартным стиком (или мышь с клавиатурой — в зависимости от платформы). Получил популярность после выхода игры Watch Dogs 2, где с его помощью можно было поворачивать взгляд персонажа игры или задать ему направление движения. Самая мощная интеграция была показна в игре Deus Ex: Mankind Divided. Весь дополнительный интерфейс (карта, инвентарь, уровень жизни) будут показаны при взгляде игрока в определенную точку.
Как использовать функцию Eye Control в Windows 10
Список поддерживаемых устройств контроля зрения:
Как я уже говорил выше, эта функция использует специальное оборудование, и есть только несколько совместимых устройств. Он включает в себя оборудование от EyeTech и Tobii. Хотя EyeTech перечисляет только TM5 Mini, Tobii включает Eye Tracker 4C, EyeX, Dynavox PCEye Plus, EyeMobile Mini & Plus, PCEye Mini и Explore, а также I-Series +.
Устройство пытается выяснить, где вы смотрите на экран, а затем превращается в курсор мыши. Затем, когда вы двигаете глазами, он может определить изменения.
Включить контроль глаз в Windows 10
Чтобы выбрать одну из кнопок на панели запуска, вам нужно постоянно смотреть на нее и искать определенное количество времени. Microsoft называет это Dwelling, а количество времени называется временем ожидания. Вы также можете приостановить контроль зрения, если вы делаете что-то вроде просмотра фильма и не хотите, чтобы ваши движения глаз случайно выбирали кнопки на панели запуска.
Как управлять мышью с помощью Eye Control
Как прокручивать/масштабировать веб-страницы и приложения с помощью Eye Control
Для прокрутки необходимо остановиться на кнопке прокрутки панели запуска. После активации, когда вы смотрите вниз и вверх, он прокручивается соответственно. Вы можете прокручивать влево или вправо таким же образом. Эта часть немного сложнее, хотя. Чем дольше вы останавливаетесь на любой из этих кнопок, тем быстрее вы будете прокручивать. Поэтому, когда вам нужно остановиться, смотрите за кадром
Как набирать текст с помощью клавиатуры Eye Control
После того же процесса снова нажмите кнопку клавиатуры на панели запуска, а затем введите символы, которые вы хотите ввести. Тем не менее, обязательно используйте программную клавиатуру при ее использовании. Текстовые предложения лучше всего работают в этом случае, поэтому обязательно посмотрите на них, чтобы выбрать его. На данный момент Eye Control поддерживает только американскую раскладку клавиатуры на английском языке.
Как настроить и изменить настройки контроля глаз
Это займет время, чтобы привыкнуть, и Microsoft предложила только правильные варианты настройки времени задержки для всех из них. Чтобы изменить их, остановитесь на настройках Eye control на панели запуска. Вы можете изменить следующие настройки:
Используйте текст для речи с контролем глаз
Тем не менее, вам, возможно, придется настроить параметры речи, особенно голос. Перейдите в Пуск > Настройки > Время и язык > Речь и выберите голос в меню в разделе Текст в речь.
Ограничения контроля глаз:
Наилучшие результаты для контроля глаз проявляются, когда вы не находитесь в экстремальных условиях, включая яркий солнечный свет, поскольку он не сможет отследить местоположение ваших глаз. Это также немного меняется при использовании очков и цвета глаз, размера глаз или формы глаз. Энтузиасту конфиденциальности также следует знать, что на данный момент Microsoft не собирает, не хранит и не передает информацию отслеживания глаз. Windows Eye Control не поддерживается в Windows 10 S.
Управление компьютером при помощи глаз — практическая реализация
1. Необходимость и постановка задачи
2. Выбор из существующих решений
Для справки, в разделе «5. Другие способы, которые я не попробовал» привожу описание разных устройств, о которых я набрал информацию.
Неожиданно в середине декабря компания Tobii меняет концепцию, переходит на разработку нового устройства EyeX, а своё старое устройство REX рассылает разработчикам по цене, в три раза ниже первоначальной и прямо сейчас, уверяя, что написанный для REX код будет работать и с EyeX.
Долго думать не стал, заказал REX, на основе которого и сделана система.
[исправление от 22.08.2017] В настоящий момент появились более современные айтрекеры, которые также могут быть использованы (см. ниже)
3. Детали реализации
3.1. Аппаратная часть
3.1.1. Вариант первый: Tobii Eye Tracker 4C
Наиболее актуальная на лето 2017 года модель недорогого айтрекера.
3.1.2. Вариант второй: Tobii EyeX
Предыдущая модель от Tobii. Сейчас ещё можно купить, но только если с деньгами совсем туго. Приготовьтесь глазеть на красные лампочки. Тем не менее, очень достойный аппарат для своего времени.
Внимание! Для работы EyeX требуется USB3! Если в вашем компьютере нет портов USB3, устройство работать не будет!
Заказать устройство можно на сайте Tobii.
Доставляют UPS’ом из Швеции.
3.1.3. Другие поддерживаемые устройства
Tobii REX – больше не продаётся, но была очень хорошая машинка с двумя камерами.
TheEyeTribe – больше не продаётся. Так себе железка. Хотя и сделала прорыв в области малобюджетных айтрекеров, заставив Tobii существенно снизить цены.
GazePoint GP3 – весьма дорогой прибор, в то же время уступающий более дешёвым приборам от Tobii.
3.2 Программное обеспечение
В комплекте с устройствами идут только демонстрационные программы, призванные показать, на что способно устройство, и средства для написания своих собственных программ (SDK). Документация, которая идёт с SDK, можно сказать, никакая. Но есть примеры на С++ и С#, изучив которые, можно понять, как и что надо делать.
При попытке использовать программное обеспечение от других, более дорогих моделей Tobii, именуемое Tobii Gaze Interaction, ничего не получилось. Но понравилась идея, там реализованная.
Итак, программное обеспечение пришлось писать самому.
Была написана программа, которая позволяет имитировать глазами действия мышью: левый, правый, двойной щелчок, drag-and-drop, колесо прокрутки, а также набирать текст глазами на виртуальной клавиатуре.
Лучше, впрочем, один раз увидеть. Демонстрацию работы программы приглашаю посмотреть здесь.
Программа доступна для скачивания (в том числе в исходных кодах) на github: здесь.
Для скачивания нужно нажимать кнопку «RAW» — так принято на github.
Подробная инструкция по установке программы приведена вот здесь. Пусть вас не смущает, что там описывается только работа в режиме таблицы.
Программа пригодилась нескольким людям из разных стран, больным боковым амиотрофическим склерозом (БАС). Вот в этом клипе фонда «Милосердие» рассказана одна из таких историй.
4. Проблема работы в очках
Используемое устройство, так же как и большинство других аналогичных, использует для определения направления взгляда блики на зрачках, которые получаются от инфракрасной подсветки. К сожалению, очки добавляют паразитные блики. 
Несмотря на то, что при настройке устройства под конкретного пользователя есть возможность указать, что человек носит очки, это не слишком помогает, устройство постоянно теряет положение зрачков.
Буду благодарен за проверенные рекомендации по устранению бликов на линзах очков в инфракрасном диапазоне.
5. Другие способы, которые я не попробовал
[устаревшая информация, это было актуально в 2013-2014 годах]
Сразу оговорюсь, что устройства используются не только для облегчения работы на компьютере для людей с ограниченными возможностями, но и, например, для исследования того, каким частям веб-страниц пользователи уделяют наибольшее внимание. Поэтому иногда за такие системы заламывают чудовищные деньги. Впрочем, и за устройства для инвалидов часто заламывают удивительные деньги.
5.1. Продукты коммерческих компаний
SMI — senso-motoric instruments
Их устройства можно посмотреть вот здесь.
Устройства можно купить в России (не буду давать ссылку), но когда я поинтересовался ценой самого дешёвого, мне озвучили цену в один миллион двести тысяч рублей. До свидания, SMI.
Tobii
EyeTech
Тоже давно работают в этой сфере, кажется с конца 90-х. Их устройства более аляповатые, но очень понравился софт, демонстрацию которого можно посмотреть вот здесь.
DynaVox
Специализированное устройство, нельзя пользоваться стандартными компьютерными программами.
EyeGaze Edge (от LC Technologies)
Монстроподобное устройство, включающее в себя камеру и компьютер, который обрабатывает её данные. Можно подсоединить весь этот агрегат к своему компьютеру (в том числе беспроводно), тогда он заменит мышь и клавиатуру, что позволит работать с обычными программами. Опять 8-10 тысяч долларов.
Вроде бы есть набор «EyeGaze Edge Pack», где компьютер вы используете свой, просто добиваете в него их камеру и софт, но цены на него не нашёл нигде.
Это основные игроки на рынке. Одна из маленьких новых амбициозных контор, которая сама не смогла довести до ума свой продукт, тем не менее не поленилась раскритиковать лидеров и привела вот такую табличку, из которой понятно, что сами они самые крутые (хотя продукта ещё нет, а демо-ролик показывает, что позиция зрачка всё время скачет). Но сравнение остальных весьма показательно. Хотя оборудование там приведено часто уже устаревшее, но можно оценить порядок цен и кто продвинулся дальше.
5.2. Проекты с открытым исходным кодом
К сожалению, ни одна из упомянутых ниже программ не дала достаточно точного определения направления взгляда на имеющемся оборудовании (видеокамера PC104E с режимом ночной съёмки и отдельно расположенная инфракрасная светодиодная подсветка). Тем не менее, возможно у кого-то заработает лучше.
GazeTracker
Рекомендую начать с того, что посмотреть клип на этой странице.
Проект развивался в университете ИТ Копенгагена. Развивался где-то до конца 2010 года, после чего впал в апатию. Тем не менее многими уважаем за свою открытость, некоммерциализованность и определённые достижения. Изначально был нацелен на возможность работы с оборудованием типа «сделай сам» (DIY — do it yourself). Многие самодельщики использовали этот софт со своими железками, часто обходившимися им в 20-30 долларов. См., например, вот это.
Текущая версия 2.0 beta, до этого был ряд стабильных версий, например 1.6, 1.8.
В инструкции по использованию упоминается, что сами разработчики использовали камеру Sony HDR-HC5 с одной или двумя лампами подсветки от той же Sony, модель HVL-IRM.
На сайте [относительно] живой форум, можно пообщаться если не с разработчиками, то с апологетами. 
В Windows 10 станет доступна технология ввода и управления компьютером при помощи взгляда
2 August 2017 | Пресс-центр
Одни функции из набора Eye Control призваны заменить мышь, другие — клавиатуру. Новаторский способ распознавания shape – writing позволяет быстро вводить текст движениями глаз: пользователь, глядя на виртуальную клавиатуру, задерживает взгляд на первой букве слова, а затем может быстро провести глазами по всем следующим символам.
Это значительно более эффективно, чем ввод по одной букве, который требует задерживать взгляд на каждой из них. Пользователям Eye Control также доступны подсказки, которые ещё сильнее упрощают процесс печати взглядом.
Чтобы использовать новые функции системы, потребуется контроллер-камера Eye Tracker 4C компании Tobii. Подробное руководство о том, как настроить и использовать эту систему, можно найти в блоге компании.
За разработку Eye Control в Microsoft теперь отвечает специальная команда разработчиков, тогда как начиналось всё в рамках проекта на недельном хакатоне в 2014 году. По его результатам судьи выбрали победителей среди 3000 проектов, а глава компании Сатья Наделла вручил главный приз создателям технологии, которая легла в основу Eye Control.
Вдохновением для членов команды стало письмо Стива Глисона — бывшего знаменитого игрока в американский футбол, страдающего от болезни моторных нейронов. Глисон призывал создать новые технологические решения, которые могли бы облегчить жизнь людям, ограниченным в возможности двигаться.