Управлять смартфоном можно при помощи взгляда

Всё больше людей используют смартфон для редактирования фото и видео, чтения, ведения социальных сетей. Такое многообразие задач заставляет производителей стремиться к большой производительной мощности и к увеличению размера смартфона. Однако для быстрого управления громоздким устройством часто требуется вторая рука или определённые голосовые команды. Это не всегда оказывается удобным.

Исследователи из группы Future Interfaces Group Института взаимодействия человека и компьютера (HCII) разработали специальный инструмент EyeMU. Он может позволить человеку более просто управлять устройством с помощью взгляда и простых жестов. Для функционирования этого инструмента необходимо программное обеспечение, точно отслеживающее взгляд.

Используя Face Mesh от Google, исследователи изучали взгляд пользователей, которые смотрели на различные области экрана смартфона. Командой был разработан инструмент, использующий фронтальную камеру смартфона и фиксирующий как цель то, на что смотрит человек. Кроме того, в устройстве появились встроенные датчики движения смартфона для выполнения разных команд. Так, пользователь может долго смотреть на какое-то уведомление. Устройство фиксирует его как цель. Затем человек может перевести телефон влево, чтобы закрыть уведомление, или вправо, чтобы ответить.

Авторы представили результаты работы на Международной конференции по мультимодальному взаимодействию.