У Android уже давно есть специальный API, который позволяет создавать приложения для людей с инвалидностью (хоть он и не всегда используется для этой цели). Одним из таких сервисов является Android Accessibility Suite — собственная разработка Google. После последнего обновления оно то как раз и научилось считывать мимику лица и позволять пользователям управлять смартфоном без рук. Правда, пока это не общедоступный навык. Новая опция появилась в последней бета-версии Android 12. Скорее всего, после официального выхода ОС способности Android Accessibility Suite никуда не денутся.
Чтобы использовать свою мимику, пользователям надо выбрать опцию Camera Switch. Далее приложение нужно настроить под себя. Главное — определить, какие жесты отвечают за конкретные действия. Всего таких жестов шесть: открытый рот, улыбка, поднятые брови, взгляд налево, направо и вверх. С их помощью можно создать мимические аналоги кнопок «назад» и «вперед», какой-то жест можно выбрать для возвращения на экран «Домой», какой-то — для того, чтобы открывать быстрые настройки. С помощью лица можно просматривать уведомления, нажимать и удерживать определенные объекты на экране, прокручивать назад и вперед и многое другое. Следующий шаг — настройка каждого жеста. Пользователь определяет, как именно будет выглядеть его лицо: как сильно будет открыт рот, какой широкой будет его улыбка и все такое.
Как пишет XDA-Developers, во время включения функции Camera Switch на дисплее постоянно отображается значок, напоминающий, что в настоящее время смартфон работает в нестандартном режиме. Android Accessibility Suite предупреждает, что в этот момент задействуется исключительно камера смартфона. Google никуда не отправляет визуальную информацию и не сохраняет ее. Кроме того, чтение мимики сильно «жрет» батарею. Поэтому по возможности пользователей просят держать телефон на зарядке.
Чем-то подобным могут заниматься и наушники C-Face, разработанные учеными из Корнеллского университета. Гаджет улавливает мельчайшие мимические подробности и использует это знание для решения одной из самых важных задач — создания эмодзи. При помощи камер RGB, расположенных под ушами, наушники фиксируют движения лицевых мышц владельца и благодаря нейронной сети преобразуют их в своеобразный рисунок: лицо человека превращается в 42 точки. Эти самые точки достаточно быстро становятся эмодзи. Говорят, устройство можно использовать и для других действий, например, для управления музыкальным приложением. Вот только приобрести такое чудо техники пока нельзя — пандемия усложнила разработчикам жизнь.