Androids Camera Switches ermöglichen die Bedienung des Telefons durch Augen- und Gesichtsbewegungen

Die meisten Menschen navigieren mit Sprachbefehlen oder ihren Händen durch ihr Telefon, doch für Menschen mit schweren motorischen und sprachlichen Einschränkungen ist das nicht immer möglich. Android wollte einen Weg schaffen, damit sie das Telefon allein durch Gesichts- und Augenbewegungen bedienen und kommunizieren können.

Die Frontkamera des Telefons zu einem assistiven Schalter machen: On-Device-Machine-Learning verwandelt Gesichts- und Augengesten – schauen, lächeln, die Augenbrauen heben – in Aktionen auf dem Bildschirm.

Android hat Camera Switches in Switch Access integriert, das Teil der Android Accessibility Suite ist: Die Frontkamera erkennt in Kombination mit On-Device-Machine-Learning Gesichts- und Augengesten wie nach links oder rechts schauen, lächeln oder die Augenbrauen heben und ordnet jeder eine Aktion auf dem Bildschirm zu. Die Funktion wurde ab September 2021 schrittweise eingeführt und benötigt keine zusätzliche Hardware.

Eine Kamera, die bereits in jedem Telefon verbaut ist, ersetzte spezielle assistive Hardware: Nutzer erhielten eine kostenlose, auf dem Gerät arbeitende Eingabemethode zum Navigieren und Kommunizieren, die lokal verarbeitet wird, ohne Umweg über die Cloud. Die Arbeit ist im D&AD-Awards-Archiv unter Digital Experience Design verzeichnet.

Die meisten Menschen navigieren per Sprachbefehl oder mit der Hand durch Telefone, doch für Menschen mit schweren motorischen und sprachlichen Einschränkungen ist das nicht immer möglich. Android wollte ihnen ermöglichen, das Telefon allein mit ihrem Gesicht zu bedienen und zu kommunizieren.

Dafür wurde Camera Switches entwickelt, eine Funktion innerhalb von Switch Access in der Android Accessibility Suite. Die Frontkamera des Telefons erkennt in Kombination mit On-Device-Machine-Learning Gesichts- und Augengesten – nach oben, links oder rechts schauen, lächeln, die Augenbrauen heben, den Mund öffnen – und ordnet jeder eine Aktion auf dem Bildschirm zu.

Die Funktion wurde ab September 2021 schrittweise eingeführt. Da die Erkennung auf dem Gerät erfolgt, verlässt das Video niemals das Telefon, und da die Kamera bereits vorhanden ist, muss keine zusätzliche Hardware gekauft oder installiert werden.

On-Device-Machine-Learning hält das Video privat und lässt den Schalter offline funktionieren, ohne Umweg über die Cloud im Barrierefreiheits-Kreislauf.

Die Nutzung eines Sensors, der bereits in jedem Telefon verbaut ist, beseitigt die Kosten- und Verfügbarkeitshürden spezieller assistiver Hardware.

Die Zuordnung mehrerer unterschiedlicher Gesichtsgesten zu verschiedenen Aktionen ermöglicht es Nutzern nicht nur, Elemente auszuwählen, sondern auch Nachrichten zu verfassen, sodass Kommunikation möglich wird, nicht nur Navigation.

Wenn Nutzer ein Gerät nicht auf die übliche Weise bedienen können, sollte man die bereits darin vorhandenen Sensoren nutzen: On-Device-ML machte die Kamera zu einem Eingabekanal und beseitigte die Kostenhürden spezieller assistiver Hardware.

Camera Switches wurde ab September 2021 innerhalb der Android Accessibility Suite schrittweise eingeführt und war bis Ende jenes Monats für Android-Nutzer vollständig verfügbar. Die Arbeit ist im D&AD-Awards-Archiv unter Digital Experience Design verzeichnet und steht als Beispiel dafür, dass Barrierefreiheit als Plattform-Standard und nicht als separates Produkt ausgeliefert wird.