Les commutateurs d'appareil photo d'Android permettent de piloter le téléphone par les mouvements des yeux et du visage

La plupart des gens naviguent sur leur téléphone par commandes vocales ou avec leurs mains, mais cela n'est pas toujours possible pour les personnes ayant de graves handicaps moteurs et de la parole. Android voulait leur offrir un moyen de contrôler le téléphone et de communiquer en utilisant uniquement les mouvements du visage et des yeux.

Faire de la caméra frontale du téléphone un commutateur d'assistance : l'apprentissage automatique embarqué transforme les gestes du visage et des yeux — regarder, sourire, hausser les sourcils — en actions à l'écran.

Android a intégré Camera Switches à Switch Access, qui fait partie de l'Android Accessibility Suite : la caméra frontale, combinée à l'apprentissage automatique embarqué, détecte les gestes du visage et des yeux tels que regarder à gauche ou à droite, sourire ou hausser les sourcils, et associe chacun à des actions à l'écran. La fonctionnalité a commencé à être déployée en septembre 2021 et ne nécessite aucun matériel supplémentaire.

Une caméra déjà présente sur chaque téléphone a remplacé un matériel d'assistance dédié : les utilisateurs ont gagné une méthode de saisie gratuite et embarquée pour naviguer et communiquer, traitée localement sans aller-retour vers le cloud. Le travail est référencé dans les archives des prix D&AD sous la catégorie Digital Experience Design.

La plupart des gens naviguent sur leur téléphone par commande vocale ou à la main, mais cela n'est pas toujours possible pour les personnes ayant de graves handicaps moteurs et de la parole. Android a entrepris de leur permettre de contrôler le téléphone et de communiquer avec leur visage seul.

Il a créé Camera Switches, une fonctionnalité intégrée à Switch Access dans l'Android Accessibility Suite. La caméra frontale du téléphone, combinée à l'apprentissage automatique embarqué, détecte les gestes du visage et des yeux — regarder vers le haut, à gauche ou à droite, sourire, hausser les sourcils, ouvrir la bouche — et associe chacun à une action à l'écran.

La fonctionnalité a commencé à être déployée en septembre 2021. Comme la reconnaissance s'effectue sur l'appareil, la vidéo ne quitte jamais le téléphone, et comme la caméra est déjà présente, aucun matériel supplémentaire n'a besoin d'être acheté ou installé.

L'apprentissage automatique embarqué préserve la confidentialité de la vidéo et permet au commutateur de fonctionner hors ligne, sans aller-retour vers le cloud dans la boucle d'accessibilité.

L'utilisation d'un capteur déjà présent sur chaque téléphone élimine les obstacles de coût et de disponibilité liés au matériel d'assistance dédié.

L'association de plusieurs gestes faciaux distincts à différentes actions permet aux utilisateurs non seulement de sélectionner des éléments, mais aussi de composer des messages, de sorte que la communication devient possible, et pas seulement la navigation.

Lorsque les utilisateurs ne peuvent pas utiliser un appareil de la manière habituelle, il faut exploiter les capteurs déjà intégrés : l'apprentissage automatique embarqué a fait de la caméra un canal de saisie, supprimant les obstacles de coût liés au matériel d'assistance spécialisé.

Camera Switches a commencé à être déployé au sein de l'Android Accessibility Suite en septembre 2021 et est devenu pleinement disponible pour les utilisateurs d'Android avant la fin de ce mois. Le travail est référencé dans les archives des prix D&AD sous la catégorie Digital Experience Design, et il constitue un exemple d'accessibilité livrée comme fonctionnalité par défaut de la plateforme plutôt que comme produit distinct.