Os Camera Switches do Android permitem operar o telefone com movimentos dos olhos e do rosto

A maioria das pessoas navega pelo telefone com comandos de voz ou com as mãos, mas isso nem sempre é possível para pessoas com deficiências motoras e de fala graves. O Android queria uma forma de permitir que elas controlassem o telefone e se comunicassem usando apenas movimentos do rosto e dos olhos.

Transformar a câmera frontal do telefone em um switch assistivo: o aprendizado de máquina no dispositivo converte gestos faciais e oculares — olhar, sorrir, levantar as sobrancelhas — em ações na tela.

O Android integrou os Camera Switches ao Switch Access, parte do Android Accessibility Suite: a câmera frontal, combinada com aprendizado de máquina no dispositivo, detecta gestos faciais e oculares, como olhar para a esquerda ou para a direita, sorrir ou levantar as sobrancelhas, e mapeia cada um deles para ações na tela. O recurso começou a ser distribuído em setembro de 2021 e não exige hardware adicional.

Uma câmera que já vem em todos os telefones substituiu hardware assistivo dedicado: os usuários ganharam um método de entrada gratuito e no próprio dispositivo para navegar e se comunicar, processado localmente, sem ida e volta à nuvem. O trabalho está arquivado no acervo de prêmios do D&AD na categoria Digital Experience Design.

A maioria das pessoas navega pelos telefones por comando de voz ou com as mãos, mas isso nem sempre é possível para pessoas com deficiências motoras e de fala graves. O Android se propôs a permitir que elas controlassem o telefone e se comunicassem apenas com o rosto.

Ele criou os Camera Switches, um recurso dentro do Switch Access no Android Accessibility Suite. A câmera frontal do telefone, combinada com aprendizado de máquina no dispositivo, detecta gestos faciais e oculares — olhar para cima, para a esquerda ou para a direita, sorrir, levantar as sobrancelhas, abrir a boca — e mapeia cada um para uma ação na tela.

O recurso começou a ser distribuído em setembro de 2021. Como o reconhecimento acontece no dispositivo, o vídeo nunca sai do telefone e, como a câmera já está lá, não é preciso comprar nem instalar hardware adicional.

O aprendizado de máquina no dispositivo mantém o vídeo privado e faz o switch funcionar offline, sem ida e volta à nuvem no ciclo de acessibilidade.

Usar um sensor que já vem em todos os telefones elimina as barreiras de custo e de disponibilidade do hardware assistivo dedicado.

Mapear vários gestos faciais distintos para ações diferentes permite aos usuários não apenas selecionar itens, mas compor mensagens, de modo que a comunicação se torna possível, e não apenas a navegação.

Quando os usuários não conseguem operar um dispositivo da forma habitual, use os sensores que já estão dentro dele: o aprendizado de máquina no dispositivo transformou a câmera em um canal de entrada, eliminando as barreiras de custo do hardware assistivo especial.

Os Camera Switches começaram a ser distribuídos dentro do Android Accessibility Suite em setembro de 2021 e se tornaram totalmente disponíveis aos usuários do Android até o fim daquele mês. O trabalho está arquivado no acervo de prêmios do D&AD na categoria Digital Experience Design, e se destaca como exemplo de acessibilidade distribuída como padrão da plataforma, e não como um produto separado.