Los interruptores de cámara de Android permiten que los movimientos de ojos y rostro operen el teléfono

La mayoría de las personas navegan por sus teléfonos con comandos de voz o con las manos, pero eso no siempre es posible para las personas con discapacidades motoras y del habla graves. Android quería una forma de que pudieran controlar el teléfono y comunicarse usando únicamente el movimiento del rostro y los ojos.

Convertir la cámara frontal del teléfono en un interruptor de asistencia: el aprendizaje automático en el dispositivo transforma gestos faciales y oculares —mirar, sonreír, levantar las cejas— en acciones en pantalla.

Android integró Camera Switches en Switch Access, parte de Android Accessibility Suite: la cámara frontal, combinada con aprendizaje automático en el dispositivo, detecta gestos faciales y oculares como mirar a la izquierda o a la derecha, sonreír o levantar las cejas, y asigna cada uno a acciones en la pantalla. La función comenzó a implementarse en septiembre de 2021 y no requiere hardware adicional.

Una cámara que ya viene incluida en todos los teléfonos sustituyó al hardware de asistencia dedicado: los usuarios obtuvieron un método de entrada gratuito y en el dispositivo para navegar y comunicarse, procesado localmente sin ida y vuelta a la nube. El trabajo está archivado en el archivo de premios D&AD bajo Digital Experience Design.

La mayoría de las personas navegan por los teléfonos mediante comandos de voz o con las manos, pero eso no siempre es posible para las personas con discapacidades motoras y del habla graves. Android se propuso permitirles controlar el teléfono y comunicarse solo con el rostro.

Creó Camera Switches, una función dentro de Switch Access en Android Accessibility Suite. La cámara frontal del teléfono, combinada con aprendizaje automático en el dispositivo, detecta gestos faciales y oculares —mirar hacia arriba, a la izquierda o a la derecha, sonreír, levantar las cejas, abrir la boca— y asigna cada uno a una acción en pantalla.

La función comenzó a implementarse en septiembre de 2021. Como el reconocimiento ocurre en el dispositivo, el video nunca sale del teléfono, y como la cámara ya está ahí, no hay que comprar ni instalar hardware adicional.

El aprendizaje automático en el dispositivo mantiene la privacidad del video y hace que el interruptor funcione sin conexión, sin ida y vuelta a la nube en el circuito de accesibilidad.

Usar un sensor que ya viene incluido en todos los teléfonos elimina las barreras de costo y disponibilidad del hardware de asistencia dedicado.

Asignar varios gestos faciales distintos a diferentes acciones permite a los usuarios no solo seleccionar elementos sino también componer mensajes, de modo que la comunicación se vuelve posible, no solo la navegación.

Cuando los usuarios no pueden operar un dispositivo de la manera habitual, usa los sensores que ya tiene dentro: el aprendizaje automático en el dispositivo convirtió la cámara en un canal de entrada, eliminando las barreras de costo del hardware de asistencia especial.

Camera Switches comenzó a implementarse dentro de Android Accessibility Suite en septiembre de 2021 y estuvo completamente disponible para los usuarios de Android a finales de ese mes. El trabajo está archivado en el archivo de premios D&AD bajo Digital Experience Design, y se erige como un ejemplo de accesibilidad distribuida como opción predeterminada de la plataforma en lugar de como un producto separado.