Android의 Camera Switches, 눈과 얼굴 움직임으로 휴대폰 조작 가능하게 하다

대부분의 사람은 음성 명령이나 손으로 휴대폰을 조작하지만, 심각한 운동 및 언어 장애가 있는 사람들에게는 그것이 항상 가능한 일이 아니다. Android는 그들이 얼굴과 눈 움직임만으로 휴대폰을 제어하고 의사소통할 수 있는 방법을 원했다.

휴대폰의 전면 카메라를 보조 스위치로 만든다. 온디바이스 머신러닝이 시선, 미소, 눈썹 올리기 같은 얼굴과 눈 제스처를 화면상의 동작으로 전환한다.

Android는 Camera Switches를 Android Accessibility Suite의 일부인 Switch Access에 내장했다. 전면 카메라와 온디바이스 머신러닝을 결합하여 왼쪽이나 오른쪽 보기, 미소 짓기, 눈썹 올리기 같은 얼굴과 눈 제스처를 감지하고 각각을 화면상의 동작에 매핑한다. 이 기능은 2021년 9월에 배포되기 시작했으며 추가 하드웨어가 필요 없다.

모든 휴대폰에 이미 탑재된 카메라가 전용 보조 하드웨어를 대체했다. 사용자는 탐색과 의사소통을 위한 무료 온디바이스 입력 방식을 얻었으며, 클라우드 왕복 없이 기기 내에서 처리된다. 이 작업은 D&AD 어워즈 아카이브의 Digital Experience Design 부문에 등재되어 있다.

대부분의 사람은 음성 명령이나 손으로 휴대폰을 조작하지만, 심각한 운동 및 언어 장애가 있는 사람들에게는 그것이 항상 가능한 일이 아니다. Android는 그들이 얼굴만으로 휴대폰을 제어하고 의사소통할 수 있게 하고자 했다.

Android는 Android Accessibility Suite의 Switch Access 안에 Camera Switches라는 기능을 만들었다. 휴대폰의 전면 카메라와 온디바이스 머신러닝을 결합하여 위, 왼쪽, 오른쪽 보기, 미소 짓기, 눈썹 올리기, 입 벌리기 같은 얼굴과 눈 제스처를 감지하고 각각을 화면상의 동작에 매핑한다.

이 기능은 2021년 9월에 배포되기 시작했다. 인식이 기기에서 이루어지므로 영상은 휴대폰을 떠나지 않으며, 카메라가 이미 있으므로 추가 하드웨어를 구매하거나 설치할 필요가 없다.

온디바이스 머신러닝은 영상을 비공개로 유지하고 스위치가 오프라인으로 작동하게 하며, 접근성 루프에 클라우드 왕복이 없다.

모든 휴대폰에 이미 탑재된 센서를 사용함으로써 전용 보조 하드웨어의 비용 및 가용성 장벽을 제거한다.

여러 가지 뚜렷한 얼굴 제스처를 서로 다른 동작에 매핑함으로써 사용자는 항목을 선택할 수 있을 뿐 아니라 메시지를 작성할 수 있게 되어, 단순한 탐색을 넘어 의사소통이 가능해진다.

사용자가 기기를 평소 방식으로 조작할 수 없을 때는 기기 안에 이미 있는 센서를 활용하라. 온디바이스 ML이 카메라를 입력 채널로 만들어 특수 보조 하드웨어의 비용 장벽을 제거했다.

Camera Switches는 2021년 9월 Android Accessibility Suite 내에서 배포되기 시작하여 그달 말까지 Android 사용자들이 완전히 이용할 수 있게 되었다. 이 작업은 D&AD 어워즈 아카이브의 Digital Experience Design 부문에 등재되어 있으며, 별도 제품이 아닌 플랫폼 기본값으로 제공된 접근성의 사례로 남아 있다.