大多數人用語音指令或雙手操作手機,但對有嚴重動作與言語障礙的人來說,這並不總是可行。Android 希望找到一種方式,讓他們僅靠臉部與眼部動作就能控制手機並進行溝通。

把手機的前置相機變成輔助開關:裝置端機器學習將臉部與眼部手勢——注視、微笑、揚眉——轉化為螢幕上的動作。

Android 將 Camera Switches 建入 Switch Access,而 Switch Access 屬於 Android Accessibility Suite 的一部分:前置相機結合裝置端機器學習,偵測向左或向右看、微笑或揚眉等臉部與眼部手勢,並將每一種手勢對應到螢幕上的動作。此功能於 2021 年 9 月開始推出,且不需要額外硬體。

一支每部手機本就配備的相機,取代了專用的輔助硬體:使用者獲得免費、在裝置端運作的輸入方式,用來瀏覽與溝通,且全程在本機處理,無需往返雲端。此作品收錄於 D&AD 獎項檔案庫的數位體驗設計類別。

大多數人用語音指令或雙手操作手機,但對有嚴重動作與言語障礙的人來說,這並不總是可行。Android 著手讓他們僅靠臉部就能控制手機並進行溝通。

Android 打造了 Camera Switches,這是 Android Accessibility Suite 中 Switch Access 裡的一項功能。手機的前置相機結合裝置端機器學習,偵測臉部與眼部手勢——向上、向左或向右看、微笑、揚眉、張嘴——並將每一種手勢對應到螢幕上的動作。

此功能於 2021 年 9 月開始推出。由於辨識在裝置上進行,影片從不離開手機;而由於相機本來就在,因此無需購買或安裝額外硬體。

裝置端機器學習讓影片保持私密,並使開關可離線運作,輔助操作流程中無需往返雲端。

使用每部手機本就配備的感測器,消除了專用輔助硬體的成本與可得性障礙。

將數種不同的臉部手勢對應到不同動作,讓使用者不僅能選取項目,還能撰寫訊息,因此溝通成為可能,而不只是瀏覽。

當使用者無法以慣常方式操作裝置時,就運用裝置內既有的感測器:裝置端機器學習讓相機成為輸入管道,消除了特殊輔助硬體的成本障礙。

Camera Switches 於 2021 年 9 月在 Android Accessibility Suite 中開始推出,並於該月底全面提供給 Android 使用者。此作品收錄於 D&AD 獎項檔案庫的數位體驗設計類別,堪稱無障礙功能以平台預設形式推出、而非另立獨立產品的範例。

追溯依據

參考來源

  1. Camera Switches — D&AD awards archive D&AD · dandad.org