AndroidのCamera Switches：目の動きと顔の動きでスマートフォンを操作

ほとんどの人は音声コマンドや手でスマートフォンを操作しますが、重度の運動障害や言語障害のある人にとっては、それが常に可能とは限りません。Androidは、顔と目の動きだけでスマートフォンを操作し、コミュニケーションできる方法を求めていました。

スマートフォンのフロントカメラを支援用スイッチにします。オンデバイスの機械学習が、見る、笑う、眉を上げるといった顔と目のジェスチャーを画面上のアクションに変換します。

AndroidはCamera Switchesを、Android Accessibility Suiteの一部であるSwitch Accessに組み込みました。フロントカメラとオンデバイスの機械学習を組み合わせ、左右を見る、笑う、眉を上げるといった顔と目のジェスチャーを検出し、それぞれを画面上のアクションに対応付けます。この機能は2021年9月に展開が始まり、追加のハードウェアは不要です。

すべてのスマートフォンにすでに搭載されているカメラが、専用の支援ハードウェアに取って代わりました。ユーザーは無料のオンデバイス入力手段を手に入れ、操作とコミュニケーションが可能になりました。処理はローカルで行われ、クラウドへの往復はありません。この取り組みはD&ADアワードのアーカイブにDigital Experience Designとして収録されています。

ほとんどの人は音声コマンドや手でスマートフォンを操作しますが、重度の運動障害や言語障害のある人にとっては、それが常に可能とは限りません。Androidは、そうした人々が顔だけでスマートフォンを操作し、コミュニケーションできるようにすることを目指しました。

そこでAndroidは、Android Accessibility SuiteのSwitch Access内の機能であるCamera Switchesを開発しました。スマートフォンのフロントカメラとオンデバイスの機械学習を組み合わせ、上・左・右を見る、笑う、眉を上げる、口を開けるといった顔と目のジェスチャーを検出し、それぞれを画面上のアクションに対応付けます。

この機能は2021年9月に展開が始まりました。認識はデバイス上で行われるため、映像がスマートフォンの外に出ることはなく、カメラはすでに搭載されているため、追加のハードウェアを購入したり設置したりする必要はありません。

オンデバイスの機械学習により映像のプライバシーが保たれ、支援のループにクラウドへの往復が介在しないため、スイッチはオフラインでも機能します。

すべてのスマートフォンにすでに搭載されているセンサーを使うことで、専用の支援ハードウェアに伴うコストと入手性の障壁を取り除きます。

複数の異なる顔のジェスチャーを別々のアクションに対応付けることで、ユーザーは項目を選ぶだけでなくメッセージを組み立てることもでき、単なる操作ではなくコミュニケーションが可能になります。

ユーザーが通常の方法でデバイスを操作できない場合、デバイスにすでに内蔵されているセンサーを活用しましょう。オンデバイスの機械学習によってカメラが入力チャネルとなり、特別な支援ハードウェアのコスト障壁が取り除かれました。

Camera Switchesは2021年9月にAndroid Accessibility Suite内で展開が始まり、同月末までにAndroidユーザーが完全に利用できるようになりました。この取り組みはD&ADアワードのアーカイブにDigital Experience Designとして収録されており、別個の製品ではなくプラットフォームの標準機能として提供されるアクセシビリティの一例となっています。