大部分人用语音命令或手指操控手机,但对于严重运动和语言障碍的人来说,这并非总能做到。安卓希望让他们仅凭面部和眼部动作就能操控手机并进行交流。

让手机前置摄像头成为辅助开关:设备端机器学习将面部和眼部动作(如观看、微笑、抬眉)转化为屏幕操作。

安卓在辅助功能套件中的“开关访问”里内置了相机开关:前置摄像头结合设备端机器学习,检测诸如向左向右看、微笑或抬眉等面部和眼部动作,并将每个动作映射到屏幕上的特定操作。该功能于2021年9月开始推出,无需额外硬件。

每部手机都已有的摄像头取代了专门辅助硬件:用户获得了一种免费、设备端的操控和沟通方式,所有处理都在本地进行,无云端往返。该作品收录于D&AD奖的“数字体验设计”类别。

大多数人用语音命令或手指操控手机,但严重运动和语言障碍的人并不总能做到。安卓着手让他们仅凭面部动作操控手机并沟通。

他们在Android无障碍套件的开关访问中内置了相机开关。前置摄像头加上设备端机器学习,检测诸如向上、向左、向右看,微笑,抬眉,张嘴等面部和眼部动作,并将每个动作映射为屏幕操作。

该功能于2021年9月开始推出。由于识别在设备端进行,视频不会离开手机,而且摄像头本来就有,无需购买或安装额外硬件。

设备端机器学习保护用户隐私,并且无需云端往返,保证辅助功能的可用性。

用手机已有的传感器,消除了专用辅助硬件的成本和可及性障碍。

为多个不同面部动作映射不同操作,不仅让用户能选择项目,还能编辑消息,因此不仅能导航,更能沟通。

当用户无法以常规方式操作设备时,利用设备已有的传感器:设备端机器学习使摄像头成为输入渠道,消除了专用辅助硬件的成本障碍。

相机开关于2021年9月在安卓无障碍套件中推出,并在当月全面向安卓用户开放。该作品收录于D&AD奖的“数字体验设计”类别,它展示了无障碍功能作为平台默认功能而非独立产品实践。

从这里,追溯依据

参考来源

  1. Camera Switches — D&AD awards archive D&AD · dandad.org