要解决的问题
大部分人用语音命令或手指操控手机,但对于严重运动和语言障碍的人来说,这并非总能做到。安卓希望让他们仅凭面部和眼部动作就能操控手机并进行交流。
创意是什么
让手机前置摄像头成为辅助开关:设备端机器学习将面部和眼部动作(如观看、微笑、抬眉)转化为屏幕操作。
如何实现
安卓在辅助功能套件中的“开关访问”里内置了相机开关:前置摄像头结合设备端机器学习,检测诸如向左向右看、微笑或抬眉等面部和眼部动作,并将每个动作映射到屏幕上的特定操作。该功能于2021年9月开始推出,无需额外硬件。
产生的效果
每部手机都已有的摄像头取代了专门辅助硬件:用户获得了一种免费、设备端的操控和沟通方式,所有处理都在本地进行,无云端往返。该作品收录于D&AD奖的“数字体验设计”类别。
背景
大多数人用语音命令或手指操控手机,但严重运动和语言障碍的人并不总能做到。安卓着手让他们仅凭面部动作操控手机并沟通。
他们在Android无障碍套件的开关访问中内置了相机开关。前置摄像头加上设备端机器学习,检测诸如向上、向左、向右看,微笑,抬眉,张嘴等面部和眼部动作,并将每个动作映射为屏幕操作。
该功能于2021年9月开始推出。由于识别在设备端进行,视频不会离开手机,而且摄像头本来就有,无需购买或安装额外硬件。
为什么有效
设备端机器学习保护用户隐私,并且无需云端往返,保证辅助功能的可用性。
用手机已有的传感器,消除了专用辅助硬件的成本和可及性障碍。
为多个不同面部动作映射不同操作,不仅让用户能选择项目,还能编辑消息,因此不仅能导航,更能沟通。
可以借鉴什么
当用户无法以常规方式操作设备时,利用设备已有的传感器:设备端机器学习使摄像头成为输入渠道,消除了专用辅助硬件的成本障碍。
后续
相机开关于2021年9月在安卓无障碍套件中推出,并在当月全面向安卓用户开放。该作品收录于D&AD奖的“数字体验设计”类别,它展示了无障碍功能作为平台默认功能而非独立产品实践。
从这里,追溯依据
参考来源
- Camera Switches — D&AD awards archive D&AD · dandad.org