EN
返回档案库

档案库 · 产品创意 · 产品决策 · 2021

安卓的相机开关:用眼睛和面部动作操控手机

安卓将前置摄像头变成开关:设备端机器学习读取面部和眼部动作,让有运动和语言障碍的人能够操控和沟通。

Google (Android)

创意是什么让手机前置摄像头成为辅助开关:设备端机器学习将面部和眼部动作(如观看、微笑、抬眉)转化为屏幕操作。小步快跑

当时的题目

Most people navigate their phones with voice commands or their hands, but that is not always possible for people with severe motor and speech disabilities. Android wanted a way for them to control the phone and communicate using face and eye movement alone.

它是怎么成立的

大多数人用语音命令或手指操控手机,但严重运动和语言障碍的人并不总能做到。安卓着手让他们仅凭面部动作操控手机并沟通。

他们在Android无障碍套件的开关访问中内置了相机开关。前置摄像头加上设备端机器学习,检测诸如向上、向左、向右看,微笑,抬眉,张嘴等面部和眼部动作,并将每个动作映射为屏幕操作。

该功能于2021年9月开始推出。由于识别在设备端进行,视频不会离开手机,而且摄像头本来就有,无需购买或安装额外硬件。

妙在哪

  • 设备端机器学习保护用户隐私,并且无需云端往返,保证辅助功能的可用性。
  • 用手机已有的传感器,消除了专用辅助硬件的成本和可及性障碍。
  • 为多个不同面部动作映射不同操作,不仅让用户能选择项目,还能编辑消息,因此不仅能导航,更能沟通。

做出来什么

A camera that already ships in every phone replaced dedicated assistive hardware: users gained a free, on-device input method for navigating and communicating, processed locally with no cloud round-trip. The work is filed in the D&AD awards archive under Digital Experience Design.

案例页Camera Switches on the D&AD archive

可以借走的

当用户无法以常规方式操作设备时,利用设备已有的传感器:设备端机器学习使摄像头成为输入渠道,消除了专用辅助硬件的成本障碍。

后来

相机开关于2021年9月在安卓无障碍套件中推出,并在当月全面向安卓用户开放。该作品收录于D&AD奖的“数字体验设计”类别,它展示了无障碍功能作为平台默认功能而非独立产品实践。

资料来源

发现哪里写错了?告诉我们。

轮到你了

你刚读完一个点子。把你手上的题目说出来,看看谁接过同样的题。

免费账号 · 3 次免费提问 · 不用绑卡

相关案例