要解决的问题
2006年,Netflix 的 Cinematch 推荐引擎陷入停滞:机器学习文献里有很多好点子,但 Netflix 没法全试一遍,也没有公开数据集让外部研究者来竞争。公司想要的是自己内部跑不了的实验。
创意是什么
别再靠招人来改进算法:把问题公开,放出1亿条匿名评分,谁先让 Cinematch 提升10%就付100万美元。
如何实现
Netflix 推出了一项为期三年的竞赛,头奖100万美元,另设每年5万美元的进步奖,放出1亿条匿名评分,用私有测试集来评判参赛方案。赢家得让 Cinematch 的准确率提升10%——也就是预测误差缩小四分之一个星级。
产生的效果
公布后一周内,来自99个国家的9940名选手组成8152支队伍报名。将近三年后,大约5万名选手参赛;BellKor 的 Pragmatic Chaos 队伍以10.06%的提升夺冠,只比同分的对手早交10分钟。
背景
2006年10月,Netflix 宣布了 Netflix Prize:谁能把 Cinematch 推荐系统的准确率提升10%,就给谁100万美元。为了办这场比赛,公司放出1亿条匿名电影评分,邀请数据挖掘、统计和机器学习圈的人来一较高下。
赛制借鉴了历史——Netflix 说是仿照1714年的经度奖——另外还设了每年5万美元的进步奖,奖励改进最大的队伍。参评方案用一份私有测试集来打分,免得大家针对公开排行榜硬调算法。
公布后一周内,来自99个国家的9940名选手组成8152支队伍报名。将近三年后,大约5万名选手参赛;BellKor 的 Pragmatic Chaos——AT&T 的研究员和奥地利、魁北克的合作者组队,这些人从没见过面——以10.06%的提升夺冠,只比同分对手早交10分钟。
为什么有效
把问题开放给外人,Netflix 就能用固定的一百万美元,测试成千上万种自己无法内部探索的做法。
放出1亿条匿名评分,扫掉了挡住学术界研究者的数据门槛。
设个可衡量的10%目标和公开排行榜,把内部的工程目标变成一场透明的全球赛事。
只有成功才付钱,把创新变成买方市场:Netflix 买的是结果,不是团队或项目。
可以借鉴什么
当团队没法把所有想法都试一遍,就把问题打开:公开数据、设个可衡量的目标、为结果付费——你用一个奖换来几千场实验。
后续
比赛在将近三年、约5万名参赛者后结束:BellKor 的 Pragmatic Chaos 以10.06%的提升赢走100万美元,只比同分对手早10分钟。放出的数据集成了推荐研究的标准基准,这场比赛也成了之后十年公开创新竞赛的参照。
从这里,追溯依据
参考来源
- Netflix $1 million prize for improving accuracy of movie recommendations KDnuggets · kdnuggets.com ·
- The $1 Million Netflix Challenge MIT Technology Review · technologyreview.com ·
- BellKor's Pragmatic Chaos Wins $1 Million Netflix Prize by Mere Minutes Wired · wired.com ·