档案库 · 商业模式 · 战略决策 · 2006–2009
Netflix 悬赏百万美元挑战全球改进推荐引擎,5万人参赛
Netflix 把推荐难题变成公开竞赛:谁把 Cinematch 改进10%,就奖励100万美元,同时放出1亿条评分数据。
Netflix
当时的题目
In 2006 Netflix's Cinematch recommendation engine had stalled: the machine-learning literature held many promising ideas, but Netflix could not test them all and no public dataset let outside researchers compete. The company wanted the experiments it could not run internally.
它是怎么成立的
2006年10月,Netflix 宣布了 Netflix Prize:谁能把 Cinematch 推荐系统的准确率提升10%,就给谁100万美元。为了办这场比赛,公司放出1亿条匿名电影评分,邀请数据挖掘、统计和机器学习圈的人来一较高下。
赛制借鉴了历史——Netflix 说是仿照1714年的经度奖——另外还设了每年5万美元的进步奖,奖励改进最大的队伍。参评方案用一份私有测试集来打分,免得大家针对公开排行榜硬调算法。
公布后一周内,来自99个国家的9940名选手组成8152支队伍报名。将近三年后,大约5万名选手参赛;BellKor 的 Pragmatic Chaos——AT&T 的研究员和奥地利、魁北克的合作者组队,这些人从没见过面——以10.06%的提升夺冠,只比同分对手早交10分钟。
妙在哪
- 把问题开放给外人,Netflix 就能用固定的一百万美元,测试成千上万种自己无法内部探索的做法。
- 放出1亿条匿名评分,扫掉了挡住学术界研究者的数据门槛。
- 设个可衡量的10%目标和公开排行榜,把内部的工程目标变成一场透明的全球赛事。
- 只有成功才付钱,把创新变成买方市场:Netflix 买的是结果,不是团队或项目。
做出来什么
Within a week of the announcement, 9,940 contestants on 8,152 teams from 99 countries had registered. Nearly three years later, about 50,000 contestants had taken part; BellKor's Pragmatic Chaos won with a 10.06 percent improvement, submitting just ten minutes before a rival with an identical score.
可以借走的
当团队没法把所有想法都试一遍,就把问题打开:公开数据、设个可衡量的目标、为结果付费——你用一个奖换来几千场实验。
后来
比赛在将近三年、约5万名参赛者后结束:BellKor 的 Pragmatic Chaos 以10.06%的提升赢走100万美元,只比同分对手早10分钟。放出的数据集成了推荐研究的标准基准,这场比赛也成了之后十年公开创新竞赛的参照。
资料来源
- Netflix $1 million prize for improving accuracy of movie recommendations
- The $1 Million Netflix Challenge
- BellKor's Pragmatic Chaos Wins $1 Million Netflix Prize by Mere Minutes
发现哪里写错了?告诉我们。
轮到你了
你刚读完一个点子。把你手上的题目说出来,看看谁接过同样的题。
免费账号 · 3 次免费提问 · 不用绑卡