Netflix 懸賞 100 萬美元向全世界徵求改進其推薦引擎——5 萬人參賽

2006 年，Netflix 的 Cinematch 推薦引擎陷入停滯：機器學習文獻裡有許多值得期待的想法，但 Netflix 無法全部測試，也沒有公開資料集能讓外部研究者一同較勁。公司想要的是那些它無法在內部進行的實驗。

別再靠不斷招人來得到更好的演算法：把問題公開，釋出 1 億筆匿名評分，並支付 100 萬美元給第一支讓 Cinematch 準確度提升 10% 的團隊。

Netflix 舉辦為期三年的競賽，提供 100 萬美元大獎與每年 5 萬美元的進展獎，釋出 1 億筆匿名評分，並以未公開的測試集評判參賽作品。優勝者必須讓 Cinematch 的準確度提升 10%——換算成預測評分，就是改善四分之一顆星。

公告後一週內，來自 99 個國家、8,152 支隊伍的 9,940 名參賽者完成註冊。將近三年後，約有 5 萬名參賽者參與；BellKor's Pragmatic Chaos 以 10.06% 的改善幅度勝出，只比另一支分數相同的對手早十分鐘提交。

2006 年 10 月，Netflix 宣布 Netflix Prize：誰能率先讓其 Cinematch 推薦系統的準確度提升 10%，無論是個人或團隊，都可獲得 100 萬美元。為了讓競賽成真，公司釋出 1 億筆匿名電影評分，並邀請資料探勘、統計與機器學習社群一同競爭。

這項設計借鑑歷史——Netflix 表示該獎項是仿效 1714 年的經度獎——並增設每年 5 萬美元的進展獎，頒給改善幅度最大的作品。參賽作品以未公開的測試集評判，因此演算法無法過度迎合公開排行榜。

公告後一週內，來自 99 個國家、8,152 支隊伍的 9,940 名參賽者完成註冊。將近三年後，約有 5 萬名參賽者參與；BellKor's Pragmatic Chaos——由 AT&T 研究人員與奧地利及魁北克合作者組成、彼此從未親自見面的團隊——以 10.06% 的改善幅度勝出，只比另一支分數相同的對手早十分鐘提交。

把問題開放給外部人士，讓 Netflix 能以固定 100 萬美元的代價，測試數千種它永遠無法在內部探索的方法。

釋出 1 億筆匿名評分，移除了長期讓學術研究者無法接觸此問題的資料障礙。

可量測的 10% 門檻與公開排行榜，把私下的工程目標變成透明的全球競賽。

只為成功付費，讓創新變成買方市場：Netflix 買的是成果，而不是團隊或專案。

當你的團隊無法測試每一個想法時，就把問題公開：公布資料、設定可量測的門檻，並為成果付費——你就能用一筆獎金換得數千次實驗。

競賽在將近三年、約 5 萬名參賽者參與後結束：BellKor's Pragmatic Chaos 以 10.06% 的改善幅度贏得 100 萬美元，以十分鐘之差擊敗分數相同的對手。釋出的資料集成為推薦研究中的標準基準，而這個獎項也成為此後十年開放創新競賽的參考標竿。