Netflix、推薦エンジン打ち負かしに世界へ100万ドル提供——5万人が参加

2006年、Netflixの推薦エンジンCinematchは行き詰まっていた。機械学習の文献には有望なアイデアが数多くあったが、Netflixはそれらすべてを試すことができず、外部の研究者が競い合える公開データセットも存在しなかった。同社は社内では実行できない実験を求めていた。

より良いアルゴリズムを得るために人を雇うのをやめ、課題を公開し、匿名化した1億件の評価データを公開し、Cinematchを10%打ち負かした最初のチームに100万ドルを支払う。

Netflixは100万ドルの大賞と年間5万ドルの進歩賞を設けた3年間のコンテストを開始し、匿名化した1億件の評価データを公開し、応募作品を非公開のテストセットで評価した。勝者となるにはCinematchの精度を10パーセント上回る必要があった。これは予測における星0.25個分の改善に相当する。

発表から1週間以内に、99か国から8,152チームの9,940人の参加者が登録した。約3年後、およそ5万人の参加者が参加していた。BellKor's Pragmatic Chaosが10.06パーセントの改善で勝利し、同点のライバルよりわずか10分前に提出した。

2006年10月、NetflixはNetflix Prizeを発表した。Cinematch推薦システムの精度を10パーセント改善した最初の個人またはチームに100万ドルを贈るというものだった。コンテストを可能にするため、同社は匿名化した1億件の映画評価データを公開し、データマイニング、統計学、機械学習のコミュニティに参加を呼びかけた。

この設計は歴史から借用したもので、Netflixはこの賞が1714年の経度賞をモデルにしたと述べた。さらに最優秀改善に対する年間5万ドルの進歩賞を追加した。応募作品は非公開のテストセットで評価されたため、アルゴリズムが公開リーダーボードに過度に最適化されることはなかった。

発表から1週間以内に、99か国から8,152チームの9,940人の参加者が登録した。約3年後、およそ5万人の参加者が参加していた。BellKor's Pragmatic Chaos——AT&Tの研究者が、直接会ったことのないオーストリアとケベックの協力者と組んだチーム——が10.06パーセントの改善で勝利し、同点のライバルよりわずか10分前に提出した。

課題を外部に開放することで、Netflixは社内では決して探求できなかった数千ものアプローチを、固定の100万ドルという価格で試すことができた。

匿名化した1億件の評価データを公開したことで、学術研究者をこの課題から遠ざけていたデータの障壁が取り除かれた。

測定可能な10%という基準と公開リーダーボードが、社内のエンジニアリング目標を透明な世界的ゲームに変えた。

成功に対してのみ支払うことで、イノベーションは買い手市場となった。Netflixはチームやプロジェクトではなく、成果を買ったのだ。

チームがすべてのアイデアを試せないときは、課題を開放しよう。データを公開し、測定可能な基準を設定し、成果に対して支払う——そうすれば1つの賞で数千の実験が得られる。

コンテストは約3年、およそ5万人の参加者を経て終了した。BellKor's Pragmatic Chaosが10.06パーセントの改善で100万ドルを獲得し、同点のライバルを10分差で破った。公開されたデータセットは推薦研究における標準的なベンチマークとなり、この賞はその後10年間のオープンイノベーション・コンテストの基準点となった。