Netflix bietet der Welt 1 Mio. US-Dollar, um seine Empfehlungsmaschine zu schlagen – 50.000 machen mit

Im Jahr 2006 war Netflix' Empfehlungsmaschine Cinematch ins Stocken geraten: Die Machine-Learning-Literatur enthielt viele vielversprechende Ideen, aber Netflix konnte nicht alle testen, und kein öffentlicher Datensatz erlaubte es externen Forschern, sich zu messen. Das Unternehmen wollte die Experimente, die es intern nicht durchführen konnte.

Hör auf, dich zu einem besseren Algorithmus hinzuzukaufen: Veröffentliche das Problem, gib 100 Mio. anonymisierte Bewertungen frei und zahle 1 Mio. US-Dollar an das erste Team, das Cinematch um 10 % schlägt.

Netflix eröffnete einen dreijährigen Wettbewerb mit einem Hauptpreis von 1 Mio. US-Dollar und jährlichen Fortschrittspreisen von 50.000 US-Dollar, veröffentlichte 100 Millionen anonymisierte Bewertungen und bewertete die Beiträge anhand eines privaten Testsets. Der Gewinner musste die Genauigkeit von Cinematch um 10 Prozent übertreffen – eine Verbesserung der Vorhersagen um eine Viertelsternstufe.

Innerhalb einer Woche nach der Ankündigung hatten sich 9.940 Teilnehmer in 8.152 Teams aus 99 Ländern registriert. Fast drei Jahre später hatten etwa 50.000 Teilnehmer mitgemacht; BellKor's Pragmatic Chaos gewann mit einer Verbesserung von 10,06 Prozent und reichte nur zehn Minuten vor einem Rivalen mit identischer Punktzahl ein.

Im Oktober 2006 kündigte Netflix den Netflix Prize an: 1 Mio. US-Dollar für die erste Person oder das erste Team, die bzw. das die Genauigkeit seines Empfehlungssystems Cinematch um 10 Prozent verbessern konnte. Um den Wettbewerb zu ermöglichen, veröffentlichte das Unternehmen 100 Millionen anonyme Filmbewertungen und lud die Data-Mining-, Statistik- und Machine-Learning-Community zum Wettstreit ein.

Das Design war von der Geschichte inspiriert – Netflix erklärte, der Preis sei dem Longitude-Preis von 1714 nachempfunden – und ergänzte jährliche Fortschrittspreise von 50.000 US-Dollar für die beste Verbesserung. Die Beiträge wurden anhand eines privaten Testsets bewertet, damit Algorithmen nicht übermäßig auf die öffentliche Rangliste abgestimmt werden konnten.

Innerhalb einer Woche nach der Ankündigung hatten sich 9.940 Teilnehmer in 8.152 Teams aus 99 Ländern registriert. Fast drei Jahre später hatten etwa 50.000 Teilnehmer mitgemacht; BellKor's Pragmatic Chaos – AT&T-Forscher, die sich mit österreichischen und quebecer Mitarbeitern zusammengetan hatten, die sich nie persönlich getroffen hatten – gewann mit einer Verbesserung von 10,06 Prozent und reichte nur zehn Minuten vor einem Rivalen mit identischer Punktzahl ein.

Das Problem für Außenstehende zu öffnen, erlaubte es Netflix, Tausende von Ansätzen zu testen, die es intern nie hätte erkunden können – zu einem festen Preis von 1 Mio. US-Dollar.

Die Veröffentlichung von 100 Mio. anonymisierten Bewertungen beseitigte die Datenbarriere, die akademische Forscher von dem Problem ferngehalten hatte.

Eine messbare Hürde von 10 % und eine öffentliche Rangliste verwandelten ein internes Engineering-Ziel in ein transparentes globales Spiel.

Nur für Erfolg zu zahlen machte Innovation zu einem Käufermarkt: Netflix kaufte ein Ergebnis, kein Team und kein Projekt.

Wenn dein Team nicht jede Idee testen kann, öffne das Problem: Veröffentliche die Daten, setze eine messbare Hürde und zahle für Ergebnisse – du bekommst Tausende von Experimenten für einen einzigen Preis.

Der Wettbewerb endete nach fast drei Jahren und etwa 50.000 Teilnehmern: BellKor's Pragmatic Chaos gewann die 1 Mio. US-Dollar mit einer Verbesserung von 10,06 Prozent und schlug einen gleichauf liegenden Rivalen um zehn Minuten. Der veröffentlichte Datensatz wurde zu einem Standard-Benchmark in der Empfehlungsforschung, und der Preis wurde zum Referenzpunkt für Open-Innovation-Wettbewerbe im darauffolgenden Jahrzehnt.