Netflix offre 1 M$ au monde entier pour battre son moteur de recommandation — 50 000 participants

En 2006, le moteur de recommandation Cinematch de Netflix était à l'arrêt : la littérature sur l'apprentissage automatique regorgeait d'idées prometteuses, mais Netflix ne pouvait pas toutes les tester et aucun jeu de données public ne permettait à des chercheurs extérieurs de concourir. L'entreprise voulait les expérimentations qu'elle ne pouvait pas mener en interne.

Cesser de recruter pour obtenir un meilleur algorithme : publier le problème, diffuser 100 M de notes anonymisées et verser 1 M$ à la première équipe qui battrait Cinematch de 10 %.

Netflix a lancé un concours de trois ans doté d'un grand prix de 1 M$ et de prix annuels de progression de 50 000 $, a publié 100 millions de notes anonymisées et a évalué les candidatures sur un jeu de test privé. Le vainqueur devait battre la précision de Cinematch de 10 pour cent — soit un quart d'étoile d'amélioration dans les prédictions.

Dans la semaine suivant l'annonce, 9 940 concurrents répartis en 8 152 équipes de 99 pays s'étaient inscrits. Près de trois ans plus tard, environ 50 000 concurrents avaient participé ; BellKor's Pragmatic Chaos a gagné avec une amélioration de 10,06 pour cent, en soumettant sa candidature seulement dix minutes avant un rival au score identique.

En octobre 2006, Netflix a annoncé le Netflix Prize : 1 million de dollars à la première personne ou équipe capable d'améliorer de 10 pour cent la précision de son système de recommandation Cinematch. Pour rendre le concours possible, l'entreprise a publié 100 millions de notes de films anonymes et a invité les communautés de l'exploration de données, des statistiques et de l'apprentissage automatique à concourir.

La conception s'inspirait de l'histoire — Netflix indiquait que le prix était calqué sur le prix de la longitude de 1714 — et ajoutait des prix annuels de progression de 50 000 $ pour la meilleure amélioration. Les candidatures étaient évaluées sur un jeu de test privé, afin que les algorithmes ne puissent pas être sur-ajustés au classement public.

Dans la semaine suivant l'annonce, 9 940 concurrents répartis en 8 152 équipes de 99 pays s'étaient inscrits. Près de trois ans plus tard, environ 50 000 concurrents avaient participé ; BellKor's Pragmatic Chaos — des chercheurs d'AT&T associés à des collaborateurs autrichiens et québécois qui ne s'étaient jamais rencontrés en personne — a gagné avec une amélioration de 10,06 pour cent, en soumettant sa candidature seulement dix minutes avant un rival au score identique.

Ouvrir le problème à des tiers a permis à Netflix de tester des milliers d'approches qu'elle n'aurait jamais pu explorer en interne, pour un prix fixe de 1 M$.

La publication de 100 M de notes anonymisées a levé la barrière des données qui tenait les chercheurs universitaires à l'écart du problème.

Un seuil mesurable de 10 % et un classement public ont transformé un objectif d'ingénierie privé en un jeu mondial transparent.

Ne payer qu'en cas de succès a transformé l'innovation en marché d'acheteurs : Netflix a acheté un résultat, pas une équipe ni un projet.

Quand votre équipe ne peut pas tester toutes les idées, ouvrez le problème : publiez les données, fixez un seuil mesurable et payez pour les résultats — vous obtenez des milliers d'expérimentations pour un seul prix.

Le concours s'est terminé après près de trois ans et environ 50 000 concurrents : BellKor's Pragmatic Chaos a remporté le million de dollars avec une amélioration de 10,06 pour cent, devançant de dix minutes un rival à égalité. Le jeu de données publié est devenu une référence standard dans la recherche sur les recommandations, et le prix est devenu le point de référence des concours d'innovation ouverte au cours de la décennie qui a suivi.