En 2006, el motor de recomendaciones Cinematch de Netflix se había estancado: la literatura sobre aprendizaje automático contenía muchas ideas prometedoras, pero Netflix no podía probarlas todas y ningún conjunto de datos público permitía a investigadores externos competir. La empresa quería los experimentos que no podía realizar internamente.
La idea
Deja de contratar personal para llegar a un mejor algoritmo: publica el problema, libera 100 millones de valoraciones anonimizadas y paga 1 millón de dólares al primer equipo que supere a Cinematch en un 10 %.
Netflix abrió un concurso de tres años con un gran premio de 1 millón de dólares y premios anuales de progreso de 50.000 dólares, publicó 100 millones de valoraciones anonimizadas y evaluó las participaciones contra un conjunto de pruebas privado. El ganador tenía que superar la precisión de Cinematch en un 10 por ciento, una mejora de un cuarto de estrella en las predicciones.
En la semana siguiente al anuncio, se habían inscrito 9.940 concursantes en 8.152 equipos de 99 países. Casi tres años después, habían participado unos 50.000 concursantes; BellKor's Pragmatic Chaos ganó con una mejora del 10,06 por ciento, presentando su propuesta solo diez minutos antes que un rival con una puntuación idéntica.
En octubre de 2006, Netflix anunció el Premio Netflix: 1 millón de dólares para la primera persona o equipo que pudiera mejorar en un 10 por ciento la precisión de su sistema de recomendaciones Cinematch. Para hacer posible el concurso, la empresa publicó 100 millones de valoraciones anónimas de películas e invitó a competir a las comunidades de minería de datos, estadística y aprendizaje automático.
El diseño se inspiró en la historia —Netflix dijo que el premio estaba inspirado en el Premio de Longitud de 1714— y añadió premios anuales de progreso de 50.000 dólares para la mejor mejora. Las participaciones se evaluaban contra un conjunto de pruebas privado, de modo que los algoritmos no pudieran ajustarse en exceso a la clasificación pública.
En la semana siguiente al anuncio, se habían inscrito 9.940 concursantes en 8.152 equipos de 99 países. Casi tres años después, habían participado unos 50.000 concursantes; BellKor's Pragmatic Chaos —investigadores de AT&T junto con colaboradores austriacos y quebequenses que nunca se habían conocido en persona— ganó con una mejora del 10,06 por ciento, presentando su propuesta solo diez minutos antes que un rival con una puntuación idéntica.
Abrir el problema a personas externas permitió a Netflix probar miles de enfoques que nunca podría haber explorado internamente, por un precio fijo de 1 millón de dólares.
Publicar 100 millones de valoraciones anonimizadas eliminó la barrera de datos que había mantenido alejados del problema a los investigadores académicos.
Un umbral medible del 10 % y una clasificación pública convirtieron un objetivo de ingeniería privado en un juego global transparente.
Pagar solo por el éxito convirtió la innovación en un mercado favorable al comprador: Netflix compró un resultado, no un equipo ni un proyecto.
Cuando tu equipo no puede probar todas las ideas, abre el problema: publica los datos, fija un umbral medible y paga por resultados; obtienes miles de experimentos por un solo premio.
El concurso terminó tras casi tres años y unos 50.000 concursantes: BellKor's Pragmatic Chaos ganó el millón de dólares con una mejora del 10,06 por ciento, superando por diez minutos a un rival empatado. El conjunto de datos publicado se convirtió en una referencia estándar en la investigación sobre recomendaciones, y el premio se convirtió en el punto de referencia para los concursos de innovación abierta en la década siguiente.
CONSULTA LAS PRUEBAS
Las fuentes
- Netflix $1 million prize for improving accuracy of movie recommendations KDnuggets · kdnuggets.com ·
- The $1 Million Netflix Challenge MIT Technology Review · technologyreview.com ·
- BellKor's Pragmatic Chaos Wins $1 Million Netflix Prize by Mere Minutes Wired · wired.com ·