Netflix oferece US$ 1 milhão ao mundo para superar seu mecanismo de recomendação — 50.000 se inscrevem

Em 2006, o mecanismo de recomendação Cinematch, da Netflix, havia estagnado: a literatura de aprendizado de máquina trazia muitas ideias promissoras, mas a Netflix não conseguia testá-las todas, e nenhum conjunto de dados público permitia que pesquisadores externos competissem. A empresa queria os experimentos que não conseguia realizar internamente.

Pare de contratar para chegar a um algoritmo melhor: publique o problema, divulgue 100 milhões de avaliações anonimizadas e pague US$ 1 milhão à primeira equipe que superar o Cinematch em 10%.

A Netflix abriu um concurso de três anos com um grande prêmio de US$ 1 milhão e prêmios anuais de progresso de US$ 50.000, divulgou 100 milhões de avaliações anonimizadas e julgou as inscrições com base em um conjunto de testes privado. O vencedor tinha de superar a precisão do Cinematch em 10% — uma melhoria de um quarto de estrela nas previsões.

Uma semana após o anúncio, 9.940 participantes em 8.152 equipes de 99 países já haviam se registrado. Quase três anos depois, cerca de 50.000 participantes haviam tomado parte; o BellKor's Pragmatic Chaos venceu com uma melhoria de 10,06%, enviando a inscrição apenas dez minutos antes de um rival com pontuação idêntica.

Em outubro de 2006, a Netflix anunciou o Netflix Prize: US$ 1 milhão para a primeira pessoa ou equipe que conseguisse melhorar em 10% a precisão de seu sistema de recomendação Cinematch. Para viabilizar o concurso, a empresa divulgou 100 milhões de avaliações anônimas de filmes e convidou as comunidades de mineração de dados, estatística e aprendizado de máquina a competir.

O desenho se inspirou na história — a Netflix disse que o prêmio foi modelado no Longitude Prize de 1714 — e acrescentou prêmios anuais de progresso de US$ 50.000 para a melhor melhoria. As inscrições eram julgadas com base em um conjunto de testes privado, para que os algoritmos não pudessem ser ajustados excessivamente ao ranking público.

Uma semana após o anúncio, 9.940 participantes em 8.152 equipes de 99 países já haviam se registrado. Quase três anos depois, cerca de 50.000 participantes haviam tomado parte; o BellKor's Pragmatic Chaos — pesquisadores da AT&T em parceria com colaboradores austríacos e quebequenses que nunca se conheceram pessoalmente — venceu com uma melhoria de 10,06%, enviando a inscrição apenas dez minutos antes de um rival com pontuação idêntica.

Abrir o problema para pessoas de fora permitiu à Netflix testar milhares de abordagens que jamais conseguiria explorar internamente, por um preço fixo de US$ 1 milhão.

A divulgação de 100 milhões de avaliações anonimizadas removeu a barreira de dados que mantinha os pesquisadores acadêmicos longe do problema.

Uma meta mensurável de 10% e um ranking público transformaram um objetivo privado de engenharia em um jogo global transparente.

Pagar apenas pelo sucesso transformou a inovação em um mercado favorável ao comprador: a Netflix comprou um resultado, não uma equipe ou um projeto.

Quando sua equipe não consegue testar todas as ideias, abra o problema: publique os dados, estabeleça uma meta mensurável e pague por resultados — você obtém milhares de experimentos por um único prêmio.

O concurso terminou após quase três anos e cerca de 50.000 participantes: o BellKor's Pragmatic Chaos ganhou o US$ 1 milhão com uma melhoria de 10,06%, superando um rival empatado por dez minutos. O conjunto de dados divulgado tornou-se um benchmark padrão na pesquisa de recomendação, e o prêmio se tornou a referência para concursos de inovação aberta na década seguinte.