넷플릭스, 추천 엔진을 이겨 보라며 전 세계에 100만 달러 제안 — 5만 명 참가

2006년 넷플릭스의 시네매치 추천 엔진은 정체되어 있었다. 머신러닝 문헌에는 유망한 아이디어가 많았지만 넷플릭스가 모두 시험해 볼 수는 없었고, 외부 연구자들이 경쟁할 수 있는 공개 데이터셋도 없었다. 회사는 내부에서 실행할 수 없는 실험을 원했다.

더 나은 알고리즘을 위해 사람을 계속 채용하는 대신, 문제를 공개하고 익명화된 평점 1억 건을 공개하며, 시네매치를 10% 능가하는 첫 팀에 100만 달러를 지급한다.

넷플릭스는 100만 달러의 대상과 5만 달러의 연간 진전상이 걸린 3년짜리 경연을 열고, 익명화된 평점 1억 건을 공개했으며, 출품작을 비공개 테스트 세트로 심사했다. 우승자는 시네매치의 정확도를 10퍼센트 능가해야 했는데, 이는 예측에서 별점 4분의 1개만큼의 개선이었다.

발표 후 일주일 안에 99개국에서 8,152개 팀의 9,940명의 참가자가 등록했다. 거의 3년 뒤 약 5만 명의 참가자가 참여했으며, BellKor's Pragmatic Chaos가 10.06퍼센트 개선으로 우승했는데, 동점을 기록한 경쟁 팀보다 불과 10분 전에 제출했다.

2006년 10월 넷플릭스는 넷플릭스 프라이즈를 발표했다. 시네매치 추천 시스템의 정확도를 10퍼센트 개선하는 첫 개인이나 팀에게 100만 달러를 주는 상이었다. 경연을 가능하게 하기 위해 회사는 익명의 영화 평점 1억 건을 공개하고 데이터 마이닝, 통계, 머신러닝 커뮤니티에 참가를 권했다.

이 설계는 역사에서 차용했다. 넷플릭스는 이 상이 1714년 경도상(經度賞)을 모델로 했다고 밝혔으며, 최고 개선에 대해 5만 달러의 연간 진전상을 추가했다. 출품작은 비공개 테스트 세트로 심사되어 알고리즘이 공개 리더보드에 과도하게 맞춰질 수 없었다.

발표 후 일주일 안에 99개국에서 8,152개 팀의 9,940명의 참가자가 등록했다. 거의 3년 뒤 약 5만 명의 참가자가 참여했으며, AT&T 연구원들이 한 번도 직접 만난 적 없는 오스트리아와 퀘벡 협력자들과 팀을 이룬 BellKor's Pragmatic Chaos가 10.06퍼센트 개선으로 우승했는데, 동점을 기록한 경쟁 팀보다 불과 10분 전에 제출했다.

문제를 외부에 개방함으로써 넷플릭스는 내부에서 결코 탐구할 수 없었던 수천 가지 접근법을 고정된 100만 달러라는 비용으로 시험할 수 있었다.

익명화된 평점 1억 건을 공개한 것은 학계 연구자들이 이 문제에서 멀어지게 했던 데이터 장벽을 없앴다.

측정 가능한 10% 기준과 공개 리더보드는 사적인 엔지니어링 목표를 투명한 글로벌 게임으로 바꿨다.

성공에만 지불함으로써 혁신은 구매자 시장이 되었다. 넷플릭스는 팀이나 프로젝트가 아니라 결과를 샀다.

팀이 모든 아이디어를 시험할 수 없을 때는 문제를 개방하라. 데이터를 공개하고, 측정 가능한 기준을 세우고, 결과에 지불하라. 그러면 하나의 상금으로 수천 개의 실험을 얻는다.

경연은 거의 3년, 약 5만 명의 참가자 끝에 종료되었다. BellKor's Pragmatic Chaos가 10.06퍼센트 개선으로 100만 달러를 차지하며 동점인 경쟁 팀을 10분 차이로 이겼다. 공개된 데이터셋은 추천 연구의 표준 벤치마크가 되었고, 이 상은 이후 10년간 개방형 혁신 경연의 기준점이 되었다.