마이크로소프트의 언어 품질 게임: 직원 4,500명이 Windows 7 화면 50만 개를 검토하다

Windows 7은 약 100개 언어로 출시되었고 약 90만 개의 UI 문자열에 기반하고 있었습니다. 기계 번역과 소규모 현지화 팀만으로는 품질을 보장할 수 없었지만, 수천 명의 다국어 구사 마이크로소프트 직원들은 자신의 모국어 지식을 활용하지 않은 채 남아 있었습니다.

번역 품질 관리를 자발적 게임으로 만들자는 것이었습니다. 직원들이 자신의 모국어로 된 Windows UI 스크린샷을 검토하고 오류를 표시하면 점수와 순위표가 주어지는 방식입니다.

마이크로소프트는 LQG를 사내 웹 게임으로 구축했습니다. 직원들은 언어를 선택하고 제품 스크린샷을 검토한 뒤 텍스트가 좋은지 아니면 수정이 필요한지 표시했으며, 중재자들이 제출된 내용을 분류해 실제 버그로 확정했습니다. 플레이어들은 개인, 팀, 사무실 순위표에서 점수를 얻었고, 일본 사무실은 기업 상을 차지하기 위해 게임 플레이의 날을 선언하기까지 했습니다.

직원 4,500명이 참여해 50만 개 이상의 UI 화면을 검토했으며, 추가 인력은 들지 않았습니다. 이 게임은 이후 Office Communicator와 Exchange를 위해 배포되었고, 마이크로소프트는 Office용 Ribbon Hero 같은 '생산성 게임' 제품군을 구축했습니다.

2009년 Windows 7이 출시되기 전, 마이크로소프트는 현지화 팀만으로는 해결할 수 없는 품질 문제에 직면했습니다. 운영체제에는 약 100개 언어에 걸쳐 약 90만 개의 UI 문자열이 있었고, 상당 부분이 기계 번역된 상태였습니다. 그러나 회사에는 활용하지 않던 자원이 있었습니다. 바로 점심시간에 모국어 지식을 무료로 활용할 수 있는 수천 명의 다국어 구사 직원들이었습니다.

그래서 마이크로소프트는 언어 품질 게임을 만들었습니다. 직원들이 언어를 선택하고 실제 제품 스크린샷을 검토하며 각 번역을 평가하고 문제를 표시해 점수를 받는 사내 브라우저 게임입니다. 중재자들은 모든 제출물을 분류하고 실제 버그를 확인했으며, 플레이어들은 개인, 팀, 사무실 순위표에서 순위를 올렸습니다. 참여는 자발적이었고 보너스는 약속되지 않았습니다.

이 게임에는 테스트와 현지화 업무에서 멀리 떨어진 사람들을 포함해 4,500명의 직원이 참여해 50만 개 이상의 UI 화면을 검토했습니다. 프랑스어를 구사하는 엔지니어가 고향 친구들을 위해 Windows를 더 나은 제품으로 만들 수 있었던 것입니다. 이 게임은 이후 Office Communicator와 Exchange를 위해 운영되었고, 마이크로소프트는 이 접근법을 생산성 게임 제품군으로 발전시켜 LQG를 업무 게임화의 참고 사례로 만들었습니다.

자발성과 재미가 품질 관리에서 결코 채용할 수 없었던 사람들을 끌어모았습니다. 100개 이상 언어에 걸친 4,500명의 자원봉사자였습니다.

모국어 지식 덕분에 어떤 직원이든 별도 교육 없이 즉시 번역 품질을 판단할 수 있었습니다.

점수와 순위표는 진행 상황을 가시화하고 사무실 단위의 경쟁을 만들어냈습니다(일본은 우승을 위해 하루를 쉬었습니다).

중재자의 분류가 품질을 유지했습니다. 플레이어가 표시한 내용은 버그로 등록되기 전에 확인되었습니다.

숨은 역량은 어디에나 있습니다. 일상적인 품질 관리를 모국어 지식으로 점수를 매기는 자발적 게임으로 구성하면, 수천 명의 직원이 소규모 팀이나 기계가 할 수 없는 일을 해낼 것입니다.

LQG는 마이크로소프트가 운영한 여러 '생산성 게임' 중 하나였으며, Office용 Page Hunt와 Ribbon Hero도 포함됩니다. 그리고 그 수치(플레이어 4,500명, 화면 50만 개 이상)는 오늘날까지도 사내 업무 게임화의 벤치마크로 회자됩니다. 이 기법은 활용되지 않은 직원 역량을 한정된 기간에 대규모로 동원하는 방식으로 가장 효과적이었으며, 기업들이 기계가 확인할 수 없는 것을 수천 명의 사람들이 자발적으로 검사하게 하려면 어떻게 해야 하는지 궁금해할 때마다 여전히 참고 사례로 남아 있습니다.