Spotify의 Backstage: 업계 표준이 된 내부 개발자 포털

2010년대 중반까지 Spotify의 자율적인 스쿼드 문화는 방대한 인프라를 낳았다. Terraform, 클라우드 CLI, GitLab CI, Prometheus, Kubernetes, Docker 스택 위에서 수백 개의 마이크로서비스가 돌아갔고, 각각은 고유한 인터페이스와 자격 증명, 규칙을 지녔다. 모든 엔지니어가 이 모두를 능숙하게 다뤄야 했고, 그 비용은 컨텍스트 전환과 파편화, 인지 부하로 드러났다.

모든 인프라를 위한 단일 진입점을 만든다. 서비스 카탈로그와 템플릿, 플러그인을 갖춘 개발자 포털로, 하나의 일관된 UI가 열 개의 툴체인을 대체하게 하는 것이다.

2016년 무렵 Spotify 엔지니어들은 Backstage를 만들기 시작했다. 무엇이 존재하고 누가 소유하는지를 기록하는 소프트웨어 카탈로그, 모범 사례가 내장된 채로 새 마이크로서비스를 생성해 주는 클릭 가능한 템플릿, 풀 리퀘스트를 리뷰부터 프로덕션까지 추적하는 뷰, 그리고 중앙에서 렌더링되는 Markdown 문서를 갖춘 내부 포털이었다. 2020년까지 내부 설치본에는 100개 이상의 플러그인이 있었고, 그해 3월 16일 Spotify는 이 코드를 오픈소스로 공개했다. 동료 기업들이 이를 함께 만들어 갈 수 있도록, 그리고 이것이 인프라를 위한 표준 UX 계층이 될 수 있도록 일부러 이르게 공개한 것이었다.

오픈소스라는 도박은 성과를 냈다. 클라우드 네이티브 컴퓨팅 재단(CNCF)은 2020년 9월 Backstage를 샌드박스에 받아들였고, 2025년까지 3,000개 이상의 조직이 자체 내부 개발자 포털을 구축하기 위해 이를 도입했으며, Spotify의 700개 R&D 스쿼드 전원은 여전히 이를 사용하고 있었다. Spotify는 이 프레임워크를 상용 제품인 Spotify Portal for Backstage로 전환했다.

2010년대 중반까지 Spotify는 자율적인 스쿼드를 기반으로 한 엔지니어링 문화 속에서 수백 개의 마이크로서비스를 운영했다. 그 인프라의 각 요소는 저마다의 도구 — Terraform, 클라우드 CLI, GitLab CI, Prometheus, Kubernetes, Docker 등 — 를 가졌고, 각각은 서로 다른 인터페이스와 자격 증명, 규칙을 지녔다. 엔지니어들은 이 모두를 알아야 했고, 그 비용은 컨텍스트 전환과 파편화, 인지 부하로 드러났다.

2016년 무렵 Spotify 엔지니어들은 Backstage라는 내부 개발자 포털로 이 문제를 풀기 시작했다. 어떤 서비스가 존재하고 누가 소유하는지를 기록하는 소프트웨어 카탈로그, 모범 사례가 이미 갖춰진 채로 새 마이크로서비스를 생성해 주는 클릭 가능한 템플릿, 풀 리퀘스트를 리뷰부터 프로덕션까지 추적하는 뷰, 그리고 코드에 Markdown으로 작성되어 한곳에서 렌더링되는 문서였다. 2020년까지 내부 설치본에는 100개 이상의 플러그인이 있었으니, 전체 스택을 위한 하나의 일관된 진입점이었다.

2020년 3월 Spotify는 의도적으로 Backstage를 오픈소스로 공개했다. 같은 파편화 문제를 겪는 다른 기업들이 이를 함께 만들어 갈 수 있도록, 그리고 이것이 Spotify가 언젠가 떠나야 할 사유의 섬이 아니라 표준이 될 수 있도록 일찍 공개한 것이었다. 클라우드 네이티브 컴퓨팅 재단은 그해 9월 이를 샌드박스에 받아들였고, 2025년까지 3,000개 이상의 조직이 이를 도입했으며, Spotify의 700개 R&D 스쿼드 전원이 여전히 이에 의존하고 있었고, Spotify는 Spotify Portal for Backstage를 엔터프라이즈 제품으로 판매하고 있었다.

핵심 통찰은 도구가 아니라 인터페이스 계층을 고치는 것이었다. Terraform이나 Kubernetes를 대체하는 대신, Backstage는 모든 도구에 하나의 일관된 진입점을 제공했다.

소유권이 명시된 서비스 카탈로그는 구전으로 전해지던 지식을 데이터베이스로 바꾸어, 어떤 엔지니어든 무엇이 존재하고 누구에게 물어야 하는지를 찾을 수 있게 했다.

이르게 공개한 덕분에 이 도구는 사적인 투자가 아니라 공유된 표준이 되었다. 몇 달 만에 상당 부분의 기여가 Spotify 외부에서 나왔다.

Spotify가 스스로 가장 까다로운 고객으로 남았기 때문에, 커뮤니티를 위한 모든 개선은 먼저 자사의 수백 개 스쿼드에서 통해야 했다.

가장 뛰어난 내부 도구를 공개 플랫폼으로 공개하라. Backstage를 오픈소스로 공개함으로써 Spotify는 자신이 만든 것을 떠나야 하는 상황을 결코 겪지 않게 되었고, 나머지는 업계가 해 주었다.

Backstage는 내부 개발자 플랫폼(IDP)이라는 범주를 만들어 내는 데 기여했고, 클라우드 네이티브 컴퓨팅 재단에서 가장 눈에 띄는 프로젝트 중 하나가 되었다. Spotify는 그 위에 엔터프라이즈 사업을 구축해 2024년 Spotify Portal for Backstage를 베타로 출시하고 노코드 플러그인 관리자로 오픈소스 프레임워크를 확장했으며, 프레임워크 자체는 2025년까지 항공사에서 투자 회사에 이르기까지 3,000개 이상의 도입 조직으로 성장했다. Spotify 내부에서는 700개 R&D 스쿼드 전원의 일상 도구로 남아, 모든 개선이 충족해야 하는 까다로운 첫 고객이 되었다.