야쿠시마 트레저, 콘서트를 3D 스캔 공간으로 재구축해 영혼처럼 날아다닐 수 있게 하다

야쿠시마 트레저는 KOM_I와 OORUTAICHI의 섬 음악 프로젝트로, 야쿠시마의 반얀나무 숲에서 라이브 공연을 열 계획이었다. 그러나 코로나19로 라이브 콘서트가 불가능해지자, 이들은 덴쓰 크래프트 도쿄에 기술로 새로운 종류의 라이브 경험을 만들 수 있을지 물었다.

무대를 스트리밍하는 것이 아니라, 숲 전체를 LiDAR 포인트 클라우드와 포토그래메트리, 볼류메트릭 비디오로 포착하고, 각 관객이 인간의 몸으로는 가질 수 없는 시점을 취하게 한다

원 테이크, 컷 없음: 숲 전체를 360° LiDAR로 스캔하고, 1,500장이 넘는 사진으로 포토그래메트리를 통해 색을 재구성했으며, 아티스트는 9대의 뎁스 카메라로 포착하고, 오디오는 360° 마이크로 녹음해 8개 스피커 서라운드 필드로 구성했다. 그런 다음 이 모든 것을 브라우저 경험으로 재구성해 카메라가 떠다니고, 몸을 통과하고, 장면 주위를 날아다닐 수 있게 했다.

2021년 칸 라이언즈 디지털 크래프트 부문 브론즈 라이언을 수상하고 2022년 스파이크스 아시아 디지털 크래프트 그랑프리를 수상하며, 코로나19 시기에 음악 산업에 작동하는 '뉴 라이브' 포맷을 제시했다.

야쿠시마 트레저는 KOM_I(웬즈데이 캄파넬라)와 OORUTAICHI의 프로젝트로, 섬의 소리 — 개구리 심장 박동, 나무를 두드리는 빗소리, 부두 주변의 파도 — 로 만든 노래들이다. 2020년 팬데믹으로 야쿠시마의 반얀나무 숲에서 계획했던 라이브가 불가능해지자, 팀은 덴쓰 크래프트 도쿄에 색다른 의뢰를 들고 찾아갔다. '콘서트를 어떻게 스트리밍할까'가 아니라, 기술이 라이브 공연을 경험하는 진정으로 새로운 방식을 만들 수 있을지였다.

그들의 첫 두 결정은 거부였다. 이 프로젝트는 실제 콘서트의 대체물을 목표로 하지 않았고, 기술을 위한 기술을 좇지도 않았다. 대신 목표는 인간의 몸으로는 결코 가질 수 없는 경험이 되었다. 영혼의 시점에서 원 테이크 공연을 보는 것이다. 그 목표에 맞춰 네 가지 포착 방법이 선택되었다. 숲 전체를 3D 포인트 클라우드 공간으로 만드는 LiDAR, 색을 위한 1,500장이 넘는 사진의 포토그래메트리, 아티스트의 볼류메트릭 비디오를 위한 9대의 뎁스 카메라, 그리고 8개 스피커 서라운드 사운드 필드로 보내는 360° 마이크였다.

그 결과 'ANOTHER LIVE'가 나왔다. 관객이 스캔된 숲 안에서 자유롭게 움직이는 인터랙티브 브라우저 경험으로, 위로, 아래로, 옆으로, 아티스트와 거리가 사라질 만큼 가까이, 심지어 그들을 통과하며 움직인다. WebGL은 다른 관객의 합성된 시점을 겹쳐 공간이 사람들로 채워진 느낌을 준다. 스캔된 포인트 클라우드의 거친 질감과 싸우는 대신, 그 스타일이 의미가 되었다. 오키나와의 영혼 보내기 의례라는 노래들의 모티프와 맞닿은 '영혼의 눈으로 본 세계'다.

2021년 2월 11일부터 3월 31일까지 유료 온라인 스트리밍으로 먼저 공개되었고, 칸 라이언즈에서 디지털 크래프트 브론즈를 수상한 후 2021년 7월 1일부터 무료가 되었으며, 2022년 스파이크스 아시아에서 디지털 크래프트 그랑프리를 차지했다. 이는 '뉴 라이브' 포맷의 기준점으로 남아 있다. 촬영된 콘서트도 뮤직비디오도 아니고, 콘서트가 끝난 후에도 관객이 어디에 설지 선택할 수 있게 한 최초의 콘서트다.

무대 대신 공간을 포착하는 것은 온라인 관객에게 실제 공연장이 줄 수 없는 것을 준다. 물리적 제약이 없는 시점, 즉 열등한 복사본이 아닌 다르고 부가적인 경험이다.

경험을 먼저 정의함으로써 팀은 하나의 카메라 시스템에 모든 것을 맡기는 대신 공간, 질감, 몸, 소리라는 각 요소마다 하나의 포착 방법을 고를 수 있었다.

원 테이크 공연을 의례로 다룸으로써 스캔의 기술적 거친 질감을 시적 스타일로 바꾸었고, 제약은 숨겨야 할 결함이 아니라 의미가 되었다.

옛 경험을 재현할 수 없다면, 다른 경험을 발명하라. 당신의 포맷이 원본이 결코 가질 수 없었던 어떤 시점을 차지할 수 있는지 정하고, 그 결정이 기술을 고르게 하라

칸 브론즈 수상으로 이 작품은 2021년 7월 1일부터 무료로 볼 수 있게 되었고, 2022년 스파이크스 아시아 디지털 크래프트 그랑프리로 마무리된 여정을 마쳤다. 덴쓰 크래프트 도쿄에게 이 프로젝트는 아이디어, 엔지니어링, 크래프트에 서로 다른 회사의 크리에이터들이 협업하는 '휴먼 매직' 제작 모델의 쇼케이스가 되었고, 촬영된 콘서트도 뮤직비디오도 아닌 '뉴 라이브' 포맷을 찾는 팬데믹 이후 업계의 탐색에서 기준점이 되었다.