屋久島トレジャー、コンサートを3Dスキャンした空間として再構築——魂のように飛び回れる体験に

屋久島トレジャーは、KOM_IとOORUTAICHIによる島の音楽プロジェクトで、屋久島のガジュマルの森でのライブパフォーマンスを計画していた。しかしCOVIDによりライブコンサートが不可能になったため、彼らは電通クラフト東京に、テクノロジーによって新たな種類のライブ体験を実現できないかと相談した。

ステージを配信するのではなく、森全体をLiDAR点群、フォトグラメトリー、ボリュメトリックビデオとして捉え、各観客が人間の身体では得られない視点を取れるようにする

ワンテイク、カットなし：森全体を360°LiDARスキャンし、1,500枚以上の写真からフォトグラメトリーで色を再構築し、アーティストは9台の深度カメラで捉え、音声は360°マイクで8スピーカーのサラウンドフィールドに録音した。その後、すべてをブラウザ体験として再構築し、カメラが浮遊し、身体を通り抜け、シーンを飛び回れるようにした。

カンヌライオンズ2021でデジタルクラフト部門のブロンズライオンを受賞し、スパイクスアジア2022でデジタルクラフトのグランプリを受賞。COVID下の音楽業界に、実用的な「新しいライブ」フォーマットを提供した。

屋久島トレジャーは、KOM_I（水曜日のカンパネラ）とOORUTAICHIによる、島の音——カエルの心臓の鼓動、木を打つ雨の音、岸壁周りの波——から作られた楽曲のプロジェクトである。2020年のパンデミックにより、屋久島のガジュマルの森で計画されていたライブが不可能になると、チームは電通クラフト東京に異例の依頼を持ち込んだ。「コンサートをどう配信するか」ではなく、テクノロジーによってライブパフォーマンスを体験する真に新しい方法を生み出せるか、というものだった。

最初の二つの決定は拒否だった。このプロジェクトは本物のコンサートの代替を目指さず、またテクノロジー自体を追い求めることもしない。代わりに目標となったのは、人間の身体では決して得られない体験、すなわち魂の視点からワンテイクのパフォーマンスを見ることだった。その目標に合わせて四つの撮影手法が選ばれた——森全体を3D点群空間として捉えるLiDAR、色のための1,500枚以上の写真によるフォトグラメトリー、アーティストのボリュメトリックビデオのための9台の深度カメラ、そして8スピーカーのサラウンド音場に送る360°マイクである。

そこから生まれたのが「ANOTHER LIVE」で、観客がスキャンされた森の中を自由に移動できるインタラクティブなブラウザ体験である——上へ、下へ、横へ、アーティストに距離が消えるほど近づき、さらには彼らを通り抜けることもできる。WebGLが他の観客の合成された視点を重ねることで、空間は人が住まうように感じられる。スキャンされた点群の粗さと戦うのではなく、そのスタイルが意味を持った。沖縄の魂送りの儀式という楽曲のモチーフに合う「魂の視点の世界」である。

最初は有料オンライン配信として公開され（2021年2月11日～3月31日）、カンヌライオンズでデジタルクラフトのブロンズを受賞した後、2021年7月1日から無料となった。そしてスパイクスアジア2022でデジタルクラフトのグランプリを受賞した。それは「新しいライブ」フォーマットの参照点であり続けている——フィルム化されたコンサートでもミュージックビデオでもなく、コンサートが終わった後に観客がどこに立つかを選べる最初のコンサートである。

ステージではなく空間を捉えることで、オンラインの観客は実際の会場にはできないことを得る——物理的制約のない視点、すなわち劣ったコピーではなく、異なる付加的な体験である。

体験を最初に定義したことで、チームは単一のカメラシステムにすべてを押し付けるのではなく、空間、テクスチャ、身体、音といった要素ごとに一つの撮影手法を選べた。

ワンテイクのパフォーマンスを儀式として扱うことで、スキャンの技術的な粗さが詩的なスタイルに変わり、制約は隠すべき欠陥ではなく意味となった。

古い体験を再現できないなら、別の体験を発明しよう。元の体験が決して持てなかった、自分のフォーマットが所有できる視点を決め、その決定にテクノロジーを選ばせよう

カンヌのブロンズにより、作品は2021年7月1日から無料で視聴できるようになり、スパイクスアジア2022のデジタルクラフトグランプリで終わる一連の流れを締めくくった。電通クラフト東京にとってこのプロジェクトは、「Human Magic」制作モデル——異なる企業のクリエイターがアイデア、エンジニアリング、クラフトで協働する——のショーケースとなり、フィルム化されたコンサートでもミュージックビデオでもない「新しいライブ」フォーマットを求める業界のポストパンデミックの模索における参照点となった。