Yakushima Treasure baut ein Konzert als 3D-gescannten Raum wieder auf, den man wie eine Seele durchfliegen kann

Yakushima Treasure, das Insel-Musikprojekt von KOM_I und OORUTAICHI, hatte eine Live-Performance im Banyanwald von Yakushima geplant; COVID machte Live-Konzerte unmöglich, also fragten sie Dentsu Craft Tokyo, ob Technologie stattdessen eine neue Art von Live-Erlebnis ermöglichen könnte.

Nicht die Bühne streamen – den ganzen Wald als LiDAR-Punktwolken, Photogrammetrie und volumetrisches Video erfassen und jedem Zuschauer Blickwinkel ermöglichen, die ein menschlicher Körper nicht einnehmen kann

Eine Aufnahme, keine Schnitte: Der ganze Wald wurde per 360°-LiDAR gescannt, die Farben aus über 1.500 Fotografien mittels Photogrammetrie rekonstruiert, die Künstler mit neun Tiefenkameras erfasst, der Ton mit 360°-Mikrofonen in ein Acht-Lautsprecher-Raumklangfeld aufgenommen – und all das in einer Browser-Erfahrung rekonstruiert, in der die Kamera schweben, durch Körper hindurchgehen und um die Szene herumfliegen kann.

Gewann einen Bronze Lion in Digital Craft bei den Cannes Lions 2021 und den Digital Craft Grand Prix bei Spikes Asia 2022 und gab der Musikbranche während COVID ein funktionierendes „New Live“-Format.

Yakushima Treasure ist das Projekt von KOM_I (Wednesday Campanella) und OORUTAICHI mit Liedern, die aus den Klängen der Insel gebaut sind – Froschherzschläge, Regen, der auf Bäume trommelt, Wellen um einen Kai. Als die Pandemie 2020 das geplante Live im Banyanwald von Yakushima unmöglich machte, wandte sich das Team an Dentsu Craft Tokyo mit einem ungewöhnlichen Auftrag: nicht „Wie streamen wir das Konzert?“, sondern ob Technologie eine wirklich neue Art schaffen könnte, eine Live-Performance zu erleben.

Ihre ersten beiden Entscheidungen waren Absagen. Das Projekt würde nicht darauf abzielen, ein Ersatz für ein echtes Konzert zu sein, und es würde nicht Technologie um ihrer selbst willen verfolgen. Stattdessen wurde das Ziel ein Erlebnis, das kein menschlicher Körper je haben könnte: eine One-Take-Performance aus dem Blickwinkel einer Seele zu betrachten. Vier Erfassungsmethoden wurden gewählt, um diesem Ziel zu entsprechen – LiDAR für den ganzen Wald als 3D-Punktwolkenraum, Photogrammetrie aus über 1.500 Fotos für die Farbe, neun Tiefenkameras für volumetrisches Video der Künstler und 360°-Mikrofone, die ein Acht-Lautsprecher-Raumklangfeld speisten.

Daraus entstand „ANOTHER LIVE“, eine interaktive Browser-Erfahrung, in der sich Zuschauer frei im gescannten Wald bewegen – oben, unten, seitwärts, so nah an den Künstlern, dass die Distanz verschwindet, sogar durch sie hindurch. WebGL-Schichten legen synthetisierte Perspektiven anderer Zuschauer darüber, sodass sich der Raum bewohnt anfühlt. Statt gegen die Rauheit gescannter Punktwolken anzukämpfen, machte der Stil sie zur Bedeutung: eine „Welt aus dem Blick einer Seele“, passend zum Motiv der Lieder von den okinawanischen Ritualen des Seelenschickens.

Zunächst als kostenpflichtiger Online-Stream gestartet (11. Februar – 31. März 2021), wurde es ab dem 1. Juli 2021 kostenlos, nachdem es bei den Cannes Lions einen Digital Craft Bronze gewonnen hatte, und holte den Digital Craft Grand Prix bei Spikes Asia 2022. Es bleibt ein Referenzpunkt für das „New Live“-Format – weder ein gefilmtes Konzert noch ein Musikvideo, sondern das erste Konzert, das das Publikum wählen lässt, wo es steht, nachdem das Konzert vorbei ist.

Den Raum statt die Bühne zu erfassen gibt dem Online-Publikum, was ein echter Veranstaltungsort nicht kann: Blickwinkel ohne physische Einschränkungen – ein anderes, additives Erlebnis, keine schlechtere Kopie.

Das Erlebnis zuerst zu definieren ließ das Team pro Element eine Erfassungsmethode wählen – Raum, Textur, Körper, Klang –, statt ein einziges Kamerasystem alles erledigen zu lassen.

Die One-Take-Performance als Ritual zu behandeln verwandelte die technische Rauheit des Scans in einen poetischen Stil, sodass Einschränkungen zu Bedeutung wurden statt zu Mängeln, die man verstecken muss.

Wenn man das alte Erlebnis nicht nachbilden kann, erfinde ein anderes: Entscheide, welchen Blickwinkel dein Format besitzen kann, den das Original nie hatte, und lass diese Entscheidung die Technologie wählen

Der Bronze in Cannes machte die Arbeit ab dem 1. Juli 2021 kostenlos anschaubar und krönte einen Lauf, der im Digital Craft Grand Prix bei Spikes Asia 2022 endete. Für Dentsu Craft Tokyo wurde das Projekt zu einem Schaufenster seines Produktionsmodells „Human Magic“ – Kreative aus verschiedenen Unternehmen, die gemeinsam an Idee, Engineering und Handwerk arbeiten – und zu einem Referenzpunkt in der postpandemischen Suche der Branche nach einem „New Live“-Format, das weder ein gefilmtes Konzert noch ein Musikvideo ist.