Yakushima Treasure recrée un concert sous forme d’espace scanné en 3D que l’on peut traverser en volant comme une âme

Yakushima Treasure, le projet musical insulaire de KOM_I et OORUTAICHI, avait prévu une performance live dans la forêt de banians de Yakushima ; la COVID a rendu les concerts live impossibles, ils ont donc demandé à Dentsu Craft Tokyo si la technologie pouvait créer à la place un nouveau type d’expérience live.

Ne pas diffuser la scène en streaming — capturer toute la forêt sous forme de nuages de points LiDAR, de photogrammétrie et de vidéo volumétrique, et permettre à chaque spectateur d’adopter des points de vue qu’un corps humain ne peut pas avoir

Une seule prise, sans coupes : toute la forêt a été scannée en LiDAR à 360°, les couleurs reconstruites à partir de plus de 1 500 photographies via photogrammétrie, les artistes capturés par neuf caméras de profondeur, l’audio enregistré avec des micros à 360° dans un champ surround à huit enceintes — puis tout cela reconstruit dans une expérience navigateur où la caméra peut flotter, traverser les corps et voler autour de la scène.

A remporté un Lion de bronze en Digital Craft aux Cannes Lions 2021 et le Grand Prix Digital Craft aux Spikes Asia 2022, offrant à l’industrie musicale un format « nouveau live » opérationnel pendant la COVID.

Yakushima Treasure est le projet de KOM_I (Wednesday Campanella) et OORUTAICHI, composé de chansons construites à partir des sons de l’île — battements de cœur de grenouilles, pluie tambourinant sur les arbres, vagues autour d’un quai. Lorsque la pandémie de 2020 a rendu impossible le live prévu dans la forêt de banians de Yakushima, l’équipe s’est tournée vers Dentsu Craft Tokyo avec un brief inhabituel : non pas « comment diffuser le concert en streaming », mais si la technologie pouvait créer une manière véritablement nouvelle de vivre une performance live.

Leurs deux premières décisions furent des refus. Le projet ne viserait pas à se substituer à un vrai concert, et il ne courrait pas après la technologie pour elle-même. L’objectif est plutôt devenu une expérience qu’aucun corps humain ne pourrait jamais avoir : regarder une performance en une seule prise depuis le point de vue d’une âme. Quatre méthodes de capture ont été choisies pour correspondre à cet objectif — le LiDAR pour toute la forêt comme espace 3D en nuage de points, la photogrammétrie à partir de plus de 1 500 photos pour la couleur, neuf caméras de profondeur pour la vidéo volumétrique des artistes, et des micros à 360° alimentant un champ sonore surround à huit enceintes.

Il en est résulté « ANOTHER LIVE », une expérience navigateur interactive dans laquelle les spectateurs se déplacent librement à l’intérieur de la forêt scannée — au-dessus, en dessous, de côté, si près des artistes que la distance disparaît, jusqu’à les traverser. Des couches WebGL intègrent les perspectives synthétisées d’autres spectateurs afin que l’espace paraisse habité. Plutôt que de lutter contre la rugosité des nuages de points scannés, le style lui a donné du sens : un « monde vu par une âme » correspondant au motif des chansons, celui des rituels d’envoi des âmes d’Okinawa.

Lancé d’abord en streaming payant en ligne (du 11 février au 31 mars 2021), il est devenu gratuit à partir du 1er juillet 2021 après avoir remporté un Bronze en Digital Craft aux Cannes Lions, et a obtenu le Grand Prix Digital Craft aux Spikes Asia 2022. Il reste une référence pour le format « nouveau live » — ni un concert filmé ni un clip musical, mais le premier concert qui permet au public de choisir où se placer une fois le concert terminé.

Capturer l’espace plutôt que la scène donne au public en ligne ce qu’un lieu réel ne peut pas offrir : des points de vue sans contraintes physiques — une expérience différente et additive, non une copie au rabais.

Définir d’abord l’expérience a permis à l’équipe de choisir une méthode de capture par élément — espace, texture, corps, son — au lieu de forcer un seul système de caméra à tout faire.

Traiter la performance en une seule prise comme un rituel a transformé la rugosité technique du scan en style poétique, faisant des contraintes un sens plutôt que des défauts à cacher.

Si vous ne pouvez pas reproduire l’ancienne expérience, inventez-en une différente : déterminez quel point de vue votre format peut s’approprier que l’original n’aurait jamais pu, puis laissez cette décision choisir la technologie

Le Bronze de Cannes a rendu l’œuvre gratuite à regarder à partir du 1er juillet 2021 et a couronné une série qui s’est achevée par le Grand Prix Digital Craft aux Spikes Asia 2022. Pour Dentsu Craft Tokyo, le projet est devenu une vitrine de son modèle de production « Human Magic » — des créateurs de différentes entreprises collaborant sur l’idée, l’ingénierie et l’artisanat — et un point de référence dans la recherche post-pandémique de l’industrie pour un format « nouveau live » qui n’est ni un concert filmé ni un clip musical.