Yakushima Treasure reconstruye un concierto como un espacio escaneado en 3D por el que puedes volar como un alma

Yakushima Treasure, el proyecto musical insular de KOM_I y OORUTAICHI, había planeado una actuación en vivo en el bosque de banianos de Yakushima; la COVID hizo imposibles los conciertos en vivo, así que preguntaron a Dentsu Craft Tokyo si la tecnología podía crear en su lugar un nuevo tipo de experiencia en vivo.

No retransmitir el escenario: capturar todo el bosque como nubes de puntos LiDAR, fotogrametría y vídeo volumétrico, y dejar que cada espectador adopte puntos de vista que un cuerpo humano no puede tener

Una sola toma, sin cortes: todo el bosque se escaneó en 360° con LiDAR, los colores se reconstruyeron a partir de más de 1.500 fotografías mediante fotogrametría, a los artistas se les capturó con nueve cámaras de profundidad, el audio se grabó con micrófonos de 360° en un campo envolvente de ocho altavoces y después todo ello se reconstruyó en una experiencia de navegador en la que la cámara puede flotar, atravesar cuerpos y volar alrededor de la escena.

Ganó un León de Bronce en Digital Craft en Cannes Lions 2021 y el Grand Prix de Digital Craft en Spikes Asia 2022, dando a la industria musical un formato funcional de «nuevo directo» durante la COVID.

Yakushima Treasure es el proyecto de KOM_I (Wednesday Campanella) y OORUTAICHI de canciones construidas a partir de los sonidos de la isla: los latidos de las ranas, la lluvia tamborileando sobre los árboles, las olas alrededor de un muelle. Cuando la pandemia de 2020 hizo imposible el directo planeado en el bosque de banianos de Yakushima, el equipo recurrió a Dentsu Craft Tokyo con un encargo poco habitual: no «cómo retransmitimos el concierto», sino si la tecnología podía crear una forma genuinamente nueva de experimentar una actuación en vivo.

Sus dos primeras decisiones fueron negativas. El proyecto no aspiraría a ser un sustituto de un concierto real, y no perseguiría la tecnología por la tecnología misma. En su lugar, el objetivo pasó a ser una experiencia que ningún cuerpo humano podría tener jamás: ver una actuación de una sola toma desde el punto de vista de un alma. Se eligieron cuatro métodos de captura para ajustarse a ese objetivo: LiDAR para todo el bosque como espacio 3D de nubes de puntos, fotogrametría a partir de más de 1.500 fotos para el color, nueve cámaras de profundidad para el vídeo volumétrico de los artistas y micrófonos de 360° que alimentaban un campo de sonido envolvente de ocho altavoces.

De ahí surgió «ANOTHER LIVE», una experiencia interactiva de navegador en la que los espectadores se mueven libremente dentro del bosque escaneado: por arriba, por abajo, de lado, tan cerca de los artistas que la distancia desaparece, incluso atravesándolos. Las capas de WebGL integran las perspectivas sintetizadas de otros espectadores para que el espacio se sienta habitado. En lugar de combatir la aspereza de las nubes de puntos escaneadas, el estilo la convirtió en significado: un «mundo a ojos de un alma» que encaja con el motivo de las canciones, los rituales okinawenses de envío de almas.

Lanzada primero como retransmisión en línea de pago (del 11 de febrero al 31 de marzo de 2021), pasó a ser gratuita desde el 1 de julio de 2021 tras ganar un Bronce de Digital Craft en Cannes Lions, y obtuvo el Grand Prix de Digital Craft en Spikes Asia 2022. Sigue siendo un punto de referencia para el formato de «nuevo directo»: ni un concierto filmado ni un vídeo musical, sino el primer concierto que permite al público elegir dónde situarse una vez terminado el concierto.

Capturar el espacio en lugar del escenario da al público en línea lo que un recinto real no puede: puntos de vista sin restricciones físicas, una experiencia distinta y adicional, no una copia inferior.

Definir primero la experiencia permitió al equipo elegir un método de captura por elemento —espacio, textura, cuerpos, sonido— en lugar de forzar a un único sistema de cámaras a hacerlo todo.

Tratar la actuación de una sola toma como un ritual convirtió la aspereza técnica del escaneo en un estilo poético, de modo que las limitaciones se volvieron significado en lugar de defectos que ocultar.

Si no puedes replicar la vieja experiencia, inventa una distinta: decide qué punto de vista puede apropiarse tu formato que el original nunca pudo tener, y deja que esa decisión elija la tecnología

El Bronce de Cannes hizo que la obra pudiera verse gratis desde el 1 de julio de 2021 y coronó una trayectoria que terminó con el Grand Prix de Digital Craft en Spikes Asia 2022. Para Dentsu Craft Tokyo, el proyecto se convirtió en un escaparate de su modelo de producción «Human Magic» —creadores de distintas empresas colaborando en la idea, la ingeniería y la artesanía— y en un punto de referencia en la búsqueda pospandémica de la industria de un formato de «nuevo directo» que no sea ni un concierto filmado ni un vídeo musical.