Yakushima Treasure reconstrói um show como espaço escaneado em 3D pelo qual você pode voar como uma alma

Yakushima Treasure, o projeto musical insular de KOM_I e OORUTAICHI, havia planejado uma apresentação ao vivo na floresta de figueiras-de-bengala de Yakushima; a COVID tornou os concertos ao vivo impossíveis, então eles perguntaram à Dentsu Craft Tokyo se a tecnologia poderia criar um novo tipo de experiência ao vivo em vez disso.

Não transmitir o palco — capturar a floresta inteira como nuvens de pontos LiDAR, fotogrametria e vídeo volumétrico, e deixar cada espectador assumir pontos de vista que um corpo humano não pode ter

Um único take, sem cortes: a floresta inteira foi escaneada em 360° com LiDAR, as cores foram reconstruídas a partir de mais de 1.500 fotografias via fotogrametria, os artistas foram capturados por nove câmeras de profundidade, o áudio foi gravado com microfones de 360° em um campo surround de oito alto-falantes — e então tudo isso foi reconstruído em uma experiência de navegador na qual a câmera pode flutuar, atravessar corpos e voar ao redor da cena.

Ganhou um Leão de Bronze em Digital Craft no Cannes Lions 2021 e o Grand Prix de Digital Craft no Spikes Asia 2022, dando à indústria musical um formato funcional de 'novo ao vivo' durante a COVID.

Yakushima Treasure é o projeto de KOM_I (Wednesday Campanella) e OORUTAICHI de canções construídas a partir dos sons da ilha — batimentos cardíacos de sapos, chuva tamborilando nas árvores, ondas ao redor de um cais. Quando a pandemia de 2020 tornou impossível o show ao vivo planejado na floresta de figueiras-de-bengala de Yakushima, a equipe recorreu à Dentsu Craft Tokyo com um briefing incomum: não 'como transmitimos o concerto', mas se a tecnologia poderia criar uma maneira genuinamente nova de vivenciar uma apresentação ao vivo.

Suas duas primeiras decisões foram recusas. O projeto não teria como objetivo ser um substituto para um concerto real, e não perseguiria a tecnologia por ela mesma. Em vez disso, a meta passou a ser uma experiência que nenhum corpo humano poderia ter: assistir a uma apresentação em um único take do ponto de vista de uma alma. Quatro métodos de captura foram escolhidos para corresponder a essa meta — LiDAR para a floresta inteira como espaço 3D de nuvem de pontos, fotogrametria a partir de mais de 1.500 fotos para a cor, nove câmeras de profundidade para o vídeo volumétrico dos artistas, e microfones de 360° alimentando um campo sonoro surround de oito alto-falantes.

Daí surgiu 'ANOTHER LIVE', uma experiência interativa de navegador na qual os espectadores se movem livremente dentro da floresta escaneada — acima, abaixo, de lado, tão perto dos artistas que a distância desaparece, chegando a atravessá-los. Camadas de WebGL sobrepõem as perspectivas sintetizadas de outros espectadores para que o espaço pareça habitado. Em vez de lutar contra a aspereza das nuvens de pontos escaneadas, o estilo a transformou em significado: um 'mundo visto por uma alma' que combina com o motivo das canções dos rituais okinawanos de envio de almas.

Lançado primeiro como streaming online pago (11 de fevereiro – 31 de março de 2021), tornou-se gratuito a partir de 1º de julho de 2021 após ganhar um Bronze de Digital Craft no Cannes Lions, e levou o Grand Prix de Digital Craft no Spikes Asia 2022. Permanece como ponto de referência para o formato de 'novo ao vivo' — nem um concerto filmado nem um videoclipe, mas o primeiro concerto que permite ao público escolher onde ficar depois que o concerto termina.

Capturar o espaço em vez do palco dá ao público online o que um local real não pode: pontos de vista sem restrições físicas — uma experiência diferente e aditiva, não uma cópia inferior.

Definir a experiência primeiro permitiu à equipe escolher um método de captura por elemento — espaço, textura, corpos, som — em vez de forçar um único sistema de câmeras a fazer tudo.

Tratar a apresentação em um único take como ritual transformou a aspereza técnica do escaneamento em estilo poético, de modo que as restrições se tornaram significado em vez de defeitos a esconder.

Se você não consegue replicar a experiência antiga, invente uma diferente: decida qual ponto de vista o seu formato pode ter que o original nunca poderia, e então deixe essa decisão escolher a tecnologia

O Bronze em Cannes tornou o trabalho gratuito para assistir a partir de 1º de julho de 2021 e coroou uma trajetória que terminou no Grand Prix de Digital Craft no Spikes Asia 2022. Para a Dentsu Craft Tokyo, o projeto tornou-se uma vitrine de seu modelo de produção 'Human Magic' — criadores de diferentes empresas trabalhando em conjunto em ideia, engenharia e artesanato — e um ponto de referência na busca pós-pandemia da indústria por um formato de 'novo ao vivo' que não é nem um concerto filmado nem um videoclipe.