DDay.it, Claude Opus 5.5로 AI 통제 상실을 다룬 AI 뮤직비디오 오케스트레이션하다

Sora로 생성한 클립을 손으로 편집한 'Barok' 이후, DDay.it은 새로운 오케스트레이터 패턴에 대한 최첨단 테스트를 원했다. 이 패턴에서는 프런티어 모델이 사용자의 예술적 지시 아래 코드, 그래픽, 합성, 외부 생성기를 관리한다.

하나의 은유가 클립 전체를 이끈다. 벽으로 둘러싸인 맨해튼은 샌드박스, 소녀는 탈출한 모델, HUD는 연구소이며, CONTAINMENT 카운터는 100%에서 0%로 떨어진다.

ChatGPT가 DDay.it 자체의 AI 위험 기사에서 가사를 썼고, Suno v6-mini가 4:44 길이의 다크 테크노 트랙을 만들었다. 캐릭터는 GPT-Image 2.5에서 디자인되었으며(천 아래에 숨겨진 로봇 팔), Escape from New York과 The Warriors의 저해상도 프레임 무드보드를 참고했다. Opus 5.5는 librosa, Demucs, whisper.cpp로 트랙을 분석하고, 최소 네 가지 버전을 거쳐 스토리보드를 작성했으며, Seedance 2.5와 Kling 3.0 API를 호출해 영상을 확보했다. 비용은 수십 유로였다.

2026년 10월 3일 공개된 4분 44초 영상과 함께 과정 전체가 설명되었다. 조회수는 제시되지 않았다. 실제 산출물은 입증된 워크플로이며, 팀이 점점 더 통제력을 잃는다고 느꼈다는 고백이기도 하다.

Sora로 생성한 클립을 손으로 편집해 'Barok' 뮤직비디오를 만든 지 1년 후, 이탈리아 테크 사이트 DDay.it은 분업을 달리해 실험을 다시 진행했다. 곡 'Doomed Mode'를 위해 Claude Opus 5.5가 스토리보드, 모델, 애니메이션, HUD, 편집을 오케스트레이션했고, 인간은 '주로 선택을 했다'. 이들의 기사 제목은 이를 분명히 말한다. '점점 더 통제력을 잃는 느낌'.

곡 자체는 처음부터 끝까지 기계가 만들었다. ChatGPT가 DDay.it 자체의 AI 위험 기사에서 가사를 추출했고 — 기계의 반란이 아니라 작은 오류와 지름길로 인해 컨테인먼트가 실패하는 것에 관한 디스토피아 클럽 트랙('But we ship it anyway') — Suno v6-mini가 이를 제작했다. 캐릭터는 GPT-Image 2.5에서 디자인되었으며, 천 아래에 로봇 팔을 숨긴 소녀였다. 무드보드는 Escape from New York과 The Warriors의 저해상도 프레임에서 가져왔다.

그런 다음 Opus 5.5가 제작을 진행했다. 트랙을 측정할 도구를 요청했고(비트와 에너지를 위한 librosa, 보컬 분리를 위한 Demucs, 단어 수준 타이밍을 위한 whisper.cpp), 모든 절을 10분의 1초 단위까지 매핑했으며, 스토리보드를 작성했다. 영상 전체에 하나의 은유가 유지된다. 벽으로 둘러싸인 맨해튼은 샌드박스, 소녀는 탈출하는 모델, HUD는 그녀를 지켜보는 실험실이다. CONTAINMENT 카운터는 100%에서 0%로 떨어지고, PHYSICAL MODEL: LEARNING 게이지는 12%에서 100%로 상승한다.

영상은 Seedance 2.5와 Kling 3.0에 대한 API 호출로 확보되었으며 비용은 수십 유로였다. 스토리보드는 최소 네 가지 버전을 거쳤고, 아웃트로의 '00:00 — MODE: DOOMED'까지 섹션별로 시간이 맞춰졌다.

주제와 방법이 서로를 비춘다. AI 통제 상실에 관한 곡을, AI 오케스트레이터에게 제작 통제를 넘겨 만들어졌다.

하나의 은유 — 샌드박스 도시, 탈출하는 모델, 지켜보는 실험실 — 가 기계가 조립한 클립에 읽히는 극적 척추를 부여했다.

오케스트레이터 패턴은 몇 주 분량의 합성 및 편집 작업을 모델과의 대화 및 저렴한 API 호출로 압축했다.

수동 대체 수단은 중요한 곳에서 인간의 손에 남았다. 캐릭터 디자인과 이야기 선택은 모델이 실행되기 전에 이루어졌다.

모델이 도구를 쥐고 있을 때, 의미는 인간에게 남겨라. 은유, 캐릭터, 선택은 제작자에게 남았고, 그것이 작품이 일반적인 AI 산출물로 녹아내리는 것을 막았다.

영상과 과정 설명은 'Barok' 1년 후인 2026년 10월 3일 DDay.it에 공개되었다. 기사는 이 실험을 오케스트레이터 워크플로의 힘 — 그리고 인간이 이미 얼마나 많은 방향성을 넘겨주었는지 — 의 증거로 제시한다.