Dpt., 촉각을 생성형 AI의 프롬프트로 바꾸다 — 이제 SFMOMA와 클리블랜드에서

의뢰서는 없었다. Dpt.의 최고혁신책임자 위그 브뤼예르는 생성형 AI가 촉각적이고 반응적인 매체로서 어떻게 작동하는지 보고 싶어 했다.

카메라가 종이, 점토, 그리고 당신의 손을 지켜본다. 이미지 대 이미지 확산 파이프라인이 그것들을 실시간으로 다시 그린다 — 촉각이 곧 프롬프트다.

카메라 앞에 배치된 종이, 점토, 일상 사물이 SDXL Turbo 이미지 대 이미지 파이프라인에 입력되고, 각 제스처는 즉각적인 시각적 반응을 돌려준다. 이 연구는 클리블랜드 미술관의 Art Morph와 SFMOMA의 The Latent Space로 발전했다.

Art Morph는 클리블랜드 방문객이 천과 사물을 미술관의 오픈 액세스 컬렉션에서 가져온 작품으로 바꿀 수 있게 한다. The Latent Space(2025년 11월)는 사진작가 알레한드로 카르타헤나와 함께 주택 소유와 학습 데이터 편향을 주제로 한 SFMOMA의 라이브 퍼포먼스였다.

체험 디자인 스튜디오인 Dpt.는 최고혁신책임자 위그 브뤼예르가 이끄는 열린 연구개발 프로젝트 Hands-on Hallucinations를 운영한다. 그는 생성형 AI에 말로 프롬프트를 입력하는 대신, SDXL Turbo 이미지 대 이미지 파이프라인에 연결된 카메라 앞에 종이, 점토, 사물을 배치했다. 모든 제스처가 즉각적인 시각적 반응을 만들어내면서, 모델은 텍스트 프롬프트 도구가 아니라 직접 만지고 반응하는 매체가 되었다.

이 탐구는 클리블랜드 미술관의 Art Morph가 되었다. 미술관이 Design I/O와 함께 구축한 21개의 새로운 체험으로 재구상된 ArtLens 갤러리에서 Dpt.는 두 설치작업에 협업했는데, 방문객은 플랫폼 위에 천, 종이, 사물을 올려놓고 AI가 그것들을 미술관의 오픈 액세스 컬렉션에서 영감을 받은 작품으로 실시간 변환하는 모습을 지켜본다. 재료는 정기적으로 교체되어 설치작업이 계속 진화한다.

두 번째 파생 프로젝트인 The Latent Space(2025년 11월)는 SFMOMA에서 라이브로 투사되었다. 브뤼예르는 멕시코 사진작가 알레한드로 카르타헤나와 '집을 꿈꾸는 것은 어떤 모습인가?'라는 질문을 두고 협업하며, 카르타헤나가 촬영한 집과 교외의 사진으로 맞춤형 LoRA를 학습시키는 한편 방문객은 이미지를 조종하는 사물을 만졌다. 이는 학습 데이터의 재현 편향과 현대 멕시코의 주택 소유 이상에 관한 작업이다.

텍스트 프롬프트를 제스처와 재료로 대체하여 모델이 물리적 매체처럼 반응하게 만들었다

미술관 적용은 사후에 이루어졌으며, 의도적으로 열린 연구의 산물이었다

Art Morph는 결과물을 미술관 자체의 오픈 액세스 이미지와 연결하므로 놀이가 컬렉션 기반으로 유지된다

The Latent Space는 같은 기반을 활용해 단순한 오락이 아니라 학습 데이터 편향을 문제 삼았다

목적 없이 진행하는 열린 연구개발이 전략이 될 수 있다 — 같은 탐구가 매우 다른 두 미술관 프로젝트가 되었다.

Dpt.는 Hands-on Hallucinations가 새로운 모델, 상호작용, 출력 형식을 탐구하며 계속된다고 밝혔다. 스튜디오는 두 미술관 프로젝트를, 목표 없는 연구개발이 적합한 기관이 찾아왔을 때 준비된 지식과 도구를 남긴다는 증거로 제시한다.