Dpt.は触覚を生成AIへのプロンプトに変えた — 今やSFMOMAとクリーブランドに

クライアントの依頼はなかった。Dpt.の最高イノベーション責任者ヒューグ・ブルイエールは、生成AIが触覚的で応答性のある媒体としてどう振る舞うかを見たかったのだ。

カメラが紙、粘土、そしてあなたの手を観察し、image-to-image拡散パイプラインがそれらをライブで塗り替える — 触れることがプロンプトになる。

カメラの前に並べられた紙、粘土、日用品がSDXL Turboのimage-to-imageパイプラインに送り込まれ、ジェスチャーごとに即座の視覚的反応が返ってくる。この研究はクリーブランド美術館のArt MorphとSFMOMAのThe Latent Spaceへと発展した。

Art Morphでは、クリーブランドの来館者が布や物体を、美術館のOpen Accessコレクションから描き出された作品へと変えることができる。The Latent Space（2025年11月）は、写真家アレハンドロ・カルタヘナとともに住宅所有と学習データのバイアスをテーマにしたSFMOMAでのライブパフォーマンスだった。

体験デザインスタジオのDpt.は、最高イノベーション責任者ヒューグ・ブルイエールが率いる自由な研究開発プロジェクト、Hands-on Hallucinationsを運営している。彼は生成AIに言葉でプロンプトを与える代わりに、紙、粘土、物体をカメラの前に並べ、そのカメラをSDXL Turboのimage-to-imageパイプラインに接続した。すべてのジェスチャーが即座の視覚的反応を生み出し、モデルをテキストプロンプトのツールではなく、触覚的で応答性のある媒体にしたのだ。

この探求はクリーブランド美術館のArt Morphとなった。再構想されたArtLensギャラリー — 美術館がDesign I/Oとともに構築した21の新しい体験で、Dpt.は2つのインスタレーションに協力した — で、来館者は布、紙、物体をプラットフォームに置き、AIがそれらを美術館のOpen Accessコレクションに触発された作品へとリアルタイムで変容させるのを見る。素材は定期的に入れ替えられるため、インスタレーションは進化し続ける。

2つ目の派生であるThe Latent Space（2025年11月）は、SFMOMAでライブ投影された。ブルイエールはメキシコ人写真家アレハンドロ・カルタヘナと、「家を夢見るとはどのようなものか」という問いをめぐって協働し、カルタヘナが撮影した家や郊外の写真でカスタムLoRAを訓練する一方、来館者は画像を誘導する物体を手にした — 学習データにおける表象のバイアスと、現代メキシコの住宅所有という理想についての作品である。

テキストプロンプトをジェスチャーと素材に置き換え、モデルを物理的な媒体のように応答させた

美術館での応用は後から生まれたもので、意図的に自由な研究の産物だった

Art Morphは出力を美術館自身のOpen Access画像に結びつけているため、遊びはコレクションに基づいたままになる

The Latent Spaceは同じ基盤を用いて、ただ楽しませるのではなく学習データのバイアスを問うた

用途を決めない自由な研究開発が戦略になり得る — 同じ探求が、まったく異なる2つの美術館の委託へと発展したのだ。

Dpt.によれば、Hands-on Hallucinationsは新しいモデル、インタラクション、出力形式を探求しながら続いている。スタジオはこの2つの美術館プロジェクトを、目標を定めない研究開発が、ふさわしい機関が現れたときに備えた知識とツールを残す証拠だと位置づけている。