DEPT、レンブラントの肖像画をリアルタイムAI対話に変える

DEPTは、台本通りのデモにせずに、ストーリーテリングと生成AIを融合させたかった。有用なテストケースは文化的な解釈だった。歴史的な肖像画はライブのガイドになれるのか。

肖像画をインターフェースとして扱う。レンブラントの画像に目、耳、声、そして台本のない返答を与え、来館者が作品と会話できるようにする。

DOGSTUDIO/DEPTはAI支援による音声・画像・映像生成からデジタルクローンを構築し、それをカメラ、マイク、独自のバックエンド、LLMに接続して、肖像画が来館者を知覚しリアルタイムで応答できるようにした。

このプロトタイプは、来館者が身につけた誕生日バッジや手に持った本など、物体や文脈を識別できた。後にWebbyはTalking Portraitsに、AI部門とイマーシブ部門にまたがる2026年の3つの賞を与えた。

Talking Portraitsは、多くの来館者がすでに知っている空想から始まった。話しかけ返してくる絵画である。DEPTとDOGSTUDIOは最初の被写体としてレンブラントの《使徒パウロとしての自画像》を選び、静的な作品をライブの会話ができるAIキャラクターに変えた。

構築は複数の層を組み合わせた。チームはデジタルクローンを訓練するための素材を生成し、AIの音声・画像・映像生成を加え、さらにキャラクターをストリーミング、キュー、アイドル状態、リアルタイムのやり取りのための独自インターフェースとバックエンドを通して動かした。

この肖像画は顔のついたチャットボットにとどまらなかった。カメラとマイクに接続され、来館者の声を聞き、ジェスチャーやテキストを見て、そのやり取りを流暢で台本のない会話のために訓練されたLLMに通すことができた。

その成果は、博物館や学校における新たな役割を示唆した。解釈を対話として行うことである。Webby AwardsはTalking Portraitsを2026年の3つの賞で評価し、その中にはAI Arts, Culture & EventsとBest Real-Time Engagementが含まれた。

「話す絵画」という空想はすでに文化的に理解可能なため、このアイデアは自らを説明する。

コンピュータビジョンによって、やり取りは一般的なものではなく、その場に即したものに感じられた。

有名な歴史的肖像画が、プロトタイプに十分な素材と観客の好奇心を与えた。

このプロジェクトはAIを単なるコンテンツ生成器ではなく、解釈のインターフェースとして位置づけた。

新しいインターフェースは、馴染みのある文化的な空想を借りると理解しやすくなる。技術的な仕掛けよりも、人々がすぐに理解できるインタラクションの方が重要である。

DEPTは公開されたバージョンを始まりと位置づけ、アニメーションの忠実度、会話のニュアンス、リアリズムを高めた第2バージョンが進行中だと述べた。その後Webbyでの評価により、このプロトタイプは芸術文化の事例であると同時に、リアルタイムAIエンゲージメントの事例として位置づけられた。