GeminiとUnityで実現するインタラクティブアート

GDG DevFest Tokyo 2024 のLT枠で発表した内容です．
学園祭で展示したGDGoC TUATと東京農工大学ステージ研究会の共創プロジェクトについて発表しました．

Transcript

1. GeminiとUnityで実現する インタラクティブアート
2. プロダクト概要 • テーマはコミュニケーション • 感想ノートをデジタルアート化 • 来場者の入力によって表示が変化 #農工祭interactiveArt
4. システム構成図 入力 解析 生成 出力 発話 手書き タイピング LEDライト 投影機 スピーカー 照明 エフェクト 映像描画 SE 文章解析 座標化
5. 入力 • 来場者の想いを言葉にして入力 • 幅広い年齢のユーザに対応する ために多様な入力方法を提供 ◦ キーボード ◦ 音声 ◦ 手書き文字 ArUco Marker Google Document AI Google Speech to Text 文章解析 キーボード 手書き 音声
6. 座標生成 • GoogleのEmbeddings APIを用いて文章を埋め込みベクトルに変換 • 主成分分析で4次元ベクトルに変換 Texts 756 Embedding Vector 4 Star position PCA
7. 映像生成 • Pythonから4次元ベクトルを受信 • 時刻によって投影の視点を変化 • 遠近投影で3次元投影 Unity 4次元ベクトル 回転、投影行列 3次元ベクトル 投影 Python
8. 中間の文章を生成 • 2つの文章をランダムで選択 • 中間的な文章生成を行わせる • JSONモードで出力 “ふたつの文章が入力されます。この 2つの文章の意味について考え、意味 の空間の中で中点に存在するであろ う文章を生成してください。元の文 章について、その意味のみを抽出 し、出力結果にはその文字面がもれ ることのないようにしてください。 できるだけ具体的に出力してくださ い。”
9. 206 人 2日間で が遊んでくれました
10. まとめ • コミュニケーションをテーマにしたインタラクティブアートを展示 • 時間を超えた人と人のつながりを表現 • プログラミングサークル以外との共創