Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GeminiとUnityで実現するインタラクティブアート
Search
ほき
December 01, 2024
Technology
0
1.4k
GeminiとUnityで実現するインタラクティブアート
GDG DevFest Tokyo 2024 のLT枠で発表した内容です.
学園祭で展示したGDGoC TUATと東京農工大学ステージ研究会の共創プロジェクトについて発表しました.
ほき
December 01, 2024
Tweet
Share
More Decks by ほき
See All by ほき
脳波を用いた嗜好マッチングシステム
hokkey621
0
420
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
hokkey621
0
53
Learning to Model the World with Language
hokkey621
0
6
LT - Gemma Developer Time
hokkey621
0
5
wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations
hokkey621
0
5
イベントを主催してわかった運営のノウハウ
hokkey621
0
72
Google AI “Gemini”を使ったチャットBot
hokkey621
0
79
Solution Challenge 2024 で作ったもの紹介
hokkey621
0
33
不器用な人のためのfish shell/fishshell-is-good-to-bungler
hokkey621
0
55
Other Decks in Technology
See All in Technology
大規模イベントを支える ABEMA の アーキテクチャ 変遷 2025
nagapad
5
500
経験がないことを言い訳にしない、 AI時代の他領域への染み出し方
parayama0625
0
260
メモ整理が苦手な者による頑張らないObsidian活用術
optim
0
150
生成AIを活用した野球データ分析 - メジャーリーグ編 / Baseball Analytics for Gen AI
shinyorke
PRO
1
200
Vision Language Modelと自動運転AIの最前線_20250730
yuyamaguchi
1
430
会社もクラウドも違うけど 通じたコスト削減テクニック/Cost optimization strategies effective regardless of company or cloud provider
aeonpeople
2
360
Wasmで社内ツールを作って配布しよう
askua
0
150
2025-07-25 NOT A HOTEL TECH TALK ━ スマートホーム開発の最前線 ━ SOFTWARE
wakinchan
0
170
From Live Coding to Vibe Coding with Firebase Studio
firebasethailand
1
300
ファインディにおける Dataform ブランチ戦略
hiracky16
0
210
手動からの解放!!Strands Agents で実現する総合テスト自動化
ideaws
3
390
Recoil脱却の現状と挑戦
kirik
3
460
Featured
See All Featured
Typedesign – Prime Four
hannesfritz
42
2.7k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Mobile First: as difficult as doing things right
swwweet
223
9.7k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Art, The Web, and Tiny UX
lynnandtonic
301
21k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
21k
Agile that works and the tools we love
rasmusluckow
329
21k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
Side Projects
sachag
455
43k
BBQ
matthewcrist
89
9.8k
Transcript
GeminiとUnityで実現する インタラクティブアート
プロダクト概要 • テーマはコミュニケーション • 感想ノートをデジタルアート化 • 来場者の入力によって表示が変化 #農工祭interactiveArt
None
システム構成図 入力 解析 生成 出力 発話 手書き タイピング LEDライト 投影機
スピーカー 照明 エフェクト 映像描画 SE 文章解析 座標化
入力 • 来場者の想いを言葉にして入力 • 幅広い年齢のユーザに対応する ために多様な入力方法を提供 ◦ キーボード ◦ 音声
◦ 手書き文字 ArUco Marker Google Document AI Google Speech to Text 文章解析 キーボード 手書き 音声
座標生成 • GoogleのEmbeddings APIを用いて文章を埋め込みベクトルに変換 • 主成分分析で4次元ベクトルに変換 Texts 756 Embedding Vector
4 Star position PCA
映像生成 • Pythonから4次元ベクトルを受信 • 時刻によって投影の視点を変化 • 遠近投影で3次元投影 Unity 4次元ベクトル 回転、投影行列
3次元ベクトル 投影 Python
中間の文章を生成 • 2つの文章をランダムで選択 • 中間的な文章生成を行わせる • JSONモードで出力 “ふたつの文章が入力されます。この 2つの文章の意味について考え、意味 の空間の中で中点に存在するであろ
う文章を生成してください。元の文 章について、その意味のみを抽出 し、出力結果にはその文字面がもれ ることのないようにしてください。 できるだけ具体的に出力してくださ い。”
206 人 2日間で が遊んでくれました
まとめ • コミュニケーションをテーマにしたインタラクティブアートを展示 • 時間を超えた人と人のつながりを表現 • プログラミングサークル以外との共創