Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GeminiとUnityで実現するインタラクティブアート
Search
ほき
December 01, 2024
Technology
0
1k
GeminiとUnityで実現するインタラクティブアート
GDG DevFest Tokyo 2024 のLT枠で発表した内容です.
学園祭で展示したGDGoC TUATと東京農工大学ステージ研究会の共創プロジェクトについて発表しました.
ほき
December 01, 2024
Tweet
Share
More Decks by ほき
See All by ほき
イベントを主催してわかった運営のノウハウ
hokkey621
0
56
Google AI “Gemini”を使ったチャットBot
hokkey621
0
50
Solution Challenge 2024 で作ったもの紹介
hokkey621
0
25
不器用な人のためのfish shell/fishshell-is-good-to-bungler
hokkey621
0
42
Other Decks in Technology
See All in Technology
MCP server を作って Claude Desktop アプリから kintone へアクセスすると楽しい
r3_yamauchi
PRO
1
120
Makuake*UPSIDER_LightningTalk
upsider_tech
0
200
Zenn のウラガワ ~エンジニアのアウトプットを支える環境で Google Cloud が採用されているワケ~ #burikaigi #burikaigi_h
kongmingstrap
18
6.9k
Skip Skip Run Run Run ♫
temoki
0
360
Postman Vaultを使った秘密情報の安全な管理
nagix
3
140
論文紹介 ”Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG” @GDG Tokyo
shukob
0
270
Autify Company Deck
autifyhq
2
41k
企業テックブログにおける執筆ネタの考え方・見つけ方・広げ方 / How to Think of, Find, and Expand Writing Topics for Corporate Tech Blogs
honyanya
0
820
インシデントキーメトリクスによるインシデント対応の改善 / Improving Incident Response using Incident Key Metrics
nari_ex
0
4.2k
Redshiftを中心としたAWSでのデータ基盤
mashiike
0
100
[JAWS-UG栃木]地方だからできたクラウドネイティブ事例大公開! / jawsug_tochigi_tachibana
biatunky
0
130
Microsoft Ignite 2024 最新情報!Microsoft 365 Agents SDK 概要 / Microsoft Ignite 2024 latest news Microsoft 365 Agents SDK overview
karamem0
0
190
Featured
See All Featured
Optimizing for Happiness
mojombo
376
70k
Making Projects Easy
brettharned
116
6k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.2k
Scaling GitHub
holman
459
140k
Into the Great Unknown - MozCon
thekraken
34
1.6k
How STYLIGHT went responsive
nonsquared
96
5.3k
How to Think Like a Performance Engineer
csswizardry
22
1.3k
Product Roadmaps are Hard
iamctodd
PRO
50
11k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
BBQ
matthewcrist
85
9.4k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
30
2.1k
Testing 201, or: Great Expectations
jmmastey
41
7.2k
Transcript
GeminiとUnityで実現する インタラクティブアート
プロダクト概要 • テーマはコミュニケーション • 感想ノートをデジタルアート化 • 来場者の入力によって表示が変化 #農工祭interactiveArt
None
システム構成図 入力 解析 生成 出力 発話 手書き タイピング LEDライト 投影機
スピーカー 照明 エフェクト 映像描画 SE 文章解析 座標化
入力 • 来場者の想いを言葉にして入力 • 幅広い年齢のユーザに対応する ために多様な入力方法を提供 ◦ キーボード ◦ 音声
◦ 手書き文字 ArUco Marker Google Document AI Google Speech to Text 文章解析 キーボード 手書き 音声
座標生成 • GoogleのEmbeddings APIを用いて文章を埋め込みベクトルに変換 • 主成分分析で4次元ベクトルに変換 Texts 756 Embedding Vector
4 Star position PCA
映像生成 • Pythonから4次元ベクトルを受信 • 時刻によって投影の視点を変化 • 遠近投影で3次元投影 Unity 4次元ベクトル 回転、投影行列
3次元ベクトル 投影 Python
中間の文章を生成 • 2つの文章をランダムで選択 • 中間的な文章生成を行わせる • JSONモードで出力 “ふたつの文章が入力されます。この 2つの文章の意味について考え、意味 の空間の中で中点に存在するであろ
う文章を生成してください。元の文 章について、その意味のみを抽出 し、出力結果にはその文字面がもれ ることのないようにしてください。 できるだけ具体的に出力してくださ い。”
206 人 2日間で が遊んでくれました
まとめ • コミュニケーションをテーマにしたインタラクティブアートを展示 • 時間を超えた人と人のつながりを表現 • プログラミングサークル以外との共創