AR グラスにChatGPTを入れてみた V2.1

【XRトレンドウォッチ&体験会！】LODGE XR Talk Vol.16 Early Summer Special　で発表
https://lodge-xr-talk-16.peatix.com/event/3922171/view

動画
https://www.youtube.com/live/VXVmL1pbpXU?si=g9nKM5NfLE_oHoI9&t=10318

Transcript

1. AR グラスにChatGPTを入れてみた　 V2.1 @kotauchisunsun
2. 自己紹介 • こたうち さんさん • @kotauchisunsun • 株式会社STYLY 2019年入社 • サーバーサイド責任者 • プラットフォーム部 EM
3. 最近のSTYLY
4. 「AUGGIE AWARDS 2024」Best Creator & Authoring Tool部門 受賞！ 空間レイヤープラットフォーム「 STYLY」を提供する 株式会社STYLY（東京都新宿）は、日本時間 2024 年6月20日（水）に発表された世界最大の XRカン ファレンス「AWE（Augmented World Expo）」内の グローバルアワード「 AUGGIE AWARDS 2024」 Best Creator & Authoring Tool部門において、 「STYLY Studio」が受賞したことをお知らせします。 https://prtimes.jp/main/html/rd/p/000000244.000023281.html
5. Unity 2019.4.29f1 Unity 2022.3.24f1 STYLYの利用Unityバージョン更新 STYLY 3.0 来週水曜日 6/26公開予定
6. というわけで本題
11. ARグラスだ！！
12. ワイもやりたい
13. つくりました
14. ハードウェアについて
15. ARスマートグラスについて 製品名 INMO Air2 製造販売 INMO社 発売日 2023/4/20 OS Android 10 価格 $550(86,385円) 重さ 99g 区分 スタンドアローン型 稼働時間 2時間
16. コントローラーについて 製品名 Galaxy Watch4 発売日 2021/9/22 価格 約3万円 アプリ名 WowMouse 開発元 DoublePoint 公開日 2024/4/16 価格 無料
17. WowMouseについて 手のひら下 手のひら上 マウス動作 2種類のタッ プ検出 加速度センサー
18. WowMouseの注意点 • 対応しているスマートウォッチが、とても限定されている • 以下のリストのスマートウォッチしか動かない https://docs.doublepoint.com/docs/wowmouse/
19. システム構成 Whisper API マウスのシミュレーション 音声 画像 テキスト INMO Air2 GalaxyWatch 4 Wow Mouse gpt-4o Text-to-Speech テキスト 音声
20. 入力データについて Q. 電脳コイルについて教えてください。 Q. 目の前の飲み物は何ですか？
21. 入力データについて Q. 電脳コイルについて教えてください。 Q. 目の前の飲み物は何ですか？ 質問 質問 画像
22. 入力データについて Q. 電脳コイルについて教えてください。 Q. 目の前の飲み物は何ですか？ 質問 質問 画像 質問の内容によって画像の必要・不要が変わる。 →どうやって画像の必要・不要を判定しているのか？
23. A.実は画像の必要・不要判定してない。
24. プロンプト芸 あなたは小型端末に搭載された物静かで聡明な高性能のチャットボットです。名前はオ モイカネです。 （中略） また、画像が常に提示されますが、これはユーザーが見ている視点と同じ内容で、問 い合わせた内容と関係がない場合があります。 問い合わせた内容と画像が関係あるかないかを常に判断し、関係ない場合は画像を 無視して回答してください。 GPT-4oが自動で画像の必要・不要の判定をしている。
25. 対話システムの画像の要否判定 GPT-4o 質問 画像 プロンプト 常に入力 画像が必要かな・・・？ 不要かな・・・？ 応答 画像は常に入力した状態にして、プロンプトで GPT-4oに要否を判断させている。 常に入力
26. まとめ • 良かった点 ◦ かなり手軽に使える ◦ スマートウォッチによるインターフェースが面白い ◦ gpt4-oの画像の認識精度が良く、賢い ◦ プロンプトだけで画像の必要・不要が判定できる • 悪かった点 ◦ クラウドを利用しているため応答速度が悪い ◦ スマートウォッチが誤検知する
27. ブース展示しています！ ARグラス+ChatGPTデモ かんたん3Dスキャン STYLY小冊子配布 絶賛Unityエンジニア・サーバーサイドエンジニア募集中！