AR グラスにChatGPTを入れてみた　V2.1

AR グラスにChatGPTを入れてみた　 V2.1 @kotauchisunsun

自己紹介 • こたうちさんさん • @kotauchisunsun • 株式会社STYLY 2019年入社 •
サーバーサイド責任者 • プラットフォーム部 EM

最近のSTYLY

「AUGGIE AWARDS 2024」Best Creator & Authoring Tool部門受賞！空間レイヤープラットフォーム「 STYLY」を提供する
株式会社STYLY（東京都新宿）は、日本時間 2024 年6月20日（水）に発表された世界最大の XRカンファレンス「AWE（Augmented World Expo）」内のグローバルアワード「 AUGGIE AWARDS 2024」 Best Creator & Authoring Tool部門において、「STYLY Studio」が受賞したことをお知らせします。 https://prtimes.jp/main/html/rd/p/000000244.000023281.html

Unity 2019.4.29f1 Unity 2022.3.24f1 STYLYの利用Unityバージョン更新 STYLY 3.0 来週水曜日 6/26公開予定

というわけで本題

ARグラスだ！！

ワイもやりたい

つくりました

ハードウェアについて

ARスマートグラスについて製品名 INMO Air2 製造販売 INMO社発売日 2023/4/20 OS Android
10 価格 $550(86,385円) 重さ 99g 区分スタンドアローン型稼働時間 2時間

コントローラーについて製品名 Galaxy Watch4 発売日 2021/9/22 価格約3万円アプリ名 WowMouse
開発元 DoublePoint 公開日 2024/4/16 価格無料

WowMouseについて手のひら下手のひら上マウス動作 2種類のタップ検出加速度センサー

WowMouseの注意点 • 対応しているスマートウォッチが、とても限定されている • 以下のリストのスマートウォッチしか動かない https://docs.doublepoint.com/docs/wowmouse/

システム構成 Whisper API マウスのシミュレーション音声画像テキスト INMO Air2 GalaxyWatch
4 Wow Mouse gpt-4o Text-to-Speech テキスト音声

入力データについて Q. 電脳コイルについて教えてください。 Q. 目の前の飲み物は何ですか？

入力データについて Q. 電脳コイルについて教えてください。 Q. 目の前の飲み物は何ですか？質問質問画像

入力データについて Q. 電脳コイルについて教えてください。 Q. 目の前の飲み物は何ですか？質問質問画像質問の内容によって画像の必要・不要が変わる。 →どうやって画像の必要・不要を判定しているのか？

A.実は画像の必要・不要判定してない。

プロンプト芸あなたは小型端末に搭載された物静かで聡明な高性能のチャットボットです。名前はオモイカネです。（中略）また、画像が常に提示されますが、これはユーザーが見ている視点と同じ内容で、問い合わせた内容と関係がない場合があります。問い合わせた内容と画像が関係あるかないかを常に判断し、関係ない場合は画像を無視して回答してください。 GPT-4oが自動で画像の必要・不要の判定をしている。

対話システムの画像の要否判定 GPT-4o 質問画像プロンプト常に入力画像が必要かな・・・？不要かな・・・？応答画像は常に入力した状態にして、プロンプトで
GPT-4oに要否を判断させている。常に入力

まとめ • 良かった点 ◦ かなり手軽に使える ◦ スマートウォッチによるインターフェースが面白い ◦ gpt4-oの画像の認識精度が良く、賢い ◦
プロンプトだけで画像の必要・不要が判定できる • 悪かった点 ◦ クラウドを利用しているため応答速度が悪い ◦ スマートウォッチが誤検知する

ブース展示しています！ ARグラス+ChatGPTデモかんたん3Dスキャン STYLY小冊子配布絶賛Unityエンジニア・サーバーサイドエンジニア募集中！

AR グラスにChatGPTを入れてみた　V2.1

AR グラスにChatGPTを入れてみた　V2.1

kotauchisunsun

More Decks by kotauchisunsun

Other Decks in Technology

Featured

Transcript