Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AR グラスにChatGPTを入れてみた V2.0
Search
kotauchisunsun
June 24, 2024
Technology
0
150
AR グラスにChatGPTを入れてみた V2.0
【大阪】XRミーティング 2024/06/19【AR/CR/MR/SR/VR】 で発表
https://osaka-driven-dev.connpass.com/event/319959/
kotauchisunsun
June 24, 2024
Tweet
Share
More Decks by kotauchisunsun
See All by kotauchisunsun
A-Scouterの紹介 ~AtomS3/S3Rのスカウター化キット~
kotauchisunsun
0
53
今、スマートグラスが熱い。
kotauchisunsun
0
190
RooCodeによる開発の夢と実践の現実
kotauchisunsun
0
450
書籍「テスト駆動」が 教えてくれること 教えてくれないこと 知っておくべきこと
kotauchisunsun
0
130
2025年のARグラスの潮流
kotauchisunsun
0
1.1k
幻のLispマシン
kotauchisunsun
0
280
仮想と実存。その融合する世界を創る。 ~XR業界へ就職・転職のために必要な経験・スキルとは?~
kotauchisunsun
0
78
ARグラスにChatGPTを入れてみた V2.2
kotauchisunsun
0
180
AR グラスにChatGPTを入れてみた V2.1
kotauchisunsun
1
200
Other Decks in Technology
See All in Technology
AWS LambdaをTypeScriptで動かして分かった、Node.jsのTypeScriptサポートの利点と課題
smt7174
1
2.8k
会社紹介資料 / Sansan Company Profile
sansan33
PRO
6
360k
他チームへ越境したら、生データ提供ソリューションのクエリ費用95%削減へ繋がった話 / Cross-Team Impact: 95% Off Raw Data Query Costs
yamamotoyuta
0
150
プラットフォームとしての Datadog / Datadog as Platforms
aoto
PRO
1
270
初めてのGoogle Cloud by AWS出身者
harukasakihara
1
710
SmartHRの複数のチームにおけるMCPサーバーの活用事例と課題
yukisnow1823
1
800
All About Sansan – for New Global Engineers
sansan33
PRO
1
1.2k
Redmineの意外と知らない便利機能 (Redmine 6.0対応版)
vividtone
0
650
AIに実況させる / AI Streamer
motemen
1
1.1k
AIの電力問題を概観する
rmaruy
0
160
The Ultimate Showdown of Database Migration Tools
asm0dey
0
130
令和トラベルQAのAI活用
seigaitakahiro
0
380
Featured
See All Featured
4 Signs Your Business is Dying
shpigford
183
22k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Why You Should Never Use an ORM
jnunemaker
PRO
56
9.4k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.5k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
Agile that works and the tools we love
rasmusluckow
329
21k
Building an army of robots
kneath
306
45k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.5k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
12k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Testing 201, or: Great Expectations
jmmastey
42
7.5k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Transcript
AR グラスにChatGPTを入れてみた V2.0 @kotauchisunsun
自己紹介 • こたうち さんさん • @kotauchisunsun • 株式会社STYLY 2019年入社 •
サーバーサイド責任者 • プラットフォーム部 EM
None
None
None
None
ARグラスだ!!
ワイもやりたい
つくりました
ハードウェアについて
ARスマートグラスについて 製品名 INMO Air2 製造販売 INMO社 発売日 2023年4月20日 価格 $550(86,385円)
重さ 99g 区分 スタンドアローン型 稼働時間 2時間
コントローラーについて 製品名 Galaxy Watch4 発売日 2021/9/22 価格 約3万円 アプリ名 WowMouse
開発元 DoublePoint 公開日 2024/4/16 価格 無料
WowMouseについて 手のひら下 手のひら上 マウス動作 2種類のタッ プ検出 加速度センサー
WowMouseの注意点 • 対応しているスマートウォッチが、とても限定されている • 以下のリストのスマートウォッチしか動かない https://docs.doublepoint.com/docs/wowmouse/
システム構成 Whisper API マウスのシミュレーション 音声 画像 テキスト INMO Air2 GalaxyWatch
4 Wow Mouse gpt-4o Text-to-Speech テキスト 音声
INMO Air2/ChatGPTシステムの問題点 Whisper API gpt-4o Text-to-Speech 音声 テキスト テキスト 音声
Whisper API gpt-4o Text-to-Speech レイテンシ レイテンシ レイテンシ レイテンシ 機能がクラウドにあるのでレイテンシが重なり、応答速度が遅い。
レイテンシ改善の方策? Whisper API gpt-4o Text-to-Speech 音声 テキスト テキスト 音声 SpeechRecognizer
TextToSpeech ? ?
普通のスマホとは何か Google Mobile Service 認定 スマホメーカー
INMO Air2はGoogleの認可を受けていない GoogleMobileService Speech Recognizer TextToSpeech GPS Pixel7 GoogleMobileService Speech
Recognizer TextToSpeech GPS INMO Air2 音声認識やテキスト読み上げのAndroidの機能を使うことが出来ない。 →Androidの機能を用いたレイテンシ改善できない。
コ〇ン君の”アレ”は出来ない・・・・ GoogleMobileService Speech Recognizer TextToSpeech GPS INMO Air2 https://www.ytv.co.jp/conan/item/glasses/
まとめ • 良かった点 ◦ かなり手軽に使える ◦ スマートウォッチによるインターフェースが面白い ◦ gpt4-oの画像の認識精度が良く、賢い •
悪かった点 ◦ クラウドを利用しているため応答速度が悪い ◦ 普通のスマホで使えるような機能が使えない
6/22(土)にLODGE XR Talkでブース展示しています! ARグラス+ChatGPTデモ かんたん3Dスキャン STYLY小冊子配布