Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AR グラスにChatGPTを入れてみた V2.0
Search
kotauchisunsun
June 24, 2024
Technology
0
170
AR グラスにChatGPTを入れてみた V2.0
【大阪】XRミーティング 2024/06/19【AR/CR/MR/SR/VR】 で発表
https://osaka-driven-dev.connpass.com/event/319959/
kotauchisunsun
June 24, 2024
Tweet
Share
More Decks by kotauchisunsun
See All by kotauchisunsun
スマートグラスの重量と価格に関する課題の整理とアプローチについて
kotauchisunsun
0
22
スマートグラスのトリレンマ
kotauchisunsun
0
42
2025年上半期のスマートグラスの概況
kotauchisunsun
0
100
どのAI Coding Agentが一番使われてる? ~ ai-coding.info にみるGithubリポジトリのAI Coding Agent利用状況 ~
kotauchisunsun
0
750
OpenHands🤲にContributeしてみた
kotauchisunsun
1
820
A-Scouterの紹介 ~AtomS3/S3Rのスカウター化キット~
kotauchisunsun
0
98
今、スマートグラスが熱い。
kotauchisunsun
0
230
RooCodeによる開発の夢と実践の現実
kotauchisunsun
0
870
書籍「テスト駆動」が 教えてくれること 教えてくれないこと 知っておくべきこと
kotauchisunsun
0
150
Other Decks in Technology
See All in Technology
COVESA VSSによる車両データモデルの標準化とAWS IoT FleetWiseの活用
osawa
1
400
人工衛星のファームウェアをRustで書く理由
koba789
15
8.3k
開発者を支える Internal Developer Portal のイマとコレカラ / To-day and To-morrow of Internal Developer Portals: Supporting Developers
aoto
PRO
1
480
Oracle Cloud Infrastructure IaaS 新機能アップデート 2025/06 - 2025/08
oracle4engineer
PRO
0
110
Platform開発が先行する Platform Engineeringの違和感
kintotechdev
4
590
MagicPod導入から半年、オープンロジQAチームで実際にやったこと
tjoko
0
110
バイブスに「型」を!Kent Beckに学ぶ、AI時代のテスト駆動開発
amixedcolor
2
590
Snowflake Intelligence × Document AIで“使いにくいデータ”を“使えるデータ”に
kevinrobot34
1
120
「全員プロダクトマネージャー」を実現する、Cursorによる仕様検討の自動運転
applism118
22
12k
LLMを搭載したプロダクトの品質保証の模索と学び
qa
0
1.1k
会社紹介資料 / Sansan Company Profile
sansan33
PRO
6
380k
スマートファクトリーの第一歩 〜AWSマネージドサービスで 実現する予知保全と生成AI活用まで
ganota
2
320
Featured
See All Featured
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.5k
How to Think Like a Performance Engineer
csswizardry
26
1.9k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
113
20k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
Code Review Best Practice
trishagee
71
19k
Producing Creativity
orderedlist
PRO
347
40k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.7k
Side Projects
sachag
455
43k
Agile that works and the tools we love
rasmusluckow
330
21k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
131
19k
Embracing the Ebb and Flow
colly
87
4.8k
Transcript
AR グラスにChatGPTを入れてみた V2.0 @kotauchisunsun
自己紹介 • こたうち さんさん • @kotauchisunsun • 株式会社STYLY 2019年入社 •
サーバーサイド責任者 • プラットフォーム部 EM
None
None
None
None
ARグラスだ!!
ワイもやりたい
つくりました
ハードウェアについて
ARスマートグラスについて 製品名 INMO Air2 製造販売 INMO社 発売日 2023年4月20日 価格 $550(86,385円)
重さ 99g 区分 スタンドアローン型 稼働時間 2時間
コントローラーについて 製品名 Galaxy Watch4 発売日 2021/9/22 価格 約3万円 アプリ名 WowMouse
開発元 DoublePoint 公開日 2024/4/16 価格 無料
WowMouseについて 手のひら下 手のひら上 マウス動作 2種類のタッ プ検出 加速度センサー
WowMouseの注意点 • 対応しているスマートウォッチが、とても限定されている • 以下のリストのスマートウォッチしか動かない https://docs.doublepoint.com/docs/wowmouse/
システム構成 Whisper API マウスのシミュレーション 音声 画像 テキスト INMO Air2 GalaxyWatch
4 Wow Mouse gpt-4o Text-to-Speech テキスト 音声
INMO Air2/ChatGPTシステムの問題点 Whisper API gpt-4o Text-to-Speech 音声 テキスト テキスト 音声
Whisper API gpt-4o Text-to-Speech レイテンシ レイテンシ レイテンシ レイテンシ 機能がクラウドにあるのでレイテンシが重なり、応答速度が遅い。
レイテンシ改善の方策? Whisper API gpt-4o Text-to-Speech 音声 テキスト テキスト 音声 SpeechRecognizer
TextToSpeech ? ?
普通のスマホとは何か Google Mobile Service 認定 スマホメーカー
INMO Air2はGoogleの認可を受けていない GoogleMobileService Speech Recognizer TextToSpeech GPS Pixel7 GoogleMobileService Speech
Recognizer TextToSpeech GPS INMO Air2 音声認識やテキスト読み上げのAndroidの機能を使うことが出来ない。 →Androidの機能を用いたレイテンシ改善できない。
コ〇ン君の”アレ”は出来ない・・・・ GoogleMobileService Speech Recognizer TextToSpeech GPS INMO Air2 https://www.ytv.co.jp/conan/item/glasses/
まとめ • 良かった点 ◦ かなり手軽に使える ◦ スマートウォッチによるインターフェースが面白い ◦ gpt4-oの画像の認識精度が良く、賢い •
悪かった点 ◦ クラウドを利用しているため応答速度が悪い ◦ 普通のスマホで使えるような機能が使えない
6/22(土)にLODGE XR Talkでブース展示しています! ARグラス+ChatGPTデモ かんたん3Dスキャン STYLY小冊子配布