Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AR グラスにChatGPTを入れてみた V2.0
Search
kotauchisunsun
June 24, 2024
Technology
0
160
AR グラスにChatGPTを入れてみた V2.0
【大阪】XRミーティング 2024/06/19【AR/CR/MR/SR/VR】 で発表
https://osaka-driven-dev.connpass.com/event/319959/
kotauchisunsun
June 24, 2024
Tweet
Share
More Decks by kotauchisunsun
See All by kotauchisunsun
A-Scouterの紹介 ~AtomS3/S3Rのスカウター化キット~
kotauchisunsun
0
70
今、スマートグラスが熱い。
kotauchisunsun
0
210
RooCodeによる開発の夢と実践の現実
kotauchisunsun
0
550
書籍「テスト駆動」が 教えてくれること 教えてくれないこと 知っておくべきこと
kotauchisunsun
0
130
2025年のARグラスの潮流
kotauchisunsun
0
1.1k
幻のLispマシン
kotauchisunsun
0
300
仮想と実存。その融合する世界を創る。 ~XR業界へ就職・転職のために必要な経験・スキルとは?~
kotauchisunsun
0
84
ARグラスにChatGPTを入れてみた V2.2
kotauchisunsun
0
180
AR グラスにChatGPTを入れてみた V2.1
kotauchisunsun
1
210
Other Decks in Technology
See All in Technology
OTFSG勉強会 / Introduction to the History of Delta Lake + Iceberg
databricksjapan
0
120
[TechNight #90-1] 本当に使える?ZDMの新機能を実践検証してみた
oracle4engineer
PRO
3
130
AIエージェントの継続的改善のためオブザーバビリティ
pharma_x_tech
6
1.4k
2年でここまで成長!AWSで育てたAI Slack botの軌跡
iwamot
PRO
2
120
Абьюзим random_bytes(). Фёдор Кулаков, разработчик Lamoda Tech
lamodatech
0
240
標準技術と独自システムで作る「つらくない」SaaS アカウント管理 / Effortless SaaS Account Management with Standard Technologies & Custom Systems
yuyatakeyama
2
760
~宇宙最速~2025年AWS Summit レポート
satodesu
1
750
2025/6/21 日本学術会議公開シンポジウム発表資料
keisuke198619
2
460
Snowflake Summit 2025全体振り返り / Snowflake Summit 2025 Overall Review
mtpooh
2
130
Oracle Audit Vault and Database Firewall 20 概要
oracle4engineer
PRO
2
1.6k
監視のこれまでとこれから/sakura monitoring seminar 2025
fujiwara3
10
2.7k
成立するElixirの再束縛(再代入)可という選択
kubell_hr
0
530
Featured
See All Featured
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
790
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Testing 201, or: Great Expectations
jmmastey
42
7.5k
What's in a price? How to price your products and services
michaelherold
245
12k
How to train your dragon (web standard)
notwaldorf
92
6.1k
GitHub's CSS Performance
jonrohan
1031
460k
Facilitating Awesome Meetings
lara
54
6.4k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
16
940
Transcript
AR グラスにChatGPTを入れてみた V2.0 @kotauchisunsun
自己紹介 • こたうち さんさん • @kotauchisunsun • 株式会社STYLY 2019年入社 •
サーバーサイド責任者 • プラットフォーム部 EM
None
None
None
None
ARグラスだ!!
ワイもやりたい
つくりました
ハードウェアについて
ARスマートグラスについて 製品名 INMO Air2 製造販売 INMO社 発売日 2023年4月20日 価格 $550(86,385円)
重さ 99g 区分 スタンドアローン型 稼働時間 2時間
コントローラーについて 製品名 Galaxy Watch4 発売日 2021/9/22 価格 約3万円 アプリ名 WowMouse
開発元 DoublePoint 公開日 2024/4/16 価格 無料
WowMouseについて 手のひら下 手のひら上 マウス動作 2種類のタッ プ検出 加速度センサー
WowMouseの注意点 • 対応しているスマートウォッチが、とても限定されている • 以下のリストのスマートウォッチしか動かない https://docs.doublepoint.com/docs/wowmouse/
システム構成 Whisper API マウスのシミュレーション 音声 画像 テキスト INMO Air2 GalaxyWatch
4 Wow Mouse gpt-4o Text-to-Speech テキスト 音声
INMO Air2/ChatGPTシステムの問題点 Whisper API gpt-4o Text-to-Speech 音声 テキスト テキスト 音声
Whisper API gpt-4o Text-to-Speech レイテンシ レイテンシ レイテンシ レイテンシ 機能がクラウドにあるのでレイテンシが重なり、応答速度が遅い。
レイテンシ改善の方策? Whisper API gpt-4o Text-to-Speech 音声 テキスト テキスト 音声 SpeechRecognizer
TextToSpeech ? ?
普通のスマホとは何か Google Mobile Service 認定 スマホメーカー
INMO Air2はGoogleの認可を受けていない GoogleMobileService Speech Recognizer TextToSpeech GPS Pixel7 GoogleMobileService Speech
Recognizer TextToSpeech GPS INMO Air2 音声認識やテキスト読み上げのAndroidの機能を使うことが出来ない。 →Androidの機能を用いたレイテンシ改善できない。
コ〇ン君の”アレ”は出来ない・・・・ GoogleMobileService Speech Recognizer TextToSpeech GPS INMO Air2 https://www.ytv.co.jp/conan/item/glasses/
まとめ • 良かった点 ◦ かなり手軽に使える ◦ スマートウォッチによるインターフェースが面白い ◦ gpt4-oの画像の認識精度が良く、賢い •
悪かった点 ◦ クラウドを利用しているため応答速度が悪い ◦ 普通のスマホで使えるような機能が使えない
6/22(土)にLODGE XR Talkでブース展示しています! ARグラス+ChatGPTデモ かんたん3Dスキャン STYLY小冊子配布