Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AR グラスにChatGPTを入れてみた V2.0
Search
kotauchisunsun
June 24, 2024
Technology
0
150
AR グラスにChatGPTを入れてみた V2.0
【大阪】XRミーティング 2024/06/19【AR/CR/MR/SR/VR】 で発表
https://osaka-driven-dev.connpass.com/event/319959/
kotauchisunsun
June 24, 2024
Tweet
Share
More Decks by kotauchisunsun
See All by kotauchisunsun
今、スマートグラスが熱い。
kotauchisunsun
0
120
RooCodeによる開発の夢と実践の現実
kotauchisunsun
0
240
書籍「テスト駆動」が 教えてくれること 教えてくれないこと 知っておくべきこと
kotauchisunsun
0
120
2025年のARグラスの潮流
kotauchisunsun
0
1k
幻のLispマシン
kotauchisunsun
0
270
仮想と実存。その融合する世界を創る。 ~XR業界へ就職・転職のために必要な経験・スキルとは?~
kotauchisunsun
0
72
ARグラスにChatGPTを入れてみた V2.2
kotauchisunsun
0
180
AR グラスにChatGPTを入れてみた V2.1
kotauchisunsun
1
180
ARグラスにChatGPTを入れてみた
kotauchisunsun
0
650
Other Decks in Technology
See All in Technology
AIエージェントの地上戦 〜開発計画と運用実践 / 2025/04/08 Findy W&Bミートアップ #19
smiyawaki0820
27
8.6k
低レイヤを知りたいPHPerのためのCコンパイラ作成入門 / Building a C Compiler for PHPers Who Want to Dive into Low-Level Programming
tomzoh
0
210
はじめてのSDET / My first challenge as a SDET
bun913
1
210
食べログが挑む!飲食店ネット予約システムで自動テスト無双して手動テストゼロを実現する戦略
hagevvashi
2
260
Cursor AgentによるパーソナルAIアシスタント育成入門―業務のプロンプト化・MCPの活用
os1ma
11
3.6k
AWS全冠芸人が見た世界 ~資格取得より大切なこと~
masakiokuda
4
2.6k
アセスメントで紐解く、10Xのデータマネジメントの軌跡
10xinc
1
370
Beyond {shiny}: The Future of Mobile Apps with R
colinfay
1
380
LLM とプロンプトエンジニアリング/チューターをビルドする / LLM, Prompt Engineering and Building Tutors
ks91
PRO
1
220
Amazon S3 Tables + Amazon Athena / Apache Iceberg
okaru
0
260
”知のインストール”戦略:テキスト資産をAIの文脈理解に活かす
kworkdev
PRO
9
4.2k
バックオフィス向け toB SaaS バクラクにおけるレコメンド技術活用 / recommender-systems-in-layerx-bakuraku
yuya4
5
370
Featured
See All Featured
Designing for Performance
lara
607
69k
Bash Introduction
62gerente
611
210k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
41
2.2k
Automating Front-end Workflow
addyosmani
1369
200k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
135
33k
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.8k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
45
9.5k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
178
53k
A designer walks into a library…
pauljervisheath
205
24k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
2.9k
Gamification - CAS2011
davidbonilla
81
5.2k
Transcript
AR グラスにChatGPTを入れてみた V2.0 @kotauchisunsun
自己紹介 • こたうち さんさん • @kotauchisunsun • 株式会社STYLY 2019年入社 •
サーバーサイド責任者 • プラットフォーム部 EM
None
None
None
None
ARグラスだ!!
ワイもやりたい
つくりました
ハードウェアについて
ARスマートグラスについて 製品名 INMO Air2 製造販売 INMO社 発売日 2023年4月20日 価格 $550(86,385円)
重さ 99g 区分 スタンドアローン型 稼働時間 2時間
コントローラーについて 製品名 Galaxy Watch4 発売日 2021/9/22 価格 約3万円 アプリ名 WowMouse
開発元 DoublePoint 公開日 2024/4/16 価格 無料
WowMouseについて 手のひら下 手のひら上 マウス動作 2種類のタッ プ検出 加速度センサー
WowMouseの注意点 • 対応しているスマートウォッチが、とても限定されている • 以下のリストのスマートウォッチしか動かない https://docs.doublepoint.com/docs/wowmouse/
システム構成 Whisper API マウスのシミュレーション 音声 画像 テキスト INMO Air2 GalaxyWatch
4 Wow Mouse gpt-4o Text-to-Speech テキスト 音声
INMO Air2/ChatGPTシステムの問題点 Whisper API gpt-4o Text-to-Speech 音声 テキスト テキスト 音声
Whisper API gpt-4o Text-to-Speech レイテンシ レイテンシ レイテンシ レイテンシ 機能がクラウドにあるのでレイテンシが重なり、応答速度が遅い。
レイテンシ改善の方策? Whisper API gpt-4o Text-to-Speech 音声 テキスト テキスト 音声 SpeechRecognizer
TextToSpeech ? ?
普通のスマホとは何か Google Mobile Service 認定 スマホメーカー
INMO Air2はGoogleの認可を受けていない GoogleMobileService Speech Recognizer TextToSpeech GPS Pixel7 GoogleMobileService Speech
Recognizer TextToSpeech GPS INMO Air2 音声認識やテキスト読み上げのAndroidの機能を使うことが出来ない。 →Androidの機能を用いたレイテンシ改善できない。
コ〇ン君の”アレ”は出来ない・・・・ GoogleMobileService Speech Recognizer TextToSpeech GPS INMO Air2 https://www.ytv.co.jp/conan/item/glasses/
まとめ • 良かった点 ◦ かなり手軽に使える ◦ スマートウォッチによるインターフェースが面白い ◦ gpt4-oの画像の認識精度が良く、賢い •
悪かった点 ◦ クラウドを利用しているため応答速度が悪い ◦ 普通のスマホで使えるような機能が使えない
6/22(土)にLODGE XR Talkでブース展示しています! ARグラス+ChatGPTデモ かんたん3Dスキャン STYLY小冊子配布