Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AR勉強会5章
Search
Tajima Itsuro
October 02, 2018
Technology
0
900
AR勉強会5章
Tajima Itsuro
October 02, 2018
Tweet
Share
More Decks by Tajima Itsuro
See All by Tajima Itsuro
小説執筆における生成AIの利用
niryuu
0
320
研究・執筆支援ツールとしての生成AI
niryuu
0
280
ChatGPTを聞き手にしよう
niryuu
0
1.1k
大規模言語モデルに基づいた対話型AIによる研究支援に関する初歩的分析
niryuu
1
530
プログラミング活動の中の情報源としてのStack Overflow
niryuu
0
160
Stack Overflowにおける編集活動:知識の公開という観点から
niryuu
0
210
Stack Overflow研究の諸側面とワークの研究によるアプローチ
niryuu
0
120
Stack Overflowにおける「知識の総和の増加」への志向と達成
niryuu
0
230
小回りの効く WebViewの使い方
niryuu
2
1.8k
Other Decks in Technology
See All in Technology
使いたいMCPサーバーはWeb APIをラップして自分で作る #QiitaBash
bengo4com
0
1.6k
Zero Data Loss Autonomous Recovery Service サービス概要
oracle4engineer
PRO
2
7.7k
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
27k
Yamla: Rustでつくるリアルタイム性を追求した機械学習基盤 / Yamla: A Rust-Based Machine Learning Platform Pursuing Real-Time Capabilities
lycorptech_jp
PRO
4
230
CursorによるPMO業務の代替 / Automating PMO Tasks with Cursor
motoyoshi_kakaku
2
930
PO初心者が考えた ”POらしさ”
nb_rady
0
190
さくらのIaaS基盤のモニタリングとOpenTelemetry/OSC Hokkaido 2025
fujiwara3
2
360
Understanding_Thread_Tuning_for_Inference_Servers_of_Deep_Models.pdf
lycorptech_jp
PRO
0
180
OPENLOGI Company Profile for engineer
hr01
1
34k
事業成長の裏側:エンジニア組織と開発生産性の進化 / 20250703 Rinto Ikenoue
shift_evolve
PRO
2
19k
マネジメントって難しい、けどおもしろい / Management is tough, but fun! #em_findy
ar_tama
7
910
AI時代の開発生産性を加速させるアーキテクチャ設計
plaidtech
PRO
3
120
Featured
See All Featured
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
Faster Mobile Websites
deanohume
307
31k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
810
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
53k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
960
Scaling GitHub
holman
459
140k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
4 Signs Your Business is Dying
shpigford
184
22k
Music & Morning Musume
bryan
46
6.6k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Being A Developer After 40
akosma
90
590k
Transcript
AR勉強会 5章「較正と位置合わせ」 Tajima Itsuro 特に注記ない限り,引用は以下による。 Schmalstieg, Dieter; Hollerer, Tobias. ARの教科書.
池田聖ほ か訳. マイナビ出版, 2018.
本章の概要 • 最終目的(ARの定義) • 三次元的に整合性が取れているものである(p.27) • そのために何をすべきか?(p.116-117) • トラッキング:ある実物体の位置および姿勢が連続的 に測定されること
• 較正:基準となるデバイスおよび較正されるデバイス の2つの異なるデバイス間で測定された値を比較する プロセス • 位置合わせ:仮想物体と実物体の間の座標系を一致さ せること
本章の概要 わかりやすいようで わかりにくい図 (p.116)
本章の概要 • ざっくりと,実際は何をやっているのか? • UIだと人と機械の関係で済むが • 視覚ARだと • (最も重要な点のみ) デバイス
測定 データ 表示 実世界 人 トラッキング 較正 仮想物体 位置合わせ
較正とは • 人に正しい実世界の視覚情報を見せる • そのためには以下が正しい必要がある • 視覚情報 (カメラの較正) • 見せ方(ディスプレイの較正)
デバイス 測定 データ 表示 人 較正
5.1 カメラの較正 • デバイスは,カメラの映像を視界のデータとする(4章) その上で利用者の視界と合わせる • デバイスにとってカメラとは何か→ピンホールカメラ モデル(p.157)
5.1 カメラの較正 • デバイスにとってカメラとは何か→ピンホールカメラ モデル(p.157) • 内部パラメータや,レンズ歪みを較正し,適切にモデ ルを使えるようにする必要がある
5.1 カメラの較正 • 内部パラメータや,レンズ 歪みを較正し,適切にモデ ルを使えるようにする必要 がある • 実際に得た画像から逆算す る
• チェッカーボードやパター ンなどから点の対応を得る (p.215)
5.1.1 カメラの内部パラメータ • 内部パラメータ(焦点距離など)を較正し,適切にモデ ルを使えるようにする必要がある • カメラの透視投影行列 • = [|]
• が内部パラメータで,これを実際に得た画像から逆算 する • Tsaiのアルゴリズム(p.215) • 3Dの点qと2Dの点pの関係式と,実際の二次元上の点の データから,M,そしてKを解く • (p.165のLevenberg-Marquardt法を用いる)
5.1.1 カメラの内部パラメータ • pとqが同じ方向であることを4章では姿勢推定に使った が,内部パラメータの推定にも使える
5.1.2 レンズの歪み • レンズ歪みを較正し,適切にモデルを使えるようにす る必要がある • 放射状の歪みのモデル(p.217式5.5)から,与えられた画 像を補正可能 • (備考)
• ズームレンズや,手ブレ補正機能によりパラメータが 変わる可能性がある • 既に較正されたものを使うのが一番(みもふたもない が)
5.2 ディスプレイの較正 • 視覚情報を較正したあとは • 目に正しく表示する必要がある→ディスプレイの較正 • HMDの場合→正しくかぶった場合,目の位置と表示の 位置は正しく対応しているか? •
人を較正に巻き込む→較正パターンを見る • 目は一種のカメラとみなせるので,カメラと似たよう な手法が用いられる
5.2.1 単点能動的位置合わせ法(SPAAM) • 目で2D位置pを見てもらい(p.220図5.7),3D位置qと の関係を見る • MW→Hを既知のものとし, p, qの対応からMH→Eを計算 •
DLT法(p.161)で解く HMD 実世界 目 トラッキング 較正 MW→H q p = MH→E
5.2.1 単点能動的位置合わせ法(SPAAM)
5.2.2 ポインティングデバイス • 目でマーカー付きペンpを3D位置qに配置して見てもら い(p.221図5.9),その関係を見る • 頭を動かす必要がない上,ペンを目から同じ直線上に 置くことで,幾何学的計算が可能→計算量削減 HMD マーカー
目 トラッキング 較正 MW→H q, MW→M p = MH→E
5.2.2 ポインティングデバイス
5.2.3 Hands-Eye較正 • 2つのトラッキングシステ ムを用いる • 固定されたRから頭部Hを 見る(A) • 頭部カメラEから物体Tを
見る(B) • →頭部から頭部カメラHま でのXを較正 • ロボティクス的手法で回転 と並進を解析可能
5.3 位置合わせ • 実世界とデバイスをトラッキングで較正し,カメラも 較正し,カメラと目の間も較正した • もう正しいオブジェクトがちゃんと表示でき,位置合 わせなんていらないのでは?→そうは甘くない • 「実行時に実環境に対する仮想物体の位置合わせを維
持するための技術」(p.224)
5.3.1 幾何学的測定歪み • センサーはズレる • 例:奥行き画像センサは遠くで誤差が出る • カメラのように,モデルを作ることである程度較正可 能
5.3.2 誤差伝搬 • それぞれが正しく較正されていても,小さい誤差が重 なると増幅され,誤って配置される • 本章の例を見ても,カメラと目の較正それぞれで誤差 があり,実環境が変わるにつれどうなるかわからない • 座標系の動的連結を避けることで対応できる
5.3.3 遅延 • 人が目で見ている間に • カメラ画像取得→処理→画像生成→表示 • 目で見ているものとカメラ画像の表示の間に時間的ズ レがある •
30fpsで33mm程度の誤差(Holloway)
5.3.4 フィルタリングと予測 • 計測情報にはノイズがある→連続して値を取る場合 フィルタをかける • 正規分布に基づく→カルマンフィルタ • 正規分布に基づかない→パーティクルフィルタ •
複数のセンサを用いて補正する • →遅延に起因する位置合わせ誤差を補正できる
5.4 まとめ • あらゆる構成要素を較正する必要がある • 誤差を出さないデザインにする必要がある • 位置合わせには動きの予測も必要である