Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
深度推定モデルの自己教師あり学習/self-supervised-depth
Search
shun74
May 26, 2024
0
320
深度推定モデルの自己教師あり学習/self-supervised-depth
shun74
May 26, 2024
Tweet
Share
More Decks by shun74
See All by shun74
GPUでステレオマッチング / Stereo-matching with GPU
shun74
0
730
卒業研究の進め方 / How to preceed with the research
shun74
1
480
Barcode Recognition / pharmacode-decoder
shun74
0
860
Vision Transformer講座 / Vision Transformer Presentation
shun74
1
600
ニューラルネットの1bit化 / 1bit-neural-network
shun74
0
790
Defocus Map Estimation From a Single Image Based on Two-Parameter Defocus Model / two-parameter-defocus-model
shun74
0
300
理解してほしいVision Transformer / plz-understand-ViT
shun74
0
650
Featured
See All Featured
YesSQL, Process and Tooling at Scale
rocio
172
14k
Thoughts on Productivity
jonyablonski
69
4.6k
Designing Experiences People Love
moore
141
24k
The Pragmatic Product Professional
lauravandoore
33
6.5k
Optimising Largest Contentful Paint
csswizardry
36
3.2k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
13
670
Typedesign – Prime Four
hannesfritz
41
2.6k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.1k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
41
2.2k
A designer walks into a library…
pauljervisheath
205
24k
Reflections from 52 weeks, 52 projects
jeffersonlam
349
20k
Transcript
深度推定モデルの 自己教師あり学習 shun sato
深層学習モデル(Deep Learning) • 深層学習モデルはトレーニングを経て推論が可能に �@ュ#ルゥ!ッ&ー%��� 私はCh4tG*Tです。なにかお手伝い できることはありますか? トレーニング
深層学習モデルのトレーニングの様子 • 入力データと教師データの組でトレーニング ①データ入力 入力データ ②推論 ④逆伝搬 正解は 「いぬ」です 教師データ
③損失を計算 これは 「ねこ」です 推論結果 ※逆伝搬:微分による深層学習モデルの重みの更新
自己教師あり学習(Self-Supervised Learning) • 教師データ無しで深層学習モデルを学習する • なんらかのアルゴリズムで推論結果から損失を計算する 例:深層学習モデルでゲーム対戦をする 勝ち:損失小 負け:損失大 人間に勝つ
レベルに成長! AI同士で永遠に対戦
深度推定モデル • 入力画像に対応する深度画像を推定 KITTIデータセット https://www.cvlibs.net/datasets/kitti/ 深度推定で最も有名な大規模データセット 専用車両を使ってデータを収集
事前知識:MVS(Multi-View Stereo) • 複数視点画像から三次元再構成を行うアルゴリズム(深層学習ではない) • カメラ位置(Camera Pose)と深度(Depth)を推定 1. 特徴点マッチングを使って Camera
Poseを推定 2. Camera Poseを調整しながら Depthを推定 気になる人はACMHを調べて読んでみよう!
深度推定モデルの自己教師あり学習 • MVSのアルゴリズムを応用 ⇨ 動画から学習を可能にする! 時間tの画像 時間t+1の画像 時間tの深度 ②深度推定 ①カメラ移動推定
①②の情報を使って時間t+1の画像を再投影 ⇨時間t+1の画像と損失を計算!
画像再投影のイメージ Cam 1の画像 Cam 1の深度 × Cam 1 Cam 2
3D reconstruct Cam Pose Cam 2視点の画像 2D projection
研究で取り組んでいること • 魚眼画像で深度推定モデルの自己教師あり学習 通常レンズに 比べると精度✗
データセットは自前で作成 • Unityで作成! • 勉強したこと ◦ カメラシェーダの変更 ◦ 深度バッファの取得
まとめ • 深層学習モデルはトレーニングが必要 • 自己教師あり学習は教師データがいらない • 深度推定モデルも自己教師あり学習ができる • 数学頑張れば魚眼画像でもできる