Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
深度推定モデルの自己教師あり学習/self-supervised-depth
Search
shun74
May 26, 2024
0
300
深度推定モデルの自己教師あり学習/self-supervised-depth
shun74
May 26, 2024
Tweet
Share
More Decks by shun74
See All by shun74
GPUでステレオマッチング / Stereo-matching with GPU
shun74
0
710
卒業研究の進め方 / How to preceed with the research
shun74
1
480
Barcode Recognition / pharmacode-decoder
shun74
0
830
Vision Transformer講座 / Vision Transformer Presentation
shun74
1
590
ニューラルネットの1bit化 / 1bit-neural-network
shun74
0
770
Defocus Map Estimation From a Single Image Based on Two-Parameter Defocus Model / two-parameter-defocus-model
shun74
0
290
理解してほしいVision Transformer / plz-understand-ViT
shun74
0
640
Featured
See All Featured
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
102
18k
The Invisible Side of Design
smashingmag
299
50k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
4
500
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.7k
A designer walks into a library…
pauljervisheath
205
24k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
The Language of Interfaces
destraynor
157
24k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Code Reviewing Like a Champion
maltzj
522
39k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
8
700
Fireside Chat
paigeccino
37
3.3k
Transcript
深度推定モデルの 自己教師あり学習 shun sato
深層学習モデル(Deep Learning) • 深層学習モデルはトレーニングを経て推論が可能に �@ュ#ルゥ!ッ&ー%��� 私はCh4tG*Tです。なにかお手伝い できることはありますか? トレーニング
深層学習モデルのトレーニングの様子 • 入力データと教師データの組でトレーニング ①データ入力 入力データ ②推論 ④逆伝搬 正解は 「いぬ」です 教師データ
③損失を計算 これは 「ねこ」です 推論結果 ※逆伝搬:微分による深層学習モデルの重みの更新
自己教師あり学習(Self-Supervised Learning) • 教師データ無しで深層学習モデルを学習する • なんらかのアルゴリズムで推論結果から損失を計算する 例:深層学習モデルでゲーム対戦をする 勝ち:損失小 負け:損失大 人間に勝つ
レベルに成長! AI同士で永遠に対戦
深度推定モデル • 入力画像に対応する深度画像を推定 KITTIデータセット https://www.cvlibs.net/datasets/kitti/ 深度推定で最も有名な大規模データセット 専用車両を使ってデータを収集
事前知識:MVS(Multi-View Stereo) • 複数視点画像から三次元再構成を行うアルゴリズム(深層学習ではない) • カメラ位置(Camera Pose)と深度(Depth)を推定 1. 特徴点マッチングを使って Camera
Poseを推定 2. Camera Poseを調整しながら Depthを推定 気になる人はACMHを調べて読んでみよう!
深度推定モデルの自己教師あり学習 • MVSのアルゴリズムを応用 ⇨ 動画から学習を可能にする! 時間tの画像 時間t+1の画像 時間tの深度 ②深度推定 ①カメラ移動推定
①②の情報を使って時間t+1の画像を再投影 ⇨時間t+1の画像と損失を計算!
画像再投影のイメージ Cam 1の画像 Cam 1の深度 × Cam 1 Cam 2
3D reconstruct Cam Pose Cam 2視点の画像 2D projection
研究で取り組んでいること • 魚眼画像で深度推定モデルの自己教師あり学習 通常レンズに 比べると精度✗
データセットは自前で作成 • Unityで作成! • 勉強したこと ◦ カメラシェーダの変更 ◦ 深度バッファの取得
まとめ • 深層学習モデルはトレーニングが必要 • 自己教師あり学習は教師データがいらない • 深度推定モデルも自己教師あり学習ができる • 数学頑張れば魚眼画像でもできる