LightGlue: Local Feature Matching at Light Speed

第60回 コンピュータビジョン勉強会＠関東

Transcript

1. LightGlue: Local Feature Matching at Light Speed 発表者: tomoaki_teshima 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 tomoaki_teshima tomoaki0705 tomoaki_teshima tomoaki0705 1
2. LightGlue: Local Feature Matching at Light Speed Philipp Lindenberger1 Paul-Edouard Sarlin1 Marc Pollefeys1,2 1ETH Zurich 2Microsoft Mixed Reality & AI Lab 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 2
3. Fig.1 (teaser.svg) 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論 文読み会 3
4. We introduce LightGlue, a deep neural network that learns to match local features across images. We revisit multiple design decisions of SuperGlue, the state of the art in sparse matching, and derive simple but effective improvements. Abstract 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 4
5. Abstract • We revisit multiple design decisions of SuperGlue 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 5 SuperGlue (CVPR2020) Paul-Edouard Sarlin, Daniel DeTone, Tomasz Malisiewicz, Andrew Rabinovich LightGlue (ICCV2023) Philipp Lindenberger, Paul-Edouard Sarlin, Marc Pollefeys
6. 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 6 https://www.slideshare.net/ren4yu/supergluelearning-feature-matching-with-graph-neural-networks-cvpr20
7. The pipeline (SuperGlue,旧手法) • Front-end : detection, description (SIFT, ORB) • Middle-end : Matching • Back-end : Reconstruction etc.. 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 7 SuperGlueより引用 yu4uさんの発表資料より引用
8. 特徴点マッチング • We thus seek a soft partial assignment matrix 𝐏 ∈ 0,1 𝑀×𝑁 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 8 𝑀 ൝ 𝑁 このマッチング行列とも言える 行列が得られれば良い
9. SuperGlue Architecture (self/cross attention) 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 9 • 位置pとDescriptor dを連結する • 同じ画像内の特徴点同士でSelf Attention • 同じ画像内の特徴点ペア全てで計算 • 特徴点同士の位置関係を考慮に入れる • もう１枚の画像の特徴点全てとCross Attention • 全特徴点同士で計算 • Self attention layerとCross Attention layerを繰り返すことで descriptorを更新する
10. SuperGlue Architecture (Matching layer) 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 10 • Descriptor からScore matrixを計算 • 基本的に全Descriptorペアで内積を計算 • Sinkhorn algorithm（row, columnを交互に正規化す ることを繰り返す）により二重確率行列化
11. ここまでSuperGlue(旧手法) のお話 yu4uさんありがとう 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 11
12. The LightGlue architecture 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 12
13. Rotary Encoding • SuperGlueとの差分その1 • 特徴点iとjの相対的な位置関係 • SuperGlueでは絶対位置 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 13 SuperGlueより引用 LightGlueより引用
14. Adaptive width • SuperGlueとの差分その2 • Confidenceが高いやつは、おしまい • 繰り返し計算しても結果はひっくり返らない • 特徴量ベクトルが収束した状態 • SuperGlueでもConfidenceは計算していた • LightGlueでは、しきい値処理して特徴量ベクトルの更新を止める • これにより特徴点数が減って計算量が減る=adaptive width 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 14 For a given layer ℓ, a point is deemed confident if ci > λℓ . LightGlueより引用
15. Adaptive depth • SuperGlueとの差分その3 • マッチングが十分得られたら計算を止める • 反復回数Lは固定でも良いし、動的でも良い • しきい値αは速度と精度のトレードオフを表す 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 15 LightGlueより引用 SuperGlue 特徴点数 特徴点数 反復回数 反復回数 LightGlue
16. Point Pruingの効果 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 16 赤•はすぐ棄却、青•はマッチ あとはオレンジ→黄色→緑の順に後段のレイヤーで棄却
17. Result 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論 文読み会 17 LightGlue is Pareto-optimal on the efficiency-accuracy trade-off この論文の主眼は高速化に置かれている
18. Affiliationsから読み解く • LightGlue : ETH Zulich, Microsoft Mixed Reality & AI Lab • SuperGlue : ETH Zulich, Magic Leap. Inc • 多分VR Headsetを想定している？ 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 18 引用(4)
19. Quantitative result 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 19 提案手法圧勝ではない
20. 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論 文読み会 20
21. 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 21
22. Conclusion • SuperGlueを改良してLightGlueを提案 • Transformerを改良 • 速度も改良 • 学習速度も改良(割愛) 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 22
23. 参考文献 • https://www.youtube.com/watch?v=LBFiKtUBHc0 LightGlue hu-po (2023/10/15) • 【DL輪読会】LightGlue: Local Feature Matching at Light Speed Deep Learning JP Takeru Oba (2023/10/13) • Visual Localization and Mapping: From Classical to Modern Marc Pollefeys ICCV'23 Robot Learning & SLAM Workshop (2023/10/12) • https://www.slideshare.net/ren4yu/supergluelearning- feature-matching-with-graph-neural-networks-cvpr20 yu4u 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論 文読み会 23