IMC2025振り返り会 How can we win at IMC2025?

Image Matching Challenge 2025振り返り会の発表で使用したスライドです。
https://turing.connpass.com/event/360266/

Transcript

1. How can we win at IMC2025? どうやったらIMC2025で勝てたのか 2025/7/14 Image Matching Challenge 2025振り返り会 ＠ゆめねこ
2. 自己紹介 1 名前：ゆめねこ（@yume_neko92） 仕事：主に画像系のAIシステム開発 最近は3次元点群系AIもやってる kaggle：1x Grandmaster IMCは2022, 2024, 2025に参加 ← HNの由来の親戚家のネコ 最近、親密度が上がった（気がする）
3. 今回の結果 2
4. 今日の話 3 What 金メダルを取るために何が足りなかったのか Why なぜ金メダルを取ることができなかったのか
5. Our Team Solution 4 Our Solution 全ペア選択 ALIKED+LG(840) 回転推定 ALIKED+LG(1280) ALIKED+LG(2048) COLMAP
6. 上位ソリューションサマリ 5
7. 上位ソリューションサマリ 6 上位との差分ポイント ① 回転推定の精度 ② 画像ペア選択の有無 ③ マッチングモデルの多様性 Lateサブで検証してみる
8. 検証① 回転推定の精度 7 Our Team: 処理時間優先で精度を犠牲にしたパラメータでマッチングを行い、マッチ結果はアンサンブルせずに破棄 Top Team: ある程度の精度が出るパラメータでマッチングを行い、マッチ結果はアンサンブルに追加 Late Sub 検証結果 差分ポイント ※ 画像ペアは全ペア選択、回転推定後のマッチングモデルにはALIKED+LG (img_size=1280/2048) のアンサンブルを使用 • 回転推定マッチングモデルのパラメータを調整することで約1ptの改善 • 回転推定の結果を破棄せずにアンサンブルに追加することで約3.5ptの大幅な改善 • 従来の回転推定結果をアンサンブルに加えるとスコアが悪化したことから、マッチング精度の低さによる 回転推定精度不足がスコア向上を妨げていたと考えられる
9. 検証② 画像ペア選択手法の有無 8 Our Team: 取り得る全てのペアを網羅的に選択 Top Team: 何かしらのモデルで画像の特徴量を計算して類似度の高いペアを取得する Late Sub 検証結果 差分ポイント ※ マッチングパイプラインは前ページで最も性能の良かった ALIKED＋LG (回転推定960+1280+2048) を使用 • Global Featureでペア選択をするとスコアは若干悪化するが、処理時間が最大1/2ほど短縮できる → 直接的なスコアアップにはならないが、他の施策を含める時間的余裕ができるメリットが大きい • 使用するモデルによる性能差はあまり見られなかった • MegaLocが若干優位？（パラメータや乱数のばらつきレベルな気もする）
10. 検証③ マッチングモデルの多様性 9 Our Team: 入力解像度を変えた ALIKED＋LG のみを使用 Top Team: 3D基盤モデルのMASt3Rをはじめ、GIM（SuperPoint）、RDDなど最新のマッチングモデルを使用 差分ポイント Late Sub 検証結果（シングルモデル） • いずれもパラメータ次第であるものの、ALIKED＋LG よりもスコアが高い結果が得られた 特にMASt3Rは非常に強力で、回転推定なしでも3rd相当、回転推定すれば2nd相当 • GIMとMASt3Rは向きが異なる画像ペアに対しても高精度なマッチングができるという特性がある → 回転推定にかかる処理時間を必要に応じて削減できるメリットがある
11. 検証③ マッチングモデルの多様性 10 Our Team: 入力解像度を変えた ALIKED＋LG のみを使用 Top Team: 3D基盤モデルのMASt3Rをはじめ、GIM（SuperPoint）、RDDなど最新のマッチングモデルを使用 差分ポイント Late Sub 検証結果（アンサンブル） • MASt3Rを採用したアンサンブルが非常に強力で、GIMやRDDと組み合わせることで1st相当
12. 検証③ マッチングモデルの多様性 11 Our Team: 入力解像度を変えた ALIKED＋LG のみを使用 Top Team: 3D基盤モデルのMASt3Rをはじめ、GIM（SuperPoint）、RDDなど最新のマッチングモデルを使用 差分ポイント Late Sub 検証結果（アンサンブル） • MASt3Rを採用したアンサンブルが非常に強力で、GIMやRDDと組み合わせることで1st相当 MASt3R is All You Need?
13. 検証③ マッチングモデルの多様性 12 Our Team: 入力解像度を変えた ALIKED＋LG のみを使用 Top Team: 3D基盤モデルのMASt3Rをはじめ、GIM（SuperPoint）、RDDなど最新のマッチングモデルを使用 差分ポイント CV 検証結果（シングルモデル抜粋） • MASt3R is Not All You Need • データセットごとに強いモデルは大きく変わるので、MASt3Rが常に最強というわけではない • MASt3Rがベストなシーンもあれば、逆に一番性能が出ないシーンも存在する • MASt3Rは屋外の風景シーンに強い傾向（？） • 結局、全部試してみることが大事
14. 検証結果： 金メダルを取るために何が足りなかったのか • 金圏に入るために必要だったこと • 回転補正マッチングのパラメータを修正 • 回転補正マッチングの結果を破棄せずにアンサンブルに追加 • Prize圏に入るために必要だったこと • Global Featureによる画像ペア選択を行い、処理時間に余裕を持たせる • 最新マッチングモデルを組み合わせたアンサンブル • 優勝するために必要だったこと • MASt3Rを組み合わせたアンサンブルを行う • ただし、あくまで今回のテストデータに適していたということなので 13
15. なぜ金メダルが取ることができなかったのか？ • 経験的な思い込みで試さなかったアイデアが多かった • 去年のコンペであまり効果的ではなかったアイデアは微妙と決めつけて試さなかった • 画像ペア選択とかは昨年微妙だったので実験すらしていなかった • MASt3Rも実はコンペ中に触っていたものの、CVが微妙だったのでサブせず 「去年もDense Matchingは微妙だったしダメなんだろう」と安直な考えで早々に撤退 • リスキーなトリックに頼って時間が無くなった • 良くも悪くも開始早々にメトリクスバグ気付いて上手く活用する方法を探すことに執心 • 終了2週間前くらいに修正が入ってトリックが使えなくなる • 邪道なトリックを使うときは計画的に... 14