OpenLane-V2ベンチマークと代表的な手法

GO・DeNA共催の社内勉強会（コンピュータビジョン輪講）での発表資料です。自動運転向けの交通シーン認識ベンチマークであるOpenLane-V2と、それに対する代表的な手法の紹介です。

Transcript

1. AI GO株式会社 宮澤 一之 OpenLane-V2ベンチマークと代表的な手法 CV輪講
2. AI 2 自己紹介 宮澤 一之 GO株式会社 AI技術開発部 グループマネージャー @kzykmyzw 経歴 April 2019 - March 2020 AI研究開発エンジニア@DeNA April 2010 - March 2019 主任研究員@三菱電機 March 2010 博士@東北大学 Data-Centric AIに関するコミュニティ 運営や書籍執筆活動してます https://gihyo.jp/book/2025/978-4-297-14663-4 https://dcai-jp.connpass.com/
3. AI 3 項目 01｜OpenLane-V2ベンチマーク 02｜OpenLane-V2登場以降の代表的手法 03｜性能比較 04｜まとめ 特に引用元の明記がない限り、図表は紹介する論文から引用したものです
4. AI 4 項目 01｜OpenLane-V2ベンチマーク 02｜OpenLane-V2登場以降の代表的手法 03｜性能比較 04｜まとめ
5. AI 5 OpenLane-V2 [Wang+, NeurIPS 2023] Paper GitHub H. Wang et al., “OpenLane-V2: A topology reasoning benchmark for unified 3D HD mapping,” NeurIPS 2023.
6. AI 6 レーン検出タスクの変遷 l レーン検出タスクは、カメラ視点での2D検出からBEVでの認識に適した3D検出へ l さらに、交通シーンのより高度な認識タスク（トポロジー推論）へと発展 H. Wang et al., “OpenLane-V2: A topology reasoning benchmark for unified 3D HD mapping,” NeurIPS 2023.
7. AI 7 OpenLane-V2におけるタスク 3Dレーン検出 交通要素検出 トポロジー推論 多視点車載カメラ動画＆カメラパラメータ https://github.com/OpenDriveLab/OpenLane-V2/blob/master/docs/features.md H. Wang et al., “OpenLane-V2: A topology reasoning benchmark for unified 3D HD mapping,” NeurIPS 2023.
8. AI 8 3Dレーン検出 (3D Lane Detection) 自車位置 カメラ画像に投影 l 各レーンのセンターラインを3次元点列とし て検出する l 路面に描かれた白や黄の境界線ではなく、実 際に車両が道路を走る際の軌跡となる（仮想 的な）センターラインを検出する l レーンは複数のインスタンスで構成され、分 岐や合流、交差点でインスタンスが分かれる l 推論したインスタンスのうち、真値とのフレ シェ距離が閾値未満となるものを検出成功と した場合のAverage Precisionで精度を評価 フレシェ距離 https://qiita.com/takilog/items/9dba1db42fe6f75587df 3種類の閾値で平均をとる H. Wang et al., “OpenLane-V2: A topology reasoning benchmark for unified 3D HD mapping,” NeurIPS 2023.
9. AI 9 交通要素検出 (Traffic Element Recognition) l 車両の通行を制御する要素として信号機と道 路標識、路面標示を2次元BBOXで検出する l 各交通要素は、色（赤・青・黄）や直進、右 折、左折などの属性を持つ l 推論した交通要素のうち、真値とのIoUが閾 値以上となるものを検出成功とした場合の Average Precisionで精度を評価 各属性のAPの平均をとる H. Wang et al., “OpenLane-V2: A topology reasoning benchmark for unified 3D HD mapping,” NeurIPS 2023.
10. AI 10 トポロジー推論 (Topology Reasoning) l レーンとレーン、レーンと交通要素の関係性 を推論する l レーンと交通要素をグラフのノードとし、レ ーン間の接続関係を有向エッジ、交通要素が どのレーンに作用するかを無向エッジで表現 l 真値グラフの各頂点に対し、モデルがその隣 接頂点をどれだけ正確に予測できたかを求め、 それらを平均化したもので精度を評価 レーン 交通要素 レーンとレーンの関係 レーンと交通要素の関係 真値グラフの頂点集合 真値グラフにおける頂点𝑣の近傍 予測したグラフにおける頂点𝑣の近傍 予測した頂点を信頼度 順に並べたリストにお ける" 𝑛′のPrecision H. Wang et al., “OpenLane-V2: A topology reasoning benchmark for unified 3D HD mapping,” NeurIPS 2023.
11. AI 11 OLS (OpenLane-V2 Score) l 3Dレーン検出、交通要素検出、トポロジー推論のそれぞれで求めた評価尺度の平均を最 終的なスコアOLSとする l ただし、3タスクのうちトポロジー推論の重みを大きくする 3Dレーン検出の精度 交通要素認識の精度 トポロジー推論（レーンとレーン）の精度 トポロジー推論（レーンと交通要素）の精度 𝑓(𝑥)はスケーリング関数 H. Wang et al., “OpenLane-V2: A topology reasoning benchmark for unified 3D HD mapping,” NeurIPS 2023. ※ 評価尺度に欠陥があることが指摘され、2023年11月に修正されている点に注意
12. AI 12 データセットの詳細 l Argoverse 2とnuScenesのデータから作成 l 両データセットのセンサ構成の違いにより、subset_Aとsubset_Bに分かれる H. Wang et al., “OpenLane-V2: A topology reasoning benchmark for unified 3D HD mapping,” NeurIPS 2023.
13. AI 13 ベースライン手法の評価 l STSU: DETRライクな検出器でセンターラインを検出し、MLPでレーン接続関係を予測 l VectorMapNet: 地図要素を点列として表現し、自己回帰的にそれらの位置情報を予測 l MapTR: 地図要素を順序に依存しない点集合として表現し、Transformerで回帰 l TopoNet: 地図要素をノードとするグラフをGNNでエンドツーエンドに予測 [6] Y. B. Can et al., “Structured bird’s-eye-view traffic scene understanding from onboard images,” ICCV 2021. [28] Y. Liu et al., “VectorMapNet: End-to-end vectorized HD map learning,” arXiv 2022. [27] B. Liao et al., “MapTR: Structured modeling and learning for online vectorized HD map construction,” ICLR 2023. [26] T. Li et al., “Graph-based topology reasoning for driving scenes,” arXiv 2023. H. Wang et al., “OpenLane-V2: A topology reasoning benchmark for unified 3D HD mapping,” NeurIPS 2023.
14. AI 14 項目 01｜OpenLane-V2ベンチマーク 02｜OpenLane-V2登場以降の代表的手法 03｜性能比較 04｜まとめ
15. AI 15 TopoMLP [Wu+, ICLR 2024] Paper / GitHub l レーン/交通要素の検出精度がトポロジー推論の精度に大きく影響することを指摘 l レーンと交通要素のそれぞれに対してDETRベースの高精度な検出器を提案し、それら の結果を使ったトポロジー推論にはシンプルなMLPを適用 l CVPR 2023 Autonomous Driving ChallengeのOpenLane Topology Trackで1位を獲得 D. Wu et al., “TopoMLP: A simple yet strong pipeline for driving topology reasoning,” ICLR 2024.
16. AI 16 3Dレーン検出 Y. Liu et al., “PETR: Position embedding transformation for multi-view 3D object detection,” ECCV 2022. l DETRを3D検出に拡張したPETRをベースとし、レーンを表現するベジエ曲線の制御点の アンカーをクエリとしてDecoderに入力 l Decoder出力を2つのMLPに通し、それぞれで制御点のオフセットと分類スコアを予測 多視点画像から抽出したCNN特徴 D. Wu et al., “TopoMLP: A simple yet strong pipeline for driving topology reasoning,” ICLR 2024.
17. AI 17 交通要素検出 l Deformable DETRにおける参照点のフォーマットを点からBBOXに変更 l オプションでYOLOv8から得られたBBOXを参照BBOXおよびクエリ特徴に使うことで検 出精度を向上 X. Zhu et al., “Deformable DETR: Deformable Transformers for end-to-end object detection,” ICLR 2021. 正面カメラ画像から抽出した マルチスケール特徴 D. Wu et al., “TopoMLP: A simple yet strong pipeline for driving topology reasoning,” ICLR 2024.
18. AI 18 トポロジー推論 l Traffic/Lane Decoderから得られたクエリ特徴をクエリ数 x クエリ数の形になるよう に並べて二値分類MLPに入力し、クエリ間の接続の有無を示す行列を出力 l レーンと交通要素のトポロジー推論においては、レーンが3Dであるのに対し交通要素が 2Dであるため、視点変換のための行列をMLPに通したものを交通要素の特徴に加算 D. Wu et al., “TopoMLP: A simple yet strong pipeline for driving topology reasoning,” ICLR 2024.
19. AI 19 ロス関数 ℒ!"#) （レーン検出）：分類のためのFocalロスとレーン回帰のためのL1ロス ℒ!"#* （交通要素検出）：分類のためのFocalロスとBBOX回帰のためのL1ロス、GIoUロス ℒ#$%)) （レーン/レーン）：二値分類のためのFocalロスと真値とマッチしたレーン点間のL1ロス ℒ#$%)* （レーン/交通要素）：二値分類のためのFocalロス D. Wu et al., “TopoMLP: A simple yet strong pipeline for driving topology reasoning,” ICLR 2024.
20. AI 20 TopoLogic [Fu+, NeurIPS 2024] Paper / GitHub l 従来手法では、レーン検出の性能改善を重視しトポロジー推論が単純な傾向があるため、 検出したレーンの端点がずれただけでレーン間の接続認識に失敗することを指摘 l トポロジー推論において、レーン間の幾何学的な距離と意味的な類似度を明示的に考慮 することでレーン検出の誤差に対するロバスト性を向上 Y. Fu et al., “TopoLogic: An interpretable pipeline for lane topology reasoning on driving scenes,” NeurIPS 2024.
21. AI 21 レーン間の幾何学的な距離の考慮 l 多視点画像から抽出した特徴マップをBEVに変換した上でDeformable DETRでレーンを 検出し、あるレーンの終点と他のレーンの始点の距離を全て求めて距離行列を作る l 距離行列の各要素𝑑をマッピング関数exp − !+ &'( で0~1に変換（1に近いほどレーンの端 点間の距離が小さく接続している可能性が高い） Y. Fu et al., “TopoLogic: An interpretable pipeline for lane topology reasoning on driving scenes,” NeurIPS 2024.
22. AI 22 レーン間の意味的な類似度の考慮 l Deformable DETRから出力される各レーンに対応するクエリを2つの異なるMLPに通し た上で内積をとり、クエリ間の類似度を評価 l 求めた内積にsigmoid関数を適用し、0~1の値を持つ類似度行列を作る Y. Fu et al., “TopoLogic: An interpretable pipeline for lane topology reasoning on driving scenes,” NeurIPS 2024.
23. AI 23 GNNによる隣接レーンからの特徴集約 l 幾何学的な距離と意味的な類似度の考慮により得られた2つのトポロジーの重み付き和 を最終的なトポロジーとしてGNNに入力（重みは学習可能なパラメータ） l GNNにより、接続するレーンからの特徴を集約することでより良い特徴に強化 Y. Fu et al., “TopoLogic: An interpretable pipeline for lane topology reasoning on driving scenes,” NeurIPS 2024.
24. AI 24 TopoFormer [Lv+, CVPR 2025] Paper l 従来のトポロジー表現では、レーンと交通要素は独立して扱われており、レーンと交通 要素を異なるノードで定義して両者間のエッジで関係性を表していた l レーン検出とトポロジー推論の双方において交通要素が持つ制御情報を活用するため、 新たな表現方法としてレーンと制御情報を統一的に扱うT2SG (Traffic Topology Scene Graph) と、 T2SGを生成するTopoFormerを提案 l T2SGは、レーンをノードとする有向グラフであり、各ノードはそのレーンが従う制御情 報をカテゴリラベルとして持つ 従来の表現方法 提案する表現方法 (T2SG) C. Lv et al., “T2SG: Traffic topology scene graph for topology reasoning in autonomous driving,” CVPR 2025.
25. AI 25 Geometric-guided Self-Attention l 多視点画像から抽出した特徴マップをBEVに変換した上でDeformable DETRでレーンを 検出し、あるレーンの終点と他のレーンの始点の距離を全て求めて距離行列𝐴)%* を作る l 𝐴)%* をアテンションマップ𝐴に加算して新たなアテンションマップとすることで、レー ン間の距離を考慮したアテンションを実現 C. Lv et al., “T2SG: Traffic topology scene graph for topology reasoning in autonomous driving,” CVPR 2025.
26. AI 26 Counterfactual Self-Attention l 因果推論における反実仮想介入 (Counterfactual Intervention) を取り入れ、学習した アテンションマップをゼロ行列に置き換えた際の予測結果の変化（総間接効果）を計算 l 総間接効果が最大化されるように学習することで、モデルがより合理的な道路構造を捉 えられるようになりトポロジー推論の性能が改善 学習したアテンションマップ によるトポロジー推論結果 アテンションマップをゼロ行列に した場合のトポロジー推論結果 介入による効果 C. Lv et al., “T2SG: Traffic topology scene graph for topology reasoning in autonomous driving,” CVPR 2025.
27. AI 27 SMERF [Luo+, ICRA 2024] l TransformerによりSDマップの情報をエンコードするSMERF (SD Map Encoder Representations from transFormers) を提案し、SDマップを事前知識として活用する ことでトポロジー推論の性能を改善 l Transformerベースであればどのようなトポロジー推論手法にも組み込み可能 Paper / GitHub / Project レーンレベルの詳細な 幾何的/意味的情報を持 つHDマップに比べ、SD マップは道路レベルの 情報程度しか持たない K. Luo et al., “Augmenting lane perception and topology understanding with standard definition navigation maps,” ICRA 2024.
28. AI 28 SDマップのエンコード l SDマップを構成するポリラインをサンプリングし、正弦波位置埋め込みでエンコード l 道路の種別を表すメタデータ（高速道や歩道など）をOne-Hotベクトル化 l 両者をConcatしてTransformer Encoderへの入力とする K. Luo et al., “Augmenting lane perception and topology understanding with standard definition navigation maps,” ICRA 2024.
29. AI 29 SDマップ情報のトポロジー推論への統合 l 既存のTransformerベースのトポロジー推論手法は、BEV Transformerエンコーダと DETRベースのMapデコーダの組み合わせが主流 l BEV Transformerエンコーダにおいて、BEVのクエリとSDマップ特徴との間でクロスア テンションを計算することでBEV特徴にSDマップの情報を反映させる K. Luo et al., “Augmenting lane perception and topology understanding with standard definition navigation maps,” ICRA 2024.
30. AI 30 項目 01｜OpenLane-V2ベンチマーク 02｜OpenLane-V2登場以降の代表的手法 03｜性能比較 04｜まとめ
31. AI 31 性能比較 OpenLane-V2における性能比較（TopoFormer論文より引用） SDマップの効果（SMERF論文より引用）
32. AI 32 主観評価 (TopoFormer)
33. AI 33 項目 01｜OpenLane-V2ベンチマーク 02｜OpenLane-V2登場以降の代表的手法 03｜性能比較 04｜まとめ
34. AI 34 まとめ SMERF TopoMLP TopoLogic TopoFormer OpenLane-V2 2023 2024 トポロジー推論というタスクと ベンチマークの提案 前段の検出が重要で、トポロジー 推論はMLPでOK もっと真面目にトポロジー推論 やらないとダメ グラフの表現方法に改善 の余地あり SDマップ使えばよくね？ • 分野を網羅したものではなく、あくまでも本資料で紹介した論文を並べただけです • 年表上の位置は、arXivでの論文初出時のものです l OpenLane-V2登場により交通シーンのトポロジー推論というタスクへの認知が高まる l 現状は、多視点画像からの特徴抽出はBEV Transformer、検出はDETRベースが主流 l 既存モジュールを組み合わせたシンプルな手法から、よりトポロジー推論に特化した手 法や、SDマップなどの付加情報を活用する手法へと発展中 l サーベイ論文もあり