【Elith開催】ITSC 2024論文発表ウェビナー

ITSC2024 論⽂発表ウェビナー株式会社Elith 下村晃太

自己紹介 2 下村晃太@愛知中部大学工学研究科博士後期課程1年山下研究室 Elith :
Computer Vision Researcher 研究テーマ • 安全な自律走行システムに関する研究 • 先進運転支援システムに関する研究 Interest • CV, VLM, 3DGS X : @Naruch11

アジェンダ • ITSCとは • ITSC2024採択論文のお話 • ITSへのCV, NLPの応用 3

ITSCとは • ITSC : International Conference on Intelligent Transportation Systems
◦ 高度道路交通システム分野の主要国際会議 ◦ 交通システムの安全性、効率性、持続可能性を向上させるためのITSに関する議論が活発 • 主な採択テーマ ◦ 自動運転車とロボティクス交通管理 ◦ 制御システムコネクテッド交通 ◦ 自動化技術機械学習やAIのITSへの応用 ◦ 交通分野におけるセンシング、通信、ネットワーキング 4

How to Extend the Dataset to Account for Traffic Risk
Considering the Surrounding Environments Elith Co.,Ltd1 Honda R&D Co.,Ltd2 Chubu University3 K.Shimomura1,3, K.Inoue1, K.Ohmori1, R.Shimogauchi1, R.Mimura2, A.Ishikawa2, T.Kawabuchi2

Background and Motivation 6 各地域の実情に合った実効性の⾼い対策が重要 - - - - -
- Accident Analysis Traffic safety education Infrastructure improvement Development of laws Emergency medical care インフラが充実する地域 ADとADASにおける事故処理インフラ整備が不十分な地域交通安全の基盤を作ることが重要インフラ整備や法整備

Background and Motivation • 現状のインフラ整備フローでは，事故原因の把握に労⼒がかかる 7 ⼈による現地調査では，すべての危険地点における事故原因を把握できない現地調査による情報収集・分析インフラの改善施策危険地点の特定

Background and Motivation 8 危険個所の抽出からその箇所におけるリスク要因の推定までを⾃動化現地調査による情報収集・分析インフラの改善施策危険地点の特定リスク要因の分析を⾼速化し，より多くの危険箇所の評価を実施しかし，フレームワークを構築するには，データセットが必要

Background and Motivation • 交通リスク分析のためのデータセットに必要な要素は4つ 9 ① 街路画像 ② 画像の位置情報（緯度・経度）
③ 道路環境情報（車線の数，交差点までの距離など）この画像は、オハイオ州内にある道路である。道路脇に駐車車両が並んでいるため，この道路を走行するドライバーは駐車車両から降車する人や駐車車両の間から飛び出してくる人に注意が必要である．特に，この地域には子供が多いため，駐車車両の間から飛び出してくる人に注意が必要である．これを避けるために駐車車両から離れて走行するべきであるが，対向車線に進入しないようにしなければならない… ④ 交通リスクの説明文

先行研究の課題 10 Dataset PRD DoTA HDD BDD-X BDD-OID HAD DRAMA
Rank2Tell Data Source cityscapes youtube Original Original bdd Original Original Original Risk Localization ✔ ✔ ✔ × × × × × Risk Caption × × × ✔ ✔ ✔ ✔ ✔ 動的リスク × ✔ ✔ ✔ ✔ ✔ ✔ ✔ 静的リスク ✔ × × × × ✔ ✔ ✔ 静的リスクの種類 Context Object Object Object Object Object Object Object 交通リスクの説明テキストが不足位置情報データが不足道路環境への着目なし

先行研究の課題 11 Dataset PRD DoTA HDD BDD-X BDD-OID HAD DRAMA
Rank2Tell Data Source cityscapes youtube Original Original bdd Original Original Original Risk Localization ✔ ✔ ✔ × × × × × Risk Caption × × × ✔ ✔ ✔ ✔ ✔ 動的リスク × ✔ ✔ ✔ ✔ ✔ ✔ ✔ 静的リスク ✔ × × × × ✔ ✔ ✔ 静的リスクの種類 Context Object Object Object Object Object Object Object 交通リスクの説明テキストが不足位置情報データが不足道路環境への着目なし街路画像における交通リスクのデータセットには，すべての要件を満たすものが存在しない

本研究の目的 12 危険個所の特定からその領域におけるリスク推定までを⾃動化現地調査による情報収集・分析インフラの改善施策危険地点の特定リスク要因の分析を⾼速化し，より多くの危険箇所の評価を実現

本研究の目的 • すべての要件をみたすデータセットの構築を⽬指す 13 Dataset PRD DoTA HDD BDD-X BDD-OID
HAD DRAMA Rank2Tell Ours Data Source cityscapes youtube Original Original bdd Original Original Original Original Risk Localizatio n ✔ ✔ ✔ × × × × × ✔ Risk Caption × × × ✔ ✔ ✔ ✔ ✔ ✔ 動的リスク × ✔ ✔ ✔ ✔ ✔ ✔ ✔ × 静的リスク ✔ × × × × ✔ ✔ ✔ ✔ 静的リスクの種類 Context Object Object Object Object Object Object Object Context Object 構築すべきデータセット ① 街路画像（メタ情報として ②位置情報 ③道路環境情報） ④ 交通リスクの説明文

Our Approach • 交通リスクの特定 ◦ 事故リスク予測モデルの作成 ◦ ⾼リスク地点の画像取得 • ⾼リスク地点のリスクの説明
◦ データセットの作成 ◦ BLIPの学習 14 Prompt 交通事故予測モデル XGBoost [Chen et al., 2016] 事故リスクマップ高リスク地点の街路画像画像＋リスク説明のデータセット作成 BLIP [Li et al., 2022] リスク説明 Trained by Open-GIS Data 🔥 🔥

Our Approach 交通リスクの特定 15 Prompt 交通事故予測モデル XGBoost [Chen et al.,
2016] 事故リスクマップ高リスク地点の街路画像画像＋リスク説明のデータセット作成 BLIP [Li et al., 2022] リスク説明 Trained by Open-GIS Data 🔥 🔥 危険地点の特定現地調査を通した情報収集

Our Approach 高リスク地点のリスクの説明 16 データセットの作成方法データセット 3種類のプロンプトデータセットの評価 CoT Few-shot
CoT GFCoT(Ours)

交通事故リスク予測モデルの学習 • 使用データ 17 データ名事故データ道路ネットワーク道路関連データ地形気象
人口・経済統計土地利用 POI • モデルの構築 • 道路ネットワークのエッジごとに事故リスクを推定 Open-GIS Data ަ௨ࣄނ༧ଌϞσϧ

高リスク地点の画像取得 18 交通事故予測モデル未学習の Open-GIS Data ࣄނϦεΫϚοϓ ࣄނϦεΫϚοϓ͔ΒߴϦεΫ஍఺ͷը૾Λநग़

道路環境を考慮したリスクデータセットの構築 • プロンプトを用いて道路環境を考慮したリスクキャプションの生成 19 'FXTIPUQSPNQU $P5 QSPNQU ('$P5 QSPNQU 0QFO(*4
σʔλ ಓ࿏ߏ଄৘ใ (157JTJPO"OTXFS (157JTJPO

データセット作成時のプロンプト 20 # Context # Specifications # Example # Road
information # Response $P5 [Wei+, Arxiv2022] # Context # Specifications # Road information Let’s think step by step # Response 'FXTIPU [Brown+, NeurIPS2020] ('$P5 0VST # Context # Specifications # Few chain of thought example # Road information Let’s think step by step # Response

GPT4-Visionを⽤いたデータセット構築 21 ＃ context 道路画像に基づいてSpecificationsに即した交通のリスクを説明する役割を設定 DPOUFYU :PVBSFBO"*EFTJHOFEUPFYQMBJOUSBGGJDBDDJEFOUSJTLTCBTFE POSPBEJNBHFTBOESPBEJOGPSNBUJPO 1MFBTFFYQMBJOUIFUSBGGJDBDDJEFOUSJTLJOBTJOHMFQBSBHSBQI
GPMMPXJOHUIFTQFDJGJDBUJPOTCFMPX VTJOHUIFJOGPSNBUJPOQSPWJEFE 4QFDJGJDBUJPOT &YQMBJOUIFBDDJEFOUSJTLXJUISFGFSFODFUPUIFJNBHF 6TFSPBEJOGPSNBUJPOBTTVQQMFNFOUBSZEBUB 3FGSBJOGSPNDSFBUJOHEZOBNJDSJTLT (FOFSBUFBSFTQPOTFGPSUIFTFDPOEJNBHF &YBNQMF "OFYBNQMFSFTQPOTFGPSUIFGJSTUJNBHFJTBTGPMMPXT Road Information 3PBE/FUXPSL 5FSSBJO FUBM Let’s think step by step. 3FTQPOTF Grounded Few-shot CoT

GPT4-Visionを⽤いたデータセット構築 22 ＃ context 道路画像に基づいてSpecificationsに即した交通のリスクを説明する役割を設定 # Specifications 画像を参照した事故リスクの説明動的リスクを考慮しない
等 DPOUFYU :PVBSFBO"*EFTJHOFEUPFYQMBJOUSBGGJDBDDJEFOUSJTLTCBTFE POSPBEJNBHFTBOESPBEJOGPSNBUJPO 1MFBTFFYQMBJOUIFUSBGGJDBDDJEFOUSJTLJOBTJOHMFQBSBHSBQI GPMMPXJOHUIFTQFDJGJDBUJPOTCFMPX VTJOHUIFJOGPSNBUJPOQSPWJEFE 4QFDJGJDBUJPOT &YQMBJOUIFBDDJEFOUSJTLXJUISFGFSFODFUPUIFJNBHF 6TFSPBEJOGPSNBUJPOBTTVQQMFNFOUBSZEBUB 3FGSBJOGSPNDSFBUJOHEZOBNJDSJTLT (FOFSBUFBSFTQPOTFGPSUIFTFDPOEJNBHF &YBNQMF "OFYBNQMFSFTQPOTFGPSUIFGJSTUJNBHFJTBTGPMMPXT Road Information 3PBE/FUXPSL 5FSSBJO FUBM Let’s think step by step. 3FTQPOTF Grounded Few-shot CoT

等 # Example 出⼒キャプション例の提⽰ DPOUFYU :PVBSFBO"*EFTJHOFEUPFYQMBJOUSBGGJDBDDJEFOUSJTLTCBTFE POSPBEJNBHFTBOESPBEJOGPSNBUJPO 1MFBTFFYQMBJOUIFUSBGGJDBDDJEFOUSJTLJOBTJOHMFQBSBHSBQI GPMMPXJOHUIFTQFDJGJDBUJPOTCFMPX VTJOHUIFJOGPSNBUJPOQSPWJEFE 4QFDJGJDBUJPOT &YQMBJOUIFBDDJEFOUSJTLXJUISFGFSFODFUPUIFJNBHF 6TFSPBEJOGPSNBUJPOBTTVQQMFNFOUBSZEBUB 3FGSBJOGSPNDSFBUJOHEZOBNJDSJTLT (FOFSBUFBSFTQPOTFGPSUIFTFDPOEJNBHF &YBNQMF "OFYBNQMFSFTQPOTFGPSUIFGJSTUJNBHFJTBTGPMMPXT Road Information 3PBE/FUXPSL 5FSSBJO FUBM Let’s think step by step. 3FTQPOTF Grounded Few-shot CoT

等 # Example 出⼒キャプション例の提⽰ DPOUFYU :PVBSFBO"*EFTJHOFEUPFYQMBJOUSBGGJDBDDJEFOUSJTLTCBTFE POSPBEJNBHFTBOESPBEJOGPSNBUJPO 1MFBTFFYQMBJOUIFUSBGGJDBDDJEFOUSJTLJOBTJOHMFQBSBHSBQI GPMMPXJOHUIFTQFDJGJDBUJPOTCFMPX VTJOHUIFJOGPSNBUJPOQSPWJEFE 4QFDJGJDBUJPOT &YQMBJOUIFBDDJEFOUSJTLXJUISFGFSFODFUPUIFJNBHF 6TFSPBEJOGPSNBUJPOBTTVQQMFNFOUBSZEBUB 3FGSBJOGSPNDSFBUJOHEZOBNJDSJTLT (FOFSBUFBSFTQPOTFGPSUIFTFDPOEJNBHF &YBNQMF "OFYBNQMFSFTQPOTFGPSUIFGJSTUJNBHFJTBTGPMMPXT Road Information 3PBE/FUXPSL 5FSSBJO FUBM Let’s think step by step. 3FTQPOTF Grounded Few-shot CoT # Road Information 画像周辺のGISデータ

25 ＃ context 道路画像に基づいてSpecificationsに即した交通のリスクを説明する役割を設定 # Specifications 画像を参照した事故リスクの説明動的リスクを考慮しない等
# Example 出⼒キャプション例の提⽰ DPOUFYU :PVBSFBO"*EFTJHOFEUPFYQMBJOUSBGGJDBDDJEFOUSJTLTCBTFE POSPBEJNBHFTBOESPBEJOGPSNBUJPO 1MFBTFFYQMBJOUIFUSBGGJDBDDJEFOUSJTLJOBTJOHMFQBSBHSBQI GPMMPXJOHUIFTQFDJGJDBUJPOTCFMPX VTJOHUIFJOGPSNBUJPOQSPWJEFE 4QFDJGJDBUJPOT &YQMBJOUIFBDDJEFOUSJTLXJUISFGFSFODFUPUIFJNBHF 6TFSPBEJOGPSNBUJPOBTTVQQMFNFOUBSZEBUB 3FGSBJOGSPNDSFBUJOHEZOBNJDSJTLT (FOFSBUFBSFTQPOTFGPSUIFTFDPOEJNBHF &YBNQMF "OFYBNQMFSFTQPOTFGPSUIFGJSTUJNBHFJTBTGPMMPXT Road Information 3PBE/FUXPSL 5FSSBJO FUBM Let’s think step by step. 3FTQPOTF Grounded Few-shot CoT # Road Information 画像周辺のGISデータ

࣮ݧ • τϨʔχϯά৚݅ ◦ Ϟσϧɿ#-*1- ◦ ࠷దԽख๏ "EBN8 ◦ CBUDI@TJ[F
◦ MS F ◦ FQPDIT ◦ %BUBTFUɿ)POEB%BUBTFU 26

キャプションの評価 • ఆྔධՁͷධՁࢦඪ ◦ BERT-Score Recall ◦ BERT-Score Precision ◦
BERT-Score F1 ◦ CLIP-Score 27 CLIP-Score [Hessel et al., 2021]で類似度評価 BERT-SCORE [Zhang et al., 2020]で類似度評価

定量的評価結果 28 データセット作成時のプロンプト BERT-Score Precision BERT-Score Recall BERT-Score F1 Few-shot
0.8616 0.8879 0.8746 CoT 0.8520 0.8611 0.8565 GFCoT (Ours) 0.8774 0.8791 0.8783 ఏҊख๏Ͱߏஙͨ͠σʔληοτ͸#-*1Ͱߴਫ਼౓ʹ࠶ݱՄೳ

0.8616 0.8879 0.8746 CoT 0.8520 0.8611 0.8565 GFCoT (Ours) 0.8774 0.8791 0.8783 なぜ BERT-Score Recallが低いのか︖

0.8616 0.8879 0.8746 CoT 0.8520 0.8611 0.8565 GFCoT (Ours) 0.8774 0.8791 0.8783 データセット作成時に連鎖思考を促すことにより， BLIPの正解キャプションを再現する能⼒が低下した

0.8616 0.8879 0.8746 CoT 0.8520 0.8611 0.8565 GFCoT (Ours) 0.8774 0.8791 0.8783 データセット作成時に連鎖思考を促すことにより， BLIPの正解キャプションを再現する能力が低下した仮説 • Few-shot では，画像情報をもとに説明される • 連鎖思考(CoT)を促すと，画像以外の情報も考慮して説明される

実験的な仮説検証 32 u 条件 • Few-shot, CoTで作成したデータセットを⽤いて実験 – データセット構築時にはGISデータは利⽤しない •
街路画像と交通リスク説明⽂の間の類似度を計算 – 評価指標には CLIP-Score を採⽤ – 街路画像以外の情報をもとに説明されるほどCLIP-Scoreが低い CLIP-ScoreはFew-shotが⾼くなると考えられる

実験結果 33 データセット作成時のプロンプト Test-time prompt BERT-Score Recall CLIP-Score Few-shot -
0.8934 0.2786 Few-shot 0.8544 - CoT 0.8232 - CoT - 0.8711 0.2524 Few-shot 0.8368 - CoT 0.8169 - 仮説通りFew-shotの⽅がCLIP-Scoreが⾼い CoTで⽣成したキャプションは連鎖思考によって画像から読む取ることが困難な⽂章表現になる

定性的評価：事故多発地点の説明例 Few-shot 34 時速25マイルという制限速度と10フィートという⾞線幅は、この道路が中速の都市交通⽤に設計されていることを⽰している。道路沿いに企業が⽴ち並ぶ都市環境を考えると、歩⾏者が存在する可能性があるが、横断歩道とおそらく管理された交差点があるため、そのリスクはいくらか軽減されている。道路の両側には柔軟な舗装が施されているため、⾞両には⼗分なトラクションがかかるはずだが、事故のリスクを最⼩限に抑えるためには、いつものように交通標識、信号、道路標⽰を守ることが不可⽋である。
インフラ改善施策を提案することはできていない道路環境による危険性に⾔及できている◎

定性的評価：事故多発地点の説明例 CoT 35 インフラ改善の必要性に⾔及できている◎ 詳細に説明されている中央分離帯がないため、ドライバーが不注意で対向⾞線に逸脱した場合、正⾯衝突のリスクが⾼まる可能性があり、この道路が全国トラックネットワークに分類されていることから、特に懸念される。舗装が両側とも柔軟であるということは、路⾯が⼀定レベルの交通量に対応できることを⽰しているが、事故の原因となる⽳やその他の問題を防ぐためのメンテナンスが必要かもしれない。標⾼、アスペクト、勾配は、事故リスクの⼤きな要因とはならない程度に穏やかである。
さらに、横断歩道からのランクが低く、画像から交通の流れを阻害するものが観察されないことから、インフラは中程度のリスク環境を助⻑しているように思われ、安全運転の実践が事故確率をさらに低下させるであろう。

定性的評価：事故多発地点の説明例 GFCoT 36 道路の両側の舗装は柔軟性があり、⻑期にわたって重い荷重にさらされた場合の耐久性が低いことを⽰している。中央分離帯はなく、道路は2⾞線で構成され、⾞線幅は10フィートと狭い。制限速度が時速25マイルであるため、⾼速事故のリスクは低いが、駐⾞⾞両が⾛⾏⾞線に近接しているため、特に⾞線間に緩衝スペースがない場合、側⾯衝突の危険性がある。この地域の⼟地利⽤は中強度に分類され、歩⾏者や⾞両の通⾏量は多くないものの、事故リスクの⼀因となりうる活動があることを⽰唆している。交通環境から想定される事故形態を
説明できている◎ 簡潔に説明されている

Conclusion • インフラ改善を⾃動化するためのフレームワークを提案 • GISデータを⽤いて道路環境を考慮したデータセットを構築 ◦ GFCoTが最も有効 • 実験 ◦
GFCoTを⽤いて⽣成したキャプションは⼩規模モデルのBLIPでも⾼精度で再現可能 ◦ 連鎖思考を促すことで画像情報に依存しない交通リスクの説明が可能 • 今後の課題 ◦ ⼤規模なデータセットを⽤いた網羅的な実験 ◦ GISデータをより正確に利⽤可能なフレームワークの構築 37

ITSへのCV, NLPの応⽤株式会社Elith 下村晃太

自動運転の技術開発を取り巻く環境 39 https://arxiv.org/pdf/2401.12888 より

自動運転の技術開発を取り巻く環境：第1世代 40 https://arxiv.org/pdf/2401.12888 より第1世代：認知機能の実現 (2012-2019) モダリティ：画像，LiDAR タスク：物体検出，セグメンテーション，白線検知などデータ数：数万程度機械学習・深層学習を利用して認知モデルを学習
認知->予測->計画のうち，認知に特化してモデルを学習予測，計画はクラシカルな方法

自動運転の技術開発を取り巻く環境：第2世代 41 https://arxiv.org/pdf/2401.12888 より第1世代：認知機能の実現(2012-2019) モダリティ：画像，LiDAR タスク：物体検出，セグメンテーション，白線検知.. データ数：数万程度機械学習・深層学習を利用して認知モデルを学習認知->予測->計画のうち，
認知に特化してモデルを学習予測，計画はクラシカルな方法

自動運転の技術開発を取り巻く環境：第3世代 42 https://arxiv.org/pdf/2401.12888 より第３世代：コーナーケースの克服 (2023-) モダリティ：画像，LiDAR, マップ, 言語タスク：物体検出，セグメンテー
ション，白線検知，行動予測，行動決定，言語説明データ数：1000億km以上の走行データ深層学習を利用して認知，予測，計画を一貫学習＋状況を言語で説明学習データに依存せず，コーナーケースに対応 *現時点では研究開発途上

第３世代における自動運転が目指すところ • LLMやVLM等を活用することで複雑なシーン・コーナーケースに対応 ◦ 現時点では限定されたケースでの自動運転が可能 ◦ 複雑なシーンやコーナーケースへの対応が困難 43 出現頻度運転状況の複雑度
多少易難ロングテール => 複雑なシーンやコーナーケースでの評価はどうするのか？

DriveLM: Driving with Graph Visual Question Answering [Shima+, CVPR WS
Challenge, ECCV2024] 44 Graph Visual Question Answer (GVQA) 手法の提案 GVQAタスクのためのデータセットの提案タスク定義：GVQAタスク • 各オブジェクト・タスク間の論理的な依存構造から自車両の安全な運転を計画 • 各タスク： Perception,Prediction,Planning,Behavior,Motion • GVQAグラフ：ドライバの意思決定プロセスをもとに構築 DriveLM-Agent モデル (VQAモデルはBLIP-2を採用) 学習時：Perception→Prediction →PlanningのVQAタスクを学習 • 子タスクは親タスクのVQA情報がコンテキストとして利用される推論時：Perception→Prediction →Planning →Behavior→Motionで予測 • 最終的な運転計画は256個の離散トークンで表現 • Next Token Predictionとしてタスクが解ける

第3世代における評価環境の構築 • 実現方法に２つの方向性がある（実環境データ，シミュレーション） 45 シミュレータによるシナリオ作成実環境データの拡張によるシナリオ作成 Vision and
Language LLM NeRF 3DGS simulator Diffusion model

ChatSim: Editable Scene Simulation for Autonomous Driving via LLM-Agent Collaboration
[Wei+, CVPR2024] 46 LLMとMulti-camera NeRF (3DGS) を用いたシミュレーションシーンの生成シミュレーションシーンをLLMとの対話により編集可能な手法 ChatSim の提案 ① ② ③ ① Project Managerがユーザからの指示をもとに，他のediting agentsに指示 ② 各editing agentsが役割に沿った処理を実行（editing agentsは2チーム： background generation / foreground generation） background generation：background rendering agentがview adjustment agentからの外部パラメータを用いてレンダリング画像を作成し，Vehicle deleting agentがインペインティングを実行 foreground generation：foreground rendering agentがview adjustment agentからの外部パラメータ， 3D asset management agentからの選択された3Dアセット， vehicle motion agentからの生成されたオブジェクトのモーションを使用して画像をレンダリング ※ 画像のレンダリングにはMulti-camera NeRF (or 3DGS) を用いる ③ 前景画像と背景画像を合成して動画を作成 ChatSimによるシーンの編集例

Panacea: Panoramic and Controllable Video Generation for Autonomous Driving [Yang+,
CVPR2024] 47 物体の位置指定やシーンの言語記述による任意の新規視点生成 Latet Diffusionを活用したマルチビューシナリオ生成手法の提案 a. 4D Attentionモジュールを持つDiffusionモデルの学習 b. 4D Attentionモジュールは3つの機能を持つ • 各ビュー内の空間的処理 • 隣接するビューにまたがる空間的処理 • フレーム間の時間的処理 c. 動画生成に用いる制御モジュール • 前フレームはdiffusion noiseとして利用 • テキストはCLIP Encoderを通し言語による条件付けとして利用 • 鳥瞰図はControlNetを通しレイアウトによる条件付けとして利用物体・位置の条件付き予測シーンの言語条件付き予測

HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting [Zhou+,
CVPR2024] 48 静的・動的3D Gaussian Splatting を組み合わせた走行シーンの再構成手法ジオメトリ、アピアランス、セマンティクス、モーションを共同で最適化 ① 動画データに対し，学習済みモデルを用いてOptical Flow, Semantic Map, 3D Trackingの予測結果を生成 ② シーンを静的領域とN個の剛体的に動く動的オブジェクトに分解し，3D Gaussianによって表現 • 異なるパラメータを持つUnicycle Model を用いてN個の動的オブジェクトのMotionを表現 • 各3D Gaussianは外観とSemanticな情報を含み，Optical FlowはGaussian中心の動きから計算 ③ 統一された一つのモデル内でRGB画像, Semantic Map, Optical Flowのレンダリングを実現新規視点生成他手法との比較 ① ② ③

Slide Paper Thank you for your attention

Appendix

従来研究：プロンプトエンジニアリング 51 ## Context ## Specifications ## Response 'FXTIPU$P5 [Wei+,
Arxiv2022] 'FXTIPU[Brown+, NeurIPS2020] ;FSPTIPU$P5 [Kojima+, NeurIPS2022] ## Context ## Specifications Let’s think step by step. ## Response ## Context ## Specifications ## Few examples ## Response ## Context ## Specifications ## Few chain of thought examples ## Response ;FSPTIPU [Wei+, Arxiv2022] 回答例を記載複雑な推論をできるように複雑な推論をできるように回答例を記載

Feature Details • 静的リスクの生成に用いたGIS特徴量 52 Road Structure Information Categories of
Expressway Presence or absence of central reservation Pavement type of side road Number of traffic lanes Slope direction Distance from intersection Specified truck route

【Elith開催】ITSC 2024論文発表ウェビナー

【Elith開催】ITSC 2024論文発表ウェビナー

More Decks by Elith

Featured

Transcript