クラウドエンジニアが覗く 自動運転モデル開発の世界 / Cloud-Powered Autonomous Driving

BuriKaigi 2025 にて登壇させていただきました。

https://fortee.jp/burikaigi-2025/proposal/dd304d2b-075c-496a-90b4-bd68e553645d

併せて、こちらのブログもご確認ください。
https://zenn.dev/riita10069/articles/survey_data-centric_autonomous-driving

1. クラウドエンジニアが覗く ⾃動運転モデル開発の世界 #burikaigi2025 Amazon Web Services Inc. Global Automotive Solutions Architect Ryota Yamada Buri Kaigi 2025
2. 好きなAWSのサービス： 趣味： 謎解き、サッカー観戦、フットサル Ryota Yamada / riita10069 Global Automotive SA / TFC Containers Japan Lead / TFC Automotive 経歴： CTO, TechAdvisor @ startups SRE, Platform Engineer @ TechCompanies
3. E2E ⾃動運転 https://www.thinkautonomous.ai/blog/tesla-end-to-end-deep-learning/ Traditional: 独⽴したモジュールを複数 Modular: 独⽴したニューラルネットを複数 E2E: 単⼀のニューラルネットが Trajectory を推論
4. ⾃動運転 AI の本題へ – 課題はロングテール問題 https://arxiv.org/pdf/2305.07497 IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS 1 Dynamically Conservative Self-Driving Planner for Long-Tail Cases Weitao Zhou, Zhong Cao, Nanshan Deng, Xiaoyu Liu, Kun Jiang, Diange Yang 現代の技術では、99 % の運転時間において AI による自動運転は可能 しかし、 100 % でないと完全自動運転とは言えない 難しい状況に限ってトレーニングデータにない
5. UniAD @ CVPR2023 by OpenDriveLab https://arxiv.org/pdf/2212.10156
6. https://driveteslacanada.ca/news/tesla-ai-day-simplified/
7. UniAD @ CVPR2023 by OpenDriveLab https://arxiv.org/pdf/2212.10156 Input • 6x camera images • Transformation between camera • Navi, forward or left/right CrossAttentionによるベクトル更新 Output • BEV Feature • Multi Object Tracking • Segmented map • Trajectories of Top-k
8. Transformer の出現と Scaling Law • Transformerの性能は『（埋め込み層を除く）モデルのパラメータ数 NN』『訓練データセットに含まれるトークン数DD』『訓練計算量CC 』等の変数によって記述される冪乗則に従う Scaling Laws for Neural Language Models (Jared Kaplan, Sam McCandlish et al., 2020-01-23)
9. From Model-centric to Data-centric AI https://www.youtube.com/watch?v=06-AZXmwHjo AI System = Model Algolism + Training Data Model-centric Approach Data-centric Approach 改善 改善 アルゴリズムは、Transformer で固定して データの量を増やしたり品質を改善する その⽅がモデルの改善に⼤きく寄与する
10. From Model-centric to Data-centric AI https://www.youtube.com/watch?v=06-AZXmwHjo AI System = Model Algolism + Training Data Model-centric Approach Data-centric Approach 改善 改善 アルゴリズムは、Transformer で固定して データの量を増やしたり品質を改善する その⽅がモデルの改善に⼤きく寄与する BigData + Good Data
11. ⾃動運転 AI の世界でも Data-centric AI Approach1: ⾃動運転⽤データセットの発展 Approach2: 閉ループ駆動型アプローチ
12. 第3世代データセット – ⽣成 AI によって⽣成 : Xu et al. "State-of-the-art Autonomous Driving Datasets: Classification and Development." arXiv preprint arXiv:2401.12888 (2023). https://arxiv.org/pdf/2401.12888
13. DriveLM Dataset by OpenDriveLab https://arxiv.org/pdf/2312.14150 217,522フレームのデータ、約280万件のQAペア 第⼆世代の nuScenes は30,000フレーム
14. 世界シミュレーター • 世界シミュレーター as Dataset • 滅多に起こらない状況を作成することでパラメータの活性化 • 様々な時空間点を作成することで共変量シフト問題への解決 • 世界シミュレーター as Simulator • のちに紹介する Closed-loop なアプローチで利⽤可能 • 世界シミュレーター as AD Model • ⾃動運転モデルそのもののサブタスクの⼀つとしても考えられる
15. GAIA-1 https://arxiv.org/pdf/2309.17080
16. 開ループと閉ループ • 開ループ • 現実世界の実⾞両から取得した⾛⾏データを模倣する • 閉ループ • CARLA などのシミュレータを通して⾛⾏能⼒を評価する
17. 閉ループ駆動型データプラットフォーム Data-Centric Evolution in Autonomous Driving: A Comprehensive Survey of Big Data System, Data Mining, and Closed-Loop Technologies, https://arxiv.org/html/2401.12888v2 (I)データ収集 (II)データ保存 (III)データ選択と前処理 (IV)データラベリング (V)ADモデルトレーニング (VI)シミュレーション/テスト検証 (VII)実世界展開
18. (I)データ収集(II)データ保存: IoT Fleetwise https://aws.amazon.com/jp/blogs/news/announcing-aws-iot-fleetwise-vision-system-data-preview/
19. (I)データ収集(II)データ保存: IoT Greengrass Camera/GNSS/LiDAR CAN/NIR IoT Greengrass Connected Car installed IoT Greengrass Core AWS Cloud MQTT topic AWS IoT Core Device management IoT Rule Certs management
20. (I)データ収集(II)データ保存: AWS Data Transfer Terminal Re:Invent 2024 で公開 現在利⽤可能な地域は、ロサンゼルス、ニューヨーク 計画中のサイトはサンフランシスコ、アトランタ、ダラス、シアトル、ミュンヘン AWS DT2 S3 試験車両 Local SSD File化 Validation @Local PC
21. (III)データ選択と前処理 • 保存したデータには何があるか • Probe, LiDAR, Camera, NIR(近⾚外線), GNSS etc… • ETL • 動画から画像への変換 • 歪みの矯正 • バリデーションやクレンジング • フレーム⾶び • カメラの前に障害物があり何も映ってないもの • ファイル⾃体の破損 • メタデータの収集 • timestamp, GNSS, 天気、気温、⾛⾏速度、地域、右左折、歩⾏者、対向⾞ etc... • クラスのインバランスを防ぐようにデータセットを選択 • 右折と左折と直進の割合、天候の割合、⾛⾏エリアの特性の割合
22. (III)データ選択と前処理 – シーンサーチ Multimodal Embedding Model 画像 → ベクトル ex) Titan Multimodal FMs 走行データ ベクトルデータベース Multimodal Embedding Model 検索ワード → ベクトル ex) Titan Multimodal FMs シーン検索が可能 「雨」「赤信号」「歩行者」「横断歩道」 近似最近傍探索/cos類似度
23. (IV)データラベリング – オートアノテーション • 3D 静的シーンラベリング • 運転場所(街路、⾼速道路、都市の⾼架道路、メイン道路など) • 天候(晴れ、⾬、雪、霧、雷⾬など) • etc.. • 3D 動的オブジェクトラベリング • ⾞両 • 歩⾏者 • 信号機の⾊ • etc..
24. (IV)データラベリング – Waymo Pipeline LiDAR から教師なし学習により3D物体検出を⾏う⼿法 1.初めに点群からの物体検出を⾏う 2.次に⾃⼰運動(エゴモーション)を除去する 3.シーケンス全体から検出した物体をトラッキングする 教師なしで物体検出を⾏うため、⼈⼿によるラベリング作業が不要 Offboard 3D Object Detection from Point Cloud Sequences, https://arxiv.org/pdf/2103.05073
25. (IV)データラベリング – Uber Auto4D 連続的なLiDARポイントクラウドデータから4次元物体ラベルを⽣成 https://arxiv.org/pdf/2101.06586 https://www.youtube.com/watch?v=1cyjlOGXJPM
26. (IV)データラベリング – SelfOcc • NeRF が応⽤され、⾃⼰教師あり学習によりボクセル表現を獲得 • 進度推定、深度合成などのサブタスクでも⾼い性能 https://arxiv.org/abs/2311.12754
27. (IV)データラベリング – NVIDIA MegLev https://www.youtube.com/watch?v=HuIWTwE28QE ⼿動のラベリングもツールによって効率化 • Segment Labeler • これはビデオの特定の区間にタグを付ける • 2D Image Labeling • オブジェクト検出のためのバウンディングボックス • LiDAR Labeling • カメラと連携する • Sensor Fusion のために必要なラベルがある • Object Tracking • 複数フレームにわたって同じオブジェクトを追跡
28. (V)モデルトレーニング – AWS Trainium & JARK AWS Trainium および Inferentia GPU に⽐べて、AWS での 1000 億パラメータ以上の 基盤モデルおよび⼤規模⾔語モデルの DL トレーニングでコストを最⼤ 50% 削減 深層学習の推論アプリケーションでコストを最⼤ 70% 削減し、スループットを 2.3 倍に向上 Neuron SDK AWS Trainium 向けに深層学習モデルを最適化するよう調整 Ray フレームワーク Ray Data は分散データ読み込みを簡素化し、クラウドストレージからファイルを効率的に読み取り、 トレーニング⽤にデータを分割するためのシンプルなインターフェイスを提供します。 Ray Train は、複数のコンピューティングノードにまたがる分散トレーニングを簡素化します。 Ray Tune は実験の実⾏とハイパーパラメータのチューニングを⾏います。 Ray Serve はオンライン推論 API を構築するためのモデルサービングライブラリです。 https://awslabs.github.io/data-on-eks/docs/blueprints/ai-ml/jark JARK on EKS
29. Autonomous Driving Data Framework https://github.com/awslabs/autonomous-driving-data-framework
30. 1. Kinesis Firehose経由でほぼリアルタ イムでのセンサーデータの取り込み。 2. ほぼリアルタイムの⾞両モニタリン グと RedshiftとGrafanaによるア ラート機能。 3. アラートの発⾏ 4. コピーステーションからDirect Connectで録画データを⼀括アップ ロードし、API Gatewayで取り込み 検証・登録を実⾏。 5. AWS Batch上で動作するコンテナに よるデータ品質の初期チェックと データ抽出。 Autonomous Driving Data Framework (v3) https://github.com/awslabs/autonomous-driving-data-framework
31. 6. 画像にMLモデルによるアノテー ションを⾏い、物体や道路レーンを 検出し、信頼度の低い予測は⼿動で アノテーションを実施。顔やナン バープレートをぼかすためにバウン ディングボックスを使⽤。 7. センサデータに局所的な天気やマッ プマッチング情報を付加し、画像ア ノテーションとセンサデータを組み 合わせて、交差点や街中の⼈・物な ど様々なシーンを検出することが可 能。 8. AWSの分析ツール群は、Apache Icebergによるパーケットデータと スキーマの進化、およびAthena、 Redshift、OpenSearchなどのクエ リツールを管理 Autonomous Driving Data Framework (v3) https://github.com/awslabs/autonomous-driving-data-framework
32. 8. Managed Airflowによるデータパイプラインのオーケストレーション、Grafana、Cloudwatch、X-Rayによる分散 ワークロードの可観測性、Amazon Neptuneによるデータリネージ。 9. CodePipelineとCodeBuild上でGitOpsを使⽤してビルド、テスト、デプロイを実⾏。 10. エンジニア向けの⾼性能なオンデマンド可視化アプリケーションをEKSでホスト。EC2とNice DCVを使った開発者 インスタンス、FSx for Lustreを使ったステージングとファイル共有。 Autonomous Driving Data Framework (v3) https://github.com/awslabs/autonomous-driving-data-framework
33. 11. EMRやSageMakerを使ったPythonやSpark Notebookなどのユーザー向けツールのインフラストラクチャ、Grafana を使ったカスタムダッシュボード、AmplifyやCloudFrontで構築・ホスティングしたWebアプリケーション 12. EKSまたはAWS Batchを使⽤したスケーラブルなシミュレーションとKPI計算モジュール、およびKPIとシミュレー ション結果を分析するためのQuickSight。 13. ドライブやファイルレベルのメタデータをDynamoDBで⼤規模に保存、照会することで、パイプラインのトレーサ ビリティを確保し、アドホックなメタデータ、マニフェスト、マーカー、タグを保存することが可能。 Autonomous Driving Data Framework (v3) https://github.com/awslabs/autonomous-driving-data-framework
34. https://pages.awscloud.com/rs/112-TZM-766/images/RECAP_AUTO_4_Automotive-AIML.pdf
35. Mobileye 事例 https://aws.amazon.com/jp/blogs/news/mobileyes-journey- towards-scaling-amazon-eks-to-thousands-of-nodes/ 1 つのクラスターで、最⼤ 40,000 Pod、100,000 以上の vCPU が存在する、最⼤ 3,200 ノードまでスケール可能 数千の Spark エグゼキューターを起動する Spark クラスター GPU や Habana Gaudi アクセラレーターなど、必要な時 に利⽤できるだけの計算能⼒を利⽤ Mobileye では、最先端のカメラ、コンピューターチップ、 およびソフトウェアを使⽤して、⾃動運転技術と先進運 転⽀援システム (ADAS) を開発しています。Mobileye の AI エンジニアリング部は、ワークフロー、DAG、ML/DL の学習ワークフロー、基本的なバッチジョブなど、多様 なタイプのワークロードを実⾏する様々なエンジニアリ ングチームをサポートしています。
36. ご清聴ありがとうございました Global Automotive Solutions Architect Ryota Yamada