End-to-End自動運転開発チーム紹介資料

Transcript

1. End-to-End⾃動運転開発チームの紹介 End-to-End⾃動運転モデルの開発
2. Tokyo30 2025年末までに、カメラと AIだけで 東京エリアを30分以上介入なしで走行し続ける自 動運転モデルを開発します
3. End-to-end(E2E)自動運転の構成要素 Gateway (CAN, Ethernet) 自動運転ECU カメラ / GNSS / IMU アクセル・ブレーキ・ステアリング IVI・ナビゲーションシステム Following the Biological Evolution、「人間は目が良いからではなく、頭が良いから運転できる」
4. 従来の自動運転システム 画像 LiDAR点群 HDマップ Perception • 物体認識 • 標識認識 • レーン認識 Prediction • 移動予測 • 将来マップ予測 • 交通エージェント Planning • 探索問題 • 経路計画 Control • 制御アルゴリズ ム https://paperswithcode.com/dataset/nuscenes prediction perception planning 機能ごとに分かれたモジュールが独立に動くので 全体最適化ができない
5. End-to-end 自動運転AI マルチカメラ画像 Neural Network 車の経路 我々のアプローチ : End-to-endモデルを構築し画像から車の経路を直接出力する 画像 LiDAR点群 HDマップ Perception • 物体認識 • 標識認識 • レーン認識 Prediction • 移動予測 • 将来マップ予測 • 交通エージェント Planning • 探索問題 • 経路計画 Control • 制御アルゴリズ ム 従来のシステム
6. E2E自動運転モデル 様々な認識と予測タスクを行うことで「世界を表すベクトル」を獲得する Neural Network 3D物体認識 & 移動予測 マップ認識 世界を表すベクトル multi-camera images 経路生成 future trajectory
7. MLOps for Tokyo30 データ収集 自動運転MLモデルを作る ”工場”の開発 = MLOps データセットの作成 モデル開発 モデルデプロイ データセントリックAI開発にお いて重要！
8. 4万時間のデータ収集 データ収集車が毎日10時間365日走行し、2025年までに4万時間の 走行データを集めます データ収集エリア（一般道 (緑)と高速道路(紫)） カメラ GNSS LiDAR
9. データ収集ルートの自動生成 • OpenStreetMap API + 国土地理院の道路データを使って候補道路を抽出 • Google Maps APIを使ってカバレッジ条件を満たすルートを生成 東京中心部 大崎からお台場 生成したルートの例
10. 3次元物体アノテーション • そもそも3次元物体検出とは？ ◦ 人や車など運転に関係するオブジェクトを3次元座標上のボックスで推測 ◦ 2次元物体検出と異なり、教師データの作成にLiDAR点群データが必要 最近アップデートされた TeslaのUI
11. 3次元物体アノテーション
12. ベクターマップ作成 • そもそもマップは何に使うのか？ → カメラ画像から地図を推論する (NNにとって強力なサブタスクになる) FSDのUIに表示されているマップ
13. ベクターマップ作成 • 車線、走行可能エリア、センターラインのポリラインを作成する 5月に作成した地図 (アイサンテクノロジー ) 交差点のトポロジー
14. センサーキャリブレーション データ収集車両のカメラやセンサーのキャリブレーション
15. センサーキャリブレーション 画像上にパスを重ね合わせた結果 • MLモデルを一通り学習するためのキャリブレーションは完了 Camera-to-Camera
16. JADD • Turingが作る日本の自動運転AIの 学習用データセット • 「日本の自動運転データセットといえ ばJADD」を目指す！ • nuScenesと完全互換なので、既存 の公開されている研究用MLモデル のほぼ全てを日本用に学習できる！
17. JADDを使うための SDK • nuScenes-devkitをforkしてjadd向けのdevkitを作成 • nuScenesと同じインターフェイスでjaddにアクセスできる
18. Data-Centric Approach モデル データ モデルだけでなく、データを改善することで全体の精度を高める • データ量 : 大量のデータで学習を行う（膨大な計算資源が必要） • 多様性：撮影環境や地域が異なる 多様な交通条件での走行データ が求められる • フィルタリング ：上手な運転のみを学習させたい • Auto-labeling：教師データも質と量が重要で、高精度な生成アプローチが必要である 学習 全体の精度改善 = モデル構造の改善 × データの改善
19. データ処理基盤 車両で収集したデータ (2.5TB/日)はクラウド環境で大規模並列処理される 作成したデータセットは SDKを通してMLフレームワークから読み込む
20. tuScenes Studio web画面からクリーニング処理やバリデーションの処理を実行することができる https://data.turing-ai.dev/scene?token=4cfd38a01499758be9ae0cbe56c32dbd
21. JADDでモデル学習を開始 • お台場の350シーン程度（想定の0.0007%）のデータを使ってモデル学習の初期検 証を開始
22. JADDでモデル学習を開始 • お台場の350シーン程度（想定の0.0007%）のデータを使ってモデル学習の初期検 証を開始
23. データ量に関するスケーリング則 • データ量を増やすと精度が対数スケールで下がることを確認した • 学習に使うデータを増やしていくことが重要！ 衝突率
24. エンジニア構成⽐率‧チーム⼈数 0 67 %
 38 %
 全体に占めるエンジニアの人数 
 E2Eチームの人数
 ※他チームは約24%、約38%
 全体職種別構成比率
 E2Eチーム構成比率

25. エンジニアバックグラウンド 0 AI Talent Software Engineer Kaggle Grandmaster
 Kaggle Master

26. 採⽤求⼈⼀覧 E2Eチームでは下記のポジションを求めています。8名体制のチームを3~4倍規模に拡張予定で、多 くのエンジニアを募集中です。 0 Senior Machine Learning Engineer
 Senior Software Engineer,MLOps
 Senior Software Engineer,Data Platform
 Product Manager,Dataset
 Machine Learning Engineer
 Computer Vision / 3D Reconstruction

27. Recruit Process｜正社員 0 柔軟な選考フロー 左に記載している選考フローはあくまでも基本的な形 式です。 皆さんのご状況に応じて、面談・オフィス見学・ Open Officeなどの調整が可能です。 もちろん他社選考状況に応じて当社の選考プロセス を早めたい等というご相談も可能です。 また、ポジションによっては技術試験やワークサンプ ルなどを追加で実施するケースがあります。 ※選考期間の目安は、およそ 2〜3週間です。
28. Recruit Process｜インターン 0 体験入社について 体験入社では、SlackやNotionなど社員と同じレベ ルで社内情報にアクセスできる情報を共有し、配属予 定チームの社員と最長 2日間一緒に働いていただくプ ロセスです。 チューリングのカルチャーを体感いただき、お互いに ミスマッチがないかを確認するための場になります。
29. よくある質問 0 Q.リモートでも働けますか？ 
 ご自身やご家族の体調や事情（荷受けが必要など）など事前承認があった場合はリモートでの就業が可能です。 出社をベースとしつつも状態に合わせてリモートをフレキシブルに活用できる状況になっています。 
 
 
 
 Q.フレックスタイム制度について教えてください 
 10:00~15:00がコアタイムのフレックス制度があるので柔軟な働き方ができます。 15時に退勤してプライベートを楽 しむ社員が多いです。 
 
 
 
 Q.社内で情報はどのようにオープンにされていますか？ 
 チューリングでは所属する各メンバーが自律して意思決定ができるよう、可能な限り情報を公開しています。具体 的には経営陣の意思決定や開発進捗は毎週の全体会議や Slackなどオープンな場で、センシティブな項目（特に 採用条件など人事的な決定）を除き全てを公開しています。 

30. We Are Hiring! https://tur.ing/