Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Turingにおける自動運転モデルの開発とW&Bの活用
Search
Inoichan
October 17, 2023
Technology
1
1.3k
Turingにおける自動運転モデルの開発とW&Bの活用
2023/10/11に開催されたFully Connected 2023 Tokyoカンファレンスの資料です。
イベントページ:
https://fullyconnected.jp/
Inoichan
October 17, 2023
Tweet
Share
More Decks by Inoichan
See All by Inoichan
Data-centric視点で過去コンペを振り返る
inoichan
1
780
Turingと自動運転とLLM- LLM-jp 勉強会
inoichan
3
2.7k
[CV勉強会@関東 CVPR2023] UniAD: Planning-oriented Autonomous Driving
inoichan
2
2.4k
[CV関東3D勉強会] TPVFormer ~マルチカメラを用いた自動運転の3D Occupancy Prediction~
inoichan
0
2k
Teslaはカメラを使ってどのように世界を認識しているか
inoichan
5
8.8k
[CVPR2022読み会] Time3D: End-to-End Joint Monocular 3D Object Detection and Tracking for Autonomous Driving
inoichan
0
870
[第4回 全国医療AIコンテスト] Kaggleから学んだ医療画像データ解析の取り組み方
inoichan
5
4.5k
Use of Data Science in the field of Life Science
inoichan
1
470
Lyft Motion Prediction for Autonomous Vehicles 2020
inoichan
0
110
Other Decks in Technology
See All in Technology
VideoMamba: State Space Model for Efficient Video Understanding
chou500
0
190
Lambdaと地方とコミュニティ
miu_crescent
2
370
SRE×AIOpsを始めよう!GuardDutyによるお手軽脅威検出
amixedcolor
0
170
第1回 国土交通省 データコンペ参加者向け勉強会③- Snowflake x estie編 -
estie
0
130
SSMRunbook作成の勘所_20241120
koichiotomo
3
160
100 名超が参加した日経グループ横断の競技型 AWS 学習イベント「Nikkei Group AWS GameDay」の紹介/mediajaws202411
nikkei_engineer_recruiting
1
170
iOS/Androidで同じUI体験をネ イティブで作成する際に気をつ けたい落とし穴
fumiyasac0921
1
110
Security-JAWS【第35回】勉強会クラウドにおけるマルウェアやコンテンツ改ざんへの対策
4su_para
0
180
初心者向けAWS Securityの勉強会mini Security-JAWSを9ヶ月ぐらい実施してきての近況
cmusudakeisuke
0
130
[CV勉強会@関東 ECCV2024 読み会] オンラインマッピング x トラッキング MapTracker: Tracking with Strided Memory Fusion for Consistent Vector HD Mapping (Chen+, ECCV24)
abemii
0
220
飲食店データの分析事例とそれを支えるデータ基盤
kimujun
0
150
20241120_JAWS_東京_ランチタイムLT#17_AWS認定全冠の先へ
tsumita
2
300
Featured
See All Featured
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
16
2.1k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
0
97
The Language of Interfaces
destraynor
154
24k
Gamification - CAS2011
davidbonilla
80
5k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
31
2.7k
Building Adaptive Systems
keathley
38
2.3k
Visualization
eitanlees
145
15k
Testing 201, or: Great Expectations
jmmastey
38
7.1k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
26
2.1k
Ruby is Unlike a Banana
tanoku
97
11k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
6.8k
Git: the NoSQL Database
bkeepers
PRO
427
64k
Transcript
Turingにおける自動運転モデル の開発とW&Bの活用 Fully Connected 2023 Tokyoカンファレンス
自己紹介 ❖ Inoue Yuichi ❖ Turing Inc. Brain Research Team ❖
京都大学 博士(薬学) ❖ Kaggle Competitions Grandmaster
KaggleでもW&Bはフル活用
KaggleでもW&Bはフル活用
今日お話しすること • Turingの紹介 • Turingの自動運転戦略 • Driver modelの開発 • Navigator
modelの開発
Turing株式会社 事業内容: 完全自動運転EV車両の開発・製造 AIとソフトウェアに長けた人材が中心となって創業。 創業時から2つの大きな課題に取り組んでいる。 - 完全自動運転の実現 - 新たな完成車メーカーの誕生
Turingのこれまで 2021年8月創業 2021年12月 AI-based PoC 自動運転システムを構築 2022年7月 10億円の資金調達 2022年10月 北海道一周(約1,400㎞)を
自動運転で走破 2022年 11月 500時間分の 走行データ基盤を作成 2023年2月 THE FIRST TURING CAR を販売完了 2023年6月 車両生産拠点開所 Turing Kashiwa Nova Factory 2023年3月 AIデザインの「完全自動運転 EV」 コンセプトカーを発表 2023年3月 国産LLM開発着手 2023年4月 経済産業省主導 「J-Startup企業」に選出
We Overtake Tesla Turing’s Mission 米中では何百社もEV・自動運転スタートアップがあります。我々だってできる。 Turingは数百兆円の産業で大きく挑戦し、世界で戦う大きなチームを創り出します。
Turingの自動運転戦略
Turingが目指すのは完全自動運転 自動運転には5つのレベルがある。 Turingが目指す自動運転車はハンドルがない市販車。 Level 1 運転支援 Level 2 部分自動化 Level
3 条件付き自動化 Level 4 高度自動化 Level 5 完全自動運転 人間が主体 運転システムが主体 領域・条件を限定 全てを代替
従来のセンサ+高精度地図を用いた手法 Honda Sensing Elete Waymo
「運転」には複雑で未知の状況が無限に存在する 難・少 Long-Tail Prediction Uncertainty Aware Trajectory Planning for Self-driving
Vehicles
Driver modelとNavigator model Driver センサを使い認知・推論を高速に行う軽量モデル Navigator 総合的な認知・意思決定を行う大規模基盤モデル 人間の自然言語による命令の解釈や背景知識に 基づく総合的な判断を行う。 速い反応が要求されるdrivingと複雑な判断が要求されるnavigationを分離する戦略
What does a rally co-driver do?
Driver modelの開発
高品質のセンサと高精度3次元地図はハイコスト • センサの精度と価格は比例する。 • 高精度マップに依存しすぎると、地図がない場所で運転できない。 • 市販車にこの見た目は受け入れられる...?? 8 Questions With
James Peng of Pony.ai, One of China's Most Valuable Autonomous Vehicle Startups nuplan
Vision Centricな自動運転 • マルチカメラを用いたEnd-to-endのアプローチは産学ともに大本命のアプローチ • RGBの映像はかなりリッチな情報 • 画像を扱う技術はかなり成熟している。 Tesla AI
Day 2022 CVPR 2023 Best Paper UniAD
TuringのLevel 2 Driver model カメラの映像をフル活用して開発された Turingの自動運転 • 自動運転率95%で北海道一周 • The
First Turing Car (Sold!) • 100台生産の新型車両 (2024年!) The First Turing Car 自動運転システム
データ収集システム カメラ + 各種センサ情報を継続的に収集できるよう 車載システムを構築 • センサシステム ◦ カメラ、GPS、加速度計 ...
◦ アクセル、ブレーキ、ハンドル ... • 低コスト・低消費電力 ◦ 20万円以下 & 100W 以下 ◦ データアップロードは物理デバイス経由 車載システム構成 データ収集車両 カメラ取り付け位置 Shimatani ECU
機械学習システム データ取得・アップロード データ処理・データレイク 学習 デプロイ
学習のモニター Driver modelは学習をどんどん回してW&B上でモニター
学習のモニター モデルの補助Lossなどの状態も Stepごとに可視化 どのように学習が進んでいるか、モ デルの特性の考察に使用 More steps More steps Model
A Model B
学習したモデルの評価 学習の結果はシミュレーターにデプロイされ、Slackに通知される。良さそう なモデルを抜粋し、テストコースによる実車で評価を行う。
Navigator modelの開発
現行技術の延長で実現できるか? 人間は初めてのケースでもその場で考えてなんとか回避できる ハイコンテキスト 未知のパターン waymo at eccv 2022
自然言語的コンテキストを理解 運転世界に存在する自然言語で説明可能な状況をうまくDriver modelに統合すること がNavigator modelの鍵 Microsoft LlaVA 1.5 Turing Heron
自動運転 x 自然言語は最先端のトピック Wayve LINGO-1 OpenDriveLab DriveLM 香港大 DriveGPT4 Huawei
HiLM-D
Heron: Vision Language Model Library • 様々なモデルの組み合わせで学習可能なHeronをリリース • 日本語データセットも用意してNavigator modelのベースとして開発中
Navigator modelの実験における可視化 どういうデータ? 学習はうまく進んでる? 結果は? Referring Multi-Object Tracking LLaVA: Large
Language and Vision Assistant
データの可視化 データセットのサンプルや統計情報を W&Bにアップしてチームで共有
学習状態のモニター 学習のパフォーマンスや安定性をモニターするために、 TFLOPSやOptimizerの状態も監視している。
学習状況のモニター 学習途中の評価時にもランダムに推論させた結果を保存することで、学習がうまくいっ てるかやどの程度のLossでどのくらいの出力ができるかを確認する。
結果の確認 学習したモデルは、Nejumi LLMリーダーボードにインスパイアされて Leaderboard風に管理
個別の結果の確認 ランダムにサンプリングした結果をTableでアップロードしておくことで、モデルの比較をし ながら評価指標と実際の予測の感覚を磨いていく。
まとめ - 深層学習モデルの開発に関して、モニターしたいLossや評価指標、学習の状態な ど様々なものをW&Bを活用することで簡単に共有できる。 - 学習に限らず、データや結果の確認、共有にもW&Bがかなり使える。 - W&Bをフル活用してTuringの自動運転開発を今後も加速させていきます!
Acknowledgement & We are hiring!!! 今日の発表内容はTuringのAutonomous driving teamとBrain research teamの
成果です!優秀なメンバーに感謝!新しいメンバーも募集しているので興味がある人 はぜひTuringへ!