Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Turingにおける自動運転モデルの開発とW&Bの活用
Search
Inoichan
October 17, 2023
Technology
1
1.4k
Turingにおける自動運転モデルの開発とW&Bの活用
2023/10/11に開催されたFully Connected 2023 Tokyoカンファレンスの資料です。
イベントページ:
https://fullyconnected.jp/
Inoichan
October 17, 2023
Tweet
Share
More Decks by Inoichan
See All by Inoichan
Data-centric視点で過去コンペを振り返る
inoichan
1
800
Turingと自動運転とLLM- LLM-jp 勉強会
inoichan
3
2.7k
[CV勉強会@関東 CVPR2023] UniAD: Planning-oriented Autonomous Driving
inoichan
2
2.6k
[CV関東3D勉強会] TPVFormer ~マルチカメラを用いた自動運転の3D Occupancy Prediction~
inoichan
0
2.1k
Teslaはカメラを使ってどのように世界を認識しているか
inoichan
5
8.8k
[CVPR2022読み会] Time3D: End-to-End Joint Monocular 3D Object Detection and Tracking for Autonomous Driving
inoichan
0
890
[第4回 全国医療AIコンテスト] Kaggleから学んだ医療画像データ解析の取り組み方
inoichan
5
4.5k
Use of Data Science in the field of Life Science
inoichan
1
470
Lyft Motion Prediction for Autonomous Vehicles 2020
inoichan
0
120
Other Decks in Technology
See All in Technology
成果を出しながら成長する、アウトプット駆動のキャッチアップ術 / Output-driven catch-up techniques to grow while producing results
aiandrox
0
310
サイボウズフロントエンドエキスパートチームについて / FrontendExpert Team
cybozuinsideout
PRO
5
38k
日本版とグローバル版のモバイルアプリ統合の開発の裏側と今後の展望
miichan
1
130
2024年にチャレンジしたことを振り返るぞ
mitchan
0
140
生成AIをより賢く エンジニアのための RAG入門 - Oracle AI Jam Session #20
kutsushitaneko
4
230
OpenAIの蒸留機能(Model Distillation)を使用して運用中のLLMのコストを削減する取り組み
pharma_x_tech
4
560
社内イベント管理システムを1週間でAKSからACAに移行した話し
shingo_kawahara
0
180
Snowflake女子会#3 Snowpipeの良さを5分で語るよ
lana2548
0
230
マルチプロダクト開発の現場でAWS Security Hubを1年以上運用して得た教訓
muziyoshiz
3
2.3k
ハイテク休憩
sat
PRO
2
150
オプトインカメラ:UWB測位を応用したオプトイン型のカメラ計測
matthewlujp
0
170
How to be an AWS Community Builder | 君もAWS Community Builderになろう!〜2024 冬 CB募集直前対策編?!〜
coosuke
PRO
2
2.8k
Featured
See All Featured
A designer walks into a library…
pauljervisheath
204
24k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
29
2k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Building a Scalable Design System with Sketch
lauravandoore
460
33k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Being A Developer After 40
akosma
87
590k
How GitHub (no longer) Works
holman
311
140k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
26
1.5k
Designing on Purpose - Digital PM Summit 2013
jponch
116
7k
Fireside Chat
paigeccino
34
3.1k
Automating Front-end Workflow
addyosmani
1366
200k
Intergalactic Javascript Robots from Outer Space
tanoku
270
27k
Transcript
Turingにおける自動運転モデル の開発とW&Bの活用 Fully Connected 2023 Tokyoカンファレンス
自己紹介 ❖ Inoue Yuichi ❖ Turing Inc. Brain Research Team ❖
京都大学 博士(薬学) ❖ Kaggle Competitions Grandmaster
KaggleでもW&Bはフル活用
KaggleでもW&Bはフル活用
今日お話しすること • Turingの紹介 • Turingの自動運転戦略 • Driver modelの開発 • Navigator
modelの開発
Turing株式会社 事業内容: 完全自動運転EV車両の開発・製造 AIとソフトウェアに長けた人材が中心となって創業。 創業時から2つの大きな課題に取り組んでいる。 - 完全自動運転の実現 - 新たな完成車メーカーの誕生
Turingのこれまで 2021年8月創業 2021年12月 AI-based PoC 自動運転システムを構築 2022年7月 10億円の資金調達 2022年10月 北海道一周(約1,400㎞)を
自動運転で走破 2022年 11月 500時間分の 走行データ基盤を作成 2023年2月 THE FIRST TURING CAR を販売完了 2023年6月 車両生産拠点開所 Turing Kashiwa Nova Factory 2023年3月 AIデザインの「完全自動運転 EV」 コンセプトカーを発表 2023年3月 国産LLM開発着手 2023年4月 経済産業省主導 「J-Startup企業」に選出
We Overtake Tesla Turing’s Mission 米中では何百社もEV・自動運転スタートアップがあります。我々だってできる。 Turingは数百兆円の産業で大きく挑戦し、世界で戦う大きなチームを創り出します。
Turingの自動運転戦略
Turingが目指すのは完全自動運転 自動運転には5つのレベルがある。 Turingが目指す自動運転車はハンドルがない市販車。 Level 1 運転支援 Level 2 部分自動化 Level
3 条件付き自動化 Level 4 高度自動化 Level 5 完全自動運転 人間が主体 運転システムが主体 領域・条件を限定 全てを代替
従来のセンサ+高精度地図を用いた手法 Honda Sensing Elete Waymo
「運転」には複雑で未知の状況が無限に存在する 難・少 Long-Tail Prediction Uncertainty Aware Trajectory Planning for Self-driving
Vehicles
Driver modelとNavigator model Driver センサを使い認知・推論を高速に行う軽量モデル Navigator 総合的な認知・意思決定を行う大規模基盤モデル 人間の自然言語による命令の解釈や背景知識に 基づく総合的な判断を行う。 速い反応が要求されるdrivingと複雑な判断が要求されるnavigationを分離する戦略
What does a rally co-driver do?
Driver modelの開発
高品質のセンサと高精度3次元地図はハイコスト • センサの精度と価格は比例する。 • 高精度マップに依存しすぎると、地図がない場所で運転できない。 • 市販車にこの見た目は受け入れられる...?? 8 Questions With
James Peng of Pony.ai, One of China's Most Valuable Autonomous Vehicle Startups nuplan
Vision Centricな自動運転 • マルチカメラを用いたEnd-to-endのアプローチは産学ともに大本命のアプローチ • RGBの映像はかなりリッチな情報 • 画像を扱う技術はかなり成熟している。 Tesla AI
Day 2022 CVPR 2023 Best Paper UniAD
TuringのLevel 2 Driver model カメラの映像をフル活用して開発された Turingの自動運転 • 自動運転率95%で北海道一周 • The
First Turing Car (Sold!) • 100台生産の新型車両 (2024年!) The First Turing Car 自動運転システム
データ収集システム カメラ + 各種センサ情報を継続的に収集できるよう 車載システムを構築 • センサシステム ◦ カメラ、GPS、加速度計 ...
◦ アクセル、ブレーキ、ハンドル ... • 低コスト・低消費電力 ◦ 20万円以下 & 100W 以下 ◦ データアップロードは物理デバイス経由 車載システム構成 データ収集車両 カメラ取り付け位置 Shimatani ECU
機械学習システム データ取得・アップロード データ処理・データレイク 学習 デプロイ
学習のモニター Driver modelは学習をどんどん回してW&B上でモニター
学習のモニター モデルの補助Lossなどの状態も Stepごとに可視化 どのように学習が進んでいるか、モ デルの特性の考察に使用 More steps More steps Model
A Model B
学習したモデルの評価 学習の結果はシミュレーターにデプロイされ、Slackに通知される。良さそう なモデルを抜粋し、テストコースによる実車で評価を行う。
Navigator modelの開発
現行技術の延長で実現できるか? 人間は初めてのケースでもその場で考えてなんとか回避できる ハイコンテキスト 未知のパターン waymo at eccv 2022
自然言語的コンテキストを理解 運転世界に存在する自然言語で説明可能な状況をうまくDriver modelに統合すること がNavigator modelの鍵 Microsoft LlaVA 1.5 Turing Heron
自動運転 x 自然言語は最先端のトピック Wayve LINGO-1 OpenDriveLab DriveLM 香港大 DriveGPT4 Huawei
HiLM-D
Heron: Vision Language Model Library • 様々なモデルの組み合わせで学習可能なHeronをリリース • 日本語データセットも用意してNavigator modelのベースとして開発中
Navigator modelの実験における可視化 どういうデータ? 学習はうまく進んでる? 結果は? Referring Multi-Object Tracking LLaVA: Large
Language and Vision Assistant
データの可視化 データセットのサンプルや統計情報を W&Bにアップしてチームで共有
学習状態のモニター 学習のパフォーマンスや安定性をモニターするために、 TFLOPSやOptimizerの状態も監視している。
学習状況のモニター 学習途中の評価時にもランダムに推論させた結果を保存することで、学習がうまくいっ てるかやどの程度のLossでどのくらいの出力ができるかを確認する。
結果の確認 学習したモデルは、Nejumi LLMリーダーボードにインスパイアされて Leaderboard風に管理
個別の結果の確認 ランダムにサンプリングした結果をTableでアップロードしておくことで、モデルの比較をし ながら評価指標と実際の予測の感覚を磨いていく。
まとめ - 深層学習モデルの開発に関して、モニターしたいLossや評価指標、学習の状態な ど様々なものをW&Bを活用することで簡単に共有できる。 - 学習に限らず、データや結果の確認、共有にもW&Bがかなり使える。 - W&Bをフル活用してTuringの自動運転開発を今後も加速させていきます!
Acknowledgement & We are hiring!!! 今日の発表内容はTuringのAutonomous driving teamとBrain research teamの
成果です!優秀なメンバーに感謝!新しいメンバーも募集しているので興味がある人 はぜひTuringへ!