Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Turingにおける自動運転モデルの開発とW&Bの活用
Search
Inoichan
October 17, 2023
Technology
1
1.3k
Turingにおける自動運転モデルの開発とW&Bの活用
2023/10/11に開催されたFully Connected 2023 Tokyoカンファレンスの資料です。
イベントページ:
https://fullyconnected.jp/
Inoichan
October 17, 2023
Tweet
Share
More Decks by Inoichan
See All by Inoichan
Data-centric視点で過去コンペを振り返る
inoichan
1
770
Turingと自動運転とLLM- LLM-jp 勉強会
inoichan
3
2.6k
[CV勉強会@関東 CVPR2023] UniAD: Planning-oriented Autonomous Driving
inoichan
2
2.3k
[CV関東3D勉強会] TPVFormer ~マルチカメラを用いた自動運転の3D Occupancy Prediction~
inoichan
0
2k
Teslaはカメラを使ってどのように世界を認識しているか
inoichan
5
8.7k
[CVPR2022読み会] Time3D: End-to-End Joint Monocular 3D Object Detection and Tracking for Autonomous Driving
inoichan
0
860
[第4回 全国医療AIコンテスト] Kaggleから学んだ医療画像データ解析の取り組み方
inoichan
5
4.5k
Use of Data Science in the field of Life Science
inoichan
1
460
Lyft Motion Prediction for Autonomous Vehicles 2020
inoichan
0
110
Other Decks in Technology
See All in Technology
来年もre:Invent2024 に行きたいあなたへ - “集中”と“つながり”で楽しむ -
ny7760
0
450
「 SharePoint 難しい」ってよく聞くけど、そんなに言うなら8歳の息子に試してもらった
taichinakamura
1
590
IaC運用を楽にするためにCDK Pipelinesを導入したけど、思い通りにいかなかった話
smt7174
1
110
急成長中のWINTICKETにおける品質と開発スピードと向き合ったQA戦略と今後の展望 / winticket-autify
cyberagentdevelopers
PRO
1
160
Jr. Championsになって、強く連携しながらAWSをもっと使いたい!~AWSに対する期待と行動~
amixedcolor
0
180
ユーザーの購買行動モデリングとその分析 / dsc-purchase-analysis
cyberagentdevelopers
PRO
2
100
CyberAgent 生成AI Deep Dive with Amazon Web Services / genai-aws
cyberagentdevelopers
PRO
1
480
Amazon FSx for NetApp ONTAPを利用するにあたっての要件整理と設計のポイント
non97
1
160
ABEMA のコンテンツ制作を最適化!生成 AI x クラウド映像編集システム / abema-ai-editor
cyberagentdevelopers
PRO
1
180
Commitment vs Harrisonism - Keynote for Scrum Niseko 2024
miholovesq
6
1.1k
[JAWS-UG金沢支部×コンテナ支部合同企画]コンテナとは何か
furuton
3
230
[AWS JAPAN 生成AIハッカソン] Dialog の紹介
yoshimi0227
0
140
Featured
See All Featured
Speed Design
sergeychernyshev
24
570
A Modern Web Designer's Workflow
chriscoyier
692
190k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
126
18k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
Git: the NoSQL Database
bkeepers
PRO
425
64k
Imperfection Machines: The Place of Print at Facebook
scottboms
264
13k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
3
370
Designing Dashboards & Data Visualisations in Web Apps
destraynor
228
52k
Raft: Consensus for Rubyists
vanstee
136
6.6k
Music & Morning Musume
bryan
46
6.1k
A Tale of Four Properties
chriscoyier
156
23k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
664
120k
Transcript
Turingにおける自動運転モデル の開発とW&Bの活用 Fully Connected 2023 Tokyoカンファレンス
自己紹介 ❖ Inoue Yuichi ❖ Turing Inc. Brain Research Team ❖
京都大学 博士(薬学) ❖ Kaggle Competitions Grandmaster
KaggleでもW&Bはフル活用
KaggleでもW&Bはフル活用
今日お話しすること • Turingの紹介 • Turingの自動運転戦略 • Driver modelの開発 • Navigator
modelの開発
Turing株式会社 事業内容: 完全自動運転EV車両の開発・製造 AIとソフトウェアに長けた人材が中心となって創業。 創業時から2つの大きな課題に取り組んでいる。 - 完全自動運転の実現 - 新たな完成車メーカーの誕生
Turingのこれまで 2021年8月創業 2021年12月 AI-based PoC 自動運転システムを構築 2022年7月 10億円の資金調達 2022年10月 北海道一周(約1,400㎞)を
自動運転で走破 2022年 11月 500時間分の 走行データ基盤を作成 2023年2月 THE FIRST TURING CAR を販売完了 2023年6月 車両生産拠点開所 Turing Kashiwa Nova Factory 2023年3月 AIデザインの「完全自動運転 EV」 コンセプトカーを発表 2023年3月 国産LLM開発着手 2023年4月 経済産業省主導 「J-Startup企業」に選出
We Overtake Tesla Turing’s Mission 米中では何百社もEV・自動運転スタートアップがあります。我々だってできる。 Turingは数百兆円の産業で大きく挑戦し、世界で戦う大きなチームを創り出します。
Turingの自動運転戦略
Turingが目指すのは完全自動運転 自動運転には5つのレベルがある。 Turingが目指す自動運転車はハンドルがない市販車。 Level 1 運転支援 Level 2 部分自動化 Level
3 条件付き自動化 Level 4 高度自動化 Level 5 完全自動運転 人間が主体 運転システムが主体 領域・条件を限定 全てを代替
従来のセンサ+高精度地図を用いた手法 Honda Sensing Elete Waymo
「運転」には複雑で未知の状況が無限に存在する 難・少 Long-Tail Prediction Uncertainty Aware Trajectory Planning for Self-driving
Vehicles
Driver modelとNavigator model Driver センサを使い認知・推論を高速に行う軽量モデル Navigator 総合的な認知・意思決定を行う大規模基盤モデル 人間の自然言語による命令の解釈や背景知識に 基づく総合的な判断を行う。 速い反応が要求されるdrivingと複雑な判断が要求されるnavigationを分離する戦略
What does a rally co-driver do?
Driver modelの開発
高品質のセンサと高精度3次元地図はハイコスト • センサの精度と価格は比例する。 • 高精度マップに依存しすぎると、地図がない場所で運転できない。 • 市販車にこの見た目は受け入れられる...?? 8 Questions With
James Peng of Pony.ai, One of China's Most Valuable Autonomous Vehicle Startups nuplan
Vision Centricな自動運転 • マルチカメラを用いたEnd-to-endのアプローチは産学ともに大本命のアプローチ • RGBの映像はかなりリッチな情報 • 画像を扱う技術はかなり成熟している。 Tesla AI
Day 2022 CVPR 2023 Best Paper UniAD
TuringのLevel 2 Driver model カメラの映像をフル活用して開発された Turingの自動運転 • 自動運転率95%で北海道一周 • The
First Turing Car (Sold!) • 100台生産の新型車両 (2024年!) The First Turing Car 自動運転システム
データ収集システム カメラ + 各種センサ情報を継続的に収集できるよう 車載システムを構築 • センサシステム ◦ カメラ、GPS、加速度計 ...
◦ アクセル、ブレーキ、ハンドル ... • 低コスト・低消費電力 ◦ 20万円以下 & 100W 以下 ◦ データアップロードは物理デバイス経由 車載システム構成 データ収集車両 カメラ取り付け位置 Shimatani ECU
機械学習システム データ取得・アップロード データ処理・データレイク 学習 デプロイ
学習のモニター Driver modelは学習をどんどん回してW&B上でモニター
学習のモニター モデルの補助Lossなどの状態も Stepごとに可視化 どのように学習が進んでいるか、モ デルの特性の考察に使用 More steps More steps Model
A Model B
学習したモデルの評価 学習の結果はシミュレーターにデプロイされ、Slackに通知される。良さそう なモデルを抜粋し、テストコースによる実車で評価を行う。
Navigator modelの開発
現行技術の延長で実現できるか? 人間は初めてのケースでもその場で考えてなんとか回避できる ハイコンテキスト 未知のパターン waymo at eccv 2022
自然言語的コンテキストを理解 運転世界に存在する自然言語で説明可能な状況をうまくDriver modelに統合すること がNavigator modelの鍵 Microsoft LlaVA 1.5 Turing Heron
自動運転 x 自然言語は最先端のトピック Wayve LINGO-1 OpenDriveLab DriveLM 香港大 DriveGPT4 Huawei
HiLM-D
Heron: Vision Language Model Library • 様々なモデルの組み合わせで学習可能なHeronをリリース • 日本語データセットも用意してNavigator modelのベースとして開発中
Navigator modelの実験における可視化 どういうデータ? 学習はうまく進んでる? 結果は? Referring Multi-Object Tracking LLaVA: Large
Language and Vision Assistant
データの可視化 データセットのサンプルや統計情報を W&Bにアップしてチームで共有
学習状態のモニター 学習のパフォーマンスや安定性をモニターするために、 TFLOPSやOptimizerの状態も監視している。
学習状況のモニター 学習途中の評価時にもランダムに推論させた結果を保存することで、学習がうまくいっ てるかやどの程度のLossでどのくらいの出力ができるかを確認する。
結果の確認 学習したモデルは、Nejumi LLMリーダーボードにインスパイアされて Leaderboard風に管理
個別の結果の確認 ランダムにサンプリングした結果をTableでアップロードしておくことで、モデルの比較をし ながら評価指標と実際の予測の感覚を磨いていく。
まとめ - 深層学習モデルの開発に関して、モニターしたいLossや評価指標、学習の状態な ど様々なものをW&Bを活用することで簡単に共有できる。 - 学習に限らず、データや結果の確認、共有にもW&Bがかなり使える。 - W&Bをフル活用してTuringの自動運転開発を今後も加速させていきます!
Acknowledgement & We are hiring!!! 今日の発表内容はTuringのAutonomous driving teamとBrain research teamの
成果です!優秀なメンバーに感謝!新しいメンバーも募集しているので興味がある人 はぜひTuringへ!