SSII2025 [OS2-01] 自動運転の性能と共に進化するセンシングデバイス

Transcript

1. 自動運転と 共に 進化する センシングデバイス ソニー セミコンダクタ ソリューションズ 株式会社 小曽根 卓義（おぞね たかよし）
2. 2 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation 自己紹介：小曽根 卓義(Ozone Takayoshi)  経歴（職歴） 1996 ～ 2000 セガ にて 家庭用ゲーム機器 の開発 2001 ～ 2003 富士フイルム にて デジタルカメラ の開発 2004 ～ 2006 サムスン日本研究所 にて デジタルカメラ の開発 2007 ～ 2016 ソニー セミコンダクタ ソリューションズ にて カメラ信号処理および画質における開発 2017 ～ 2018 ソニーグループ、ソニー にて 新規事業創出 にチャレンジ 2019 ～ 現在 ソニー セミコンダクタ ソリューションズ 車載事業部 にて センシングデバイスの開発に従事  一言 デバイス屋さんです。デバイスの進化、という提案を持ってきました。 Sensing Device Sensing Software デバイスとソフト、双方の性能向上でセンシング性能の底上げてしていきたい！ その時代のHot な業界でモノづく りできている幸せ 超ブラックとも言う・・・
3. 3 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation • 代表的なセンシングデバイス と それぞれの特徴 • 車載センシングデバイス進化 の 必要性 • より高性能なセンシングデバイス の 検討 • 価値検証 と 今後の期待 Agenda
4. 4 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation • 代表的なセンシングデバイス と それぞれの特徴 • 車載センシングデバイス進化 の 必要性 • より高性能なセンシングデバイス の 検討 • 価値検証 と 今後の期待 Agenda
5. 5 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation Sensing Device 一例 CAMERA RADAR LiDAR イベントカメラ マルチスペクトル イメージ センサー Ex. IMX454 イベントベース ビジョン センサー Ex. IMX636 CIS (フレームベース) Ex. IMX728 SPAD ToF方式距離センサー Ex. IMX459 マルチ／ハイパースペクトル 以降 各センサーの特徴を 軽くおさらい
6. 6 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation Sensing Device 一例 CAMERA RADAR LiDAR イベントカメラ マルチスペクトル イメージ センサー Ex. IMX454 イベントベース ビジョン センサー Ex. IMX636 CIS (フレームベース) Ex. IMX728 SPAD ToF方式距離センサー Ex. IMX459 マルチ／ハイパースペクトル
7. 7 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation RADARの特徴と進化 自車 鉄橋 先行車 鉄橋 Deep Learningを利用して超高分解能アルゴリズムの演算負荷を減らして、 Sonyでもコスト、サイズ感を従来品同程度にできないかを挑戦中 Our solution High angular resolution is achieved with low computational load (real-time processing) Computing load Conventional Our solution Reduce computing load using DNN 自動運転の進化に合わせ、RADARも高分解能化（Imaging RADAR）へのシフト兆候がみられる 76-81GHzͷϛϦ೾ଳҬͷप೾਺Λར༻ 項目 従来 高分解能化 分解能 × 〇 計算量 〇 × コスト 〇 × サイズ 〇 × 従来レーダーは分解能が低く、 近接する車と人を分離できない 高分解能と演算量はトレードオフ関係 Azimuth 特徴：測距精度の良さと相対速度の検出が可能
8. 8 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation Sensing Device 一例 CAMERA RADAR LiDAR イベントカメラ マルチスペクトル イメージ センサー Ex. IMX454 イベントベース ビジョン センサー Ex. IMX636 CIS (フレームベース) Ex. IMX728 SPAD ToF方式距離センサー Ex. IMX459 マルチ／ハイパースペクトル
9. 9 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation LiDARの特徴と進化 Range ≧ 250m@R10%（100klux） FOV H120° / V25.6° Resolution H0.1° / V0.05° (H1200 x V512 pixels) Measurable maximum 300m Frame Rate 10fps以上 車載LiDARの市場要求 自動運転で求められているキーユースケースは、長距離の落下物・低背物（H30 x V15cm）の検出 Sonyは、これを達成する dTOF SPADセンサ を開発、同時にそのセンサを用いた LiDAR を試作 LiDARの原理 反射率10%のターゲットを300m 検知可能であることを確認 LiDARも さらなる高分解能化（落下物、凹凸検知）のNeedsが強い
10. 10 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation Sensing Device 一例 CAMERA RADAR LiDAR イベントカメラ マルチスペクトル イメージ センサー Ex. IMX454 イベントベース ビジョン センサー Ex. IMX636 CIS (フレームベース) Ex. IMX728 SPAD ToF方式距離センサー Ex. IMX459 マルチ／ハイパースペクトル
11. 11 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation 高感度・高精細・広ダイナミックレンジに加え、車載特有のLEDフリッカー抑制の技術を実現 イメージセンサーの特徴と進化 従来品 従来品 従来品 高感度 高精細 HDR＋LEDフリッカー抑制の両立 高感度、高解像度、高ダイナミックレンジの要望は強く、常に進化が求められている 暗いところがしっかりと見える 遠いところがしっかりと見える 暗いところから明るいところまでしっかりと見える
12. 12 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation Sensing Device 一例 CAMERA RADAR LiDAR イベントカメラ マルチスペクトル イメージ センサー Ex. IMX454 イベントベース ビジョン センサー Ex. IMX636 CIS (フレームベース) Ex. IMX728 SPAD ToF方式距離センサー Ex. IMX459 マルチ／ハイパースペクトル 石原先生、よろしく お願いいたします！ 芝先生、よろしく お願いいたします！ 私の話は続きます。もう少しお付き合いください
13. 13 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation • 代表的なセンシングデバイス と それぞれの特徴 • 車載センシングデバイス進化 の 必要性 • より高性能なセンシングデバイス の 検討 • 価値検証 と 今後の期待 Agenda
14. 付帯項目 日付 14/• 部署名 Copyright 2024 Sony Semiconductor Solutions Corporation 14 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation 自動運転レベルの定義 レベル 概要 操縦の主体（≒責任） 運転者が一部又は全ての動的運転タスクを実行 レベル0 運転者が全ての動的運転タスクを実行 運転者 レベル1 アクセル、ブレーキ、ハンドル操作のひとつを自動化(自動ブレーキ等) レベル2 上記の複数を自動化(車線を維持しながら前の自動車に付いて走る等) 自動運転システムが（作動時は）全ての動的運転タスクを実行 レベル3 条件付の自動運転化（システムがすべての運転任務を実施するが、 システムの介入要求等に対してドライバーが適切に対応することが必要) システム （作動継続が困難な場合は運転者） レベル4 特定条件下における完全自動運転 (特定条件下においてシステムがすべての運転任務を実施する) システム レベル5 完全自動運転(常にシステムがすべての運転任務を実施する) ADAS 先進運転支援システム AD 自動運転 自動運転のレベルが上がるにつれて、機械側の責任、即ちセンシングの性能・ロバスト性が重要に ※内閣官房「自動運転に係る制度整備大綱」を基に作成 ※わかりやすさ優先で意訳をしている部分があります。詳細は上記をご確認ください
15. 付帯項目 日付 15/• 部署名 Copyright 2024 Sony Semiconductor Solutions Corporation 15 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation Sensing Device の特徴 人間は目で見ている のだから、カメラだけで 自動運転を実現できる カメラだけでの自動運転 実現へ 強いトレンド シフトが発生 距離計測精度 逆光・暗所 霧・雨・雪 相対速度 物質依存 物体識別 非干渉性能 3次元物体検知 自己位置推定 Camera LiDAR RADAR センシングデバイスごとの特徴 それぞれのセンサーでの長所、短所があり・・・ 短所を補い合う、センサーコンフィギュレーション ※下図は一例 自動運転の進化に合わせ、異なる特性のセンサーで短所を補完・・・
16. 付帯項目 日付 16/• 部署名 Copyright 2024 Sony Semiconductor Solutions Corporation 16 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation センシングデバイスの進化の必要性 レベル 操縦の主体 レベル0 運転者 レベル1 レベル2 レベル3 システム （作動継続が困難な 場合は運転者） レベル4 システム レベル5 ADAS 先進運転支援システム AD 自動運転 人 が 冗長性を 担保 (何かあったら 人が対処) ！ 人はさぼるもの ！ 人のスキルは使わなければ劣化する リンゲルマン効果（社会的手抜き） 共同作業をする人間が増えるほど、一人あたりの貢献度が低下する現象 ⇒頼れるものがあると人は手を抜く 米連邦航空局の通知書： • 自動操縦システムを多用により パイロットの技術が低下を警告 • 特に望ましくない状態から素早く 立て直す能力の低下が著しい ⇒ADAS、ADから 運転者への切替える 状況と類似？ 人が冗長性の担保にはならない時代が来る ～ “人”による冗長性の担保には潜在的なリスクが潜む ～
17. 付帯項目 日付 17/• 部署名 Copyright 2024 Sony Semiconductor Solutions Corporation 17 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation 自動運転のゴールが “人間※と同等“ でよいのか？ 人以上の瞬間的判断・制御能力が必要で、より精密な（＝人間を超える）状況の把握（＝センシング）が必要 ～ 事故は何かしらの相手が存在するもの ～ 相手の過失が高いケース（回避不可） どうするのが ベター なのか？ 条件：搭乗者の人命保護を最優先するシナリオとして、ある程度の損傷を許容 そんな単純な話ではない ＆ 倫理的観点でも議論は必要 ※ルールを遵守する模範ドライバー ②渋滞・信号による停車中の車への追突: ①センターラインオーバー: 直前までの挙動を正確に計測、今後の動き範囲を予測、 一番助かる確率の高い回避行動 ！ ！ ！ 後方トラックの正確な速度、制動可能距離の予測 最も助かる可能性の高い方向へ向けて『不時着する』準備 前方の車もまた回避行動が必要 数cmかわすだけで救える命もある。人身事故を今より減らすという考え方であれば、 ※衝突後の完全クラッシャブル回避航路として
18. 18 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation • 代表的なセンシングデバイス と それぞれの特徴 • 車載センシングデバイス進化 の 必要性 • より高性能なセンシングデバイス の 検討 • 価値検証 と 今後の期待 Agenda
19. 19 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation 人の目を超えるセンシングデバイス ～ カメラとLiDARの融合 ～ 2in1 原理試作機 D D D D D D D D D D D D D D D D R R R R R R R R R R R R R R R R G G G G G G G G G G G G G G G G B B B B B B B B B B B B B B B B スキャンし距離を測定 RGB情報も一緒にスキャンすると・・・ LiDARに環境光によるRGB露光機能を追加 距離計測精度 逆光・暗所 霧・雨・雪 相対速度 物質依存 物体識別 非干渉性能 3次元物体検知 自己位置推定 Camera LiDAR 2in1 CameraとLiDARの良いとこどり！
20. 20 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation 一体化することによる付加価値 ～ ポイントクラウドの超高解像度化 ～ RGBと距離情報が精度良く重なることでPCの高解像度化を実施 1 point cloud ＝１マクロピクセル デプス情報の最小単位は マクロピクセルこれはセンサーの 複数の画素で構成されている なので、解像度が比較的低い 1color 1color 1color 1color 1color 1color 1color 1color 1color 1color 1color 1color 1color 1color 1color 1color ※本Prototypeで使われるマクロピクセルとは構成が異なります 1PC 1PC 1PC 1PC 1PC 1PC 1PC 1PC 1PC 1PC 1PC 1PC 1PC 1PC 1PC 1PC 一方で環境光からのRGB情報 は画素毎での取得が可能 Ambient情報の相関性をもとに ポイントクラウドをアップサンプリング 距離計測精度 逆光・暗所 霧・雨・雪 相対速度 物質依存 物体識別 非干渉性能 3次元物体検知 自己位置推定 Camera LiDAR 2in1 カメラの解像度並みのポイントクラウドが生成可能 LiDARとしてのポイントクラウド（左）と、RGB情報から補間したポイントクラウド（右）
21. 21 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation 2in1 Demo Video
22. 22 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation • 代表的なセンシングデバイス と それぞれの特徴 • 車載センシングデバイス進化 の 必要性 • より高性能なセンシングデバイス の 検討 • 価値検証 と 今後の期待 Agenda
23. 23 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation RBG+DデータのPerception簡易優位性評価 簡易的な評価ではあるがRGB+Dによる性能向上効果はありそう LiDAR（Point Cloud） by BEVFusion (LIDARのみの学習データ使用、PCはDownsampling) Camera（RGB） by YOLO 2in1（PC+RGB）by BEV Fusion(RGB+LIDAR、PCはDownsampling) ※BEVFusion、YOLOのいずれも pre-trainedの学習データで実施
24. 24 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation RGB+Dデータに関する研究状況 学会名 カテゴリ 件数 IROS ロボティクス 71 ICRA ロボティクス 85 CVPR 画像系 101 ICCV 画像系 81 2023年における主要な国際学会におけるLiDAR系の論文を調査 RGB+D を想定した論文の内訳 全論文の内訳 RGB+Depth のエコシステムはまだまだ未成熟・・・RGB+Dの特徴を生かしたSW・アプリケーションの登場を期待 LiDAR RGB+D 合計 338 34
25. 25 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation Thank you!
26. 40/:͸ιχʔάϧʔϓגࣜձࣾͷొ࿥঎ඪ·ͨ͸঎ඪͰ͢ɻ
    ֤ιχʔ੡඼ͷ঎඼໊ɾαʔϏε໊͸ιχʔάϧʔϓגࣜձࣾ·ͨ͸ͦͷؔ࿈ձࣾͷొ࿥঎ඪ·ͨ͸঎ඪͰ͢ɻͦͷଞͷ੡඼͓Αͼձ໊ࣾ͸ɺ֤ࣾͷ঎߸ɺొ࿥঎ඪ·ͨ͸঎ඪͰ͢ɻ
    
27. 27 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation 一体化することによる付加価値② ～ 夜間の視認性の大幅向上 ～ 測距に時に発光した赤外光の反射強度から光が無いオブジェクトを可視化、 光のある領域のカラー画像と合成（Color Night View） 距離計測精度 逆光・暗所 霧・雨・雪 相対速度 物質依存 物体識別 非干渉性能 3次元物体検知 自己位置推定 Camera LiDAR 2in1
28. 28 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation 測距に時に発光した赤外光の反射強度から光が無いオブジェクトを可視化、 光のある領域のカラー画像と合成（Color Night View） 一体化することによる付加価値② ～ 夜間の視認性の大幅向上 ～ 距離計測精度 逆光・暗所 霧・雨・雪 相対速度 物質依存 物体識別 非干渉性能 3次元物体検知 自己位置推定 Camera LiDAR 2in1 光がない領域の視認が可能に
29. 29 Automotive Business Division Copyright 2025 Sony Semiconductor Solutions Corporatation 一体化することによる付加価値② ～ 夜間の視認性の大幅向上 ～ 測距に時に発光した赤外光の反射強度から光が無いオブジェクトを可視化、 光のある領域のカラー画像と合成（Color Night View） 距離計測精度 逆光・暗所 霧・雨・雪 相対速度 物質依存 物体識別 非干渉性能 3次元物体検知 自己位置推定 Camera LiDAR 2in1