Upgrade to Pro — share decks privately, control downloads, hide ads and more …

オンライン学習されたニューラル運動モデルとLiDAR・IMU制約の密結合によるオドメトリ推定

大河原拓
March 30, 2025
260

 オンライン学習されたニューラル運動モデルとLiDAR・IMU制約の密結合によるオドメトリ推定

第30回ロボティクスシンポジア 発表スライド 【学生奨励賞 受賞】

LiDAR・IMU・「オンライン学習ベースの, ホイール or レッグオドメトリ」融合で、特徴の欠如(トンネル、砂浜、月面など)・非線形なロボット挙動(ドリフトや急ブレーキ、大量の三角関数を含む脚の運動など)に頑強な位置推定の手法です。
ニューラルネットワーク(で記述された移動ロボットの運動モデル)をファクタグラフ上で学習するのが独自性となります。

大河原拓

March 30, 2025
Tweet

Transcript

  1. #2/40 本研究の概要(Click here to play this video) • 長期間の幾何特徴の欠如 •

    非線形なロボットの挙動 (高速動作などによって生じる滑りなど) に頑強なオドメトリ推定を提案 LiDAR・IMU・運動モデル(車輪&脚 )のタイトカップリング 提案手法 砂浜(特徴の欠如 + 軟弱地盤)などでも高精度なオドメトリ推定
  2. #3/40 本研究の概要(Click here to play this video) 提案手法 ×1 LiDAR・IMU・運動モデル(車輪&脚

    )のタイトカップリング 本手法は、車輪型・脚型両方を対象とするが、本発表では車輪型ロボットにフォーカス 特に、滑りの影響が顕著な四輪スキッドステアリングロボット 長い廊下での ドリフト走行 LiDAR FOV
  3. #4/40 背景(1/2) 1. 特徴の欠如した環境 → IMU、エンコーダ(運動モデル)の統合が有効 2. 運動モデルにおけるモデル化誤差・パラメータ誤差の考慮 – 環境要因の誤差(滑りなど)を考慮した上で統合することが難しさ

    オドメトリ推定の課題 オンラインでの運動モデルの補正に取り組む ×事前に1度だけのオフラインでの補正 ©MARUWA SHOMEI ©NAOC LiDARオドメトリが破綻する例 𝑟 𝑣 = 𝑟𝜔 入力 : エンコーダ値など 出力 : ロボット速度 𝑣 [Anousaki+, 2004][Onyekpe+, 2021][Nam+, 2022] 環境によって異なるので・・・ ✓ 環境の変化 ✓ 未知環境 に対応可能な 運動モデルを目指す 𝜔 すんなり統合可能?
  4. #5/40 ⚫ 非線形性に対応するために、運動モデルをニューラルネットワークで定義 → ニューラル運動モデルと呼ぶ ⚫ 環境への適応性を獲得するために、ニューラル運動モデルをオンラインで学習 背景(2/2) 0. 線形モデルによる記述が一般的

    1. 線形モデルの課題 – 非線形な挙動(ドリフトや急制動などの車輪の滑り)に関するモデル化誤差 • 滑りなどの非線形項は線形モデルでは表現不可能かつ、複雑で厳密なモデル化が困難だから • さらに、滑りの挙動は環境によって変化 車輪型ロボットの運動モデルの課題 𝒗 = 𝑱 𝝎 線形な運動モデル 線形変換の行列 (車輪径などで構成) [Anousaki+, 2004] [Okawara+, 2024] 𝒗 𝝎 車輪速ベクトル 速度 提案する運動モデル
  5. #6/40 研究目的 & 提案手法 従来の手法では困難な条件下でもロボット位置を高精度に把握すること 提案手法 ニューラル運動モデル・LiDAR・IMU制約の同時最適化により、 同時に解くモチベーション • オンライン学習・オドメトリ推定の整合性を保ち、困難な状況下でも高精度な推定結果を得ること

    • ニューラル運動モデルのオンライン学習 • オドメトリ推定 を同時に解く手法 ©HAKUTO 環境の横断 高速走行 & 不整地 幾何特徴が欠如する環境 ©MARUWA SHOMEI 運動モデルに非線形項 & 環境項が含まれる条件
  6. #7/40 車輪型ロボットのオドメトリ推定に関する関連研究 線形な運動モデル 非線形な運動モデル オドメトリ推定・運動モデル補正を 独立に解く(オフライン同定) オドメトリ推定・運動モデル補正を 同時に解く(オンライン同定) 𝒗 =

    𝑱 𝝎 線形変換の行列 • 𝑱 行列のモデル化・オフライン同定がメイン ×非線形性 ×環境に対する適応性 𝒗 = NN (𝝎) • NN関数をオフライン学習で事前に獲得 ✓非線形性 ×環境に対する適応性 [Anousaki+, 2004] [Mandow+, 2020] • 線形モデルのオンライン同定・オドメトリ 推定を同時に解く ×非線形性 ✓環境に対する適応性 [Okawara+, 2024] [Zuo+, 2022] レンガ コンク リート • NN関数のオンライン学習・オドメトリ推定を同時に解く ✓非線形性 ✓環境に対する適応性 提案手法 NN関数(NNによる運動モデル) 運動モデル 運動モデル 運動モデル 運動モデル 線形モデル 非線形モデル [Onyekpe+, 2021][Nam+, 2022][Bunchanan+, 2022] [Baril+, 2020] ファクタグラフ NN NNをファクタグラフ上で学習 ≒ NNの学習をSLAMで解く
  7. #8/40 車輪型ロボットのオドメトリ推定に関する関連研究 線形な運動モデル 非線形な運動モデル オドメトリ推定・運動モデル補正を 独立に解く(オフライン同定) オドメトリ推定・運動モデル補正を 同時に解く(オンライン同定) 𝒗 =

    𝑱 𝝎 線形変換の行列 • 𝑱 行列のモデル化・オフライン同定がメイン ×非線形性 ×環境に対する適応性 𝒗 = NN (𝝎) • NN関数をオフライン学習で事前に獲得 ✓非線形性 ×環境に対する適応性 [Anousaki+, 2004] [Mandow+, 2020] • 線形モデルのオンライン同定・オドメトリ 推定を同時に解く ×非線形性 ✓環境に対する適応性 [Okawara+, 2024] [Zuo+, 2022] レンガ コンク リート • NN関数のオンライン学習・オドメトリ推定を同時に解く ✓非線形性 ✓環境に対する適応性 提案手法 NN関数(NNによる運動モデル) 運動モデル 運動モデル 運動モデル 運動モデル 線形モデル 非線形モデル [Onyekpe+, 2021][Nam+, 2022][Bunchanan+, 2022] [Baril+, 2020] ファクタグラフ NN NNをファクタグラフ上で学習 ≒ NNの学習をSLAMで解く
  8. #9/40 車輪型ロボットのオドメトリ推定に関する関連研究 線形な運動モデル 非線形な運動モデル オドメトリ推定・運動モデル補正を 独立に解く(オフライン同定) オドメトリ推定・運動モデル補正を 同時に解く(オンライン同定) 𝒗 =

    𝑱 𝝎 線形変換の行列 • 𝑱 行列のモデル化・オフライン同定がメイン ×非線形性 ×環境に対する適応性 𝒗 = NN (𝝎) • NN関数をオフライン学習で事前に獲得 ✓非線形性 ×環境に対する適応性 [Anousaki+, 2004] [Mandow+, 2020] • 線形モデルのオンライン同定・オドメトリ推定 を同時に解く ×非線形性 ✓環境に対する適応性 [Okawara+, 2024] [Zuo+, 2022] レンガ コンク リート • NN関数のオンライン学習・オドメトリ推定を同時に解く ✓非線形性 ✓環境に対する適応性 提案手法 NN関数(NNによる運動モデル) 運動モデル 運動モデル 運動モデル 運動モデル 線形モデル 非線形モデル [Onyekpe+, 2021][Nam+, 2022][Bunchanan+, 2022] [Baril+, 2020] ファクタグラフ NN NNをファクタグラフ上で学習 ≒ NNの学習をSLAMで解く
  9. #10/40 車輪型ロボットのオドメトリ推定に関する関連研究 線形な運動モデル 非線形な運動モデル オドメトリ推定・運動モデル補正を 独立に解く(オフライン同定) オドメトリ推定・運動モデル補正を 同時に解く(オンライン同定) 𝒗 =

    𝑱 𝝎 線形変換の行列 • 𝑱 行列のモデル化・オフライン同定がメイン ×非線形性 ×環境に対する適応性 𝒗 = NN (𝝎) • NN関数をオフライン学習で事前に獲得 ✓非線形性 ×環境に対する適応性 [Anousaki+, 2004] [Mandow+, 2020] • 線形モデルのオンライン同定・オドメトリ推定 を同時に解く ×非線形性 ✓環境に対する適応性 [Okawara+, 2024] [Zuo+, 2022] レンガ コンク リート • NN関数のオンライン学習・オドメトリ推定を同時に解く ✓非線形性 ✓環境に対する適応性 提案手法 NN関数(NNによる運動モデル) 運動モデル 運動モデル 運動モデル 運動モデル 線形モデル 非線形モデル [Onyekpe+, 2021][Nam+, 2022][Bunchanan+, 2022] [Baril+, 2020] ファクタグラフ NN NNをファクタグラフ上で学習 ≒ NNの学習をSLAMで解く
  10. #11/40 車輪型ロボットのオドメトリ推定に関する関連研究 線形な運動モデル 非線形な運動モデル オドメトリ推定・運動モデル補正を 独立に解く(オフライン同定) オドメトリ推定・運動モデル補正を 同時に解く(オンライン同定) 𝒗 =

    𝑱 𝝎 線形変換の行列 • 𝑱 行列のモデル化・オフライン同定がメイン ×非線形性 ×環境に対する適応性 𝒗 = NN (𝝎) • NN関数をオフライン学習で事前に獲得 ✓非線形性 ×環境に対する適応性 [Anousaki+, 2004] [Mandow+, 2020] • 線形モデルのオンライン同定・オドメトリ推定 を同時に解く ×非線形性 ✓環境に対する適応性 [Okawara+, 2024] [Zuo+, 2022] レンガ コンク リート • NN関数のオンライン学習・オドメトリ推定を同時に解く ✓非線形性 ✓環境に対する適応性 提案手法 NN関数(NNによる運動モデル) 運動モデル 運動モデル 運動モデル 運動モデル 線形モデル 非線形モデル [Onyekpe+, 2021][Nam+, 2022][Bunchanan+, 2022] [Baril+, 2020] ファクタグラフ NN NNをファクタグラフ上で学習 ≒ NNの学習をSLAMで解く
  11. #14/40 ニューラル運動モデルの概要 • 入出力 • 設計コンセプト – 高精度( = 大きいモデル)

    – 短い学習時間( = 小さいモデル) • 計算コストと精度を両立するための工夫 – 学習モデルをonline learning model と offline learning modelに分ける • 環境依存の項 → online learning model で表現し、オンラインで獲得して動的に更新 • 環境非依存の項 → offline learning model で表現し、オフラインで獲得して固定 設計方針: オンライン学習により、環境の特徴を捉えることが可能な運動モデル • 全車輪の回転速度 • IMUデータ • 角速度 • 並進速度の変化量 時系列データ • ロボットの 3 DOF Twist • 並進速度 • 角速度 入力 出力 精度と計算コストの両立が オンライン学習の難しさ ニューラル運動モデル Twist IMU 車輪速 相反
  12. #19/40 教師あり学習によるOffline learning modelの学習 ⚫ 各 offline learning model は、

    全環境で共通 ⚫ online learning model は、 環境ごとに変化 全データ分のLossを同時最適化 データセット(環境)ごとに Lossを計算 全データセット(環境)の Lossの総和 するように最適化される
  13. #21/40 オンライン学習&オドメトリ推定を同時に解くには? 複数のセンサデータを考慮した最適化 制約 1 制約2 制約N ・ ・ ・

    センサデータの時系列データ 制約3 観測に基づく制約を定義 全制約を 丁度よく満たす 変数を推定 (最適化) オドメトリ推定 & オンライン学習 ・ LiDAR点群: 𝓟0 ・ IMUデータ: 𝒂0 , 𝝎0 ・ エンコーダ値: 𝛀0 ・ LiDAR点群: 𝓟5 ・ IMUデータ: 𝒂5 , 𝝎5 ・ エンコーダ値: 𝛀5 𝒙0 : ・ロボットポーズ: 𝑻0 ・ロボット速度: 𝒗0 ・IMUバイアス: 𝒃0 𝑷0 : MLPパラメータ 𝒙𝟓 : ・ロボットポーズ: 𝑻5 ・ロボット速度: 𝒗5 ・IMUバイアス: 𝒃5 𝑷𝟓 : MLPパラメータ ・ ・ ・ ・ ・ ・ 制約N - 1 センサ 観測値
  14. #22/40 オンライン学習&オドメトリ推定を同時に解くには? 複数のセンサデータを考慮した最適化 制約 1 制約2 制約N ・ ・ ・

    センサデータの時系列データ 制約3 観測に基づく制約を定義 全制約を 丁度よく満たす 変数を推定 (最適化) オドメトリ推定 & オンライン学習 ・ LiDAR点群: 𝓟0 ・ IMUデータ: 𝒂0 , 𝝎0 ・ エンコーダ値: 𝛀0 ・ LiDAR点群: 𝓟5 ・ IMUデータ: 𝒂5 , 𝝎5 ・ エンコーダ値: 𝛀5 𝒙0 : ・ロボットポーズ: 𝑻0 ・ロボット速度: 𝒗0 ・IMUバイアス: 𝒃0 𝑷0 : MLPパラメータ 𝒙𝟓 : ・ロボットポーズ: 𝑻5 ・ロボット速度: 𝒗5 ・IMUバイアス: 𝒃5 𝑷𝟓 : MLPパラメータ ・ ・ ・ ・ ・ ・ 制約N - 1 センサ 観測値 制約とは?
  15. #23/40 オンライン学習&オドメトリ推定を同時に解くには? 最適化の制約: センサ観測を用いた、状態変数に関する誤差関数 点群 によるロボット位置の 誤差関数 IMU によるロボット位置・速度の 誤差関数

    ニューラル運動モデル による ロボット位置・速度の誤差関数 最適化を安定化させるその他 の 誤差関数 各誤差関数の総和が 最適化の目的関数 目的関数のグラフィカルモデル (ファクタグラフ) 目的関数を最小化することで、 𝒙(ロボットポーズなど) 𝑷(MLPパラメータ) を同時に推定 オドメトリ推定 & オンライン学習 が同時に解ける
  16. #24/40 1. ニューラル運動モデルによるtwist 𝝃𝑖 ∈ ℝ3 の計算 2. 3DoFのtwist 𝝃𝑖

    ∈ ℝ3を6DoFのtwist 𝝃𝑖,6DoF ∈ ℝ6に拡張 – (𝝃𝑖,6DoF の並進のZ、回転のXYに0を代入) 3. 誤差関数 online learning model のMLP Neural Adaptive odometry factor (本研究で提案する制約) ニューラル運動モデルによる制約 𝝃𝑖 = NN 𝑷𝑖 オドメトリ推定に関連 ニューラル運動モデルから 得られた移動量の不確実性 タイムステップ オンライン学習に関連 Neural adaptive odometry factor 𝝃𝑖,6DoF を観測とする Constant MLP factor MLP parameter fixation factor IMU preintegration factor Matching cost factor ファクタグラフ(目的関数)
  17. #25/40 Constant MLP factor • 𝑷𝑖 は時刻ごとに異なる値をもつように定義 – 時間的に連続する𝑲𝑖 を拘束

    • 時間による遷移をランダムウォークでモデリング • → 𝑷𝑖 が路面環境の変化に適応可能 – 例: 屋外から屋内 • 誤差関数 その他(MLPパラメータ𝑷𝑖 の時間変化に関する制約) 平均0のホワイトノイズによる拘束 𝑷𝑖 : ニューラル運動モデルのMLPパラメータ MLPパラメータの時間変化に関する記述 Neural adaptive odometry factor Constant MLP factor MLP parameter fixation factor IMU preintegration factor Matching cost factor ファクタグラフ(目的関数)
  18. #26/40 その他(特徴の欠如時に、最適化を安定化させる制約) • 点群に対して、幾何特徴の欠如を毎回チェック – チェック方法は、点群の縮退判定に基づく方法 – → 特徴の欠如が発生する前のパラメータ𝑷を保持するような制約 •

    誤差関数 MLP parameter fixation factor 保持 拘束される MLPパラメータ(変数) (特徴が欠如してる場合) (特徴が豊富な場合) 点群に異常が検出される直前の MLPパラメータ(定数) Neural adaptive odometry factor Constant MLP factor MLP parameter fixation factor IMU preintegration factor Matching cost factor 縮退の例 ファクタグラフ(目的関数)
  19. #27/40 その他(特徴の欠如時に、最適化を安定化させる制約) • 点群に対して、幾何特徴の欠如を毎回チェック – チェック方法は、点群の縮退判定に基づく方法 – → 特徴の欠如が発生する前のパラメータ𝑷を保持するような制約 •

    誤差関数 MLP parameter fixation factor 保持 拘束される MLPパラメータ(変数) (特徴が欠如してる場合) (特徴が豊富な場合) 点群に異常が検出される直前の MLPパラメータ(定数) Neural adaptive odometry factor Constant MLP factor MLP parameter fixation factor IMU preintegration factor Matching cost factor 縮退の例 ファクタグラフ(目的関数) 縮退の例 取得される点群 点群のスキャンマッチングが不定 LiDAR FOV 進行方向 に不定
  20. #28/40 IMU preintegration factor(既存の手法) • 概要 – 時間的に連続する𝒙𝑡 を効率的に拘束 –

    𝒙𝑡 (ロボットポーズ・ロボット速度・IMUバイアス)を調整 • 特徴 – ロボットの高速な動きに頑強 – 短期間であれば、特徴の欠如にも対応可能 • 誤差関数 IMU計測値に基づく制約 時間的に連続する 𝒙(ポーズ・並進速度・IMUバイアス) Neural adaptive odometry factor Constant MLP factor MLP parameter fixation factor IMU preintegration factor Matching cost factor [Forster+, 2016] ファクタグラフ(目的関数)
  21. #29/40 • 概要 – スキャンマッチングにより二種類の変数間のポーズを拘束 • 時間的に連続した変数間 • 時間的に離れた変数間 –

    全体的な整合性がとれるようにポーズを調整する • 誤差関数 Matching cost factor(既存の手法) LiDAR点群に基づく制約 スキャンマッチングの例 ∆𝑻𝑗,𝑖 入力点群の ポーズ 参照点群の ポーズ [Koide+, 2022] 参照点群 入力点群 Neural adaptive odometry factor Constant MLP factor MLP parameter fixation factor IMU preintegration factor Matching cost factor ファクタグラフ(目的関数)
  22. #30/40 ファクタグラフ上でのオンライン学習の工夫点 • 𝑷に関する線形方程式のヘッセ行列に 𝜆 𝑰 を足す • Linear damping

    factorによる恩恵 – 最適化計算の安定化(レーベンバーグ・マーカート法と同様) • 𝑷 が100次元の高次元ベクトルのため、最適化が不安定になりやすい – オンライン学習の学習速度と安定性の調整が可能 • 二次最適化(ファクタグラフ最適化)と一次最適化(誤差逆伝播)の間の重みと解釈可能 Linear damping factor の導入 ∆𝑷 = (𝑯 + 𝜆 𝑰)−1𝒃 線形方程式 Linear damping factor Linear damping factor ファクタグラフ(目的関数)
  23. #31/40 目次 • 背景&関連研究 • 提案手法 • 実験結果 – 車輪型ロボットの場合

    – 脚型ロボットの場合 • まとめ 高速走行 ×1 https://www.youtube.com/watch?v=ZkGO21Q_paY Click here to play this video
  24. #32/40 実験条件・実験の様子 (Click here to play this video) [Zhao+, 2023]

    実験条件 1. 路面環境の変化 2. 特徴が乏しい環境 3. 不整地を高速走行 [Xu+, 2022] [Okawara+, 2024] https://www.youtube.com/watch?v=CvRVhdda7Cw
  25. #33/40 実験結果(提案手法の有効性に関する議論) 他の最新手法との比較 LiDAR+IMU+線形な運動モデル オンライン学習による路面変化への適応力の差 START GOAL (LiDAR+IMU) Ground truth

    Ours Ours w/o online learning LIWO w/ linear model online calibration FASTLIO-Multi-Sensor-Fusion FASTLIO2 オンライン学習 の時間: 0.01秒 [Zhao+, 2023] [Okawara+, 2024] [Xu+, 2022]
  26. #34/40 オンライン学習は機能してるか?(1/2) • 他の環境下での実験 – アスファルト – 芝生 – 屋内の廊下

    – レンガ – 屋外の石タイル – 屋内の石タイル オンライン学習されるMLPパラメータ 𝑷 ∈ ℝ100 が適応的に変化するかを検証 等倍での再生 合計6種類の環境で𝑷 ∈ ℝ100を取得
  27. #35/40 オンライン学習は機能してるか? (2/2) t – SNE results in dim2 t

    – SNE results in dim1 屋内の廊下 レンガ 屋外の石タイル 屋内の石タイル 芝生 アスファルト 2次元空間に埋め込まれた点は、環境ごとに異なる結果になった → 𝑷 が適応的に変化することを検証できた ニューラル運動モデルにおいて、 オンライン学習されるパラメータ オンライン学習されるMLPパラメータ 𝑷 ∈ ℝ100 を t-SNE で圧縮 6種類の環境での 𝑷 を 二次元空間上で可視化
  28. #36/40 四脚ロボットに適用した場合の実験 • 大きく異なるのは、入力データの種類 四脚ロボットにおけるニューラル運動モデル 四輪スキッドステアリングロボット 四脚ロボット(Unitree Go2) • IMUデータ

    • 各車輪のエンコーダ値 • IMUデータ • 各関節のエンコーダ値 • 各関節のトルク • 各脚先の力センサデータ ⚫ 運動モデルを入れ替えるだけで,四脚ロボットでも同様に提案手法を実行可能 ⚫ 脚型ロボットのより強い非線形性(大量の三角関数)に関する表現力の検証
  29. #38/40 定量評価 Method ATE [m] Ours 0.29 Ours w/o online

    learning 0.36 FAST-LIO2 Corrupt Unitree odometry w/ LIO 0.57 Unitree odometry※2 0.80 ATE※1 による誤差の評価 ※1 ATE: Absolute Trajectory Error 軌跡全体における誤差を表す指標 四脚ロボットにおいても、 ニューラル運動モデルが 適切に動作することを検証 ※2 Unitree odometry: Unitree社独自の 四脚ロボットの運動モデル
  30. #40/40 まとめ 1. 移動ロボットのオンライン学習ベースの運動モデル(ニューラル運動モデル)の提案 2. 学習コストと精度を両立するためのネットワーク設計 – online learning model

    と offline learning modelによるモデル構造 3. オンライン学習とオドメトリ推定を同時に解く手法を提案 • 四輪スキッドステアリングロボット・四脚ロボットを用いた実験 – 特徴の欠如 – 非線形な挙動 – 路面環境の変化 今後の展望 • ニューラル運動モデルの汎用化 – ロボットのサイズ(車輪径、ボディのサイズ、リンク長・・・) – 移動ロボットの種類(二脚、四脚、二輪、四輪、六輪、ステアリング有無、クローラ、脚車輪) © BD ©Unitree 上記3つの提案の有効性を検証 © iRobot © NASA © waymo © TRUCK BIZ © Swiss-Mile 多様な移動ロボットの運動を単一のニューラル運動モデルで表現