LiDAR SLAMやセンサーフュージョン についての紹介

本資料は、2023年12月13日のオンラインの勉強会 #AIMTG にて利用された資料です。

イベントページ
connpass: https://osaka-driven-dev.connpass.com/event/298812/

大阪駆動開発
connpass: https://osaka-driven-dev.connpass.com/

発表動画
https://youtu.be/wY_IV7oO100

Transcript

1. LiDAR SLAMやセンサーフュージョン についての紹介 2023/12/13 AIミーティング 板倉健太
2. はじめに 1  本資料は、2023年12月13日のオンライン勉強会（AIMTG）にて利用されました  発 表 動 画 は 以 下 の 通 り で す 。 ご 興 味 が ご ざ い ま し た ら ぜ ひ ご 覧 く だ さ い ※SpeakerDeckのページ下部のTranscript欄からURLをコピーできます https://www.youtube.com/live/wY_IV7oO100?si=TnIkIdq1B--HdVVJ&t=1626
3. 自己紹介：板倉健太 2  農学分野における3次元点群処理について研究し、博士（農学）を取得  2023年10月にImVisionLabs株式会社を創業  3次元点群処理の受託開発や研究開発を主に行っています
4. LiDARの利用について 3  LiDAR (Light Detection And Ranging) は レーザービームを対象に照射し、その光が 返ってくるまでの時間を利用して、対象までの距離や形状を求めることができる ドローン画像出典：emesent Hovermap ST https://www.mirukuru.co.jp/products/pdf/HVM-ST_jp_2208.pdf 自動運転車のイメージ お掃除ロボットのイメージ LiDARを搭載したドローン iPhoneに搭載されたLiDAR iPhone画像出典：OpenTopography https://opentopography.org/blog/iphone-lidar-applications- geosciences  3次元点群の取得や自己位置の推定に利用可能
5. LiDARデータの例 4  歩きながらLiDAR計測を行っているときの様子  各フレームでの点群情報が記録されており、点の色や自分の位置は明らかでない
6. 自己位置推定について 5  LiDARの使い方の一つに自己位置推定がある  特徴点を見つけながら各フレームを取得した時の自分（センサー）の位置を求める 画像出典：なぜSLAMが重要か https://jp.mathworks.com/discovery/slam.html 各フレームの点群を組み合わせて、高密度な点群を構成することもできる
7. RGB画像の投影 6  LiDAR単体では色情報を取得できない 画像出典：LiDAR カメラ キャリブレーションとは https://jp.mathworks.com/help/lidar/ug/lidar-camera-calibration.html https://www.chuo-computer.co.jp/archives/10581  カラー画像の情報をLiDAR点群に投影（Sensor Fusion）し、点群に色情報を付与する
8. RGB画像の投影 7  投影するための方法として、チェッカーボードを利用する方法がある  カメラ画像上の角と、点群上の角の位置を対応させることで位置関係を計算
9. 実行内容 8  前処理：点群と画像を対応付けるための行列を求めておく（キャリブレーション）
10. 実行内容 9  LiDARやカメラを搭載したロボット（Turtlebot2）を室内で走行させる
11. 実行内容 10  点群やRGB画像などを走行しながら取得
12. 実行内容 11  後処理：カメラの色情報を点群に投影
13. 実行内容 12  後処理：3D LiDAR SLAMにて自己位置推定と各点群の合成を行う
14. 実行内容 13  後処理：占有グリッドマップ (Occupancy Grid Map) を作成
15. 実行について 14  MATLAB (MathWorks, USA) を利用  コードおよびデータはMathWorksより提供され、一部をカスタマイズして実行 • ROS toolbox, Navigation Toolboxなどを利用 • Windows環境 （LinuxやROSの環境構築をせずに実行することができた）
16. 実行結果 15
17. 実行結果 16
18. まとめ 17  センサーフュージョンを利用し、点群に画像の色情報を投影した  LiDAR SLAMを利用し、各フレームでのロボットの位置を推定した  各フレームでのロボットの位置や姿勢から、そのフレームでの点群の情報をマッピングし、 さらにそれらを統合することで高密度な点群を得ることができた  自動運転やロボティクスだけでなく、農業や林業、土木などの分野でも利用が広がって おり、今後もその原理や応用事例について深めていきたい 謝辞：本発表で利用したコードやデータ、および公開の許可をMathWorks様よりご提供いただきました。 感謝申し上げます。
19. 補足 18  AprilTagを利用したカメラの自己位置の推定やAR表示については過去のAIMTGにて 発表しています  AprilTagと呼ばれるマーカーを利用して、 ロボットの位置の推定精度を向上させる方法もあります 画像出典：AprilTagを利用してARで物体を表示させてみた https://speakerdeck.com/kentaitakura/20230816-apriltagwoli-yong-siteardewu- ti-wobiao-shi-sasetemita 画像出典：Landmark SLAM using AprilTag Markers https://jp.mathworks.com/help/nav/ug/landmark-slam-using-apriltag- markers.html