Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LiDAR SLAMやセンサーフュージョン についての紹介
Search
Kenta Itakura
November 19, 2023
Technology
0
670
LiDAR SLAMやセンサーフュージョン についての紹介
本資料は、2023年12月13日のオンラインの勉強会 #AIMTG にて利用された資料です。
Kenta Itakura
November 19, 2023
Tweet
Share
More Decks by Kenta Itakura
See All by Kenta Itakura
複数の入力の深層学習ネットワークの作成について
kentaitakura
0
7
LiDARとカメラのセンサーフュージョンによる点群のノイズ除去
kentaitakura
0
22
点群から道跡の検出を行った事例
kentaitakura
0
45
点群処理の基礎: 平面の検出と、その上下の点の取り出しについて
kentaitakura
0
38
ICPレジストレーションを利用した 3次元点群の位置合わせについて
kentaitakura
0
160
How to Perform Manual Classification for Deep Learning Using CloudCompare
kentaitakura
0
680
The CloudCompare project by Dr. Daniel Girardeau-Montaut
kentaitakura
0
540
訓練データ作成のためのCloudCompareを利用した点群の手動ラベリング
kentaitakura
0
570
深層学習を利用して 大豆の外部欠陥を判別した研究事例の紹介
kentaitakura
0
81
Other Decks in Technology
See All in Technology
いいたいことちゃんという
tkengo
0
260
データベース03: 関係データモデル
trycycle
0
110
コードや知識を組み込む / Incorporate Code and knowledge
ks91
PRO
0
160
DX企業CTOとして考える技術への向き合い方
shoheitai
0
110
Gradle Build Scanを使ってビルドのことを知ろう potatotips #87
tomorrowkey
2
170
Babylon.jsと色々なものを組み合わせる:ブラウザのAPIやガジェットや2D描画ライブラリなど / Babylon.js 勉強会 vol.3
you
PRO
0
180
Rustで「プリズモイダル法」を利用して「土量計算」をガチでやる
nokonoko1203
1
350
Cypress or Playwright?
rainerhahnekamp
0
180
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Musicを例に~
otanet
0
320
Cloud Service Mesh に触れ合う
phaya72
1
290
Introduction to SwiftUI V2
pohjus
0
100
高専で制御を、大学でセンシングを学び、次は脳みそ
satoshirobatofujimoto
0
120
Featured
See All Featured
A Tale of Four Properties
chriscoyier
153
22k
BBQ
matthewcrist
80
8.8k
Testing 201, or: Great Expectations
jmmastey
30
6.4k
Principles of Awesome APIs and How to Build Them.
keavy
121
16k
Robots, Beer and Maslow
schacon
PRO
155
7.9k
Building Flexible Design Systems
yeseniaperezcruz
320
37k
Navigating Team Friction
lara
179
13k
Clear Off the Table
cherdarchuk
85
310k
Documentation Writing (for coders)
carmenintech
60
4k
Ruby is Unlike a Banana
tanoku
96
10k
For a Future-Friendly Web
brad_frost
172
9k
Reflections from 52 weeks, 52 projects
jeffersonlam
345
19k
Transcript
LiDAR SLAMやセンサーフュージョン についての紹介 2023/12/13 AIミーティング 板倉健太
はじめに 1 本資料は、2023年12月13日のオンライン勉強会(AIMTG)にて利用されました 発 表 動 画 は
以 下 の 通 り で す 。 ご 興 味 が ご ざ い ま し た ら ぜ ひ ご 覧 く だ さ い ※SpeakerDeckのページ下部のTranscript欄からURLをコピーできます https://www.youtube.com/live/wY_IV7oO100?si=TnIkIdq1B--HdVVJ&t=1626
自己紹介:板倉健太 2 農学分野における3次元点群処理について研究し、博士(農学)を取得 2023年10月にImVisionLabs株式会社を創業 3次元点群処理の受託開発や研究開発を主に行っています
LiDARの利用について 3 LiDAR (Light Detection And Ranging) は レーザービームを対象に照射し、その光が
返ってくるまでの時間を利用して、対象までの距離や形状を求めることができる ドローン画像出典:emesent Hovermap ST https://www.mirukuru.co.jp/products/pdf/HVM-ST_jp_2208.pdf 自動運転車のイメージ お掃除ロボットのイメージ LiDARを搭載したドローン iPhoneに搭載されたLiDAR iPhone画像出典:OpenTopography https://opentopography.org/blog/iphone-lidar-applications- geosciences 3次元点群の取得や自己位置の推定に利用可能
LiDARデータの例 4 歩きながらLiDAR計測を行っているときの様子 各フレームでの点群情報が記録されており、点の色や自分の位置は明らかでない
自己位置推定について 5 LiDARの使い方の一つに自己位置推定がある 特徴点を見つけながら各フレームを取得した時の自分(センサー)の位置を求める 画像出典:なぜSLAMが重要か https://jp.mathworks.com/discovery/slam.html 各フレームの点群を組み合わせて、高密度な点群を構成することもできる
RGB画像の投影 6 LiDAR単体では色情報を取得できない 画像出典:LiDAR カメラ キャリブレーションとは https://jp.mathworks.com/help/lidar/ug/lidar-camera-calibration.html https://www.chuo-computer.co.jp/archives/10581
カラー画像の情報をLiDAR点群に投影(Sensor Fusion)し、点群に色情報を付与する
RGB画像の投影 7 投影するための方法として、チェッカーボードを利用する方法がある カメラ画像上の角と、点群上の角の位置を対応させることで位置関係を計算
実行内容 8 前処理:点群と画像を対応付けるための行列を求めておく(キャリブレーション)
実行内容 9 LiDARやカメラを搭載したロボット(Turtlebot2)を室内で走行させる
実行内容 10 点群やRGB画像などを走行しながら取得
実行内容 11 後処理:カメラの色情報を点群に投影
実行内容 12 後処理:3D LiDAR SLAMにて自己位置推定と各点群の合成を行う
実行内容 13 後処理:占有グリッドマップ (Occupancy Grid Map) を作成
実行について 14 MATLAB (MathWorks, USA) を利用 コードおよびデータはMathWorksより提供され、一部をカスタマイズして実行 •
ROS toolbox, Navigation Toolboxなどを利用 • Windows環境 (LinuxやROSの環境構築をせずに実行することができた)
実行結果 15
実行結果 16
まとめ 17 センサーフュージョンを利用し、点群に画像の色情報を投影した LiDAR SLAMを利用し、各フレームでのロボットの位置を推定した 各フレームでのロボットの位置や姿勢から、そのフレームでの点群の情報をマッピングし、 さらにそれらを統合することで高密度な点群を得ることができた
自動運転やロボティクスだけでなく、農業や林業、土木などの分野でも利用が広がって おり、今後もその原理や応用事例について深めていきたい 謝辞:本発表で利用したコードやデータ、および公開の許可をMathWorks様よりご提供いただきました。 感謝申し上げます。
補足 18 AprilTagを利用したカメラの自己位置の推定やAR表示については過去のAIMTGにて 発表しています AprilTagと呼ばれるマーカーを利用して、 ロボットの位置の推定精度を向上させる方法もあります 画像出典:AprilTagを利用してARで物体を表示させてみた https://speakerdeck.com/kentaitakura/20230816-apriltagwoli-yong-siteardewu-
ti-wobiao-shi-sasetemita 画像出典:Landmark SLAM using AprilTag Markers https://jp.mathworks.com/help/nav/ug/landmark-slam-using-apriltag- markers.html