オルソ画像を利用した3次元点群の着色処理

本資料は、2026/1/14開催のオンライン勉強会（AIMTG）にて発表した内容をまとめたものです。
LiDAR 点群にオルソ画像の情報を融合することで視認性や分類性能を紹介しています。

主な内容：
LiDAR 点群の色情報付与の意義と活用例
オルソ画像情報を点群に反映する手法
セグメンテーション（SAM）を用いた物体抽出と点群への反映

イベントページ：
https://osaka-driven-dev.connpass.com/event/378594/

Transcript

1. オルソ画像を利用した3次元点群の着色処理 ImVisionLabs株式会社代表取締役 板倉健太 博士（農学）
2. 2 なぜ点群をカラー化するのか?  LiDARの情報のみからでは色情報を取得することができない  色情報を付加することで点群の構造が直感的に把握しやすくなり、計測や確認作業を行いや すくなる オリジナルのLiDAR点群 （色情報なし: 形はわかるが情報が乏しい） 着色されたLiDAR点群 （色情報あり: 建物や植生の点がわかりやすい）  色情報を付加しカラー化することで各点の認識（セグメンテーション）の精度も高くなる場合も多い データ出典：東京都デジタルツイン実現プロジェクト区部点群データ
3. 3 点群と画像のセンサーフュージョン  カラー画像の情報をLiDAR点群に投影（Sensor Fusion）し、点群に色情報を付与する 画像出典：LiDAR カメラ キャリブレーションとは https://jp.mathworks.com/help/lidar/ug/lidar-camera-calibration.html https://www.chuo-computer.co.jp/archives/10581  自動運転の分野などで行われることが多い  画像の情報を点群に反映させるために、点群と画像の統合が行われることも多い
4. 4 点群と画像のセンサーフュージョン  LiDARとカメラのセンサーフュージョンにおいてはLiDAR が取得する高精度 3D と RGB カメ ラ（通常のカメラ）が取得する色情報を統合し，両方の情報を保持した 3D データを生成する  内部パラメータ（カメラの焦点距離・歪み係数など）と外部パラメータ（LiDAR 座標系、カメラ 座標系の回転 R と並進 t）が必要  チェッカーボードによるキャリブレーションを行うことが一般的である 画像出典：板倉ら (2024). LiDARとカメラのセンサーフュージョンによる点群からの ノイズ除去. AI・データサイエンス論文集, 5(3), 757–768.
5. 5 航空 LiDAR の点群と GeoTIFF の画像のセンサーフュージョン  GeoTIFF が持つ CRS (座標参照系)を利用してそのまま点群と画像を重ね合わせることができる  点群と画像がそれぞれ座標を持ち，共通の座標系に変換できる場合，座標対応に基づいて 直接重ね合わせることができる データ出典：神奈川県 横浜北部、川崎3次元点群データ https://www.geospatial.jp/ckan/dataset/kanagawa-2022-pointcloud 動画: 点群とオルソ画像を地図上で重ね合わせている様子
6. 6 GeoTIFFを利用した点群の着色について  画像データの保存形式である TIFF 形式に地理的な参照情報を埋め込んだもの。各ピクセ ルが地球上のどこに位置するかを示す地理的な情報を持たせることができる  画像データには、どの地図基準を使っているか（CRS）、地図上の位置と画像のピクセルの 対応ルール、1ピクセルが現実の何メートルに相当するか（解像度）といった、位置や大きさを 正しく理解するための基本情報（メタデータ）が含まれている  これにより各ピクセルと実世界の座標が1対１で確定し、点群とマッチングが可能 𝑥, 𝑦 𝑥, 𝑦 主要メタデータを 用いてマッチング
7. 7 オルソ画像を利用した着色処理の概要 点群とオルソ画像を読み込み、座標情報を参照 点群の XY座標 を GeoTIFF のピクセル座標へ変換 対応ピクセルの RGB を点群に付与 点群 （3D） オルソ画像 （2D） 座標情報を照合 RGBを点群に付 与 データ出典：東京都デジタルツイン実現プロジェクト区部点群データ https://www.geospatial.jp/ckan/dataset/tokyopc-23ku-2024
8. 8 オルソ画像を利用した着色処理の流れ 着色する3次元点群 オルソ画像（2D） RGBを点群に付与 データ出典：東京都デジタルツイン実現プロジェクト区部点群データ https://www.geospatial.jp/ckan/dataset/tokyopc-23ku-2024 オルソ画像の ・XYの範囲 ・画像サイズ ・1ピクセル当たりの長さ を取得 Z Y X 2Dの点群を生成（Z情報なし） 座標をもとに色情報を点群へ投影
9. オルソ画像による点群のカラー化の結果 • 左：[a] 色情報を持たない3次元点群（着色前） • 右：[b] オルソ画像のRGB情報を付与した3次元点群（着色後）  オルソ画像によるカラー化により，建物・植生・道路などの構造が視覚的に判別しやすくなった [a] [b] 色情報を有していない3次元点群 カラー情報を表示した3次元点群 データ出典：東京都デジタルツイン実現プロジェクト区部点群データ https://www.geospatial.jp/ckan/dataset/tokyopc-23ku-2024 ※ 東京都公開データは本来カラー点群であるが，本スライドでは 比較のため意図的に色情報を除去している
10. 10 応用例：物体のセグメンテーション SAM (Segment Anything Model) を用いて物体のセグメンテーションを行う SAMとは、Meta社の開発した入力画像に対して汎用的に物体領域を抽出できる大規模 画像セグメンテーションモデルである Kirillov, Alexander, et al. "Segment anything." Proceedings of the IEEE/CVF international conference on computer vision. 2023. [a] 入力の画像 [b] SAMにより物体ごとにセグメ ンテーションした様子
11. 11 応用例：物体のセグメンテーション SAMを用いて建物のセグメンテーションを行った結果 取得した画像でのマスクを座標情報を利用して点群へ転写し、マスク情報付き の3次 元点群を生成 道路／建物／樹木の自動ラベリング、劣化部材抽出などに利用できる可能性 データ出典：東京都デジタルツイン実現プロジェクト区部点群データ https://www.geospatial.jp/ckan/dataset/tokyopc-23ku-2024 [a] 入力の3次元点群 [b] SAMにより物体ごとにセグメンテーション した様子