点群のファイル形式であるE57について

本スライドは2026年2月11日に開催されたオンライン勉強会（AIMTG）にて利用されました。
イベントページやYoutube動画は以下の通りです。

イベントページ
https://osaka-driven-dev.connpass.com/event/381466/
動画
https://www.youtube.com/live/WQJXmeyaKXc?si=MU7oKf71jYoS2h4C&t=3743

Transcript

1. 点群のファイル形式であるE57について ~スキャン単位の点群・画像と姿勢情報による3次元データの管理~ ImVisionLabs株式会社 板倉健太 博士（農学）
2. 2 E57形式について 高密度点群を保存する形式として、E57やLAS、TXT、PTSなどがある E57は点群ファイルと各種データ(画像データ等)を階層状に保存 ※中野区より公開されている「中野サンプラザ3Dデータ」を利用しています
3. 3 バックパック型スキャナー iPhone12 LiDAR [動画] LASファイルとE57ファイルの違い 項目 LAS形式 E57形式 拡張子 .las（ファイル圧縮のための .laz形式も存在） .e57 開発元 ASPRS（米国写真測量リモートセンシング学会） ASTM International（国際標準化団体） 構造 各点のデータ 階層構造で点群・画像など複数データを統合管理 対応データ 点群データ（XYZ, RGB, 強度, 分類など） 点群、画像、測定時の姿勢・座標系情報も含む ファイルサイズ .lasは圧縮なし、.lazで軽量化可能 laz形式に比べて重くなることが多い 利点 LAZで圧縮可能、広く普及 複数センサ情報を一元管理できる 欠点 画像や姿勢情報は別ファイル管理が必要 対応ソフトがLASに比べてやや少ない  E57はスキャンごとの点群と取得時の位置、姿勢、画像に関する情報が階層構造で管理される  LASは点ごとの情報が保存され、座標・色・強度・分類などの標準属性を持つ  点群データの代表的な拡張子であるLASとE57を比較
4. 4 バックパック型スキャナー [動画] E57ファイルの概要 例えばLeica社のCycloneやiPhone LiDARのア プリのDot3Dで点群をエキスポート可能 右の画像はDot3Dで点群をエキスポートするとき の様子 画像の一番下にE57形式がある
5. バックパック型スキャナー E57の性質 地上型レーザースキャナでは、異なる地点から複数回スキャンを行うことが一般的 画像出典： 板倉ら：セマンティックセグメンテーションやセンサーフュージョンを利用した橋梁の 構造情報の推定のための点群処理手法の開発, AI・データサイエンス論文集, 2024 にて利用 された図をもとに作成 出典：「Example of a pairwise registration of laser scans」,Automatic registration of partially overlapping terrestrial laser scanner point clouds,Institute of Geodesy and Photogrammetry, ETH Zürich. 異なる計測地点の点群を組み合わせるイメージ 異なる地点から計測するイメージ E57形式では、各スキャンごとに取得された点群とともに、スキャナの位置・姿勢（向 き）や取得時の画像情報などが個別に記録される。
6. 6 バックパック型スキャナー iPhone12 LiDAR [動画] E57ファイルのデータ構造 Dota3D（3次元的）とImages2D（2次元的）に分かれている 画像出典：e57FileReader https://jp.mathworks.com/help/lidar/ref/e57filereader.html 点群データやメタ情報に加え計測時のスキャナやカメラの姿勢情報なども格納されている
7. 7 バックパック型スキャナー ファイルの開き方 動画はCloudCompareでE57ファイルを開く時の様子 最初に表示されたScans:14とは14個箇所で計測をしたことを示している 4倍速で再生 点群データは東京大学 全邦釘先生よりご提供いただきました。
8. 8 バックパック型スキャナー iPhone12 LiDAR [動画] ファイルの開き方 CloudCompareのデータベースツリーで点群を確認することができる
9. 9 バックパック型スキャナー iPhone12 LiDAR ファイルの開き方 Cloud Compareのデータベースツリーで画像を確認することができる
10. 10 バックパック型スキャナー iPhone12 LiDAR E57ファイルのデータ構造 E57ファイルに格納されているカメラの姿勢情報などを利用して点群と画像データを 重ね合わせて表示することもできる [a] 画像データ [b] 点群データ 本データは土地家屋調査士 吉田四郎様ご提供いただきました。
11. 11 姿勢情報について スキャンごとに点群を重ね合わせ、表示させた時の様子を以下に示す
12. 12 回転と移動の行列について 以下の図は2つのカメラの位置関係 左(KL)のカメラの位置を基準として、右(KR)のカメラの位置を示す カメラを回転させる行列と平行移動させる行列があれば実現可能 KL KR t R
13. 13 回転と移動の行列について KL からKR へと図のようにカメラを移動させる場合を考える ｔは平行移動のベクトルを、Rはカメラの向きの変化を表している 13 KL KR t R
14. バックパック型スキャナー 回転と移動の行列について 回転行列は3次元上で行うと3×3で平行移動は3×1 回転行列Rの成分と平行移動tの成分を合わせると3×4の行列になる その行列によって点群の位置を変換できる • 座標変換と向き補正により、点群上の点を画像座標に変換可能に ScanX2.0 𝑠 𝑢 𝑣 1 = 𝑓𝑥 0 𝑐𝑥 0 𝑓𝑦 𝑐𝑦 0 0 1 𝑟11 𝑟12 𝑟13 𝑡1 𝑟21 𝑟22 𝑟23 𝑡2 𝑟31 𝑟32 𝑟33 𝑡3 𝑋𝑤 𝑌𝑤 𝑍𝑤 1 画像座標 内部 パラメータ 外部 パラメータ ワールド 座標 左図出典: Yamane, T., Chun, P. J., Dang, J., & Honda, R. (2023). Comput.-Aided Civ. Infrastruct. Eng., 38(17), 2391-2407. 14
15. 15 [動画] 姿勢情報について 複数回のスキャンで得られた点群の位置を行列でそれぞれ変換 変換した後、重ね合わせると全体の点群を取得 全体の点群 ＝ スキャン1の点群（変換後）＋ スキャン2の点群（変換後）＋ ・・・
16. 16 バックパック型スキャナー iPhone12 LiDAR [動画] 画像上で人のセグメンテーションをし、その結果を点群上にマッピングし、ノイズ除去 レーザースキャナ中のカメラ画像と点群とのセンサーフュージョン 応用例: LiDARとカメラのセンサーフュージョンによる点群からのノイズ除去 人のセグメンテーション 点群でのノイズ除去 セ ン サ ー フ ュ ー ジ ョ ン 画像（2D） LiDARで取得した点群（3D） 本研究は、以下の論文にて報告されたものです。 板倉健太、林拓哉、上脇優人、全邦釘：LiDARとカメラのセンサーフュージョンによる 点群からのノイズ除去、AI・データサイエンス論文集（土木学会）, 2024年.
17. 17 バックパック型スキャナー iPhone12 LiDAR [動画] 応用例: E57形式の点群を利用したノイズ除去 点群を取得する際、人のノイズが入ることがある 一定の点群密度を持っていたり、周囲との連続性もあるため除去が難しい場合がある ScanX2.0 ノイズ 一般的なノイズ 点群中の人のノイズ ScanX 2.0 E57には点群データと計測時の画像データを両方利用可能 本研究は、以下の論文にて報告されたものです。 板倉健太、林拓哉、上脇優人、全邦釘：LiDARとカメラのセンサーフュージョンによる 点群からのノイズ除去、AI・データサイエンス論文集（土木学会）, 2024年.
18. 18 バックパック型スキャナー iPhone12 LiDAR [動画] 結果 人を対象としてノイズ除去を実行：結果は赤で表示 従来のノイズ除去手法では難しい対象にセンサーフュージョンでの処理を実現 [a] LiDARから取得した画像から人を検出 [b] 点群上に人の情報を反映した様子 人を画像上で検出 点群で セグメンテーション 本研究は、以下の論文にて報告されたものです。 板倉健太、林拓哉、上脇優人、全邦釘：LiDARとカメラのセンサーフュージョンによる 点群からのノイズ除去、AI・データサイエンス論文集（土木学会）, 2024年.
19. 19 バックパック型スキャナー iPhone12 LiDAR 周囲に様々な物体が存在する環境では、点群のみから特定の橋梁部材を安定し て検出することが難しい場合がある。 ScanX2.0 ScanX2.0 複数地点から LiDAR計測 画像処理により地覆と 道路面の境界（赤）を自動認識 画像と点群のセンサーフュージョ ンにより境界線を点群に反映 画像出典： 板倉ら：セマンティックセグメンテーションやセンサーフュージョンを利用した橋梁の 構造情報の推定のための点群処理手法の開発, AI・データサイエンス論文集, 2024. 応用例: E57形式の点群を用いた橋梁の寸法の計測 画像処理で認識した境界線を点群に反映することで、橋梁構造の寸法計測や位置 特定が容易になる
20. 応用例: E57形式の点群を用いた橋梁のひび割れの検出 画像を取得 ひび割れを検出 部材を検出 ひび割れ発生部材を特定 LiDAR点群の活用 ひび割れ長さを推定 Semantic Segmentation SAMの適用 情報を 3次元的に記録 Semantic Segmentation 部材情報をもとに ひび割れを診断 キャリブレーション 画素と点を対応 検出結果を 入力 検出結果を 入力 [a] [b] [c] [d] [e] [f] 出典： 佐々木ら：画像と点群の統合活用による部材検出とひび割れ損傷長さの 推定, AI・データサイエンス論文集, 2025.
21. 21 バックパック型スキャナー iPhone12 LiDAR [動画] 点群の形式であるE57についてのまとめ 画像と点群を同時に扱えるため、画像×点群のセンサーフュージョン（例：人の検出 結果を点群に投影してノイズ除去、境界線を点群に反映して計測支援）など、応用の 幅が広い 各スキャンに対応する4×4同次変換行列で座標変換し、変換後の点群を重ね合わ せることで、全体空間の3次元マッピングが実現できる E57は、点群だけでなくスキャン単位の情報（位置・姿勢）や画像などを階層構造で一 元管理できるファイル形式である 一方で、LAS/LAZと比べてファイルが重くなりやすい・対応ソフトがLASに比べてやや 少ないなど運用面の注意点もある