テクスチャ画像付きのメッシュモデルを3次元点群へ変換する

2025年1月13日に開催されたオンライン勉強会イベント「StudyCO 」にて「テクスチャ画像付きのメッシュモデルを3次元 点群へ変換する」という題で発表しました。

発表動画
https://www.youtube.com/watch?v=d_wpH2yI3kQ&t=825s

Transcript

1. テクスチャ画像付きのメッシュモデルを 3次元点群へ変換する ImVisionLabs株式会社 板倉健太
2. スマートフォンやタブレット端末のLiDARでの3Dスキャン  iPhoneなどの端末で手軽に3Dスキャンができるようになった アプリの例）Scaniverse, KIRI Engine, Polycam, RealityScanなど OBJ形式など様々なフォーマットでエキスポートも可能
3. OBJ形式のデータについて  OBJファイル、マテリアル（MTL）ファイル、テクスチャ画像によって構成 出典: The Stanford 3D Scanning Repository https://graphics.stanford.edu/data/3Dscanrep/  複数の三角形（多角形）を使用して物体の3次元形状を表現
4. テクスチャのイメージ 3Dモデル テクスチャ 色付きの3Dモデル ※ マテリアルファイル（.mtlファイル）は、3Dモデルの見た目（色・テクスチャ・光沢などの表面特性）を定義する役割  OBJファイルが形状情報を、テクスチャ画像が色情報を保持
5. テクスチャのイメージ 3Dモデル テクスチャ 色付きの3Dモデル
6. 点群vsメッシュ 点群：点の集まりによって対象の3次元構造を表現する 点群 メッシュ メッシュ：複数の面を使用して対象の3次元構造を表現する
7. メッシュを点群に変換する理由  メッシュモデルを点群へ変換することで点群のアルゴリズムを利用可能  メッシュを直接扱う深層学習モデル（例: MeshCNN）もあるが 点群を対象にするアルゴリズムのほうが豊富な印象 参考: MeshCNN https://ranahanocka.github.io/MeshCNN/ ※葉のセグメンテーションについては2024年12月のStudyCOにて 発表しました：https://imvisionlabs.com/?p=799 葉の自動的なセグメンテーション ボードゲームの駒の自動的なセグメンテーション
8. 点群への変換方法：OBJファイルの構成 • テクスチャ画像とメッシュモデルの頂点のXYZ座標を適切に処理する必要性  OBJファイル、MTLファイル、テクスチャ画像によって構成されている場合 テクスチャ画像 メッシュモデル マテリアルファイル
9. 点群への変換方法：OBJファイルの構成 ヘッダー情報 • 使用したソフト名などの情報 • 対応するマテリアルファイルを定義 • 経度緯度や向きが入っている場合もある（例: Scaniverse）
10. 点群への変換方法：OBJファイルの構成 頂点情報（Vertex Positions） • vの後に頂点のxyz座標を記載 図出典: Chapter 11 - Points and surface registration https://www.sciencedirect.com/science/article/abs/pii/B978012813657700 0261 v1 v2 v3
11. 点群への変換方法：OBJファイルの構成  テクスチャ座標 • 0〜1の範囲で、 画像上の位置を指定 • (u,v) = (0.5,0.5) : テクスチャ画像の真ん中 図出典: 【Unity 初心者】絵を見てざっくり学べるUnity ~UV座標って何？~ https://zenn.dev/hitsumasf/articles/f18bf5548dd95d
12. 点群への変換方法：OBJファイルの構成  面情報（Face） • メッシュの面を定義する • 頂点座標/テクスチャ座標 • 1/1の場合、1番目の頂点に1番目 のテクスチャ座標の色を与える 図出典: Chapter 11 - Points and surface registration https://www.sciencedirect.com/science/article/abs/pii/B978012813657700 0261
13. テクスチャのイメージ 3Dモデル テクスチャ  3Dモデルの頂点とテクスチャ画像の座標の対応を得ることができる
14. 点群への変換方法：頂点への色付け  OBJファイルの読み込み  テクスチャ座標のマッピング  テクスチャ画像をもとに、面の各頂点に色を付与する • v（頂点座標）、vt（テクスチャ座標）、f（面情報）を取得 • 各頂点のUV座標を利用し、テクスチャ画像からRGB値を取得 • 取得したRGB値を各頂点の色として付与
15. 点群への変換方法：均一サンプリング 均一サンプリング (Uniform Sampling) • 各三角形の面積に基づき、点をサンプリングする • 頂点の点の色情報をもとにサンプリングした点に色を付与
16. 点群への変換方法：ポアソンディスクサンプリング  ポアソンディスクサンプリング (Poisson Disk Sampling) • 点同士の距離を適度に保ちながら、均等な分布でサンプリング Yuksel, C. (2015, May). Sample elimination for generating poisson disk sample sets. In Computer Graphics Forum (Vol. 34, No. 2, pp. 25-32). 対象のメッシュモデル 均一サンプリング ポアソンディスクサンプリング
17. 実際に行った結果 テクスチャ画像付きメッシュモデル 点群に変換した結果 本データは奈良文化財研究所の高田様よりご提供いただきました
18. まとめ  3Dメッシュモデルを点群へ変換する方法について紹介しました  テクスチャ座標のマッピング  これらの情報をうまく読み取ることでテクスチャ画像付きのメッシュモデ ルを3次元点群に変換可能です • OBJ形式で保存されたモデルの場合、v（頂点座標）、vt（テクスチャ座標）、 f（面情報）にて3Dの情報が表現されています • 各頂点のUV座標を利用し、テクスチャ画像からRGB値を取得します  変換した点群データに対して高度な手法を適用するなど、様々な応用を 考えたいです