いくつかの3Dスキャンアプリの比較・検証

iPadやiPhoneにLiDARが搭載されたこともあり、近年多くの3Dスキャンアプリがリリースされ、以前より簡単に3Dデータを取得することが可能になってきました。
今回は、主にScaniverseとSiteScapeを用いて取得した点群データの精度検証結果を発表します。
検証は、点群と点群から生成した3Dモデルに基づいて行いました。
計測対象として、弊社の鉄筋検査サービスで想定している鉄筋を使います。

Transcript

1. copyright©2023 DataLabs, Inc. all rights reserved. 1 中野 嵩士 DataLabs, Inc. 2023/05/27 いくつかの3Dスキャンアプリ の比較・検証
2. copyright©2023 DataLabs, Inc. all rights reserved. 2 目次 • 自己紹介 • 会社紹介 • いろんな3Dスキャンアプリ • 今回検証したアプリの紹介 ◦ Scaniverse ◦ SiteScape • 精度検証 ◦ 概要 ◦ 結果 • その他の3Dスキャンアプリの例 ◦ PIX4D、Luma AI • まとめ
3. copyright©2023 DataLabs, Inc. all rights reserved. 3 自己紹介 • DataLabs（現在） ◦ 研究開発部チームリーダー ◦ Linkedin : https://jp.linkedin.com/in/takashiznakano/ • 過去 ◦ 京都大学にて、物理の博士取得 ◦ 構造計画研究所 ▪ 流体/粉体解析ソフトウェアを用いた受託解析、導入支援、技術サポート、デジタルマーケティング ◦ Arithmer ▪ 3D関連技術の技術開発とチームマネジメント ▪ 流体力学へのMachine / Deep Learningの応用 ◦ AMI ▪ 医療AIの技術開発とチームマネジメント
4. copyright©2023 DataLabs, Inc. all rights reserved. 4 DataLabsの紹介 • DataLabs: 建設・土木業界向けに3Dデータ処理を行うSaaSを提供する スタートアップ ◦ 創業は2020年 ◦ 社員は20人弱くらい ◦ 資金調達済 • エンジニアは半分以上が外国人（日本語はできない） ◦ 開発チームのコミュニケーション・ドキュメントは完全英語化済 • 点群から3Dモデルを生成する手法について、東大と共同研究中 会社概要 • iPadのLiDARなどで撮影した点群から鉄筋の 3Dモデルを生成する • 円柱のパラメトリックモデルなので、鉄筋間 の距離計算が容易にできる • その情報を使い、配筋検査用の帳票を自動で 出力する • 維持管理用に、3DCADファイルも出力できる Before After 当社の3Dサービス:
5. copyright©2023 DataLabs, Inc. all rights reserved. 5 Modelyの紹介 Modely https://modely.app/landing/index.html • 取得した点群から3Dモデルを生成し、鉄筋間の距離などを算出
6. copyright©2023 DataLabs, Inc. all rights reserved. 6 3Dスキャンの手法 「フォトグラメトリ」 「LiDAR」 「NeRF」 複数の2D画像から3Dデータを作る レーザーを飛ばして、3Dデータを作る 場所と視点から色と密度を出力するニューラ ルネットワークから3Dデータを作る
7. copyright©2023 DataLabs, Inc. all rights reserved. 7 iPad / iPhoneのLiDAR • ARKitなどからdepthデータなどを取得できる。 ◦ 詳細は、前回の「3Dなんでも勉強会」のmiyanegiさんの発表がとてもわかりやすい。 ◦ https://speakerdeck.com/miyanegi/ipadnolidarwotukatutemita 走査方法：フラッシュ方式 新型iPad ProのLiDAR部を分析 ソニーの新型Aセンサーを活用 https://xtech.nikkei.com/atcl/nxt/column/18/01267/00043/ An Overview of Lidar Imaging Systems for Autonomous Vehicles https://www.mdpi.com/2076-3417/9/19/4093 (特集) 車載LiDARの技術動向 ～種類・方式の特徴と全体像～ https://atx-research.co.jp/2021/02/27/lidar- technology/#iPhone%E3%81%A7%E3%82%82%E6%8E%A1%E7%94%A8%E3%81%95%E3%82%8C%E3%81%9F%E3 %80%8C3D%E3%83%95%E3%83%A9%E3%83%83%E3%82%B7%E3%83%A5LiDAR%E3%80%8D パルス信号が往復に要する時間を直接測定し、距離を推定 デジタル撮像のように2次元アレイ状のレーザーを 拡散照射することによって3Dイメージを撮像 計測方法：dToF https://www.apple.com/jp/ipad-pro/specs/
8. copyright©2023 DataLabs, Inc. all rights reserved. 8 iPad / iPhoneのLiDAR <=5m … … … … … 照射距離 自己位置推定 照射密度 Advanced Scene Understanding in AR https://developer.apple.com/videos/play/tech-talks/609/ 新iPad Proの「LiDAR」を分析、SPADセンサーとDOEで実現 https://xtech.nikkei.com/atcl/nxt/mag/ne/18/00007/00117/ ARKitではVIO(visual-inertial odometry)を利用。 （iOSデバイスのモーションセンサー情報 ＋カメラ画像の組み合わせ） ドットの数は多くは無い。 「11インチiPad Pro」のLiDARスキャナーを分解 https://eetimes.itmedia.co.jp/ee/articles/2006/09/news059_3.html 12.9インチ iPad Pro 2020の分解: LiDARスキャナーは実際に どのように見えるのでしょうか？ https://www.youtube.com/watch?v=xz6CExnGw9w&t=1s Understanding World Tracking https://developer.apple.com/documentation/arkit/configur ation_objects/understanding_world_tracking
9. copyright©2023 DataLabs, Inc. all rights reserved. 9 いろんな3Dスキャンアプリ 「フォトグラメトリ」 「LiDAR」 「NeRF」 Scaniverse SiteScape PIX4Dcatch Luma AI Polycam 「フォトグラメトリ」 + 「LiDAR」 Metascan WIDAR RealityScan 3D Scanner App 3Dアプリの比較は、以下のページに詳しい比較があり、 わかりやすい。 https://note.com/iwamah1/n/n1419056b7445 Trnio Plus
10. copyright©2023 DataLabs, Inc. all rights reserved. 10 • 「Scaniverse」 ◦ https://scaniverse.com/ ◦ スキャン手法 ▪ LiDAR, フォトグラメトリ ◦ 利用可能なデバイス（2023/5時点) ▪ LiDARあり：2020/2021 iPad Pro,iPhone 12/13 Pro, iPhone 12/13 Pro Max ▪ Scaniverse自体は、LiDARが付属していないiOSもサポート • 「SiteScape」 ◦ https://www.sitescape.ai/ ◦ スキャン手法 ▪ LiDAR ◦ 利用可能なデバイス（2023/5時点） ▪ 2020/2021 iPad Pro, iPhone 12/13 Pro, iPhone 12/13 Pro Max 今回検証したアプリの紹介
11. copyright©2023 DataLabs, Inc. all rights reserved. 11 精度検証 • 計測条件 ◦ 計測デバイス ◦ 撮影条件 ◦ 鉄筋模型 ◦ 測定箇所 • システムによる距離算出方法 • 実験結果 ◦ 計測データの分布(統計処理) ◦ 鉄筋径や計測条件による違い
12. copyright©2023 DataLabs, Inc. all rights reserved. 12 「Scaniverse」 計測条件 計測デバイス（点群取得の方法） 「SiteScape」 （※今回の検証では、フォトグラメトリを利用） デバイス「iPad Pro」 詳しい使い方などは、以下の記事がわかりやすい。 【非公式】Scaniverseの使い方全てまとめました【iPhone 3Dスキャン】 https://note.com/iwamah1/n/nc8a5427157ef
13. copyright©2023 DataLabs, Inc. all rights reserved. 13 計測条件 撮影条件 1 屋内×なし 2 屋内×白壁 3 屋内×木板 4 屋外×なし 5 屋外×木板 天候 照明 屋内＆照明あり • • • 屋外(ビル屋上)＆昼間 • • 背景 なし • • テクスチャなしの壁 ( オフィス内の白い壁) • テクスチャありの壁 (木目パターン) • • 鉄筋模型を使用して、下表の5パターンで撮影した。
14. copyright©2023 DataLabs, Inc. all rights reserved. 14 D32 大きさ 縦 1400（鉄筋部分） (ｍｍ) +300（土台） 横 800 奥行き 400 重量 約55kg 径 3種類 (D13/22/32) 本数 D13(12.7mm) × 6本 (内3本は継ぎ手あり) D22(22.2mm) × 5本 D32(31.8mm) × 1本 D22_0 D22_1 D22_2 D22_3 D22_4 D13_0 D13_1 D13_2 D13_3_0 D13_4_0 D13_5_0 D13_3_1 D13_4_1 D13_5_1 計測条件 鉄筋模型 参考：鉄筋の直径の規格について http://kentiku-kouzou.jp/struc-tekkinsize.html
15. copyright©2023 DataLabs, Inc. all rights reserved. 15 参考：国交省作成のデジタルデータを活用した鉄筋出来形計測の試行要領(案) https://www.mlit.go.jp/tec/content/001413510.pdf 計測条件 測定箇所 y0 y1 y2 y3 r0 r1 r2 r3 r4 r5 r6 r7 r8 r9 r10 r11 r12 r13 r14 r15 r16 r17 r18 r19 r20 r21 r22 r23 r24 r25 r26 r27 r28 r29 r30 r31 r32 r33 r34 r35 測定箇所 個々の間隔(約130mm) 5-6間隔(約750mmなど)の2つの距離 寸法を計測する箇所 100程度 計測箇所 26(=•24+•2)箇所 •鉄筋間の平均間隔 縦12＋横12＝24箇所 縦:6本間隔x6、5本間隔x6 横:5本間隔x6、4本間隔x6 •鉄筋間の個々の間隔 2箇所 計測データの数 5パターンx26箇所=130
16. copyright©2023 DataLabs, Inc. all rights reserved. 16 実測での距離の値と、点群または生成した３次元モデルでの距離の値を比較した。 システムによる距離算出方法 実測での距離の値 鉄筋間距離 ソフトウェアによる 距離計測の例 (青い点はソフトウェア 上でクリックした点） Step1 ソフトウェアで取得した点群から ３次元モデル（メッシュデータ） を作成 Step2 ソフトウェア上で点群または3次元 モデルの測定箇所の長さを計測 Step3 実測値と上記の計測値を比較
17. copyright©2023 DataLabs, Inc. all rights reserved. 17 実験結果 点群の比較 ScaniverseとSiteScapeのデータを用いた結果 1 屋内×なし 2 屋内×白壁 3 屋内×木板 4 屋外×なし 5 屋外×木板 Scaniverse SiteScape
18. copyright©2023 DataLabs, Inc. all rights reserved. 18 実験結果 点群の比較 • Scaniverse ◦ 屋内・屋外、背景の種類 ▪ 鉄筋の点群の質は、環境にあまり依存しない。 ▪ 壁の点群の質については、木板の方が、白い壁より精度が良い。 • 白い壁は、点群の欠陥が多くなる。 ◦ 鉄筋径 ▪ 細い鉄筋径（D13）も取得可能。 ◦ 処理時間：数10秒~数分程度 • SiteScape ◦ 屋内・屋外、背景の種類 ▪ 屋内の方が屋外より取得しやすい。 ▪ 点群の取得精度の良い順は、木板、白い壁、背景なし ◦ 鉄筋径 ▪ D22,D32は、比較的点群が取得しやすいが、細い鉄筋径（D13）は、大きい径より特に背景なしの場合ノイズが多い ▪ 1cmくらいの物体は、LiDARのレーザーの照射密度的に点群を撮るのがやはり厳しい。 ◦ 処理時間：数10秒~数分程度 Scaniverse SiteScape 細い鉄筋の点群も 取得できている。 細い鉄筋の点群はあまり 取得できていない。
19. copyright©2023 DataLabs, Inc. all rights reserved. 19 実験結果 3次元モデルの生成 ScaniverseとSiteScapeのデータを用いた結果 1 屋内×なし 2 屋内×白壁 3 屋内×木板 4 屋外×なし 5 屋外×木板 Scaniverse SiteScape
20. copyright©2023 DataLabs, Inc. all rights reserved. 20 実験結果 計測データの分布(統計処理) 計測誤差 [%] = (ソフトウェアによる計測値 - 実測値)/鉄筋径 計測した鉄筋径 •鉄筋間の平均間隔 D13 •鉄筋間の個々の間隔 D22
21. copyright©2023 DataLabs, Inc. all rights reserved. 21 実験結果 計測データの分布(統計処理) • 点群と実測値の誤差を計測した結果 ◦ Scaniverseの方がSiteScapeより精度が良い ◦ Scaniverseは、計測誤差が土30%以内 𝜙 鉄筋径 mean 平均 std 標準偏差 pdf_normal 確率分布関数（正規分布）
22. copyright©2023 DataLabs, Inc. all rights reserved. 22 実験結果 計測データの分布(統計処理) • 生成した3次元モデルと実測値の誤差を計測した結果 ◦ Scaniverseの方がSiteScapeより精度が良い ◦ Scaniverseは、計測誤差が土30%以内 𝜙 鉄筋径 mean 平均 std 標準偏差 pdf_normal 確率分布関数（正規分布）
23. copyright©2023 DataLabs, Inc. all rights reserved. 23 実験結果 鉄筋径や計測条件による違い • 鉄筋径の比較（P.25） ◦ Scaniverseの方が、SiteScapeより精度が良い。 ◦ 鉄筋径による差は、大きくない。 • 計測条件の比較（P.26-28） ◦ Scaniverseの方が、SiteScapeより精度が良い。 ◦ 計測条件による差は、大きくない。
24. copyright©2023 DataLabs, Inc. all rights reserved. 24 実験結果 鉄筋径や計測条件による違い • 鉄筋径の比較（点群） ◦ Scaniverseの方が、SiteScapeより精度が良い。 ◦ 鉄筋径による差は、大きくない。 max_abs_error：最大誤差（絶対値）/ std：標準偏差
25. copyright©2023 DataLabs, Inc. all rights reserved. 25 実験結果 鉄筋径や計測条件による違い • 計測条件の比較（点群） ◦ Scaniverseの方が、SiteScapeより精度が良い。 ◦ 計測条件による差は、大きくない。 max_abs_error：最大誤差（絶対値）/ std：標準偏差 屋内 屋外 背景なし 白壁 木板
26. copyright©2023 DataLabs, Inc. all rights reserved. 26 実験結果 鉄筋径や計測条件による違い • 鉄筋径の比較（3次元モデル） ◦ Scaniverseの方が、SiteScapeより精度が良い。 ◦ 鉄筋径による差は、大きくない。 max_abs_error：最大誤差（絶対値）/ std：標準偏差
27. copyright©2023 DataLabs, Inc. all rights reserved. 27 実験結果 鉄筋径や計測条件による違い • 計測条件の比較（3次元モデル） ◦ Scaniverseの方が、SiteScapeより精度が良い。 ◦ 計測条件による差は、大きくない。 max_abs_error：最大誤差（絶対値）/ std：標準偏差 屋内 屋外 背景なし 白壁 木板
28. copyright©2023 DataLabs, Inc. all rights reserved. 28 補足：そのほかの3Dスキャンアプリの例（PIX4Dcatch / Luma AI） • 他の3Dスキャンアプリも定性的な比較 • PIX4Dcatch：https://www.pix4d.com/jp/product/pix4dcatch/ ◦ スキャン手法：LiDARとフォトグラメトリを両方利用。 ▪ https://support.pix4d.com/hc/ja/articles/360043331092-Pix4Dcatch- %E3%82%88%E3%81%8F%E3%81%82%E3%82%8B%E3%81%94%E8%B3%AA%E5%95%8F#benefits • Luma AI：https://lumalabs.ai/ ◦ スキャン手法：NeRF
29. copyright©2023 DataLabs, Inc. all rights reserved. 29 補足：そのほかの3Dスキャンアプリの例（PIX4Dcatch / Luma AI） • 他の3Dスキャンアプリも定性的な比較 • PIX4Dcatchを用いた結果 ▪ 定性的には、綺麗にスキャンができている。 ▪ スケールも問題ない。 ▪ 点群生成までの処理時間は、約30分。 • Luma AIを用いた結果 ▪ 定性的には、綺麗にスキャンができていそう。とくに物体の境界などは結構綺麗。 ▪ ただし、スケールはあっていない。（実スケールで使うには、スケールの補正が必要。） ▪ 点群生成までの処理時間は、約30分。 PIX4Dcatch Luma AI
30. copyright©2023 DataLabs, Inc. all rights reserved. 30 まとめ • 3Dスキャンアプリ(Scaniverse vs SiteScape)の比較を行いました。 • 鉄筋模型の点群と生成した3次元モデルにおける鉄筋間距離の精度検証を行いました。 • 精度検証結果 ◦ 今回の対象に対しては、Scaniverseの方が、SiteScapeより精度がよかった。 ◦ Scaniverseについては、計測誤差30%の結果が得られました。 ◦ 今回の検証において、鉄筋径や計測条件による違いなどの条件による差は、大きくなかった。 • そのほかの3Dアプリも新しい機能が積極的に追加されたりしているので、色々試して行きたい。
31. copyright©2023 DataLabs, Inc. all rights reserved. 31 DataLabsからのメッセージ • プロダクトが育ったら、さらにエンジニアを採用する予定です。 ◦ フロントエンドエンジニア ◦ バックエンドエンジニア ◦ リサーチエンジニア • もし弊社に興味をお持ちいただけたら、ぜひ連絡していただきたいです ◦ LinkedIn: https://jp.linkedin.com/in/takashiznakano/ ◦ HP (DataLabs) : https://www.datalabs.jp/ ◦ LinkedIn (DataLabs) : https://www.linkedin.com/company/datalabs-jp/ ◦ Twitter (DataLabs) : https://twitter.com/DataLabs_PR • 直近(2023/5時点)ではフルタイムのポジションは募集していませんが、将来の加入の可能性を見据えて副業として参画するのもOKです ◦ 今回の発表者の佐藤・中野含め、副業→正社員の実績あり • 労働環境 ◦ フルリモート ◦ コミュニケーション（テキスト・オーラル両方）は英語 We are will be hiring !! (2023/5時点)