オプトインカメラ：UWB測位を応用したオプトイン型のカメラ計測

2024年12月5日に実施されたUWB勉強会で話した資料です。オプトインカメラがどのような技術で校正されているのかを解説しています。

Transcript

1. オプトインカメラ：UWB測位を 応用したオプトイン型のカメラ計測 株式会社サイバーエージェント AI Lab　石毛真修
2. 株式会社サイバーエージェント AI Lab, Activity Understanding リサーチエンジニア 石毛真修（Matthew Ishige） @matthewluljp @matthewishige
3. Activity Understanding 実世界AIサービスのための人物行動理解 チームミッション：実世界においてAIサービスを実現するための基盤研究 小売・医療など、実世界が現場となる領域でAIを活用するためには、複雑に変化する環境のなかで 人々の多様な行動を計測・理解し、AIによって生成された情報を適切に伝達する技術が必要 機械学習やコンピュータビジョン、ロボティクス、ユビキタスコンピューティング、データマイニン グなど複数分野からの多角的なアプローチによって、このような技術の創出と実世界AIサービスへの 還元を目指す ロボティクス 生成AI センシング 行動言語化 #IMU #UWB #BLE #MCT 行動予測 回遊推定 #POS #Web/Ap p ナビゲーショ ン #ROS シミュレーショ ン #LLM #Multimod al #Plannin g #Localizati on #Mappin g
4. カメラ計測とプライバシー オプトインカメラの提唱 オプトインカメラを構成する技術 紐づけ精度を高めるための技術的貢献 01 02 03 04 CONTENTS 展望とまとめ 05
5. 01 カメラ計測とプライバシー
6. カメラ計測とプライバシー カメラは強力な行動計測ツール 01 広告を見たか？ どの商品を手に取ったか？ どこを通ったか？ 何に視線を向けたか？ https://cyberagent.ai/news/press/13432/ より抜粋
7. カメラ計測とプライバシー 映像は好き勝手撮っていいものなのか？ 個人の顔などが映った映像は個人情報である 取得するには、個人情報を集めていること、及び、その利用目的を明示する必要がある 第三者提供する場合はさらに本人の同意が必要になる 01 「個人情報」とは、生存する個人に関する情報であって、当該情報に含まれる氏名、生年月日その他の記述 等により特定の個人を識別することができるもの（他の情報と容易に照合することができ、それにより特定 の個人を識別することができることとなるものを含む。）をいう 
 https://elaws.e-gov.go.jp/document?lawid=415AC0000000057 より抜粋
8. カメラ計測とプライバシー モザイクをかければよいのか？ 匿名加工情報であれば、本人の同意は必要なくなる（明言は必要）が、 a. 顔からわかる情報（年齢・性別・感情・視線など）は入手できなくなる b. プライバシーの問題（利用者の心理的な抵抗感）は残る 01 個人情報 匿名加工情報
9. カメラ計測とプライバシー カメラ計測のあるべき姿はなにか？ 個人が自ら映像に残る選択を行えること = オプトイン 映ってもよいと意思表示をした人間の映像のみが詳細な分析に利用できる それ以外の人間は一切映像に残らない 01
10. 02 オプトインカメラの提唱
11. オプトインカメラの提唱 超広帯域（UWB）無線通信デバイスを身につけてもらうことでオプトインの意思表示を行ってもら い、映像中からデバイス保持者を特定することで、その人だけを映像に残す（それ以外を隠蔽） 02 通常の映像データ オプトイン処理後の映像データ 無線通信による位置推定をつかったオプトインカメラ 買い物カゴにタグが取り付けられており、カゴをもった人間がオプトインしている
12. オプトインカメラの提唱 無線通信による位置推定をつかったオプトインカメラ 02 カメラとUWBアンカーデバイスを環境に固定し、オプトインする人がUWBタグデバイスを持つ 世界座標系
13. オプトインカメラの提唱 無線通信による位置推定をつかったオプトインカメラ 02 アンカーとタグが通信することでタグの座標がわかる
14. オプトインカメラの提唱 無線通信による位置推定をつかったオプトインカメラ 02 tag trajectory タグの座標の時系列として軌跡が得られる
15. オプトインカメラの提唱 無線通信による位置推定をつかったオプトインカメラ 02 tag trajectory video frame 映像に対し、object detection & multi-object trackingを実行し、ピクセル空間における軌跡を得る
16. オプトインカメラの提唱 無線通信による位置推定をつかったオプトインカメラ 02 tag trajectory video frame 映像に対し、object detection & multi-object trackingを実行し、ピクセル空間における軌跡を得る
17. オプトインカメラの提唱 無線通信による位置推定をつかったオプトインカメラ 02 ピクセル空間上の軌跡を、グローバルな３次元の座標系に投影する
18. オプトインカメラの提唱 無線通信による位置推定をつかったオプトインカメラ 02 tag trajectory UWBで求めた軌跡と映像から求めた軌跡をマッチングし、映像中の誰がタグをもっているかを特定
19. オプトインカメラの提唱 無線通信による位置推定をつかったオプトインカメラ 02 opt-in tag trajectory 映像中で特定したタグ保持者以外をマスキングで消す
20. 03 オプトインカメラを構成する技術
21. オプトインカメラを構成する技術 オプトインへ至るステップ 1. UWBによる軌跡推定 2. カメラによる人物検出と軌跡推定 3. 軌跡のマッチング 4. 隠蔽処理 03
22. オプトインカメラを構成する技術 UWB測位とは？ 電磁波をやり取りすることでデバイス間の距離や角度を計測 03 Time-of-Flight (ToF) → 距離 Angle-of-Arrival (AoA) → 角度
23. オプトインカメラを構成する技術 実装で利用したUWBデバイス NXPチップを組み込んだ開発ボード （from 村田製作所） 位置推定精度が高い＆安定 2DKはボタン電池駆動可 技適あり 03 タグデバイス 2DK, 36 × 35 × 12.45 (mm) ※2 アンカーデバイス 2BP, 81 × 32 × 6.36 (mm) ※1 1. https://www.murata.com/ja-jp/products/connectivitymodule/ultra-wide-band/nxp/type2bp 2. https://www.murata.com/ja-jp/products/connectivitymodule/ultra-wide-band/nxp/type2dk 81 m m 32 mm 36 m m 35 mm
24. オプトインカメラを構成する技術 UWBの測定値＋カルマンフィルタに基づく位置推定 タグ - アンカの距離と角度から、世界座標系における位置を取得 03
25. オプトインカメラを構成する技術 オプトインへ至るステップ 1. UWBによる軌跡推定 2. カメラによる人物検出と軌跡推定 3. 軌跡のマッチング 4. 隠蔽処理 03
26. オプトインカメラを構成する技術 03 1. 物体検出モデル 映像中の人間（体＆頭部）を検出してバウンディングボックスを得る 2. Multi-Object Tracking バウンディングボックスをトラッキングし、ピクセル空間上の軌跡とIDを付与 3. ３Dのグローバル座標系における座標へ投影 頭の幅を利用してバウンディングボックスの奥行きを推定し、軌跡を３Dへ投影
27. オプトインカメラを構成する技術 03 1. 物体検出モデル 映像中の人間（体＆頭部）を検出してバウンディングボックスを得る 2. Multi-Object Tracking バウンディングボックスをトラッキングし、ピクセル空間上の軌跡とIDを付与 3. ３Dのグローバル座標系における座標へ投影 頭の幅を利用してバウンディングボックスの奥行きを推定し、軌跡を３Dへ投影
28. オプトインカメラを構成する技術 03 1. 物体検出モデル 映像中の人間（体＆頭部）を検出してバウンディングボックスを得る 2. Multi-Object Tracking バウンディングボックスをトラッキングし、ピクセル空間上の軌跡とIDを付与 3. ３Dのグローバル座標系における座標へ投影 頭の幅を利用してバウンディングボックスの奥行きを推定し、軌跡を３Dへ投影
29. オプトインカメラを構成する技術 03 1. 物体検出モデル 映像中の人間（体＆頭部）を検出してバウンディングボックスを得る 2. Multi-Object Tracking バウンディングボックスをトラッキングし、ピクセル空間上の軌跡とIDを付与 3. ３Dのグローバル座標系における座標へ投影 頭の幅を利用してバウンディングボックスの奥行きを推定し、軌跡を３Dへ投影
30. オプトインカメラを構成する技術 オプトインへ至るステップ 1. UWBによる軌跡推定 2. カメラによる人物検出と軌跡推定 3. 軌跡のマッチング 4. 隠蔽処理 03
31. オプトインカメラを構成する技術 軌跡マッチングの方法 タグデバイスの軌跡に、映像から求めた人物の軌跡をアサインする割当問題として定式化し、 制約付き線形最適化で解く 03 距離の時間平均が小さい軌跡のペアを探す
32. オプトインカメラを構成する技術 紐づけ結果 03 紐づけ前 紐づけ後 magenta point：タグの推定位置　　orange line：紐づけの可視化 ※ 買い物カゴにタグが取り付けられており、タグとカゴの保持者が紐づけば成功
33. オプトインカメラを構成する技術 オプトインへ至るステップ 1. UWBによる軌跡推定 2. カメラによる人物検出と軌跡推定 3. 軌跡のマッチング 4. 隠蔽処理 03
34. オプトインカメラを構成する技術 バウンディングボックス領域の重畳 事前に用意した背景画像に、オプトインした人物のバウンディングボックス領域を重畳する 03 = + 背景画像 オプトイン処理前 オプトイン処理後
35. オプトインカメラを構成する技術 オプトイン映像のサンプル（再掲） 03 諸々の推定を可視化 オプトイン処理完了後
36. オプトインカメラを構成する技術 セグメンテーションマスクを利用した隠蔽 03 諸々の推定を可視化 オプトイン処理完了後 マゼンダ色の点と結ばれている人物がタグを持っている
37. 04 紐づけ精度を高めるための技術的貢献
38. 紐づけ精度を高めるための技術的貢献 実環境へのデプロイを考えたときの課題 A. 設置パラメータのキャリブレーション カメラ座標 ⇔ 世界座標 ⇔ アンカー座標の対応関係を決定する必要 B. 人体によるUWBの遮蔽による推定誤差 non-line-of-sight (NLoS) 問題への対処 04
39. 紐づけ精度を高めるための技術的貢献 NLoS問題：遮蔽によるUWB測位精度の低下 tag - anchor間を直進するという前提で位置推定がなされる。反射してきた間接波を信じると、 位置推定誤差が生まれる 04 タグの位置が保持者から大分離れて紐づけが失敗している 人体による遮蔽 床などの構造物で反射
40. 紐づけ精度を高めるための技術的貢献 自動キャリブレーション ① アンカーの設置パラメータを推定 ② NLoSを検出するモデルを学習 ③ カルマンフィルタの観測誤差行列Rを最適化 04 ひとりでタグを持ち、２分くらいカメラの前を歩き回る ⇒ タグの位置推定に関する擬似的な正解データが手に入る
41. 紐づけ精度を高めるための技術的貢献 ① アンカーの設置パラメタを推定 04 アンカーの向きや角度をデータから決定する タグの推定位置と実際の位置（人のバウンディングボックス）が 一致するようなパラメタを求めればよい しかし、NLoSのときのデータを信じると間違う ⇒ NLoSのデータをノイズとして捉え、RANSACを適用 https://qiita.com/kazetof/items/b3439d9258cc85ddf66b より抜粋
42. 紐づけ精度を高めるための技術的貢献 ② NLoSを検出するモデルを学習 04 ①で求めた設置パラメタに基づき、各データがinlier/outlierかを判定 outlierのデータはNLoSだったとみなせる 受信パケットに関するメトリクス（CIRなど）から， NLoSかどうかを判定するモデルを学習できる． 右図は，LightGBMで学習した結果 位置推定の誤差 NLoSである確率
43. 紐づけ精度を高めるための技術的貢献 ③ カルマンフィルタの観測誤差行列Rを最適化 04 各時刻でカルマンフィルタの状態の事後分布を以下のように更新する． すなわち，LoS/NLoSでカルマンフィルタの観測誤差行列を切り替える． カルマンフィルタで推定したタグの位置（ガウス分布）と実際の位置が 一定のマハラノビス距離に収まるようにブラックボックス最適化 タグの推定位置 実際の位置 位 置 推 定 誤 差
44. 紐づけ精度を高めるための技術的貢献 提案手法の結果 04 w/o calibration w/ calibration キャリブレーションを行うことで、位置推定の誤差を軽減でき、紐づけが成功する（右側）
45. 紐づけ精度を高めるための技術的貢献 定量的な結果 04
46. 紐づけ精度を高めるための技術的貢献 その他の例 １９人中１人がオプトイン 04 before opt-in after opt-in ※ 実験被験者のプライバシー保護のため、顔にモザイクをかけています。 動画はこちら：https://cyberagentailab.github.io/opt-in_camera/
47. 紐づけ精度を高めるための技術的貢献 その他の例 ８人中３人がオプトイン 04 before opt-in after opt-in ※ 実験被験者のプライバシー保護のため、顔にモザイクをかけています。 動画はこちら：https://cyberagentailab.github.io/opt-in_camera/
48. ※ サツドラホールディングス株式会社様のご協力のもと、EZOHUB TOKYOでデータ取得 動画はこちら：https://www.youtube.com/watch?v=9o7GK9-mq5I
49. 05 展望とまとめ
50. 展望とまとめ 展望 オプトインで広告効果の計測ができるか？ タグを取り付けたオプトイン専用カゴを用意し、それを持ったユーザに対してオプトインを実施 → サイネージ視聴行動とその後の行動を分析する 大域的なトラッキングと局所的なカメラ計測の融合 カメラ計測におけるRe-IDのコストを下げられる 店内をどのような経路で移動したかという情報（無線通信技術による屋内測位）と、各地点でどのよ うな行動をとった（カメラ計測）を組みわせてリッチな分析をしていく 05
51. 展望とまとめ まとめ 1. カメラ計測における個人情報保護・プライバシーの壁 2. オプトイン方式の映像記録の提案 3. UWBによる測位技術とCVの組み合わせによるオプトイン方式の実現 05
52. 展望とまとめ
 技術的詳細はこちらの論文にまとめているのでご参照ください 
 05

53. ご視聴ありがとうございました