脈波の時空間特性を考慮した動的モード分解に基づく非接触心拍数推定

Transcript

1. 脈波の時空間特性を考慮した動的モード分解に基づく非接触心拍数推定 栗原 康佑† 前田 慶博† 杉村 大輔‡ 浜本 隆之† † 東京理科大学大学院 工学研究科 電気工学専攻 ‡ 津田塾大学 学芸学部 情報科学科 参考文献 [1] M. Kumar et al., Biomedical Optics Express 2015 [2] S. Tulyakov et al., IEEE CVPR 2016 [3] K. Kurihara et al., IEEE VCIP 2022 [4] S. Bobbia et al., Pattern Recognition Letters 2019 ◼ RGB動画像の周波数解析に基づく手法 [1] •拍動に伴う皮膚色の変化(脈波)を周波数解析 • 時間・周波数分解能のトレードオフ ◼ 時間ピーク解析に基づく手法 [2] • 脈波のピーク間隔から心拍数を計測 → 周波数分解能による精度低下を低減 • 表情や環境光変動により，ピーク情報が劣化 ◼ 複数の関心領域を活用した手法 [1] • 脈波は顔全体にほぼ同時に空間伝搬 → 空間的に低ランク構造であることが期待 • 低ランク近似により，脈波成分の抽出が可能 • 顔全体にノイズが重畳した場合，脈波とノイズの分離は困難 研究背景・目的 従来手法 顔動画像データセット[4]による評価実験 ◼ 評価指標 • 正解心拍数との絶対値誤差 • Bland-Altman 解析 (計測誤差のプロット) ◼ 正解心拍数 パルスオキシメーターにより取得 被験者数 47 動画像数 50 解像度 640×480 フレームレート 30 fps 動画の長さ 60 秒 使用したデータセット[4]の詳細 手法 [1] 手法 [2] 手法 [3] 提案手法 MAE [bpm] 6.74 6.57 4.35 3.28 Bland-Altman 解析（縦軸：計測誤差） ◼ 心拍数：健康管理や感情推定のための有用な指標 ◼ 従来の接触型計測機器：ユーザーに肉体的・精神的な負担 → 非接触型の計測機器への期待 ◼ 研究目的：イメージセンサによる非接触心拍数計測手法の確立 推定脈波 R G B 時間→ 時系列変化 時間→ 時系列解析 RGB動画像 周波数解析 周波数→ 68 bpm 時間窓：長 周波数→ 時間窓：短 68 bpm ? 非接触型 計測機器 接触型 計測機器 心拍変動を 利用したゲーム 病院における スクリーニング ドライバー モニタリング 非接触計測の 応用例 血管 皮膚 拍動 RGB動画像 正解脈波 時空間マップ (RGB) 観測行列 (G) :関心領域 時間→ ←関心領域 時間→ ←関心領域 … 低ランク行列 時間→ ←関心領域 環境光変動 (顔全体に影響) 環境光変動 時間→ 脈波 推定脈波 正解心拍数との絶対値誤差 (bpm) データセット[4]に含まれる撮像例 被験者 #5 被験者 #24 被験者 #40 提案手法 ◼ 脈波の時空間特性を考慮した，動的モード分解（DMD）に基づく時空間モード解析 ① 空間特性：脈波は顔全体にほぼ同時に伝搬 → 空間モードの勾配成分に対し，正則化項を追加 ② 時間特性：脈波は心拍由来の周期性を備える → 人間の心拍数範囲に制限した，時空間モード選択を実施 心拍数推定 脈波の時空間特性を考慮したDMDに基づく脈波推定 ② 時間特性に基づく時空間モード選択 時間モード周波数 強度 心拍数範囲 選択 DMDによる時間・空間モード展開 観測行列 ← 空間 時間 → 偏角 ← 空間 時間モード 時間 → ← 空間 空間モード 絶対値 ① 空間特性に基づく正則化項付きDMD ：空間モード 時間モード 差分演算子 推定脈波 𝐱 時間 → ピーク解析 推定心拍数 観測行列の構築 RGB動画像 𝐲1 ⁞ 𝐲𝑚 ⁞ 𝐲𝑀 色差 解析 観測 RGB 𝐎 ←関心領域 時間→ 時間→ 観測行列 𝐘 ←関心領域 時間→ 時間遅れ 座標への 変換 観測ハンケル行列 𝐘𝐡