[IEICE-Soceity-Conf2026] セマンティック通信を見据えたマルチスケールセンシングと 学習の融合によるデジタルツイン基盤 / Digital Twin Infrastructure via the Fusion of Multi-Scale Sensing and Learning toward Semantic Communications

Presented in IEICEソサイエティ大会, 札幌, September 23, 2026

石田 繁巳
(チュートリアルセッション講演) セマンティック通信を見据えたマルチスケールセンシングと 学習の融合によるデジタルツイン基盤
電子情報通信学会ソサイエティ大会, ABT-1-04, September 2026

https://pub.confit.atlas.jp/ja/event/society2026/presentation/ABT-1-04

Transcript

1. セマンティック通信を見据えた マルチスケールセンシングと学習の 融合によるデジタルツイン基盤 2026年 電子情報通信学会ソサイエティ大会 ABT-1 チュートリアル講演 石田 繁巳 <ish@fun.ac.jp> 公立はこだて未来大学
2. CPSとデジタルツイン ▪ 物理世界の状態をサイバー空間に写し続ける ▪ 「常時」「自然に」捉えるセンシングが必須 フィジカル空間 サイバー空間 （デジタルツイン） センシング 常時‧⾃然に フィードバック ⼈‧モノ‧環境の状態 Sep 23, 2026 最適化‧⽀援 再現‧分析‧予測 Inamura-Ishida Lab, Future University Hakodate 2
3. 従来手法の3つの壁 ▪ 「常に」「自然に」センシングすることは困難 コスト‧配線 電源‧サイズ 帯域‧電⼒ ⼤型化‧重量増 専⽤センサの⼤量設置 電池で駆動すると 膨⼤な⽣データを 設置‧保守のコスト 稼働時間とサイズが クラウドへ常時伝送 電源配線の⼯事 トレードオフ 通信帯域の逼迫 Sep 23, 2026 Inamura-Ishida Lab, Future University Hakodate 3
4. 3つの軸でアプローチ つの壁 コスト‧配線 帯域‧電⼒ 電源‧サイズ Sep 23, 2026 つのアプローチ ① センシング × 通信 既存信号を仮想センサに ② 表現学習 ノイズから少量で意味を抽出 ③ 超低電⼒設計 回路‧アンテナ‧プロトコル Inamura-Ishida Lab, Future University Hakodate 4
5. 本日の構成 マクロ 学習 ミクロ 融合 既存信号の 再利⽤ 表現学習 教師なし学習 超低電⼒ デバイス セマンティック 通信 ▪ マクロ：既存信号で空間全体を捉える ▪ 学習：ノイズに強く，少ないデータで認識 ▪ ミクロ：人に密着する超低電力デバイス ▪ 融合：セマンティック通信へ Sep 23, 2026 Inamura-Ishida Lab, Future University Hakodate 5
6. 既存信号インフラを活用した マクロセンシング 6
7. 既存信号の再利用 ▪ BLE・Wi-Fi・音響信号は物理空間を伝搬 ▪ 多かれ少なかれ人や物体の影響 ◦ 影響を分析することでセンシング 反射‧回折 遮蔽 送信機 AP‧ビーコン ‧⾳源 受信機 ⼈‧物体の存在や移動 スマホ‧PC ‧マイク 振幅‧位相‧周波数特性に影響 Sep 23, 2026 Inamura-Ishida Lab, Future University Hakodate 7
8. BLEチャネル分離指紋測位 ▪ Advチャネル（ch37/38/39）ごとにRSS分布が違う ◦ チャネル別の指紋で精度を向上 出典: [Ishida'18a] Fig.1 より引用 出典: [Yamamoto'20] Fig.1 より引用（© 2020 IEEE） [Ishida'16] "Proposal of Separate Channel Fingerprinting Using Bluetooth Low Energy", IIAI-AAI 2016, doi:10.1109/IIAI-AAI.2016.22 [Ishida'18a] "Design and Initial Evaluation of Bluetooth Low Energy Separate Channel Fingerprinting", New Trends in E-service and Smart Computing, Springer, doi:10.1007/978-3-319-70636-8_2 [Yamamoto'20] "Design of BLE 2-Step Separate Channel Fingerprinting", IEEE VTC2020-Spring, doi:10.1109/VTC2020-Spring48590.2020.9128872 Sep 23, 2026 Inamura-Ishida Lab, Future University Hakodate 8
9. Wi-Fi CSIセンシング ▪ CSI：サブキャリアごとの振幅・位相の変化 ▪ 端末を持たない人の状態を検知（デバイスフリー） ◦ 例：カメラを置けない浴室での見守り 出典: [Zhang'19] Figure 1 より引用（CC BY 4.0） [Zhang'19] "Danger-Pose Detection System Using Commodity Wi-Fi for Bathroom Monitoring", Sensors, vol.19, no.4, 884, doi:10.3390/s19040884 Sep 23, 2026 Inamura-Ishida Lab, Future University Hakodate 9
10. 屋外でのCSI人検知・位置推定 ▪ 反射波・回折波が少ない屋外で人を検知・位置推定 ▪ 複数台で観測したCSIを統合し，見通し外にも対応 出典: [Ishida'21a] Fig.1 より引用（CC BY 4.0） [Miyazaki'19] "Initial Attempt on Outdoor Human Detection Using IEEE 802.11ac WLAN Signal", IEEE SAS 2019, doi:10.1109/SAS.2019.8706126 [Takahashi'19] "DNN-based Outdoor NLOS Human Detection Using IEEE 802.11ac WLAN Signal", IEEE SENSORS 2019, doi:10.1109/SENSORS43011.2019.8956943 [Orihara'20] "Wi-Fi信号を用いた自動車・自転車検出手法の設計と評価", 情報処理学会研究報告, vol.2020-ITS-80, no.3 [Ishida'21a] "IEEE 802.11ac-based Outdoor Device-free Human Localization", Sensors and Materials, vol.33, no.1, pp.53-68, doi:10.18494/SAM.2021.2987 Sep 23, 2026 Inamura-Ishida Lab, Future University Hakodate 10
11. ステレオマイクによる車両検出 ▪ 歩道のステレオマイクで到来方向の変化（S字）を解析 ▪ 逐次検出 SAVeD：F値 0.83，車線・速度・車種も推定 出典: [Ishida'18b] 発表資料より引用（© 2018 IEEE） 出典: [Ishida'18b] 発表資料より引用（© 2018 IEEE） [Ishida'17] "路側設置マイクロフォンによる車両カウントシステム", 情報処理学会論文誌, vol.58, no.1, pp.89-98 [Ishida'18b] "SAVeD: Acoustic Vehicle Detector with Speed Estimation Capable of Sequential Vehicle Detection", IEEE ITSC 2018, doi:10.1109/ITSC.2018.8569727 [Ishida'19] "Design of Acoustic Vehicle Detector with Steady-Noise Suppression", IEEE ITSC 2019, doi:10.1109/ITSC.2019.8917289 [Uchino'20] "Initial Design of Two-Stage Acoustic Vehicle Detection System for High Traffic Roads", IEEE PerVehicle 2020, doi:10.1109/PerComWorkshops48775.2020.9156248 [Dawton'20] "Initial Evaluation of Vehicle Type Identification Using Roadside Stereo Microphones", IEEE SAS 2020, doi:10.1109/SAS48726.2020.9220076 Sep 23, 2026 Inamura-Ishida Lab, Future University Hakodate 11
12. デモビデオ：車両検出 0:00 / 1:15 出典: YouTube, "Realtime Sound Mapping" (Shigemi Ishida), https://youtu.be/kLq36Rnixe0 Sep 23, 2026 Inamura-Ishida Lab, Future University Hakodate 12
13. 機械学習・表現学習による ロバスト化 13
14. 物理モデルの限界とデータ駆動 ▪ ノイズや環境の変化に強い認識をデータから学ぶ 従来：信号の変動を直接分析 観測信号 物理モデル‧経験則 マルチパス‧環境⾳ レイアウト変更に弱い 環境が変わると 性能が劣化 データ駆動：本質的な情報を分離 観測信号 深層学習 教師なし学習 環境依存成分を吸収 Sep 23, 2026 状態変化を ロバストに認識 ノイズ‧環境依存成分 Inamura-Ishida Lab, Future University Hakodate 14
15. Wi-Nod：頭部動作で意思疎通 ▪ 四肢麻痺者の意思疎通支援に向け，頭部動作を認識 ▪ 安価なESP32でWi-Fi CSIを取得（デバイスフリー） 出典: [Bastwesy'23] 発表資料より引用（© 2023 IEEE） 出典: [Bastwesy'23] 発表資料より引用（© 2023 IEEE） [Bastwesy'23] "Wi-Nod: Head Nodding Recognition by Wi-Fi CSI toward Communicative Support for Quadriplegics", IEEE WCNC 2023, doi:10.1109/WCNC55385.2023.10118666 Sep 23, 2026 Inamura-Ishida Lab, Future University Hakodate 15
16. Wi-Nod：STFTとInception ▪ CSI時系列をSTFTで時間-周波数の2次元表現に ▪ Inception付きDNNで動作そのものの特徴を学習 ▪ 認識精度 95%超 出典: [Bastwesy'23] 発表資料より引用（© 2023 IEEE） 出典: [Bastwesy'23] 発表資料より引用（© 2023 IEEE） [Bastwesy'23] "Wi-Nod: Head Nodding Recognition by Wi-Fi CSI toward Communicative Support for Quadriplegics", IEEE WCNC 2023, doi:10.1109/WCNC55385.2023.10118666 Sep 23, 2026 Inamura-Ishida Lab, Future University Hakodate 16
17. 部屋ごとのデバイスグループ化 ▪ 実環境で正解ラベルを大量に集めるのは高コスト ◦ ラベルなしで IoT デバイスを部屋ごとに自動グループ化 ▪ 部屋の種別と組み合わせて間取りの推定へ 出典: [Ishida'21b] の発表図を改変 [Ishida'21b] "スマートスピーカを用いた間取り推定手法の初期的評価", DICOMO2021, pp.1408-1416 [Ishida'22] "Room-by-Room Device Grouping for Put-and-Play IoT System", IEEE GLOBECOM 2022, doi:10.1109/GLOBECOM48099.2022.10001048 [Ishida'25] "CSI Sampling for Room-by-Room Device Grouping in Practical Environments", IEEE CCNC 2025, doi:10.1109/CCNC54725.2025.10975969 Sep 23, 2026 Inamura-Ishida Lab, Future University Hakodate 17
18. マイクアレイによる部屋方向推定 ▪ 音源方向推定結果の「揺らぎ」に着目して部屋ご との音を分離 部屋 部屋 部屋 PMUSIC PMUSIC PMUSIC PMUSIC 部屋 Time Angle Angle Angle Angle 出典: [Ishida'21b] の発表図を改変 [Ishida'21b] "スマートスピーカを用いた間取り推定手法の初期的評価", DICOMO2021, pp.1408-1416 Sep 23, 2026 Inamura-Ishida Lab, Future University Hakodate 18
19. 部屋ごとデバイスグループ化 ▪ 同じ部屋にあるデバイスのCSIは，人が近くにい ると同時に影響を受ける A A B G B C D C D E E F F EとFは同じ部屋！ 出典: [Ishida'22] の発表図を改変 [Ishida'22] "Room-by-Room Device Grouping for Put-and-Play IoT System", IEEE GLOBECOM 2022, doi:10.1109/GLOBECOM48099.2022.10001048 [Ishida'25] "CSI Sampling for Room-by-Room Device Grouping in Practical Environments", IEEE CCNC 2025, doi:10.1109/CCNC54725.2025.10975969 Sep 23, 2026 Inamura-Ishida Lab, Future University Hakodate 19
20. C-HAR：圧縮しながら取得 ▪ 高レートで取ってから圧縮すると電力・帯域を圧迫 ◦ 物理層で「圧縮した形」のまま取得（Nyquistレート未満） 従来：サンプリングしてから圧縮 センサ信号 ⾼レートで サンプリング 圧縮 送信 復元して 認識 フィルタ‧圧縮しながら 低レートでサンプリング 送信 圧縮表現の まま認識 C-HAR：圧縮しながらサンプリング センサ信号 Nyquistレート未満で取得し，復元せずに⾏動を認識 [Dawton'23] "C-HAR: Compressive Measurement-Based Human Activity Recognition", WristSense 2023 (IEEE PerCom Workshops), doi:10.1109/PerComWorkshops56833.2023.10150315 Sep 23, 2026 Inamura-Ishida Lab, Future University Hakodate 20
21. C-HAR：圧縮表現のまま認識 ▪ 復元せずに特徴抽出・分類し，精度を保って計算を削減 認識精度（加速度，3クラス） 精度 レート C-HAR 92.0% 5 Hz 従来 93.4% 20 Hz 出典: [Dawton'23] 発表資料より引用（© 2023 IEEE） MCU 実装の処理時間 C-HAR 従来 50.7 ms 119 ms [Dawton'23] "C-HAR: Compressive Measurement-Based Human Activity Recognition", WristSense 2023 (IEEE PerCom Workshops), doi:10.1109/PerComWorkshops56833.2023.10150315 Sep 23, 2026 Inamura-Ishida Lab, Future University Hakodate 21
22. 超低電力ミクロ センシング基盤 22
23. マクロからミクロへ ▪ 空間のマクロな情報に，個人のミクロな情報を重ねる ◦ 手首だけでは指先・全身の動きや生体信号を網羅できない ⼿⾸型ウェアラブル フルボディセンシング ⼿⾸の情報のみ 指先‧全⾝の 細かな動きは 推定に頼る Sep 23, 2026 > 指輪‧体表の 複数部位を 同時に計測 ⾼次の⾏動‧ 状態を復元 Inamura-Ishida Lab, Future University Hakodate 23
24. 無線フルボディ化の構想 ▪ JST CRONOS 横田課題 ◦ 生体データ通信インフラの 無線フルボディ化 ▪ 皮膚に貼るスキンイメージ ャー ◦ 5〜6個を半日以上連続駆 動 ▪ 服型の通信・給電インフラ ◦ 出典: JST CRONOS研究開発課題概要より引用 Sep 23, 2026 50 Mbps級通信・5 W級給 電 ▪ 通信・給電を体表に沿って 2次元化 Inamura-Ishida Lab, Future University Hakodate 24
25. デモ：フルボディNFC 0:00 / 3:44 出典: YouTube, "Full-body NFC: large-area near-field power and data networking with meandered e-textiles" (東京大学川原研 究室), https://youtu.be/W2G3oauD6aM Sep 23, 2026 Inamura-Ishida Lab, Future University Hakodate 25
26. 指輪型picoRing mouse ▪ 指先で入力する超小型のリング型無線マウス 30–500 µW 級の超低電力で動作，約5g ◦ 回路・アンテナ・プロトコルを一体で設計 ◦ 出典: [Li'25] Figure 1 より引用（CC BY 4.0） [Li'25] "Ultra-low-power Ring-based Wireless Tinymouse", ACM UIST 2025, doi:10.1145/3746059.3747615 [Takahashi'25] "超低電力な指輪型無線マウス", 情報処理学会研究報告, 2025-UBI-87 Sep 23, 2026 Inamura-Ishida Lab, Future University Hakodate 26
27. デモ：picoRing mouse 0:00 / 3:31 出典: YouTube, "picoRing mouse: ultra-low-power ring-based wireless tinymouse" (東京大学川原研究室), https://youtu.be/7RazVNMx0Ms Sep 23, 2026 Inamura-Ishida Lab, Future University Hakodate 27
28. クロスレイヤ設計と消費電力 ▪ リングのコイルの共振を入力に応じて変え，手首側で読む コイル・回路・間欠駆動のプロトコルを同時に最適化 ◦ 消費電力：待機 35 µW／動作 449 µW ◦ 出典: [Li'25] Figure 3 (a)(b) を切り出して引用（CC BY 4.0） [Li'25] "Ultra-low-power Ring-based Wireless Tinymouse", ACM UIST 2025, doi:10.1145/3746059.3747615 Sep 23, 2026 Inamura-Ishida Lab, Future University Hakodate 28
29. 無線給電と通信の融合 ▪ 誘導結合で通信を超低電 力化 ◦ ◦ 同じ結合で給電も可能 （NFC と同じ） 給電と通信を同期・融合 ▪ 電池レス・極小化へ ◦ 電力・サイズの壁を突破 出典: [Li'25] Figure 2 より引用（CC BY 4.0） [Li'25] "Ultra-low-power Ring-based Wireless Tinymouse", ACM UIST 2025, doi:10.1145/3746059.3747615 Sep 23, 2026 Inamura-Ishida Lab, Future University Hakodate 29
30. 融合と展望： セマンティック通信 30
31. マルチスケール協調センシング ▪ インフラ側とデバイス側が補完し合い，物理世界 を写す 相互に補完 マクロセンシング ミクロセンシング インフラ側 デバイス側 Wi-Fi CSI‧BLE 環境⾳ 空間全体の コンテキスト Sep 23, 2026 デジタル ツイン 物理世界を 正確に写像 指輪‧体表デバイス 超低電⼒ 個⼈の細緻な ⽣体‧⾏動 Inamura-Ishida Lab, Future University Hakodate 31
32. セマンティック通信 ▪ 極小電力のデバイスは送れるデータ量が限られる ◦ ◦ エッジで意味（中間）情報だけを抽出して送る クラウドが空間の文脈と学習モデルで不足を補う エッジ（デバイス） ⽣データ クラウド × 圧縮計測‧特徴抽出 （C-HAR 型）で 意味情報を抽出 意味情報のみ 通信量を⼤幅に削減 空間の⽂脈‧学習 モデルで不⾜を 補完‧予測 極⼩電⼒デバイスでも持続可能なセンシング Sep 23, 2026 Inamura-Ishida Lab, Future University Hakodate 32
33. 帯域・電力・プライバシー ▪ 通信・センシング・学習の融合で同時に解決する 帯域 電⼒ プライバシー 意味情報のみ伝送 µW級‧給電と通信の融合 ⽣データを送らない 帯域の逼迫を回避 バッテリー切れから解放 個⼈の⽣データを保護 意識せずに恩恵を受けられる CPS 社会 ⾏動予測に基づく パーソナルアシスト Sep 23, 2026 ⼯場‧オフィスの ⾃律的な最適化 ヘルスケアの 常時スクリーニング Inamura-Ishida Lab, Future University Hakodate 33
34. まとめ マクロ 学習 ミクロ 融合 既存信号の 再利⽤ 表現学習 教師なし学習 超低電⼒ デバイス セマンティック 通信 ▪ マクロ：既存信号で空間全体を捉える ◦ BLE 指紋測位／Wi-Fi CSI／SAVeD ◦ Wi-Nod／部屋ごとのグループ化／C-HAR ◦ JST CRONOS／picoRing mouse ▪ 学習：ノイズに強く，少ないデータで認識 ▪ ミクロ：クロスレイヤ設計による µW 級デバイス ▪ 融合：セマンティック通信でデジタルツインの基盤へ Sep 23, 2026 Inamura-Ishida Lab, Future University Hakodate 34
35. © 2026 Shigemi ISHIDA, distributed under CC BY-NC 4.0 35