Upgrade to Pro — share decks privately, control downloads, hide ads and more …

[JSAI24] ECoG-Based Motor Imagery Classificatio...

[JSAI24] ECoG-Based Motor Imagery Classification Using Retentive Network

More Decks by Semantic Machine Intelligence Lab., Keio Univ.

Other Decks in Technology

Transcript

  1. 長嶋 隼矢1, 兼田 寛大1, 飯田 紡1, 田口 美紗2, 平田 雅之2,

    杉浦 孔明1 1慶應義塾大学 , 2大阪大学医学部 Retention機構に基づく 頭蓋内脳波の分類とBMIの構築
  2. - 2 - 概要 ▪ 背景 発話障害を持つ患者に対し、脳波を⽤いた コミュニケーション⽀援のため脳波デコーディングの性能は重要 ▪ 提案

    ▪ 脳波の局所・⼤域的な特徴を捉える ECoG Dual Context Networkを提案 ▪ Retention機構を組み込んだ Retentive Dual Context Moduleを提案 ▪ 結果 臨床データセットにおいて、 全ベースライン⼿法を分類精度で上回った
  3. 背景︓ 発話障害者において⾮⾔語コミュニケーション⽀援は重要 - 3 - n 筋萎縮性側索硬化症(ALS)による発話障害 患者の社会⽣活や⽇常の活動に深刻な影響 頭蓋内脳波(ECoG)を⽤いた⾮⾔語のコミュニケーション⽀援は重要 本研究では

    n 完全⿇痺ALS患者向け侵襲型BMIを構築 n 希少なALS患者の臨床データを使⽤ Twitter投稿者: Lukas Ziegler (@lukas_m_ziegler) 投稿日時: 2024年5月18日 URL : https://x.com/lukas_m_ziegler/status/1790648380080722323?s=12
  4. 関連研究︓ 脳波において⻑期の依存関係を捕捉するのが困難 - 5 - 分野 ⼿法 概要 BMIシステム BSC-DWA

    [1] リハビリ⽤ロボットでBCIと⾃律移動を組み合わせた協調制御 [Cao+, JNER19] ⾮侵襲BCIと⾃動最適化共有制御によるロボットアーム操作 脳波 デコーディング EEGNet [2] 脳波デコーディングのための畳み込みネットワークを提案 SPCNN [3] EEG Conformer [4] CNN、Transformerにより脳波の局所・⼤域的特徴を捕捉 [1]:[Xu+, CSBJ23], [2]: [Lawhern+, J. Neural Eng.15], [3]:[Zhao+, Biomed. Signal Process. Control22], [4]:[Song+, IEEE Trans. Neural Syst. Rehabil. Eng.22] EEGNet EEG Conformer
  5. 関連研究︓ 脳波の⻑期の依存関係を捕捉するのが困難 - 6 - 分野 ⼿法 概要 BMIシステム BSC-DWA

    [1] リハビリ⽤ロボットでBCIと⾃律ナビを組み合わせた協調制御 [Cao+, JNER19] ⾮侵襲BCIと⾃動最適化共有制御によるロボットアーム操作 脳波 デコーディング EEGNet [2] EEGデコーディングのための畳み込みネットワークを提案 SPCNN [3] EEG Conformer [4] CNN、TransformerによりEEGの局所・⼤域的特徴を捕捉 [1]:[Xu+, CSBJ23], [2]: [Lawhern+, J. Neural Eng.15], [3]:[Zhao+, Biomed. Signal Process. Control22], [4]:[Song+, IEEE Trans. Neural Syst. Rehabil. Eng.22] EEGNet EEG Conformer L ⻑系列を扱う際に⾼い計算コスト L 局所・⼤域特徴の両⽴
  6. - 7 - 提案⼿法︓ECoG Dual Context Network ▪ Retentive Dual

    Context Module ▪ Retention機構を組み込み、 脳波の⻑期の依存関係を効率的に捕捉 ▪ 脳波の局所的・⼤域的な特徴を 並列に捉えるブランチ構造 ▪ Electrode-Aware Convolution Unit 電極数と同じカーネルサイズの 畳み込みを使⽤し、電極間の特徴を抽出 脳波デコーディングにRetention機構を初めて導⼊
  7. Retentive Dual Context Module : 局所・⼤域特徴を並列に捕捉 - 8 - n

    Globalブランチ Retention機構 [Sun+, 23]を⽤い、 脳波の⻑期の依存関係を捕捉 n Localブランチ Gate機構を持ったConvolutionと MLPを組み合わせ、局所情報を捕捉 ⾳声認識分野で成功したE-Branchformer likeな構造
  8. - 12 - ▪ 肘の伸展および屈曲、⼿の伸展および掌握の4種類の運動想起を含む ▪ 94電極×4秒 ×250Hz (系列⻑は1000) ▪

    8⽇×4クラス× 40試⾏ =1280試⾏ (train:960 / val:120 / test:120) ▪ k-fold交差検証(k=4) 実験設定 0秒直前で想起する可能性有り Rest Move 0 1 2 -1 -2 (sec.)
  9. 定量的結果︓ 全ての評価尺度においてベースライン⼿法を上回る結果 - 13 - ⼿法 分類精度 [%] ↑ EEGNet

    [1] 45.3 ± 11.6 EEG Conformer [2] 68.9 ± 4.7 E-Branchformer [3] 68.8 ± 4.6 提案⼿法 (ECoG DCNet) 75.2±2.7 +29.9 [1] : [Lawhern+, J. Neural Eng.15], [2] : [Song+, IEEE Trans. Neural Syst. Rehabil. Eng.22], [3] : [Kim+, IEEE SLT23] J 提案⼿法は全てのベースライン⼿法に対して統計有意 (p < 0.05)
  10. - 14 - Grad-CAM [Selvaraju+, ICCV17] による畳み込み層の可視化 定性的結果︓ 神経⽣理学的に重要な特徴の捕捉を⽰唆 (1/2)

    L ベースライン⼿法ではどの領域にも ⼤きな重要度を付与せず J 運動想起の前後の、神経⽣理学的に 重要な電極に⼤きな重要度 [提案⼿法 (Acc:75.2)] [EEG Conformer (Acc:68.9)] 電極 -1.0 0 1.0 時間 [s] 電極 0 40 60 20 80 0 40 60 20 80 時間 [s] -1.0 0 1.0
  11. - 16 - 実験設定︓Hand Knob Area (9~25番) ▪ 肘の伸展および屈曲、⼿の伸展および 掌握の4種類の運動想起を含む

    0秒直前で想起する可能性有り Rest Move 0 1 2 -1 -2 (sec.) n 中⼼前回外側で中⼼溝に接する部位 n 運動野付近に位置 n 運動想起分類に重要な電極 [Morris+, IEEE Trans. Biomed. Eng.14]
  12. - 17 - 実験設定︓中⼼後回付近 (49~60番) ▪ 肘の伸展および屈曲、⼿の伸展および 掌握の4種類の運動想起を含む 0秒直前で想起する可能性有り Rest

    Move 0 1 2 -1 -2 (sec.) n ⼿⾜などの感覚を司る体性感覚野付近 n 運動想起分類に重要な電極 [Morris+, IEEE Trans. Biomed. Eng.14]
  13. - 18 - Grad-CAM [Selvaraju+, ICCV17] による畳み込み層の可視化 定性的結果︓ 神経⽣理学的に重要な特徴の捕捉を⽰唆 (1/2)

    L ベースライン⼿法ではどの領域にも ⼤きな重要度を付与せず J 運動想起の前後の、神経⽣理学的に 重要な電極に⼤きな重要度 [提案⼿法 (Acc:75.2)] [EEG Conformer (Acc:68.9)] 電極 -1.0 0 1.0 時間 [s] 電極 0 40 60 20 80 0 40 60 20 80 時間 [s] -1.0 0 1.0
  14. - 19 - [提案⼿法 (Acc:75.2)] [EEG Conformer (Acc:68.9)] 電極 -1.0

    0 1.0 時間 [s] 電極 0 40 60 20 80 0 40 60 20 80 時間 [s] -1.0 0 1.0 L ベースライン⼿法では運動想起前後 の領域に重要度を付与 J 運動想起の前後の、神経⽣理学的に 重要な電極により⼤きな重要度 定性的結果︓ 神経⽣理学的に重要な特徴の捕捉を⽰唆 (2/2) Grad-CAM [Selvaraju+, ICCV17] による畳み込み層の可視化
  15. - 25 - まとめ ▪ 背景 発話障害を持つ患者に対し、脳波を⽤いた コミュニケーション⽀援のため脳波デコーディングの性能は重要 ▪ 提案

    ▪ 脳波の局所・⼤域的な特徴を捉える ECoG Dual Context Networkを提案 ▪ Retention機構を組み込んだ Retentive Dual Context Moduleを提案 ▪ 結果 臨床データセットにおいて、 全ベースライン⼿法を分類精度で上回った
  16. Appendix : Localブランチ 局所特徴を捉えるブランチ構造 - 27 - n Localブランチ n

    Gate機構を持ったConvolutionと MLPを組みわせ脳波の局所特徴を捕捉 n 最終的にDepth-wise ConvとFFNを 組み合わせ、モデル出⼒ を取得
  17. Ablation Study : EACUの導⼊が最も性能に寄与 - 28 - 手法 分類精度 [%]

    ↑ w/o EACU 53.3±3.0 w/o retention 72.8±2.2 提案手法 75.2±2.7 J 各新規性の有効性を確認 J 電極間の特徴を抽出するEACUの導入が最も性能に寄与