論文輪読会 第15回 "EEG decoding for effects of visual joint attention training on ASD patients with interpretable and lightweight convolutional neural network"

AcademiX が開催した 第15回 論文輪読会　資料

日時：2023/06/24
発表者：Kobayashi Megruさん
論文タイトル：EEG decoding for effects of visual joint attention training on ASD patients with interpretable and lightweight convolutional neural network

＜概要＞
【背景】
視覚的な注意は，健康なヒトの社会的スキルや言語スキルの発達において重要な役割を果たす．しかしASD患者ではこの能力が異常に困難である．
【課題】 ASD患者に対してEEGNetを用いた研究は殆どないという課題がある．
【方法】 Tan, Jianlingらは，EEGNet を使用してトレーニングによって誘発された P300 をデコードし，saliendcy mapを使用して視覚的注意中のASD 患者の認知特性を視覚化した．
【結果】 共同注意訓練が，ASD患者の認知能力と社会的特性の反応性を改善できることがわかった．

1. https://www.academix.jp/ AcademiX 論⽂輪読会 EEG decoding for effects of visual joint attention training on ASD patients with interpretable and lightweight convolutional neural network 東京医科⻭科⼤学⼤学院 Kobayashi Meguru 2023/06/24
2. Introduction 2 ASDの概要 • 神経発達障害．先進国で約1.5%の割合を占め患者数の多さは経済的・ 社会的影響が⼤きい． • ASDの主な症状として注意⽋陥 • 病因の理解は不完全． • ASD患者に対する注意⼒トレーニングとその効果を，脳波（EEG） レベルで調査することは価値がある．
3. Introduction 3 共同注意とP300 • 2 ⼈の⼈間が共同で同じ対象に焦点を合わせ，視線の⽅向やその他の 社会的注意の⼿がかりから，他の⼈の意図を認識する能⼒[2]． • ASD患者が他者を⾒つめる際に，共同注意⼒の⽋陥を⽰していること が⽰されている． • 視覚的注意の認知特性を調査するために、研究者らは⼀般に、 P300 を視覚的注意の研究に広く使⽤.
4. Introduction 4 EEGと深層学習 EEG 信号をデコードするために，従来の機械学習は⼿動で特徴を抽出． →多くの識別情報が無視される可能性がある． EEGNetはDepthwise層とSeparable層からなり，分類結果と特徴量が神経 ⽣理学的に解釈可能であった． トレーニングデータが限られていても，EEGNet は強⼒な汎化機能と パフォーマンスを⽰した． ASD患者の神経情報の解読，特に ASD の注意訓練における特徴の視覚化 にEEGNet を適⽤した研究はほとんどない．
5. Introduction 5 本研究の⽬的 1. ASD患者における，共同注意訓練の前後のEEGデコードにおける， EEGNetの有効性の検証 2. ASD患者における，脳波の時空間的特徴と共同注意訓練の効果を 視覚化 Methodの概要 1. Amaralによって提供されたASD患者の共同注意訓練データをEEGNet によって分類 2. 分類時の特徴量の寄与を顕著性マップによって可視化
6. Method 6 被験者 16歳から38歳までの平均年齢22.2歳のASDの⻘年および成⼈15⼈ （全検査IQ（FSIQ）︓平均 = 102.53; SD = 11.64） ASD被験者の包含基準 • ゴールドスタンダードに従って割り当てられた ASD の陽性診断 • ⾃閉症の遺伝を確認するため親または介護者との⾯接 • ⾃閉症診断観察検査（ADOS）による被験者の評価 • DSM-5 ( 2013 年版) に従った ASD の陽性診断 ASD被験者の除外基準 • FSIQが80未満の知的障害 • ASDサンプルにてんかん、神経⽪膚、その他の遺伝的に既知の症候群、 またはその他の通常の併存疾患などの関連病状がある
7. Method 7 社会的シナリオ 共同注意タスクが⾏われる可能状況． 4つの仮想シナリオで構成． • カフェ • 教室 • 薬局 • 横断歩道 BCIタスクにおいて，最初の2つは キャリブレーションとして使⽤され ているので⾮社会的シナリオで実施． 3つ⽬は社会的シナリオで実施． [3] Figure 1 より引⽤
8. Method 8 実験の仮想シーン • 物体(ドア/窓/ランプ/サッカー/本/ラジオ/プリンター/ラップトッ プ) ・家具(ベッド/テーブル/椅⼦/棚/ドレッサー)を備えた寝室 • 1体のアバター 共同注意トレーニングのBCIタスク 1. 参加者に対象物を直接通知 →ASDの社会的注意⽋陥に関するエラーを排除するため 2. アバターがアクションを⾏った後にどのオブジェクトを選択したか を参加者に質問 →参加者が合図を正しく理解しているかを確認するため 3. 実験中に注意を集中した後，アバターが刺激ターゲットで瞬きする 様⼦を想像
9. Method 9 データセッション • 最初20回のトライアルはキャリ ブレーションとして使⽤ • ターゲットが点滅した時に⽣成 されるP300応答を含むEEGを記録 • P300を識別するようにモデルを トレーニング • BCIは参加者にフィードバックを 返す • 正しい共同注意︓対象オブ ジェクトは緑⾊に点灯 • 不確かな共同注意︓対象オブ ジェクトは⾚⾊に点灯 [3] Figure 4 より引⽤
10. Method 10 データセッション • すべての参加者が同じ共同注意訓練セッションを実施 • 4か⽉間にわたって7回実施 • 最初の4回は週単位 • 最後の3回は⽉単位 • セッション1︓共同注意訓練前 • セッション7︓共同注意訓練後 [1] Fig. 1 より引⽤
11. Method 11 データセッション • 各セッションには20ブロックが含まれる • 各ブロックは10回の実⾏で構成される • 各実⾏には仮想シーンで8つのトライアルが含まれる • 1ブロックで合計80回の試⾏ • 実験中，⾮標的刺激または標的刺激を200msの⼀定間隔で1回点滅 • 各フラッシュは 100 ミリ秒継続 [1] Fig. 1 より引⽤
12. Method 12 データの取得と前処理 P300ベースの仮想現実BCIパラダイムを使⽤し て実施． • Oculus Rift Development Kit 2 ヘッドセッ ト • 16電極ワイヤレス • 8 つの電極位置 (C3、Cz、C4、CPz、P3、 Pz、P4、POz) から EEG データを記録 サンプリングレートは250Hzに設定． EEG データの取得中に50 Hzトラップフィル ターを使⽤． 取得したEEG データを2~30Hzのバンドパス フィルター処理． 刺激開始の200ms前から刺激開始後の1200ms までをセグメント化． [3] Figure 3 より引⽤ [4] より引⽤
13. Method 13 モデルアーキテクチャ ASD患者のEEGに含まれるP300信号を分類するためにEEGNetを使⽤． Convolutional Layer︓深さ⽅向に畳み込み空間特徴を学習 Depthwise Layer︓EEG信号の深さ時間の特徴を学習 Tensorflow, epoch=300, optimizer=Adam, batch size=128 [1] Fig. 2 より引⽤
14. Results 14 ⾮社会的シナリオの デコード精度 EEGNet 訓練前︓ 86.3 ± 4.7% 訓練後︓ 82.6 ± 4.6% ロジスティック回帰 訓練前︓ 79.3 ± 1.3% 訓練後︓77.6 ± 1.1% ロジスティック回帰（LR）は EEGNetとの⽐較するための ベンチマーク Subjects Session 1 Session 2 Session 3 Session 4 Session 5 Session 6 Session 7 1 83.5 79.3 81.1 80.6 71.4 76.9 81.5 2 88.8 85.2 91.2 86.4 88.2 86.3 89.3 3 88.2 89.3 90.0 86.9 75.5 74.1 72.4 4 87.4 87.6 76.9 84.2 84.4 83.2 83.1 5 94.6 91.1 89.4 84.1 88.7 89.3 88.3 6 86.9 85.8 82.7 85.7 90.5 84.9 86.3 7 83.9 84.0 86.9 83.3 86.9 81.3 82.2 8 81.7 92.4 85.2 92.9 91.1 80.9 82.3 9 86.9 83.4 80.4 82.3 84.6 75.7 78.6 10 93.4 92.3 90.4 77.7 97.6 87.5 87.5 11 88.7 92.9 85.5 92.9 89.9 85.1 80.6 12 79.6 73.4 88.7 81.7 83.9 80.1 84.6 13 80.7 81.1 83.8 79.7 77.9 91.1 85.1 14 79.8 77.2 78.2 82.0 78.1 75.7 75.7 15 90.6 91.0 84.6 84.0 86.3 85.7 81.2 Mean 86.3 85.7 85.0 84.3 85.0 82.5 82.6 SD 4.7 6.0 4.5 4.3 6.8 5.3 4.6 [1] Table 3 より引⽤
15. Results 15 社会的シナリオの 平均デコード精度 EEGNet 訓練前︓ 86.9 ± 3.9% 訓練後︓ 85.9 ± 4.3% ロジスティック回帰 訓練前︓ 80.2 ± 0.9% 訓練後︓78.5±0.4% Subjects Session 1 Session 2 Session 3 Session 4 Session 5 Session 6 Session 7 1 81.5 85.7 77.4 80.8 79.3 81.5 84.0 2 92.6 93.2 89.2 94.3 96.6 93.7 92.4 3 87.3 79.4 83.5 84.6 81.9 83.1 78.2 4 87.7 86.7 85.5 86.6 81.5 87.1 83.9 5 91.1 88.9 87.5 82.6 86.2 92.8 82.7 6 82.7 85.5 82.7 84.0 85.2 83.1 83.6 7 83.9 82.1 87.4 84.2 84.2 85.7 86.5 8 90.8 90.9 80.0 91.2 89.3 90.5 93.2 9 82.6 81.5 80.7 76.3 93.6 95.4 81.8 10 88.6 87.5 93.6 82.0 93.7 93.3 91.4 11 87.8 88.6 94.3 89.1 86.1 90.6 85.1 12 81.1 86.1 83.3 81.8 76.4 80.6 88.1 13 86.2 83.3 93.8 79.1 82.0 83.7 86.4 14 86.7 82.2 78.6 85.0 85.0 78.5 82.6 15 92.4 88.9 90.0 91.6 90.8 91.8 89.3 Mean 86.9 86.0 85.8 84.9 86.1 87.4 85.9 SD 3.9 3.8 5.6 4.9 5.7 5.5 4.3 [1] Table 4 より引⽤
16. Results 16 社会的・⾮社会的シナリオのデコード精度の結果から， • ASD患者の社会的課題における解読の平均精度 (86.2 ± 3.5%) は，⾮社 会的課題 (84.5 ± 3.5) よりも⾼く，対応のある t 検定では，この現象 が有意であることがわかった( t( 14 ) ) = 2.960, p = 0.01)． • ⾮社会的シナリオでは EEGNet の平均デコード精度 (84.5 ± 3.5%) が ロジスティック回帰 (78.5 ± 1.0%) よりも⼤幅に⾼いことが⽰された． (t (28) = 6.286 , p < 0.001)． • 社会シナリオでは，EEGNet の平均デコード精度 (86.2 ± 3.5%) も，ロ ジスティック回帰の平均デコード精度 (79.4 ± 0.4%) より有意に⾼ かった ( t (28)  = 7.356, p  < 0.001)．
17. Results 17 ロジスティック回帰とEEGNetの分類結果と性能⽐較 同じシナリオでは，EEGNet モデルの感度と特異度が LR よりも強いため， EEGNet のパフォーマンスがより顕著になった． →従来の LR 法よりもEEGNetは分類精度と安定性が優れていることが⽰ され，ASD への適⽤において EEGNet が⼤きな効果を発揮することも証 明された． Model method Scenarios Accuracy (%) Sensitivity (%) Specificity (%) p value LR Non-social 78.5 ± 1.0 82.7 77.8 – Social 79.4 ± 0.4 85.2 78.6 – EEGNet Non-social 84.5 ± 3.5 87.7 84.0 p < 0.001 Social 86.2 ± 3.5 89.5 85.6 p < 0.001 [1] Table 5 より引⽤
18. Results 18 EEGNetの顕著性マップ P3、Pz，P4、Cz 電極などの視 覚刺激後 300 〜 500 ミリ秒で主 に頭頂葉に集中している． →P300 コンポーネントの空間 分布および時間サイクルと⼀致． それぞれの領域は，特定の注意 によって調整された認知タスク に関連する脳内の神経プロセス を反映していると解釈できる． a 共同注意訓練前の⾮社会的シナリオにおける顕著性マップ b 共同注意訓練後の⾮社会的シナリオにおける顕著性マップ c 共同注意訓練前の社会的シナリオにおける顕著性マップ d 共同注意訓練後の社会的シナリオにおける顕著性マップ 正の勾配が⾚，負の勾配が⻘ [1] Fig. 3 より引⽤
19. Results 19 時空間特性の可視化 • デコードにおける Pz の 寄与は，他の電極より も著しく⼤きかった． • 注意訓練の前後での勾 配のピーク変化は別の シナリオの ASD 患者で 異なった． →ASD患者は，複数の訓 練セッションの後，社 会的シナリオでより良 いパフォーマンスを発 揮したことを⽰唆． しかし，⾮社会的シナ リオでは効果なし． a デコード時の識別電極の空間分布 b 2 つのシナリオにおける注意⼒訓練の 前後の時間特性 c 2 つのシナリオにおける Pz 電極の ERP [1] Fig. 4 より引⽤
20. Results 20 P300の潜伏期間 P300 遅延の変動を調査するた め，EEGNet の勾配の最も変動 する100msの振幅を計算． 電極はPzを選択． ASD患者は⾮社会的シナリオ より社会的シナリオの⽅が早 い潜時であり，有意差が⽰さ れた( t (14)  = 2.905、p  = 0.012)． 社会的シアンリオでは100ms 間隔が前⽅にシフトし，優位 な相関関係が⾒られた（図d）． a ⾮社会的シナリオの100ms間隔 b 社会的シナリオにおける100ms間隔 c ⾮社会的シナリオにおける訓練時間とP300待ち時間の相関関係 d 社会的シナリオにおける訓練時間とP300待ち時間の相関関係 破線の領域は95%信頼区間 [1] Fig. 5 より引⽤
21. Results 21 P300の潜伏期間 訓練セッションを⾏うこ とで，P300潜伏期間が短 くなり，ASD患者の反応 速度が徐々に速くなった ことを⽰した． →社会的視覚注意訓練は， ASD患者の認知状態にプ ラスの効果をもたらした． a ⾮社会的シナリオの100ms間隔 b 社会的シナリオにおける100ms秒間隔 c ⾮社会的シナリオにおける訓練時間とP300待ち時間の相関関係 d 社会的シナリオにおける訓練時間とP300待ち時間の相関関係 破線の領域は95%信頼区間
22. Conclusion 22 1. EEGNetはASDのP300信号を効果的にデコードでき，EEGNetによって 学習されたEEG特徴には認知特性が確認された． 2. 時空間特性は，頭頂部領域および300~500ms期間で明らかにされ， Pzおよび300msは最⼤の寄与を⽰した． 3. ASD患者は社会的特性を持つ刺激に対してより敏感であった． 4. ASD患者はP300潜時が遅延していたが，これは共同注意訓練で改善 できた． 視覚的共同注意訓練は，ASD患者の社会的認知レベルと反応性 を改善する可能性がある． ASD患者の脳波特徴を解釈可能に可視化し，臨床治療に理論的 根拠も提供した．
23. References 23 1. Tan, J., Zhan, Y., Tang, Y., Bao, W., & Tian, Y. (2023). EEG decoding for effects of visual joint attention training on ASD patients with interpretable and lightweight convolutional neural network. Cognitive Neurodynamics. https://doi.org/10.1007/s11571-023-09947-x 2. 板倉 昭⼆ 共同注意 脳科学辞典 DOI︓10.14931/bsd.4442（2013） 3. Amaral, C., Mouga, S., Simões, M., Pereira, H. C., Bernardino, I., Quental, H., Playle, R., McNamara, R., Oliveira, G., & Castelo-Branco, M. (2018). A Feasibility Clinical Trial to Improve Social Attention in Autistic Spectrum Disorder (ASD) Using a Brain Computer Interface. Frontiers in Neuroscience, 12. https://www.frontiersin.org/articles/10.3389/fnins.2018.00477 4. G.Nautilus RESEARCH Wearable EEG Cap. (n.d.). G.Tec Medical Engineering GmbH. Retrieved June 2, 2023, from https://www.gtec.at/product/gnautilus-research/
24. Appendix
25. EEGNetの詳細なパラメータ 25 Block Layer Number of filters Kernel Output dimension Activation function 1 Input 8 × 201 Reshape 1 × 8 × 201 Convolution 8 1 × 64 8 × 1 × 201 BatchNorm 8 × 1 × 201 Depthwise Convolution 16 8 × 1 16 × 1 × 201 BatchNorm 16 × 1 × 201 Activation 16 × 1 × 201 ELU Average Pool 1 × 4 16 × 1 × 50 Dropout 16 × 1 × 50 2 Separable Convolution 16 1 × 16 16 × 1 × 50 BatchNorm 16 × 1 × 50 Activation 16 × 1 × 50 ELU Average Pool 1 × 8 16 × 1 × 6 Dropout 16 × 1 × 6 Flatten 96 Dense 2 Softmax [1] Table 2 より引⽤
26. Materials and Methods 26 Conv2D︓時間軸⽅向について畳み込みを⾏い，周波数フィルタを学習． DepthwiseConv2D︓空間（チャンネル）軸⽅向について畳み込みを⾏い，周波数固有 の空間（チャンネル）フィルタを学習．（学習パラメータ数の減少） SeparableConv2D︓空間（チャンネル）軸⽅向の畳み込みを組み合わせ，時間軸⽅向 の特徴マップをまとめる．（学習パラメータ数の減少，特徴マップの分離） Figure 1 から引⽤