Deep Residual Convolutional Neural Networks for Brain–Computer Interface to Visualize Neural Processing of Hand Movements in the Human Brain【サーベイメモ#8】

どうもこんにちは,Megです.

Meg

機械学習と脳疾患を専門に勉強している、理系男子大学院生です。

大学の学部では生命工学を学び、男子の中で成績1位を取るほどの勉強好き。

主に生機械学習と生活改善を中心に、日々の学びで得た知識やヒントをブログで共有していきます!

Megをフォローする

以下の論文のサーベイメモをまとめていきます.

フォーマットは「Chem-Station,”研究者目線からの論文読解を促す抄録フォーマット”,2017.」を参考にさせていただきました.

論文内容における解釈違いの可能性があることをご容赦ください…!

サーベイ論文

Fujiwara, Yosuke, Ushiba, Junichi. Deep Residual Convolutional Neural Networks for Brain–Computer Interface to Visualize Neural Processing of Hand Movements in the Human Brain. Frontiers in Computational Neuroscience. 2022, vol. 16, p. 882290.

Deep Residual Convolutional Neural Networks for Brain–Computer Interface to Visualize Neural Processing of Hand Movements in the Human Brain
Concomitant with the development of deep learning, brain–computer interface (BCI) decoding technology has been rapidly evolving. Convolutional neural networks (...

研究の概要

本研究では、未知の参加者へのBCIモデルパフォーマンスの一般化を促進するために,残留CNNの複数の層で構成されるモデルを訓練し,BCI分類の理由を視覚化して,分類に寄与する神経活動の場所とタイミングを明らかにした.
従来のモデルと比較して,大幅に向上した精度(85.69±1.10%)を達成した.構築されたモデルはGrad-CAMによって分析され,運動前皮質の近くで局所的な活動を示した.

問題設定と解決した点

治療において,BCIの健康的な参加者の一般化モデルを構築することが目的である.

BCIに残差ネットワークを挿入することが分類精度に悪影響を与えている(1)との知見がある.これに対し,本研究では,多くの被験者間の検証により,BCIの残差ネットワークの効果を評価する.

以前の研究では,参加者全体の一般化された特徴を説明することはできなかったため,Grad-CAM(2)で一般化されたモデルを可視化し,新たな知識を得ることを目指す.

技術や手法のキモ

データセット

PhysioNet EEGで公開されているEEGデータセットから健常者109人の参加者で構成される.

左右の拳において,休息および運動の3セッションからなるタスクデータを使用した.

Residual-EEGNet

Residual-EEGNetのアーキテクチャをFigure 2に示す.

Figure 2 から引用

Residual層は畳み込み層とバッチ正規化層を通過した値と,入力が出力に渡される(Figure 3).

Figure 3 から引用

有効性の検証

モデル比較

Table 1 から引用

Residual-EEGNet・Non-Residual-EEGNet・Non-BN-EEGNet・Non-Dropout-EEGNet・Non-Preprocessing・EEGNet・Deep-ConvNet・Shallow-ConvNetの精度比較である.

Residual-EEGNetの精度は他の7つのモデルと比較して高く,統計的に有意だった(p < 0.05).

Grad-CAM

Figure 11は,安静時のGrad-CAMの時系列変化を示している.

灰色の背景は,任意のチャンネルのGrad-CAMスコアがベースラインよりも高く,統計的に有意だった(p < 0.05)ことを示している.

議論

提案されたBCIは,生のEEGデータからのエンドツーエンドの学習によってトレーニングできる.

BCIの対象となる健康な人の運動分類の一般化モデルは,トレーニング用の一般化されたBCIモデルとして開発された.

残差ネットワークと多層ネットワークの挿入により,BCIの精度が向上した.

提案されたBCIは,Grad-CAM分析における非一次および一次運動関連領域に貢献した.

次に読むべき論文

EEG-Inceptionという,EEGのERPタスクに対する新たなモデルが提案されているらしい.自分の研究に使えるかも.

Santamaria-Vazquez, Eduardo, Martinez-Cagigal, Victor, Vaquerizo-Villar, Fernando, Hornero, Roberto. EEG-Inception: A Novel Deep Convolutional Neural Network for Assistive ERP-Based Brain-Computer Interfaces. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2020, vol. 28, no. 12, p. 2773–2782.

EEG-Inception: A Novel Deep Convolutional Neural Network for Assistive ERP-Based Brain-Computer Interfaces | Scholars Portal Journals

参考文献

(1) Schirrmeister, Robin Tibor, Springenberg, Jost Tobias, Fiederer, Lukas Dominique Josef, Glasstetter, Martin, Eggensperger, Katharina, Tangermann, Michael, Hutter, Frank, Burgard, Wolfram, Ball, Tonio. Deep learning with convolutional neural networks for EEG decoding and visualization. Human Brain Mapping. 2017, vol. 38, no. 11, p. 5391–5420.

Deep learning with convolutional neural networks for EEG decoding and visualization
Deep learning with convolutional neural networks (deep ConvNets) has revolutionized computer vision through end‐to‐end learning, that is, learning from the raw ...

付録

EEGNet

原著論文のサーベイメモを以前書きました!

Grad-CAM

Selvaraju, Ramprasaath R., Cogswell, Michael, Das, Abhishek, Vedantam, Ramakrishna, Parikh, Devi, Batra, Dhruv. Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization. International Journal of Computer Vision. 2020, vol. 128, no. 2, p. 336–359.

Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization
We propose a technique for producing "visual explanations" for decisions from a large class of CNN-based models, making them more transparent. Our approach - Gr...
タイトルとURLをコピーしました