どうもこんにちは，Megです．
以下の論文のサーベイメモをまとめていきます．
フォーマットは「Chem-Station，”研究者目線からの論文読解を促す抄録フォーマット”，2017．」を参考にさせていただきました．
論文内容における解釈違いの可能性があることをご容赦ください…！
サーベイ論文
Lawhern, Vernon J., Solon, Amelia J., Waytowich, Nicholas R., Gordon, Stephen M., Hung, Chou P., Lance, Brent J. EEGNet: a compact convolutional neural network for EEG-based brain–computer interfaces. Journal of Neural Engineering. 2018, vol. 15, no. 5, p. 056013.
研究の概要
ブレイン・マシン・インターフェイス（Brain computer interfaces：BCI）(1)は神経活動を信号としてコンピュータと直接通信を行うものである．一般的にである脳波（electroencephalogram：EEG）が入力信号に選ばれる．
畳み込みニューラルネットワーク（Convolutional Neural Network）は，EEGベースのBCIへの適用に成功しているが，他のパラダイムでも一般化できるものかは定かではない．
様々なBCIパラダイムのEEG信号を正確に分類するための単一のCNNを設計し，加えてより軽量なアーキテクチャにできるかどうかを検証する．
以下の4つのBCIパラダイムにおいて，
- P300視覚誘発電位
- エラー関連陰性反応（error-related negativity responses：ERN）
- 運動関連皮質電位（movement-related cortical potentials：MRCP）
- 感覚運動リズム（sensory moter rhythms：SMR）
被験者内分類と被験者間分類の両方について，EEGNetを現在の最先端アプローチと比較する．
結果，EEGNetは限られた学習データしかない場合，従来手法よりも比較的高い性能を発揮した．また，EEGNetはERPおよび振動ベースのBCIに汎化することを示した．
これらの結果は，EEGNetが様々なBCIタスクにおいて解釈可能な特徴を学習していることを示唆しており，観測された性能はアーチファクトやノイズによるものではないことも示している．
問題設定
BCIの処理段階は各々のBCIでほぼ同じだが，各パラダイムは信号処理・特徴抽出・分類で指定された方法に依存する．さらに，BCIの処理段階では，重要な専門知識と脳波（EEG）信号に関する知識を必要とする．
EEG信号の前処理では，特定の周波数範囲へのバンドパスフィルタリングなど特異的であるため，他の潜在的に関連するEEG機能が分析から除外されている可能性がある．
最近，EEGに対して深層学習，特にCNNを適用した研究が多くある．しかし，これらの研究は単一のBCIタスクの分類に焦点を当てており，他のBCIタスクや学習データに対して転用ができないという問題点もある．
技術や手法のキモ
データセット
Table 1は，本研究で使用したデータの概要を示している．
各クラスで不均衡が発生している場合，クラスごとの比率として与えられる．
EEGNet
EEGNetはEEGベースのBCI用のコンパクトなCNNアーキテクチャである．
EEGNetの特性として，
- 複数の異なるBCIパラダイムに適用できる
- 限られたデータで学習できる
- 神経生理学的に解釈可能な特徴を生成できる
が挙げられる．
Figure 1に本実験のEEGNetのアーキテクチャを示す．
2列目の畳み込み層（Conv2D）は，時間軸方向について畳み込みを行い，周波数フィルタを学習する．
3列目の畳み込み層（DepthwiseConv2D）は，空間（チャンネル）軸方向について畳み込みを行い，周波数固有の空間（チャンネル）フィルタを学習する．
Table 3は，全てのCNNベースモデルについて，モデルごと・データセットごとでモデルが学習可能なパラメータ数を示している．
EEGNetは他のモデルと比較して，学習するパラメータ数が最大で2桁小さいことがわかる．
有効性の検証
被験者内分類
P300・MRCP・ERNデータセットに対する，各モデルの4-foldの被験者内分類の性能をFigure 2に示した．
P300では全てのモデル間で最小限の差異しか無かった．
MRCPでは有意な差があり，EEGNetの両モデルが他のモデルよりも優れていることがわかった．
ERNについても，p < 0.05 の有意差で，EEGNetの両モデルが他のモデルよりも精度が良かった．
また，SMRデータセットに対する，各モデルの4-foldの被験者内分類の性能をFigure 3に示した．
DeepConvNetが他のモデルよりも統計的（p < 0.05）に悪い結果だった．対して，ShallowConvNetとEEGNet-8, 2はFBCSPと同等のパフォーマンスを示した．
被験者間分類
P300・MRCP・ERNデータセットに対する，各モデルの30-foldでの平均値における，被験者間分類の性能をFigure 4に示した．
P300とMRCPでは，DeepConvNetとEEGNetの差は最小であり，ShallowConvNetを上回った．
ERNでは，xDAWN + RGが他のモデルを有意に上回った．
また，SMRデータセットに対する，各モデルの全fold・全被験者の平均における，被験者間分類の性能をFigure 5に示した．
CNNベースモデルは全て同等の性能を示し，FBCSPをわずかに上回った．
EEGNetの特徴
Figure 6では，P300データセットにおける，ある被験者群に対するEEGNet-4,1モデルから得られた特徴量を可視化した．
A：各空間フィルタの空間トポグラフィー
B：各フィルタの標的試行と非標的試行間の平均ウェーブレット(2)時間周波数差．
を示している．
Aから4つの異なるフィルタが確認できる．フィルタ4の時間周波数差は，画像提示の約350ms後に低周波のパワーが増加しており，P300と対応していると考えられる．
議論
- 本研究は，P300・ERN・MRCP・SMRという独自の特徴とデータセットサイズを持つ複数のBCIデータセットに対して，単一ネットワークモデルの使用を検証した最初の研究である．
- EEGを深さ方向の畳み込みと分離可能な畳み込みは，EEGNetに使用できることを示した．
- 特徴量の可視化により，神経生理学的に解釈可能な特徴がEEGNetから抽出できることを示し，モデル性能がデータ中のノイズやアーチファクト信号に依存していないことを証明した．
次に読むべき論文
EEG2Vecという，生成識別表現を学習するEEGNetの中にVAEを組み込んだモデルがある．特徴量抽出により重きをおいているモデルかも．
Bethge, David, Hallgarten, Philipp, Grosse-Puppendahl, Tobias, Kari, Mohamed, Chuang, Lewis L., Özdenizci, Ozan, Schmidt, Albrecht. EEG2Vec: Learning Affective EEG Representations via Variational Autoencoders. arXiv:2207.08002, arXiv, 2022.
参考文献
BCI
(1) Wolpaw, Jonathan R., Birbaumer, Niels, McFarland, Dennis J., Pfurtscheller, Gert, Vaughan, Theresa M. Brain–computer interfaces for communication and control. Clinical Neurophysiology. 2002, vol. 113, no. 6, p. 767–791.
ウェーブレット
(2) Torrence, Christopher, Compo, Gilbert P. A Practical Guide to Wavelet Analysis. Bulletin of the American Meteorological Society. 1998, vol. 79, no. 1, p. 61–78.
付録
BCI
BCIは，正常な神経筋出力と脳信号を介して，機会と通信するためのメカニズムである．
BCIは5つの主要な処理段階で構成されている．
- 神経データが記録されるデータ収集段階
- 記録されたデータが前処理される信号処理段階
- 神経データから意味のある情報が抽出される特徴抽出段階
- データから結果が導出される分類段階
- その結果がユーザーに提供されるフィードバック段階
CNN
CNNは，多くの画像処理分類タスクにおいて，手作業で作成した特徴量を用いる方法よりも上回る精度を出している深層学習モデルの一種である．
