脳波ベースの運動イメージ分類のためのディープラーニング。精度とコストのトレードオフ

Deep learning for EEG-based Motor Imagery classification: Accuracy-cost trade-off.

• Javier León
• Juan José Escobar
• Andrés Ortiz
• Julio Ortega
• Jesús González
• Pedro Martín-Smith
• John Q Gan
• Miguel Damas

抄録

脳波（EEG）のデータセットは、記録プロセスが煩雑であるため、小さくて高次元なものが多いです。このような状況では、大量の情報を処理し、次元の問題を克服するために、強力な機械学習技術が不可欠です。人工ニューラルネットワーク(ANN)は、脳波ベースのブレインコンピュータインターフェース(BCI)アプリケーションにおいて有望な性能を達成しているが、計算量の多いトレーニングアルゴリズムやハイパーパラメータ最適化手法を必要とする。そのため、通常は見落とされがちであるが、品質とコストのトレードオフを意識することは非常に有益である。本論文では、畳み込みニューラルネットワーク(CNN)、フィードフォワードニューラルネットワーク(FFNN)、リカレントニューラルネットワーク(RNN)に、遺伝的アルゴリズムに基づくハイパーパラメータ最適化手法を適用し、それらのすべてが意図的に浅いものであることを示す。それらの相対的な品質とエネルギー時間コストを比較するが、同様の精度を持つ同種のネットワークの構造的複雑さのばらつきについても分析する。実験の結果、最適化手順はすべてのモデルにおいて精度を向上させ、隠れ畳み込み層が1つだけのCNNモデルは、6層のDeep Belief Networkと同等か、わずかに上回ることを示した。FFNNとRNNは、コストは大幅に低下したものの、同じ品質には到達できなかった。この結果はまた、同じタイプのネットワーク内のサイズが必ずしも精度と相関しているわけではないという事実を浮き彫りにしています。この点では、ディープラーニングのアプローチは限られた訓練例で苦労しているため、オーバーフィットが一因となっている可能性が高い。

Electroencephalography (EEG) datasets are often small and high dimensional, owing to cumbersome recording processes. In these conditions, powerful machine learning techniques are essential to deal with the large amount of information and overcome the curse of dimensionality. Artificial Neural Networks (ANNs) have achieved promising performance in EEG-based Brain-Computer Interface (BCI) applications, but they involve computationally intensive training algorithms and hyperparameter optimization methods. Thus, an awareness of the quality-cost trade-off, although usually overlooked, is highly beneficial. In this paper, we apply a hyperparameter optimization procedure based on Genetic Algorithms to Convolutional Neural Networks (CNNs), Feed-Forward Neural Networks (FFNNs), and Recurrent Neural Networks (RNNs), all of them purposely shallow. We compare their relative quality and energy-time cost, but we also analyze the variability in the structural complexity of networks of the same type with similar accuracies. The experimental results show that the optimization procedure improves accuracy in all models, and that CNN models with only one hidden convolutional layer can equal or slightly outperform a 6-layer Deep Belief Network. FFNN and RNN were not able to reach the same quality, although the cost was significantly lower. The results also highlight the fact that size within the same type of network is not necessarily correlated with accuracy, as smaller models can and do match, or even surpass, bigger ones in performance. In this regard, overfitting is likely a contributing factor since deep learning approaches struggle with limited training examples.