Zero-training in BCI Systems : Using neural network and transfer learning to achieve in BCI Systems
뇌-컴퓨터 인터페이스의 제로 트레이닝
- 발행기관 한동대학교 일반대학원
- 지도교수 안민규
- 발행년도 2020
- 학위수여년월 2020. 8
- 학위명 석사
- 학과 및 전공 일반대학원 정보통신공학과
- 원문페이지 ⅵ, 43
- 실제URI http://www.dcollection.net/handler/handong/200000357143
- UCI I804:47030-200000357143
- 본문언어 영어
- 저작권 한동대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
Each person has his or her own distinct brainwaves. As a result traditional brain-computer interface (BCI) systems require a calibration process in which the subject’s data are extracted to train machine-learning classifiers. Despite past efforts to eliminate this process often referred to as “zero-training” BCI systems’ best performance is achievable only with some level of calibration. This tedious process is one of the factors that have limited the use of BCI systems in the real world. In this study we investigate whether a convolutional neural network (CNN) combined with large dataset can achieve zero training in traditional BCI systems specifically in motor imagery and P300 speller paradigm. The proposed zero-trained CNN achieved comparable performance in both P300 Speller paradigm (proposed : 89% traditional : 94% p < 0.05) and motor imagery(proposed : 67% traditional : 67% p > 0.05) in an offline study. Additionally we demonstrate that the constructed CNN works successfully in an online P300 speller experiment in which twelve BCI subjects achieved 85% accuracy without calibration compared to 82% accuracy with calibration. Furthermore we illustrate a hybrid approach to enhance performance further which adaptively updates a linear classifier using label information generated from a zero-trained CNN. With this technique the ideal performance of a within-trained classifier was achieved without any calibration.
more초록/요약
각 사람은 자신의 고유한 뇌파신호를 갖고 있다. 결과적으로 전통적인 뇌-컴퓨터 인터페이스(BCI brain-Computer Interface) 시스템에는 머신러닝 분류기를 학습시키기 위해 사용자의 데이터를 추출하는 학습 단계가 필요했다. 이 단계를 제거하기 위해 "제로 트레이닝(zero-trianing)"이라는 연구가 과거에 계속되었음에도 불구하고 BCI 시스템의 최고 성능은 일정 수준의 학습 단계를 통해서만 달성할 수 있었다. 사용자에게 지루한 이 학습 단계는 실제 환경에서 BCI 시스템의 보급을 제한하는 요소 중 하나였다. 본 연구에서는 대량의 데이터와 합성곱 신경망 (Convolutional Neural Network)을 사용하여 BCI 시스템에서 학습 단계를 생략하면서 높은 성능을 달성할 수 있는지 조사하였다. 본 연구는 이런 방법론을 상상운동(motor imagery) 실험과 P300 뇌파타자기에 대해 적용하였다. 본 연구에서 제안된 방법은 오프라인 환경에서 기존의 방법과 비교했을 때 비슷한 성능을 P300 뇌파타자기(제안 : 89% 기존 : 94% p < 0.05)와 상상운동 패러다임(제안 : 67% 기존 : 67% p > 0.05)에서 달성하였다. 나아가 본 연구에서는 실제 환경(P300 뇌파타자기)에서 해당 방법이 유효함을 보였다. 12 명의 BCI 피험자가 기존의 방법대로 학습 단계를 거치고 82 % 의 정확도를 기록하였던 반면 제안된 방법으로 학습 단계를 생략하고 85 % 정확도를 달성하였음을 보여주었다(p > 0.05). 또한 우리는 제로 트레이닝 방식으로 학습된 CNN으로부터 생성된 레이블(label) 정보를 이용하여 새로운 선형 분류기를 지속적으로 업데이트하는 방안을 고안하였다. 본 연구에서는 이러한 방법을 통해 학습 단계 없이 한 사람이 달성할 수 있는 최고의 BCI 성능을 얻을 수 있음을 보였다.
more목차
Ⅰ. Introduction 1
A. Brainwaves and EEG 1
B. BCI (Brain Computer Interface) 2
C. ERP (Event Related Potential) 2
D. Motor Imagery 4
E. Zero-Training 5
Ⅱ. Materials and Methods 8
I. P300 Signal 8
A. EXPERIMENTAL SETUP 8
B. PREPROCESSING 9
C. DEEP LEARNING MODEL 10
D. PERFORMANCE EVALUATION 12
E. STATISTICAL TEST 12
F. ANALYSIS OF SUFFICIENT DATA 12
G. ANALYSIS OF SUITABLE DATASET 13
H. ANALYSIS OF MODEL SIMILARITY 14
I. ONLINE STUDY 14
J. LIVE TRAINING APPROACH 15
II. Motor Imagery 16
A. EXPERIMENTAL SETUP 17
B. PREPROCESSING 17
C. PERFORMANCE EVALUATION 18
D. ANALYSIS OF SUFFICIENT DATA 18
Ⅲ. Results 19
I. P300 Signal 19
A. PERFORMANCE EVALUATION (OFFLINE STUDY) 19
B. ANALYSIS OF MODEL SIMILARITY 21
C. ANALYSIS OF SUFFICIENT DATA 24
D. ANALYSIS OF SUITABLE DATASET 25
E. ONLINE STUDY 27
F. LIVE TRAINING APPROACH (OFFILINE STUDY) 28
II. Motor Imagery 30
A. PERFORMANCE EVALUATION 30
B. ANALYSIS OF SUFFICIENT DATA 31
Ⅳ. Conclusion and Discussion 32