概要

Estimativa de desempenho do corretor ortográfico da interface cérebro-computador baseada em P300 com estimativa de latência baseada em classificador

Published: September 08, 2023
doi:

概要

Este artigo apresenta um método para estimar a precisão da Interface Cérebro-Computador (BCI) do ortógrafo P300 no mesmo dia usando um pequeno conjunto de dados de teste.

Abstract

A estimativa de desempenho é uma etapa necessária no desenvolvimento e validação de sistemas de Interface Cérebro-Computador (ICB). Infelizmente, mesmo os sistemas BCI modernos são lentos, tornando a coleta de dados suficientes para validação uma tarefa demorada para usuários finais e experimentadores. No entanto, sem dados suficientes, a variação aleatória no desempenho pode levar a falsas inferências sobre o quão bem um BCI está funcionando para um usuário específico. Por exemplo, os ortógrafos P300 geralmente operam em torno de 1-5 caracteres por minuto. Para estimar a precisão com uma resolução de 5% requer 20 caracteres (4-20 min). Apesar desse investimento de tempo, os limites de confiança para precisão de 20 caracteres podem chegar a ±23%, dependendo da precisão observada. Um método publicado anteriormente, Classifier-Based Latency Estimation (CBLE), mostrou-se altamente correlacionado com a acurácia do BCI. Este trabalho apresenta um protocolo para o uso do CBLE para prever a precisão do digitador P300 de um usuário a partir de relativamente poucos caracteres (~3-8) de dados de digitação. Os limites de confiança resultantes são mais apertados do que aqueles produzidos pelos métodos tradicionais. O método pode, portanto, ser usado para estimar o desempenho do BCI de forma mais rápida e/ou mais precisa.

Introduction

As interfaces cérebro-computador (BCIs) são uma tecnologia não invasiva que permite que os indivíduos se comuniquem através de máquinas diretamente, sem levar em conta as limitações físicas impostas pelo corpo. O BCI pode ser utilizado como um dispositivo auxiliar operado diretamente pelo cérebro. O BCI usa a atividade cerebral de um usuário para determinar se o usuário pretende escolher uma determinada chave (letra, número ou símbolo) exibida na tela1. Em um sistema de computador típico, um usuário pressiona fisicamente a tecla pretendida em um teclado. No entanto, em um sistema BCI com uma exibição visual, o usuário precisa se concentrar na chave desejada. Em seguida, o BCI selecionará a chave pretendida analisando os sinais cerebrais medidos1. A atividade do cérebro pode ser medida usando várias técnicas. Embora existam tecnologias concorrentes de BCIs, o eletroencefalograma (EEG) é considerado uma técnica líder devido à sua natureza não invasiva, alta resolução temporal, confiabilidade e custo relativamente baixo2.

As aplicações da BCI incluem comunicação, controle de dispositivos e também entretenimento 3,4,5,6. Uma das áreas de aplicação BCI mais ativas é o corretor ortográfico P300, que foi introduzido por Farwell e Donchin7. O P300 é um potencial relacionado a eventos (PRE) produzido em resposta ao reconhecimento de um estímulo raro, porémrelevante8. Quando uma pessoa reconhece seu estímulo alvo, ela produz automaticamente um P300. O P300 é um sinal eficaz para um BCI, pois transmite o reconhecimento do participante do evento-alvo sem a necessidade de uma resposta externa9.

O P300 BCI atraiu pesquisadores da ciência da computação, engenharia elétrica, psicologia, fatores humanos e várias outras disciplinas. Avanços têm sido feitos no processamento de sinais, algoritmos de classificação, interfaces com o usuário, esquemas de estimulação e muitas outras áreas 10,11,12,13,14,15. No entanto, independentemente da área de pesquisa, o fio condutor de todas essas pesquisas é a necessidade de medir o desempenho do sistema BCI. Essa tarefa normalmente requer a geração de um conjunto de dados de teste. Essa necessidade não se limita à pesquisa; Uma eventual aplicação clínica como tecnologia assistiva provavelmente exigirá conjuntos de validação individuais para cada usuário final para garantir que o sistema possa gerar uma comunicação confiável.

Apesar da considerável pesquisa aplicada ao P300 BCI, os sistemas ainda são bastante lentos. Enquanto a maioria das pessoas é capaz de usar um P300 BCI16, a maioria dos P300 Spellers produzem texto na ordem de 1-5 caracteres por minuto. Infelizmente, essa velocidade lenta significa que a geração de conjuntos de dados de teste requer tempo e esforço substanciais para participantes, experimentadores e eventuais usuários finais. A medição da acurácia do sistema BCI é um problema de estimação de parâmetros binomiais, e muitos caracteres de dados são necessários para uma boa estimativa.

Para estimar a presença ou ausência do ERP P300, a maioria dos classificadores usa um modelo de classificação binária, que envolve a atribuição de um rótulo binário (por exemplo, “presença” ou “ausência”) a cada ensaio ou época de dados de EEG. A equação geral usada pela maioria dos classificadores pode ser expressa como:

Equation 1

onde Equation 2 é chamado de escore do classificador, que representa a probabilidade da resposta do P300 estar presente, x é o vetor de feição extraído do sinal do EEG e b é um termo de viés17. A função f é uma função de decisão que mapeia os dados de entrada para o rótulo de saída e é aprendida a partir de um conjunto de dados de treinamento rotulados usando um algoritmo de aprendizado supervisionado17. Durante o treinamento, o classificador é treinado em um conjunto de dados rotulados de sinais de EEG, onde cada sinal é rotulado como tendo uma resposta P300 ou não. O vetor de peso e o termo de viés são otimizados para minimizar o erro entre a saída prevista do classificador e a etiqueta verdadeira do sinal de EEG. Uma vez treinado, o classificador pode ser usado para predizer a presença da resposta do P300 em novos sinais de EEG.

Diferentes classificadores podem usar diferentes funções de decisão, como análise discriminante linear (LDA), análise discriminante linear stepwise (SWLDA), mínimos quadrados (LS), regressão logística, máquinas de vetores de suporte (SVM) ou redes neurais (NNs). O classificador de mínimos quadrados é um classificador linear que minimiza a soma de erros quadrados entre os rótulos de classe previstos e os rótulos de classe verdadeiros. Este classificador prevê o rótulo de classe de uma nova amostra de teste usando a seguinte equação:

Equation 3(1)

onde a função de sinal retorna +1 se o produto for positivo e -1 se for negativo, e o vetor Equation 4 de peso é obtido a partir do conjunto de características dos dados de treinamento, (x) e rótulos de classe (y) usando a equação abaixo:

Equation 5    (2)

Em pesquisas anteriores, argumentamos que a Estimativa de Latência Baseada em Classificadores (CBLE) pode ser usada para estimar a acurácia do BCI 17,18,19. O CBLE é uma estratégia para avaliar a variação da latência explorando a sensibilidade temporal do classificador18. Enquanto a abordagem convencional da classificação do P300 envolve o uso de uma única janela de tempo sincronizada com cada apresentação do estímulo, o método CBLE envolve a criação de várias cópias deslocadas no tempo das épocas pós-estímulo. Em seguida, detecta o desvio temporal que resulta no escore máximo para estimar a latência da resposta do P30017,18. Aqui, este trabalho apresenta um protocolo que estima o desempenho do BCI a partir de um pequeno conjunto de dados usando CBLE. Como uma análise representativa, o número de caracteres é variado para fazer previsões do desempenho geral de um indivíduo. Para ambos os conjuntos de dados de exemplo, a raiz do erro quadrático médio (RMSE) para vCBLE e a precisão real do BCI foram calculados. Os resultados indicam que o RMSE das predições da vCBLE, usando seus dados ajustados, foi consistentemente menor do que a precisão derivada de 1 a 7 caracteres testados.

Foi desenvolvida uma Interface Gráfica com o Usuário (GUI) denominada “CBLE Performance Estimation” para a implementação da metodologia proposta. O código de exemplo também é fornecido (Supplementary Coding File 1) que opera na plataforma MATLAB. O código de exemplo executa todas as etapas aplicadas na GUI, mas as etapas são fornecidas para ajudar o leitor a se adaptar a um novo conjunto de dados. Este código emprega um conjunto de dados publicamente disponível “Brain Invaders calibration-less P300-based BCI using dry EEG electrodes Dataset (bi2014a)” para avaliar o método proposto20. Os participantes jogaram até três sessões de jogo de Brain Invaders, cada sessão tendo 9 níveis do jogo. A coleta de dados continuou até que todos os níveis fossem completados ou o participante perdesse todo o controle sobre o sistema BCI. A interface do Brain Invaders incluía 36 símbolos que piscavam em 12 grupos de seis alienígenas. De acordo com o paradigma Brain Invaders P300, uma repetição foi criada por 12 flashes, um para cada grupo. Desses 12 flashes, dois flashes continham o símbolo Target (conhecido como flashes Target), enquanto os 10 flashes restantes não continham o símbolo Target (conhecido como flashes não-Target). Mais informações sobre esse paradigma podem ser encontradas na referência original20.

A abordagem CBLE também foi implementada em um conjunto de dados de Michigan, que continha dados de 40 participantes18,19. Aqui, os dados de oito participantes tiveram que ser descartados porque suas tarefas estavam incompletas. Todo o estudo exigiu três visitas de cada participante. No primeiro dia, cada participante digitou uma sentença de treinamento de 19 caracteres, seguida por três sentenças de teste de 23 caracteres nos Dias 1, 2 e 3. Neste exemplo, o teclado incluía 36 caracteres que foram agrupados em seis linhas e seis colunas. Cada linha ou coluna foi piscada por 31,25 milissegundos com um intervalo de 125 milissegundos entre os flashes. Entre os caracteres, uma pausa de 3,5 s foi fornecida.

A Figura 1 mostra o diagrama de blocos do método proposto. O procedimento detalhado está descrito na seção de protocolo.

Protocol

A GUI “CBLE Performance Estimation” foi aplicada a dois conjuntos de dados: “BrainInvaders” e Michigan. Para o conjunto de dados “BrainInvaders”, a coleta de dados foi aprovada pelo Comitê de Ética da Universidade de Grenoble Alpes20. Os dados de Michigan foram coletados sob aprovação do Comitê de Revisão Institucional da Universidade de Michigan19. Os dados foram analisados de acordo com o protocolo isento 7516 da Kansas State University. Se coletar novos dados, siga…

Representative Results

O protocolo proposto foi testado em dois conjuntos de dados diferentes: “BrainInvaders” e o conjunto de dados de Michigan. Esses conjuntos de dados já são apresentados brevemente na seção Introdução. Os parâmetros utilizados para esses dois conjuntos de dados são mencionados na Tabela 1. As Figuras 2 a 4 ilustram os achados obtidos com o conjunto de dados “BrainInvaders”, enquanto as Figuras 5</s…

Discussion

Este artigo descreveu um método para estimar a precisão do BCI usando um pequeno conjunto de dados P300. Aqui, o protocolo atual foi desenvolvido com base no conjunto de dados “bi2014a”, embora a eficácia do protocolo tenha sido confirmada em dois conjuntos de dados diferentes. Para implementar com sucesso essa técnica, é crucial estabelecer certas variáveis, como a janela de época para os dados originais, a janela para mudança de tempo, a razão de amostragem para baixo e o tamanho dos conjuntos de dados de trei…

開示

The authors have nothing to disclose.

Acknowledgements

Os dados utilizados para resultados representativos foram coletados do trabalho apoiado pelo National Institute of Child Health and Human Development (NICHD), pelo National Institutes of Health (NIH) sob Grant R21HD054697 e pelo National Institute on Disability and Rehabilitation Research (NIDRR) no Departamento de Educação sob Grant H133G090005 e Award Number H133P090008. O resto do trabalho foi financiado em parte pela National Science Foundation (NSF) sob o prêmio #1910526. Os achados e opiniões dentro deste trabalho não refletem necessariamente as posições do NICHD, NIH, NIDRR ou NSF.

Materials

MATLAB 2021 Matlab N/A Any recent MATLAB version can be used.

参考文献

  1. Rezeika, A., Benda, M., Stawicki, P., Gembler, F., Saboor, A., Volosyak, I. Brain-Computer Interface spellers: A review. Brain Science. 8 (4), 57 (2018).
  2. Gannouni, S., Aledaily, A., Belwafi, K., Aboalsamh, H. Emotion detection using electroencephalography signals and a zero-time windowing-based epoch estimation and relevant electrode identification. Scientific Reports. 11 (1), 7071 (2021).
  3. Daly, J. J., Wolpaw, J. R. Brain-computer interfaces in neurological rehabilitation. Lancet Neurology. 7 (11), 1032-1043 (2008).
  4. Birbaumer, N. Breaking the silence: brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
  5. Riccio, A., Simione, L., Schettini, F., Pizzimenti, A., Inghilleri, M., Belardinelli, M. O. Attention and P300-based BCI performance in people with amyotrophic lateral sclerosis. Frontiers in Human Neuroscience. 7, 732 (2013).
  6. Finke, A., Lenhardt, A., Ritter, H. The MindGame: a P300-based brain-computer interface game. Neural Network. 22 (9), 1329-1333 (2009).
  7. Farwell, L. A., Donchin, E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials. Electroencephalogr. Clinical Neurophysiology. 70 (6), 510-523 (1988).
  8. Li, Q., Lu, Z., Gao, N., Yang, J. Optimizing the performance of the visual P300-speller through active mental tasks based on color distinction and modulation of task difficulty. Frontiers in Human Neuroscience. 13, 130 (2019).
  9. McFarland, D. J., Sarnacki, W. A., Townsend, G., Vaughan, T., Wolpaw, J. R. The P300-based brain-computer interface (BCI): effects of stimulus rate. Clinical Neurophysiology. 122 (4), 731-737 (2011).
  10. Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M. A comparison of classification techniques for the P300 Speller. Journal of Neural Engineering. 3 (4), 299-305 (2006).
  11. Sellers, E. W., Donchin, E. A P300-based brain-computer interface: initial tests by ALS patients. Clinical Neurophysiology. 117 (3), 538-548 (2006).
  12. Donchin, E., Spencer, K. M., Wijesinghe, R. The mental prosthesis: assessing the speed of a P300-based brain-computer interface. IEEE Transactions on Rehabilitation Engineering. 8 (2), 174-179 (2000).
  13. Höhne, J., Schreuder, M., Blankertz, B., Tangermann, M. A novel 9-class auditory ERP paradigm driving a predictive text entry system. Frontiers in Neuroscience. 5, 99 (2011).
  14. Acqualagna, L., Treder, M. S., Blankertz, B. Chroma Speller: Isotropic visual stimuli for truly gaze-independent spelling. , (2013).
  15. Townsend, G., LaPallo, B. K., Boulay, C. B., Krusienski, D. J., Frye, G. E., Hauser, C. K. A novel P300-based brain-computer interface stimulus presentation paradigm: moving beyond rows and columns. Clinical Neurophysiology. 121 (7), 1109-1120 (2010).
  16. Guger, C., Daban, S., Sellers, E., Holzner, C., Krausz, G., Carabalona, R. How many people are able to control a P300-based brain-computer interface (BCI). Neuroscience Letters. 462 (1), 94-98 (2009).
  17. Mowla, M. R., Gonzalez-Morales, J. D., Rico-Martinez, J., Ulichnie, D. A., Thompson, D. E. A comparison of classification techniques to predict Brain-computer interfaces accuracy using classifier-based latency estimation. Brain Science. 10 (10), 734 (2020).
  18. Thompson, D. E., Warschausky, S., Huggins, J. E. Classifier-based latency estimation: a novel way to estimate and predict BCI accuracy. Journal of Neural Engineering. 10 (1), 016006 (2012).
  19. Thompson, D. E., Gruis, K. L., Huggins, J. E. A plug-and-play brain-computer interface to operate commercial assistive technology. Disability and Rehabilitation: Assistive Technology. 9 (2), 144-150 (2014).
  20. Korczowski, L., Ostaschenko, E., Andreev, A., Cattan, G., Coelho Rodrigues, P. L., Gautheret, V., Congedo, M. Brain Invaders calibration-less P300-based BCI using dry EEG electrodes Dataset (bi2014a) [Data set]. Zenodo. , (2019).
  21. Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M., Wolpaw, J. R. A comparison of classification techniques for the P300 Speller. Journal of Neural Engineering. 3 (4), 299-305 (2006).

Play Video

記事を引用
Khan, N. N., Sweet, T., Harvey, C. A., Warschausky, S., Huggins, J. E., Thompson, D. E. P300-Based Brain-Computer Interface Speller Performance Estimation with Classifier-Based Latency Estimation. J. Vis. Exp. (199), e64959, doi:10.3791/64959 (2023).

View Video