Summary

Estimación del rendimiento del deletreador de la interfaz cerebro-ordenador basada en P300 con estimación de latencia basada en el clasificador

Published: September 08, 2023
doi:

Summary

Este artículo presenta un método para estimar la precisión de la interfaz cerebro-computadora (BCI) del deletreador P300 en el mismo día utilizando un pequeño conjunto de datos de prueba.

Abstract

La estimación del rendimiento es un paso necesario en el desarrollo y validación de los sistemas de interfaz cerebro-ordenador (BCI). Desafortunadamente, incluso los sistemas BCI modernos son lentos, lo que hace que la recopilación de datos suficientes para la validación sea una tarea que requiere mucho tiempo tanto para los usuarios finales como para los experimentadores. Sin embargo, sin datos suficientes, la variación aleatoria en el rendimiento puede dar lugar a inferencias falsas sobre qué tan bien funciona una BCI para un usuario en particular. Por ejemplo, los deletreadores P300 suelen operar entre 1 y 5 caracteres por minuto. Para estimar la precisión con una resolución del 5% se requieren 20 caracteres (4-20 min). A pesar de esta inversión de tiempo, los límites de confianza para la precisión de 20 caracteres pueden ser de hasta un ±23% dependiendo de la precisión observada. Un método publicado anteriormente, la estimación de latencia basada en clasificadores (CBLE), demostró estar altamente correlacionado con la precisión de BCI. Este trabajo presenta un protocolo para usar CBLE para predecir la precisión del deletreador P300 de un usuario a partir de relativamente pocos caracteres (~3-8) de datos de escritura. Los límites de confianza resultantes son más estrictos que los producidos por los métodos tradicionales. Por lo tanto, el método se puede utilizar para estimar el rendimiento de BCI de manera más rápida y/o precisa.

Introduction

Las interfaces cerebro-computadora (BCI, por sus siglas en inglés) son una tecnología no invasiva que permite a las personas comunicarse a través de máquinas directamente sin tener en cuenta las limitaciones físicas impuestas por el cuerpo. BCI se puede utilizar como un dispositivo de asistencia operado directamente por el cerebro. BCI utiliza la actividad cerebral de un usuario para determinar si el usuario tiene la intención de elegir una determinada clave (letra, número o símbolo) que se muestra en la pantalla1. En un sistema informático típico, un usuario presiona físicamente la tecla deseada en un teclado. Sin embargo, en un sistema BCI con una pantalla visual, el usuario debe concentrarse en la tecla deseada. A continuación, BCI seleccionará la clave deseada mediante el análisis de las señales cerebrales medidas1. La actividad del cerebro se puede medir utilizando diversas técnicas. A pesar de que existen tecnologías BCI que compiten entre sí, el electroencefalograma (EEG) se considera una técnica líder debido a su naturaleza no invasiva, alta resolución temporal, confiabilidady costo relativamente bajo.

Las aplicaciones de BCI incluyen la comunicación, el control de dispositivos y también el entretenimiento 3,4,5,6. Una de las áreas de aplicación más activas de BCI es el deletreador P300, que fue introducido por Farwell y Donchin7. El P300 es un potencial relacionado con eventos (ERP) producido en respuesta al reconocimiento de un estímulo raro pero relevante8. Cuando una persona reconoce su estímulo objetivo, automáticamente produce un P300. El P300 es una señal eficaz para un BCI porque transmite el reconocimiento del participante del evento objetivo sin necesidad de una respuesta externa9.

El P300 BCI ha atraído a investigadores de ciencias de la computación, ingeniería eléctrica, psicología, factores humanos y varias otras disciplinas. Se han logrado avances en el procesamiento de señales, algoritmos de clasificación, interfaces de usuario, esquemas de estimulación y muchas otras áreas 10,11,12,13,14,15. Sin embargo, independientemente del área de investigación, el hilo conductor de toda esta investigación es la necesidad de medir el rendimiento del sistema BCI. Esta tarea suele requerir la generación de un conjunto de datos de prueba. Esta necesidad no se limita a la investigación; Es probable que la eventual aplicación clínica como tecnología de asistencia requiera conjuntos de validación individuales para cada usuario final a fin de garantizar que el sistema pueda generar una comunicación confiable.

A pesar de la considerable investigación aplicada al P300 BCI, los sistemas siguen siendo bastante lentos. Si bien la mayoría de las personas pueden usar un P300 BCI16, la mayoría de los deletreadores P300 producen texto del orden de 1 a 5 caracteres por minuto. Desafortunadamente, esta baja velocidad significa que la generación de conjuntos de datos de prueba requiere mucho tiempo y esfuerzo para los participantes, los experimentadores y los usuarios finales. La medición de la precisión del sistema BCI es un problema de estimación de parámetros binomiales, y se necesitan muchos caracteres de datos para una buena estimación.

Para estimar la presencia o ausencia del ERP P300, la mayoría de los clasificadores utilizan un modelo de clasificación binaria, que implica la asignación de una etiqueta binaria (por ejemplo, “presencia” o “ausencia”) a cada ensayo o época de datos de EEG. La ecuación general utilizada por la mayoría de los clasificadores se puede expresar como:

Equation 1

donde Equation 2 se denomina puntuación del clasificador, que representa la probabilidad de que la respuesta P300 esté presente, x es el vector de características extraído de la señal de EEG y b es un término de sesgo17. La función f es una función de decisión que asigna los datos de entrada a la etiqueta de salida y se aprende de un conjunto de datos de entrenamiento etiquetados mediante un algoritmo de aprendizaje supervisado17. Durante el entrenamiento, el clasificador se entrena en un conjunto de datos etiquetado de señales de EEG, donde cada señal se etiqueta como si tuviera una respuesta P300 o no. El vector de peso y el término de sesgo se optimizan para minimizar el error entre la salida predicha del clasificador y la etiqueta verdadera de la señal de EEG. Una vez que el clasificador está entrenado, se puede utilizar para predecir la presencia de la respuesta P300 en nuevas señales de EEG.

Los diferentes clasificadores pueden utilizar diferentes funciones de decisión, como el análisis discriminante lineal (LDA), el análisis discriminante lineal por pasos (SWLDA), los mínimos cuadrados (LS), la regresión logística, las máquinas de vectores de soporte (SVM) o las redes neuronales (NN). El clasificador de mínimos cuadrados es un clasificador lineal que minimiza la suma de errores al cuadrado entre las etiquetas de clase predichas y las etiquetas de clase verdaderas. Este clasificador predice la etiqueta de clase de una nueva muestra de prueba mediante la siguiente ecuación:

Equation 3(1)

donde la función sign devuelve +1 si el producto es positivo y -1 si es negativo, y el vector Equation 4 de peso se obtiene a partir del conjunto de características de los datos de entrenamiento, (x) y las etiquetas de clase (y) utilizando la siguiente ecuación:

Equation 5    (2)

En investigaciones anteriores, argumentamos que la estimación de latencia basada en clasificadores (CBLE) se puede utilizar para estimar la precisión de BCI 17,18,19. CBLE es una estrategia para evaluar la variación de la latencia mediante la explotación de la sensibilidad temporal del clasificador18. Mientras que el enfoque convencional de la clasificación P300 implica el uso de una única ventana de tiempo que se sincroniza con cada presentación de estímulo, el método CBLE implica la creación de múltiples copias en diferido de las épocas posteriores al estímulo. A continuación, detecta el desplazamiento de tiempo que da como resultado la puntuación máxima para estimar la latencia de la respuesta P300 17,18. Aquí, este trabajo presenta un protocolo que estima el rendimiento de BCI a partir de un pequeño conjunto de datos utilizando CBLE. Como análisis representativo, se varía el número de caracteres para hacer predicciones del rendimiento general de un individuo. Para ambos conjuntos de datos de ejemplo, se calculó el error cuadrático medio (RMSE) para vCBLE y la precisión real de BCI. Los resultados indican que el RMSE de las predicciones de vCBLE, utilizando sus datos ajustados, fue consistentemente menor que la precisión derivada de 1 a 7 caracteres probados.

Desarrollamos una Interfaz Gráfica de Usuario (GUI) denominada “CBLE Performance Estimation” para la implementación de la metodología propuesta. También se proporciona el código de ejemplo (Supplemental Coding File 1) que funciona en la plataforma MATLAB. El código de ejemplo realiza todos los pasos aplicados en la interfaz gráfica de usuario, pero los pasos se proporcionan para ayudar al lector a adaptarse a un nuevo conjunto de datos. Este código emplea un conjunto de datos disponible públicamente “Brain Invaders-calibration-less-P300-based BCI using dry EEG electrodes Dataset (bi2014a)” para evaluar el método propuesto20. Los participantes jugaron hasta tres sesiones de juego de Brain Invaders, cada sesión con 9 niveles del juego. La recolección de datos continuó hasta que se completaron todos los niveles o el participante perdió todo control sobre el sistema BCI. La interfaz de Brain Invaders incluía 36 símbolos que parpadeaban en 12 grupos de seis alienígenas. De acuerdo con el paradigma Brain Invaders P300, se creó una repetición mediante 12 destellos, uno para cada grupo. De estos 12 destellos, dos contenían el símbolo de objetivo (conocidos como destellos de objetivo), mientras que los 10 destellos restantes no contenían el símbolo de destino (conocidos como destellos sin objetivo). Se puede encontrar más información sobre este paradigma en la referencia original20.

El enfoque CBLE también se implementó en un conjunto de datos de Michigan, que contenía datos de 40 participantes18,19. Aquí, los datos de ocho participantes tuvieron que ser descartados porque sus tareas estaban incompletas. Todo el estudio requirió tres visitas de cada participante. El primer día, cada participante escribió una oración de entrenamiento de 19 caracteres, seguida de tres oraciones de prueba de 23 caracteres en los días 1, 2 y 3. En este ejemplo, el teclado incluía 36 caracteres que se agruparon en seis filas y seis columnas. Cada fila o columna se parpadeó durante 31,25 milisegundos con un intervalo de 125 milisegundos entre parpadeos. Entre los personajes, se proporcionó una pausa de 3,5 s.

En la figura 1 se muestra el diagrama de bloques del método propuesto. El procedimiento detallado se describe en la sección de protocolo.

Protocol

La interfaz gráfica de usuario “CBLE Performance Estimation” se aplicó a dos conjuntos de datos: el conjunto de datos “BrainInvaders” y el conjunto de datos de Michigan. Para el conjunto de datos “BrainInvaders”, la recopilación de datos fue aprobada por el Comité de Ética de la Universidad de Grenoble Alpes20. Los datos de Michigan se recopilaron bajo la aprobación de la Junta de Revisión Institucional de la Universidad de Michigan19. Los datos se analizaron bajo el…

Representative Results

El protocolo propuesto se ha probado en dos conjuntos de datos diferentes: “BrainInvaders” y el conjunto de datos de Michigan. Estos conjuntos de datos ya se presentan brevemente en la sección Introducción. Los parámetros utilizados para estos dos conjuntos de datos se mencionan en la Tabla 1. Las Figuras 2-4 muestran los hallazgos obtenidos utilizando el conjunto de datos “BrainInvaders”, mientras que las Figuras</st…

Discussion

En este artículo se describe un método para estimar la precisión de BCI utilizando un pequeño conjunto de datos P300. En este caso, el protocolo actual se desarrolló sobre la base del conjunto de datos “bi2014a”, aunque la eficacia del protocolo se confirmó en dos conjuntos de datos diferentes. Para implementar con éxito esta técnica, es crucial establecer ciertas variables, como la ventana de época para los datos originales, la ventana para el cambio de tiempo, la proporción de muestreo descendente y el tamañ…

Divulgations

The authors have nothing to disclose.

Acknowledgements

Los datos utilizados para obtener resultados representativos se recopilaron del trabajo apoyado por el Instituto Nacional de Salud Infantil y Desarrollo Humano (NICHD, por sus siglas en inglés), los Institutos Nacionales de Salud (NIH, por sus siglas en inglés) bajo la Subvención R21HD054697, y el Instituto Nacional de Investigación sobre Discapacidad y Rehabilitación (NIDRR, por sus siglas en inglés) en el Departamento de Educación bajo la Subvención H133G090005 y la Subvención Número H133P090008. El resto del trabajo fue financiado en parte por la Fundación Nacional de Ciencias (NSF, por sus siglas en inglés) bajo el premio #1910526. Los hallazgos y opiniones dentro de este trabajo no reflejan necesariamente las posiciones de NICHD, NIH, NIDRR o NSF.

Materials

MATLAB 2021 Matlab N/A Any recent MATLAB version can be used.

References

  1. Rezeika, A., Benda, M., Stawicki, P., Gembler, F., Saboor, A., Volosyak, I. Brain-Computer Interface spellers: A review. Brain Science. 8 (4), 57 (2018).
  2. Gannouni, S., Aledaily, A., Belwafi, K., Aboalsamh, H. Emotion detection using electroencephalography signals and a zero-time windowing-based epoch estimation and relevant electrode identification. Scientific Reports. 11 (1), 7071 (2021).
  3. Daly, J. J., Wolpaw, J. R. Brain-computer interfaces in neurological rehabilitation. Lancet Neurology. 7 (11), 1032-1043 (2008).
  4. Birbaumer, N. Breaking the silence: brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
  5. Riccio, A., Simione, L., Schettini, F., Pizzimenti, A., Inghilleri, M., Belardinelli, M. O. Attention and P300-based BCI performance in people with amyotrophic lateral sclerosis. Frontiers in Human Neuroscience. 7, 732 (2013).
  6. Finke, A., Lenhardt, A., Ritter, H. The MindGame: a P300-based brain-computer interface game. Neural Network. 22 (9), 1329-1333 (2009).
  7. Farwell, L. A., Donchin, E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials. Electroencephalogr. Clinical Neurophysiology. 70 (6), 510-523 (1988).
  8. Li, Q., Lu, Z., Gao, N., Yang, J. Optimizing the performance of the visual P300-speller through active mental tasks based on color distinction and modulation of task difficulty. Frontiers in Human Neuroscience. 13, 130 (2019).
  9. McFarland, D. J., Sarnacki, W. A., Townsend, G., Vaughan, T., Wolpaw, J. R. The P300-based brain-computer interface (BCI): effects of stimulus rate. Clinical Neurophysiology. 122 (4), 731-737 (2011).
  10. Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M. A comparison of classification techniques for the P300 Speller. Journal of Neural Engineering. 3 (4), 299-305 (2006).
  11. Sellers, E. W., Donchin, E. A P300-based brain-computer interface: initial tests by ALS patients. Clinical Neurophysiology. 117 (3), 538-548 (2006).
  12. Donchin, E., Spencer, K. M., Wijesinghe, R. The mental prosthesis: assessing the speed of a P300-based brain-computer interface. IEEE Transactions on Rehabilitation Engineering. 8 (2), 174-179 (2000).
  13. Höhne, J., Schreuder, M., Blankertz, B., Tangermann, M. A novel 9-class auditory ERP paradigm driving a predictive text entry system. Frontiers in Neuroscience. 5, 99 (2011).
  14. Acqualagna, L., Treder, M. S., Blankertz, B. Chroma Speller: Isotropic visual stimuli for truly gaze-independent spelling. , (2013).
  15. Townsend, G., LaPallo, B. K., Boulay, C. B., Krusienski, D. J., Frye, G. E., Hauser, C. K. A novel P300-based brain-computer interface stimulus presentation paradigm: moving beyond rows and columns. Clinical Neurophysiology. 121 (7), 1109-1120 (2010).
  16. Guger, C., Daban, S., Sellers, E., Holzner, C., Krausz, G., Carabalona, R. How many people are able to control a P300-based brain-computer interface (BCI). Neuroscience Letters. 462 (1), 94-98 (2009).
  17. Mowla, M. R., Gonzalez-Morales, J. D., Rico-Martinez, J., Ulichnie, D. A., Thompson, D. E. A comparison of classification techniques to predict Brain-computer interfaces accuracy using classifier-based latency estimation. Brain Science. 10 (10), 734 (2020).
  18. Thompson, D. E., Warschausky, S., Huggins, J. E. Classifier-based latency estimation: a novel way to estimate and predict BCI accuracy. Journal of Neural Engineering. 10 (1), 016006 (2012).
  19. Thompson, D. E., Gruis, K. L., Huggins, J. E. A plug-and-play brain-computer interface to operate commercial assistive technology. Disability and Rehabilitation: Assistive Technology. 9 (2), 144-150 (2014).
  20. Korczowski, L., Ostaschenko, E., Andreev, A., Cattan, G., Coelho Rodrigues, P. L., Gautheret, V., Congedo, M. Brain Invaders calibration-less P300-based BCI using dry EEG electrodes Dataset (bi2014a) [Data set]. Zenodo. , (2019).
  21. Krusienski, D. J., Sellers, E. W., Cabestaing, F., Bayoudh, S., McFarland, D. J., Vaughan, T. M., Wolpaw, J. R. A comparison of classification techniques for the P300 Speller. Journal of Neural Engineering. 3 (4), 299-305 (2006).

Play Video

Citer Cet Article
Khan, N. N., Sweet, T., Harvey, C. A., Warschausky, S., Huggins, J. E., Thompson, D. E. P300-Based Brain-Computer Interface Speller Performance Estimation with Classifier-Based Latency Estimation. J. Vis. Exp. (199), e64959, doi:10.3791/64959 (2023).

View Video