Summary

IntelliSleepScorer, un paquete de software con una interfaz gráfica de usuario para la puntuación automatizada de la etapa del sueño de ratones

Published: November 08, 2024
doi:

Summary

Presentamos un paquete de software con una interfaz gráfica de usuario para investigadores sin experiencia en codificación para puntuar las etapas del sueño en ratones con una simple descarga y operación.

Abstract

La puntuación de las etapas del sueño en roedores es el proceso de identificación de las tres etapas: sueño con movimientos oculares no rápidos (NREM), sueño con movimientos oculares rápidos (REM) y vigilia. La puntuación de la etapa del sueño es crucial para estudiar las medidas y los efectos específicos de la etapa del sueño.

Los patrones de sueño en los roedores difieren de los de los humanos, caracterizados por episodios más cortos de NREM y REM interespaciados por la vigilia, y la puntuación manual tradicional de las etapas del sueño por parte de expertos humanos requiere mucho tiempo. Para abordar este problema, estudios anteriores han utilizado enfoques basados en el aprendizaje automático para desarrollar algoritmos que categorizen automáticamente las etapas del sueño, pero los modelos de alto rendimiento con gran generalización a menudo no están disponibles públicamente, no son gratuitos ni son fáciles de usar para los investigadores del sueño no capacitados.

Por lo tanto, desarrollamos un algoritmo LightGBM basado en aprendizaje automático entrenado con un gran conjunto de datos. Para que el modelo esté disponible para los investigadores del sueño sin experiencia en codificación, se desarrolló una herramienta de software llamada IntelliSleepScorer (v1.2 – versión más reciente) basada en el modelo, que cuenta con una interfaz gráfica de usuario fácil de usar. En este manuscrito, presentamos instrucciones paso a paso para usar el software para demostrar una herramienta de puntuación automática de la etapa del sueño conveniente y efectiva en ratones para los investigadores del sueño.

Introduction

La puntuación de las etapas del sueño en roedores es el procedimiento para identificar las tres etapas: sueño con movimientos oculares no rápidos (NREM), sueño con movimientos oculares rápidos (REM) y vigilia2. En los roedores, la NREM se caracteriza por una reducción de la actividad muscular, una respiración lenta y regular, una disminución de la frecuencia cardíaca y oscilaciones de baja frecuencia de las ondas cerebrales. La fase REM en roedores, al igual que en los humanos, muestra atonía muscular, activación del EEG y movimientos oculares rápidos, aunque la aparición de sueños vívidos es menos clara en los roedores en comparación con los humanos 2,3. El estado de “vigilia” en los roedores se caracteriza por una actividad cerebral desincronizada con ondas de alta frecuencia y baja amplitud, aumento del tono muscular y comportamiento activo, como el acicalamiento yla exploración. Estas tres etapas pueden identificarse mediante la inspección de las señales de electroencefalograma (EEG) y electromiograma (EMG)5.

Los modelos automáticos de puntuación de las etapas del sueño en roedores son muy necesarios. En primer lugar, la puntuación manual de las etapas del sueño por parte de expertos humanos requiere mucho trabajo y tiempo. En segundo lugar, los patrones de sueño en roedores difieren de los de los humanos y tienen episodios más fragmentados de NREM y REM interespaciados por la vigilia, alrededor de 10 min, en contraste con los 60-120 min en los humanos6. Por lo tanto, identificar estos breves períodos durante la puntuación manual es un desafío. Ha habido muchos intentos desde los años 60 para desarrollar un sistema automático de puntuación de los datos del sueño de los roedores7. Aunque existen muchos métodos automatizados de puntuación del sueño de roedores, sus rendimientos varían 8,9,10,11,12,13,14,15,16,17,18. Es importante destacar que la mayoría de los modelos de alto rendimiento con alta generalización no están disponibles públicamente (algunos necesitan solicitudes especiales de los desarrolladores) o no son gratuitos para los investigadores del sueño.

Por lo tanto, para llenar el vacío tecnológico actual, desarrollamos un modelo basado en el aprendizaje automático utilizando un gran conjunto de datos de 5776 h de señales de EEG y EMG de 519 grabaciones en 124 ratones con el algoritmo LightGBM1. El lightGBM utiliza un enfoque de aumento de gradiente para construir árboles de decisión19. En Wang et al., 2023, el modelo LightGBM (que consta de más de 8000 árboles de decisión) alcanzó una precisión general del 95,2% y un kappa de Cohen de 0,91, lo que superó a dos modelos de referencia ampliamente utilizados, como el modelo de regresión logística (precisión = 93,3%) y el modelo de bosque aleatorio (precisión = 94,3%, kappa = 0,89). El rendimiento general del modelo también mostró un rendimiento similar al de los expertos humanos. Lo más importante es que se ha demostrado que el modelo es generalizable y no está sobreajustado a los datos de entrenamiento originales1: 1) Funcionó bien (precisión > 89%) en otros dos conjuntos de datos independientes disponibles públicamente, de Miladinovic y colegas11, con diferentes frecuencias de muestreo y longitudes de época; 2) El rendimiento del modelo no se ve afectado por el ciclo de luz/oscuridad de los ratones; 3) Un modelo LightGBM modificado funcionó bien con datos que contenían solo un electrodo de EEG y un electrodo de EMG con kappa ≥ 0,89; 4) Se utilizaron ratones de tipo salvaje y mutantes para las pruebas y los rendimientos del modelo fueron precisos. Esto sugiere que el modelo puede puntuar las etapas del sueño de ratones con diferentes antecedentes genéticos.

Con el fin de hacer que este modelo sea accesible para los investigadores del sueño que pueden no tener experiencia en codificación, desarrollamos IntelliSleepScorer, una herramienta de software fácil de usar con una interfaz visualmente intuitiva. El software puede automatizar completamente el procedimiento de puntuación del sueño en ratones. Produce visualizaciones interactivas de las señales, el hipnograma y los valores de explicaciones aditivas de Shapley (SHAP) a partir de una entrada de archivo de formato de datos europeo (EDF)/EDF+. El enfoque de valor SHAP, basado en la teoría de juegos cooperativos, mejora la interpretabilidad de los modelos de aprendizaje automático20. El modelo ofrece valores SHAP globales y de nivel de época, lo que revela cómo los diferentes valores de características contribuyen a la decisión de puntuación del modelo en general y para cada época. Este programa avanzado reduce significativamente el tiempo y el esfuerzo necesarios para la puntuación de las etapas del sueño en ratones, al tiempo que garantiza que el análisis posterior pueda basarse en resultados muy precisos. En este manuscrito, presentamos el uso paso a paso de IntelliSleepScorer (v1.2) con varias actualizaciones sobre la versión 1.0, incluida una opción para ejecutar el análisis SHAP por separado de la predicción del patrón de sueño, una longitud de época ajustable por el usuario para la puntuación de la etapa del sueño y una función de corrección manual de la etapa del sueño integrada dentro de la GUI.

Protocol

Este estudio utilizó datos recopilados de experimentos in vivo en ratones. No hubo experimentos en humanos involucrados en el estudio. Todos los experimentos con animales fueron aprobados por el Comité Institucional de Cuidado y Uso de Animales del Instituto Broad. Todos los experimentos se realizaron de acuerdo con las directrices y reglamentos pertinentes. Las directrices ARRIVE no son aplicables a este estudio porque el objetivo de este estudio es desarrollar modelos de aprendizaje automático en lugar de comparar diferentes grupos de tratamiento. 1. Preparación de los datos NOTA: Compatibilidad de datos: los datos grabados pueden tener cualquier frecuencia de muestreo superior a 40 Hz. No es necesario filtrar la señal de paso de banda porque el paso de banda del software filtra las señales de EEG y EMG en el primer paso. Los modelos LightGBM se desarrollaron y probaron utilizando datos de ratones. No se dispone de pruebas sobre el rendimiento de los modelos LightGBM en otros tipos de animales de laboratorio. Los electrodos de registro deben colocarse en la corteza frontal y parietal, o en cualquiera de ellos si solo se registra un canal de EEG. Disposición y requisitos de formato EDF/EDF+NOTA: El software utilizado en este estudio solo lee archivos EDF/EDF+ utilizando el paquete MNE-Python. Es necesario aplicar la especificación estándar EDF/EDF+ para generar los archivos EDF/EDF+. Además de la especificación estándar, asegúrese de que las anotaciones EDF/EDF+ estén codificadas en UTF-8. De lo contrario, la aplicación de software se bloqueará.Convierta otro formato de archivo (que no sea EDF/EDF+) al formato EDF/EDF+ con herramientas gratuitas en línea.NOTA: No es necesario el filtro del aparato al obtener señales de EEG y EMG. Siempre que los usuarios muestreen sus datos de EEG y EMG a una frecuencia de 40 Hz o superior, el software funcionará correctamente. Esto se debe a que, en el paso inicial de preprocesamiento, las señales se someten a un filtrado de paso de banda entre 1 Hz y 40 Hz. Este filtrado de paso de banda está integrado en la tubería de preprocesamiento del software, lo que elimina la necesidad de que los usuarios realicen cualquier procesamiento de señal adicional. Hay dos modelos dentro del software para la puntuación. Uno es LightGBM-2EEG y el otro es LightGBM-1EEG. El modelo LightGBM-2EEG está diseñado para registrar datos que tienen 2 canales de EEG y 1 canal EMG. Realice los siguientes pasos en función del modelo.Organice los archivos de datos para LightGBM-2EEG específicamente en el siguiente orden: 1) Canal de EEG registrado en el área parietal; 2) Canal EEG registrado en el área frontal; 3) Canal EMG. El LightGBM-1EEG está diseñado para datos que solo contienen 1 canal de EEG (colocación del electrodo en el área parietal o frontal) y 1 canal EMG. Organice los canales en archivos EDF/EDF+ para LightGBM-1EEG en el siguiente orden: 1) Canal EEG; 2) Canal EMG. 2. Descarga de IntelliSleepScorer para usuarios de Windows, Mac y Linux Para los usuarios de Windows, un ejecutable de Windows para el software está disponible mediante PyInstaller. Encuentre el enlace de descarga en la página de investigación del grupo Pan https://sites.broadinstitute.org/pan-lab/resources. Para los usuarios de MacOS o Linux, use el código fuente en el repositorio de GitHub https://github.com/broadinstitute/IntelliSleepScorer para iniciar el software. Acceda a dos datos de ejemplo grabados para probar el programa guardado como archivos EDF descargándolos a través del repositorio de GitHub. El repositorio de código fuente no incluye la carpeta models debido a los límites de tamaño. En su lugar, descargue models.zip, descomprímalo y copie la carpeta models dentro del repositorio para que se ejecute el programa. De lo contrario, el software se bloqueará debido a la falta de archivos de modelo. 3. Flujo de trabajo e inicio y operación del programa Lanzamiento de IntelliSleepScorerPara iniciar el software en Windows, haga doble clic en IntelliSleepScorer.exe se encuentra en la carpeta raíz. Para iniciar el software en MacOS o Linux, abra un emulador de terminal, cambie el directorio a la carpeta raíz del software y, a continuación, inicie el software mediante el comando: python3 IntelliSleepScorer.py. Una vez que se abra el software, haga clic en Seleccionar archivo(s) EDF/EDF+ para seleccionar los archivos que desea puntuar. Si los archivos se seleccionaron por error, haga clic en el botón Borrar para borrar la lista de archivos seleccionados.NOTA: De forma predeterminada, el software codifica las etapas de sueño como Wake:1, NREM:2 y REM:3 en los archivos de puntuación de salida. La longitud de época predeterminada se establece en 10 s. La versión actual (v1.2) de la GUI permite a los usuarios cambiar las codificaciones de etapa o las longitudes de época a 4 s, 10 s o 20 s con el menú desplegable. Seleccione la longitud de época deseada. Utilice el menú desplegable proporcionado para seleccionar la duración de época deseada entre las opciones de 4 s, 10 s y 20 s para la puntuación de la etapa del sueño. Seleccione el modelo que se va a utilizar para la puntuación del sueño. LightGBM-2EEG está diseñado para archivos de datos con dos canales de EEG y un canal EMG, mientras que LightGBM-1EEG está diseñado para datos con un canal de EEG y un canal de EMG. Antes de ejecutar la predicción de la etapa del sueño, incluya el cálculo SHAP adicional que ayuda a explicar los resultados de la predicción de la etapa del sueño. Para procesar el cálculo de SHAP, marque la casilla de verificación Ejecutar/Trazar SHAP . El cálculo de SHAP requiere alrededor de 5-10 minutos para procesarse. Haga clic en Puntuar todos los archivos. El modelo puntúa automáticamente todos los archivos EDF/EDF+ y calcula los valores SHAP globales y de época para interpretar las decisiones de puntuación de la lista si se elige para ello.NOTA: Durante el proceso de puntuación, el modelo genera los siguientes archivos y los guarda en la misma carpeta donde se encuentran los archivos EDF/EDF+. El modelo utiliza estos archivos para trazar los valores SHAP globales y los valores SHAP de época.”Nombre de archivo EDF/EDF+}_{model_name}_features.csv”; Este archivo almacena todos los valores de características extraídos.”Nombre de archivo EDF/EDF+}_{model_name}_scores.csv”; Este archivo almacena las etapas de sueño predichas.”Nombre de archivo EDF/EDF+}_{model_name}_rs_100hz.npy”; Este archivo almacena una copia de las señales remuestreadas/submuestreadas (100 Hz). Para mejorar la velocidad de visualización, el modelo utiliza la señal submuestreada en lugar de la señal original al trazar la señal.”Nombre de archivo EDF/EDF+}_{model_name}explicador. pepinillo”; “{EDF/EDF+ nombre de archivo}{model_name}shap_500samples.pickle”; “{EDF/EDF+ nombre de archivo}{model_name}_indicies_500samples.npy”; Después de finalizar el proceso de puntuación del sueño, haga clic en la opción Visualizar el archivo seleccionado para visualizar las señales de EEG / EMG y un hipnograma alineado en el tiempo con las señales.Vuelva a puntuar el archivo seleccionado antes de la visualización si se cambia la longitud de la época. 4. Navegar por los resultados puntuados Haga clic en los botones de navegación proporcionados para avanzar y retroceder para ver diferentes datos de época. Si se elige el cálculo de SHAP, vea los valores de SHAP globales y de nivel de época. Haga clic con el botón derecho en una época para trazar los valores SHAP a nivel de época.NOTA: Tardará unos segundos en actualizar el gráfico SHAP a nivel de época. La Figura 1 muestra la descripción general de la página GUI después de ejecutar la predicción para el archivo EDF/EDF+ Ejemplo-1 con el modelo 1_LightBGM-2EEG. 5. Interpretación del hipnograma de las etapas del sueño puntuadas NOTA: Hay 4 filas en el hipnograma (Figura 2). La fila superior son los resultados previstos. Las 3 filas inferiores son datos brutos de 2 canales EEG y 1 EMG, respectivamente. En la fila superior, el naranja sugiere la etapa de estela , el azul sugiere la etapa NREM y el rojo sugiere la etapa REM en cada época. Para cambiar el número de épocas que se mostrarán, haga clic en el cuadro de menú a la derecha de Seleccionar número de épocas para mostrar y elija el valor deseado. En la Figura 2, se eligieron 100 épocas. Por lo tanto, solo se muestran 100 épocas en el gráfico de predicción de la etapa del sueño. Seleccione un número más pequeño en el menú desplegable para ampliar el gráfico. La barra transparente rosa a la izquierda de la Figura 2 indica la ubicación actual de la época. Haga clic con el botón izquierdo en cualquier lugar del hipnograma para cambiar a otra época, o simplemente haga clic en Ir a la época e ingrese un número específico de épocas a observar. Haga clic con el botón derecho en la época seleccionada para generar su gráfico SHAP de época si el usuario ha habilitado la función SHAP. 6. Corrección manual de las etapas de sueño previstas en la GUI (opcional) NOTA: si no se observa ninguna anomalía o no se requiere una precisión extremadamente alta para la predicción de la etapa REM, no es necesaria la verificación manual. Haga clic con el botón izquierdo en una época en el gráfico de predicción de la etapa del sueño (gráfico superior) para seleccionar una época específica. La etapa predicha del modelo de la época seleccionada se muestra a la derecha del texto. Para cambiar manualmente la etapa predicha en esa época, haga clic en el widget y seleccione una nueva etapa de las opciones Wake, NREM y REM en el menú desplegable. Las etapas corregidas por el usuario están marcadas con líneas discontinuas en la parte superior de la gráfica original (Figura 3). Cierre la GUI y se generará automáticamente un nuevo archivo con los resultados de predicción corregidos en la misma carpeta.Para volver a abrir un archivo de partituras guardado en la GUI, asegúrese de que el ajuste de la longitud de época y el modelo seleccionado coincidan con el utilizado cuando se procesó inicialmente el archivo EDF para poder volver a abrirlo. Toda la información previamente modificada/puntuada se cargará rápidamente.

Representative Results

Hay tres gráficos (solo el gráfico superior si no se ejecutaron los valores de SHAP) generados en la GUI después de la puntuación de la etapa del sueño: el gráfico superior presenta los canales EEG y EMG con un hipnograma de la predicción de la etapa del sueño. El gráfico del medio presenta los valores SHAP de la época. El gráfico inferior presenta los valores globales de SHAP (Figura 1). Hay 4 tipos de datos presentado…

Discussion

En este documento se presenta cómo utilizar la interfaz gráfica de usuario IntelliSleepScorer (v1.2) para puntuar automáticamente las etapas del sueño de los ratones y cómo aprovechar los valores/gráficos SHAP para comprender mejor las puntuaciones de las etapas del sueño generadas por el modelo.

Una consideración importante a la hora de utilizar el software es la compatibilidad de los datos. Los datos internos utilizados en este estudio se limitaron a…

Divulgaciones

The authors have nothing to disclose.

Acknowledgements

Agradecemos a Kerena Yan y Jingwen Hu por anotar manualmente las etapas del sueño y a Eunah y Soonwiik por las grabaciones.

Materials

Canonical Unbuntu 18.04 Canonical https://releases.ubuntu.com/18.04/ Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux
Intel Core i7-8550U CPU @ 1.80 GHz 1.99 GHz; RAM: 24 GB  Intel Corp https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html Hardware requirment for the software: Both Inte Core listed here have been used to process the data. It takes around 10 min to process 12 h of recording sampled at 1000 Hz for both hardwares. Any similar or superior hardware would yield comparable or better performance.  
Intel Core i7-10610U CPU @1.80 GHz 2.30 GHz; RAM: 16 GB Intel Corp https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html Hardware requirment for the software: Both Inte Core listed here have been used to process the data. It takes around 10 min to process 12 h of recording sampled at 1000 Hz for both hardwares. Any similar or superior hardware would yield comparable or better performance.  
LightGBM Microsoft https://lightgbm.readthedocs.io/en/latest/index.html Machine learning-based algorithm that was used to train the software. 
MacBook Pro Apple https://www.apple.com/in/macbook-pro/ Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux
Windows Microsoft https://www.microsoft.com/en-in/windows/?r=1 Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux

Referencias

  1. Wang, L. A., Kern, R., Yu, E., Choi, S., Pan, J. Q. Intellisleepscorer, a software package with a graphic user interface for automated sleep stage scoring in mice based on a light gradient boosting machine algorithm. Sci Rep. 13 (1), 4275 (2023).
  2. Astori, S., Wimmer, R. D., Luthi, A. Manipulating sleep spindles–expanding views on sleep, memory, and disease. Trends Neurosci. 36 (12), 738-748 (2013).
  3. Fraigne, J. J., Torontali, Z. A., Snow, M. B., Peever, J. H. Rem sleep at its core-circuits, neurotransmitters, and pathophysiology. Front Neurol. 6, 123 (2015).
  4. Huber, R., Deboer, T., Tobler, I. Effects of sleep deprivation on sleep and sleep eeg in three mouse strains: Empirical data and simulations. Brain Res. 857 (1-2), 8-19 (2000).
  5. Brown, R. E., Basheer, R., Mckenna, J. T., Strecker, R. E., Mccarley, R. W. Control of sleep and wakefulness. Physiol Rev. 92 (3), 1087-1187 (2012).
  6. Lacroix, M. M., et al. Improved sleep scoring in mice reveals human-like stages. BioRxiv. 489005, (2018).
  7. Rayan, A., et al. Sleep scoring in rodents: Criteria, automatic approaches and outstanding issues. Eur J Neurosci. 59 (4), 526-553 (2024).
  8. Yamabe, M., et al. Mc-sleepnet: Large-scale sleep stage scoring in mice by deep neural networks. Sci Rep. 9 (1), 15793 (2019).
  9. Katsuki, F., Spratt, T. J., Brown, R. E., Basheer, R., Uygun, D. S. Sleep-deep-learner is taught sleep-wake scoring by the end-user to complete each record in their style. Sleep Adv. 5 (1), zpae022 (2024).
  10. Allocca, G., et al. Validation of ‘somnivore’, a machine learning algorithm for automated scoring and analysis of polysomnography data. Front Neurosci. 13, 207 (2019).
  11. Jha, P. K., Valekunja, U. K., Reddy, A. B. Slumbernet: Deep learning classification of sleep stages using residual neural networks. Sci Rep. 14 (1), 4797 (2024).
  12. Barger, Z., Frye, C. G., Liu, D., Dan, Y., Bouchard, K. E. Robust, automated sleep scoring by a compact neural network with distributional shift correction. PLoS One. 14 (12), e0224642 (2019).
  13. Miladinovic, D., et al. Spindle: End-to-end learning from eeg/emg to extrapolate animal sleep scoring across experimental settings, labs and species. PLoS Comput Biol. 15 (4), e1006968 (2019).
  14. Brodersen, P. J. N., et al. Somnotate: A probabilistic sleep stage classifier for studying vigilance state transitions. PLoS Comput Biol. 20 (1), e1011793 (2024).
  15. Akada, K., et al. A deep learning algorithm for sleep stage scoring in mice based on a multimodal network with fine-tuning technique. Neurosci Res. 173, 99-105 (2021).
  16. Rytkonen, K. M., Zitting, J., Porkka-Heiskanen, T. Automated sleep scoring in rats and mice using the naive Bayes classifier. J Neurosci Methods. 202 (1), 60-64 (2011).
  17. Kam, K., Rapoport, D. M., Parekh, A., Ayappa, I., Varga, A. W. Wavesleepnet: An interpretable deep convolutional neural network for the continuous classification of mouse sleep and wake. J Neurosci Methods. 360, 109224 (2021).
  18. Crisler, S., Morrissey, M. J., Anch, A. M., Barnett, D. W. Sleep-stage scoring in the rat using a support vector machine. J Neurosci Methods. 168 (2), 524-534 (2008).
  19. Ke, G., et al. Lightgbm: A highly efficient gradient boosting decision tree. Neural Information Processing Systems. , (2017).
  20. Lundberg, S. M., Lee, S. I. A unified approach to interpreting model predictions. , 4768-4777 (2017).
This article has been published
Video Coming Soon
Keep me updated:

.

Citar este artículo
Zhu, Z., Wang, L. A., Kern, R., Pan, J. Q. IntelliSleepScorer, a Software Package with a Graphic User Interface for Mice Automated Sleep Stage Scoring. J. Vis. Exp. (213), e66950, doi:10.3791/66950 (2024).

View Video