Summary

Mesure du flux d’informations directionnelles dans les données d’hyperscan fNIRS à l’aide de la méthode de cohérence de transformation partielle des ondelettes

Published: September 03, 2021
doi:

Summary

Ce protocole décrit la cohérence partielle de la transformation des ondelettes (pWTC) pour calculer le modèle décalé dans le temps de la synchronisation neuronale interpersonnelle (INS) afin de déduire la direction et le modèle temporel du flux d’informations au cours de l’interaction sociale. L’efficacité du pWTC dans l’élimination des confusions de l’autocorrélation du signal sur l’INS a été prouvée par deux expériences.

Abstract

L’interaction sociale est d’une importance vitale pour les êtres humains. Alors que l’approche de l’hyperscan a été largement utilisée pour étudier la synchronisation neuronale interpersonnelle (INS) au cours des interactions sociales, la spectroscopie fonctionnelle dans le proche infrarouge (fNIRS) est l’une des techniques les plus populaires pour hyperscanner les interactions sociales naturalistes en raison de sa résolution spatiale relativement élevée, de sa localisation anatomique sonore et de sa tolérance exceptionnellement élevée aux artefacts de mouvement. Les études précédentes d’hyperscan basées sur fNIRS calculent généralement un INS décalé dans le temps en utilisant la cohérence de transformation d’ondelettes (WTC) pour décrire la direction et le modèle temporel du flux d’informations entre les individus. Cependant, les résultats de cette méthode pourraient être confondus par l’effet d’autocorrélation du signal fNIRS de chaque individu. Pour résoudre ce problème, une méthode appelée cohérence de transformation partielle des ondelettes (pWTC) a été introduite, qui visait à éliminer l’effet d’autocorrélation et à maintenir la haute résolution du spectre temporel du signal fNIRS. Dans cette étude, une expérience de simulation a d’abord été réalisée pour montrer l’efficacité du pWTC dans l’élimination de l’impact de l’autocorrélation sur l’INS. Ensuite, des conseils étape par étape ont été offerts sur le fonctionnement du pWTC basé sur l’ensemble de données fNIRS d’une expérience d’interaction sociale. De plus, une comparaison entre la méthode pWTC et la méthode WTC traditionnelle et celle entre la méthode pWTC et la méthode de causalité de Granger (GC) a été établie. Les résultats ont montré que le pWTC pouvait être utilisé pour déterminer la différence INS entre différentes conditions expérimentales et le modèle directionnel et temporel de l’INS entre les individus au cours des interactions sociales naturalistes. De plus, il offre une meilleure résolution temporelle et de fréquence que le WTC traditionnel et une meilleure flexibilité que la méthode GC. Ainsi, pWTC est un candidat solide pour déduire la direction et le modèle temporel du flux d’informations entre les individus au cours des interactions sociales naturalistes.

Introduction

L’interaction sociale est d’une importance vitale pour les êtres humains 1,2. Pour comprendre le mécanisme neurocognitif à double cerveau de l’interaction sociale, l’approche de l’hyperscan a récemment été largement utilisée, montrant que les modèles de synchronisation neuronale interpersonnelle (INS) peuvent bien caractériser le processus d’interaction sociale 3,4,5,6,7,8,9,10,11,12 ,13,14. Parmi les études récentes, une découverte intéressante est que la différence de rôle des individus dans une dyade peut conduire à un modèle de décalage temporel de l’INS, c’est-à-dire que l’INS se produit lorsque l’activité cérébrale d’un individu est inférieure de quelques secondes à celle d’un autre individu, comme celle des auditeurs aux locuteurs 5,9, des leaders aux adeptes 4, des enseignants aux élèves8, des mères aux enfants13,15, et des femmes aux hommes dans un couple romantique6. Plus important encore, il existe une bonne correspondance entre l’intervalle de l’INS décalé dans le temps et celui des comportements d’interaction sociale, comme entre les enseignants qui posent des questions et les élèves qui répondent à8 ou entre les comportements parentaux des mères et les comportements de conformité des enfants15. Ainsi, l’INS décalé dans le temps peut refléter un flux d’informations directionnel d’un individu à un autre, comme le propose un modèle hiérarchique récent pour la communication verbale interpersonnelle16.

Auparavant, l’INS décalé dans le temps était principalement calculé sur le signal de spectroscopie proche infrarouge fonctionnelle (fNIRS) en raison de sa résolution spatiale relativement élevée, de sa localisation anatomique sonore et de sa tolérance exceptionnellement élevée aux artefacts de mouvement17 lors de l’étude des interactions sociales naturalistes. De plus, pour caractériser précisément la correspondance entre le décalage temporel neuronal et le décalage temporel comportemental lors de l’interaction sociale, il est essentiel d’obtenir la force INS pour chaque décalage temporel (par exemple, de l’absence de décalage temporel à un décalage temporel de 10 s). À cette fin, auparavant, la procédure de cohérence de transformation d’ondelettes (WTC) était largement appliquée après avoir déplacé le signal cérébral d’un individu vers l’avant ou vers l’arrière par rapport à celui d’un autre individu 5,6,18. Lors de l’utilisation de cette procédure WTC traditionnelle pour les signaux fNIRS, il existe un défi potentiel car l’INS observé en retard dans le temps peut être confondu par l’effet d’autocorrélation du signal fNIRS pour un individu 19,20,21. Par exemple, au cours d’un processus d’interaction sociale dyadique, le signal du participant A au point de temps t peut être synchronisé avec celui du participant B au même point de temps. Pendant ce temps, le signal du participant A au point de temps t peut être synchronisé avec celui du participant A à un point de temps ultérieur t + 1 en raison de l’effet d’autocorrélation. Par conséquent, un faux INS décalé dans le temps peut se produire entre le signal du participant A au point de temps t et celui du participant B au point de temps t + 1.

Mihanović et ses collègues22 ont d’abord introduit une méthode appelée cohérence partielle de transformation des ondelettes (pWTC), puis l’ont appliquée aux sciences de la mer23,24. Le but initial de cette méthode était de contrôler le bruit de confusion exogène lors de l’estimation de la cohérence de deux signaux. Ici, pour résoudre le problème d’autocorrélation dans les données d’hyperscan fNIRS, la méthode pWTC a été étendue pour calculer l’INS décalé dans le temps sur le signal fNIRS. Précisément, un INS retardé dans le temps (et un flux d’informations directionnel) du participant A au participant B peut être calculé à l’aide de l’équation ci-dessous (équation 1)23.

Equation 1

Ici, on suppose qu’il y a deux signaux, A et B, des participants A et B, respectivement. L’occurrence du signal B précède toujours celle du signal A avec un décalage temporel de n, où WTC (At, Bt+n) est le WTC traditionnel décalé dans le temps. WTC (At, At+n) est le WTC autocorrélé chez le participant A. WTC (At, Bt) est le WTC aligné dans le temps au point de temps t entre le participant A et B. * est l’opérateur conjugué complexe (Figure 1A).

Figure 1
Figure 1 : Vue d’ensemble de pWTC. (A) La logique du pWTC. Il y a deux signaux A et B, dans une dyade. L’occurrence de A suit toujours celle de B avec un décalage n. Une boîte grise est une fenêtre d’ondelettes à un certain point de temps t ou t + n. Sur la base de l’équation pWTC (représentée sur la figure), trois WTC doivent être calculés: le WTC décalé dans le temps de At + n et Bt; le WTC autocorrélé chez le participant A de At et At+n; et le WTC aligné dans le temps aux points de temps t, At et Bt. (B) Disposition des ensembles de sondes optode. CH11 a été placé au T3, et LE CH25 a été placé au T4 selon le système international 10-2027,28. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Ce protocole a d’abord introduit une expérience de simulation pour démontrer dans quelle mesure le pWTC résout le défi de l’autocorrélation. Ensuite, il a expliqué comment mener le pWTC de manière étape par étape basée sur une expérience empirique d’interactions sociales naturalistes. Ici, un contexte de communication a été utilisé pour introduire la méthode. En effet, auparavant, l’INS décalé dans le temps était généralement calculé dans un contexte de communication naturaliste 3,4,6,8,13,15,18. De plus, une comparaison entre le pWTC et le WTC traditionnel et une validation avec le test de causalité de Granger (GC) ont également été effectuées.

Protocol

Le protocole d’expérimentation humaine a été approuvé par le comité d’examen institutionnel et le comité d’éthique du Laboratoire clé d’État des neurosciences cognitives et de l’apprentissage de l’Université normale de Beijing. Tous les participants ont donné leur consentement éclairé écrit avant le début de l’expérience. 1. L’expérience de simulation Générez deux séries chronologiques de signaux qui sont en corrélation les uns avec les autres, av…

Representative Results

Résultats de la simulationLes résultats ont montré que leWTC INS avec autocorrélation retardé dans le temps était significativement plus élevé que leWTC INS retardé dans le temps sans autocorrélation (t(1998) = 4,696, p < 0,001) et l’INSpWTC décalé dans le temps (t(1998) = 5,098, p < 0,001). De plus, il n’y avait pas de différence significative entre l’INSWTC sans autocorrélation décalé dans le temps et l’I…

Discussion

Dans les études d’hyperscan, il est généralement essentiel de décrire les modèles directionnels et temporels de la circulation de l’information entre les individus. La plupart des études précédentes sur l’hyperscan fNIRS ont utilisé le WTC25 traditionnel pour déduire ces caractéristiques en calculant l’INS décalé dans le temps. Cependant, comme l’une des caractéristiques intrinsèques du signal fNIRS20,21, l’effet…

Offenlegungen

The authors have nothing to disclose.

Acknowledgements

Ce travail a été soutenu par la National Natural Science Foundation of China (61977008) et le Young Top Notch Talents of Ten Thousand Talent Program.

Materials

fNIRS topography system Shimadzu Corporation Shimadzu LABNIRS systen LABNIRS system contains 40 emitters and 40 detectors for fNIRS signals measurement. In this protocol we used these emitters and detectors created two customized 26-channels probe sets and attached to two caps accroding to 10-20 system. Further, LABNIRS system also contains built-in GUI softwares for data quality check, data convert and data export.
MATLAB The MathWorks, Inc. MATLAB 2019a In this protocol, several toolboxs and functions bulit in MATLAB were used:
SPM12 toolbox was used to normalize the valided MRI data through its GUI.
NIRS_SPM toolbox was used to project the MNI coordinates of the probes to the AAL template through its GUI.
Homer3 toolbox was used to remove motion artifacts through its function hmrMotionCorrectWavelet with default parameters.
Wavelet toolbox was used to compute WTC and pWTC through its function wcoherence.
MRI scanner Siemens Healthineers TRIO 3-Tesla scanner In this protocol, the MRI scanner was used to obtain MNI coordinates of each channel and optpde. Scan parameters are described in main text.
customized caps In this protocol, we first marked two nylon caps with 10-20 system. Then, we made two 26-channels customized optode probes sets. Finally, we attached probes sets to caps aligned with landmarks.

Referenzen

  1. Hasson, U., Ghazanfar, A. A., Galantucci, B., Garrod, S., Keysers, C. Brain-to-brain coupling: A mechanism for creating and sharing a social world. Trends in Cognitive Sciences. 16 (2), 114-121 (2012).
  2. Hasson, U., Frith, C. D. Mirroring and beyond: Coupled dynamics as a generalized framework for modelling social interactions. Philosophical Transactions of the Royal Society B: Biological Sciences. 371, 20150366 (2016).
  3. Jiang, J., et al. Neural synchronization during face-to-face communication. Journal of Neuroscience. 32 (45), 16064-16069 (2012).
  4. Jiang, J., et al. Leader emergence through interpersonal neural synchronization. Proceedings of the National Academy of Sciences of the United States of America. 112 (14), 4274-4279 (2015).
  5. Dai, B., et al. Neural mechanisms for selectively tuning in to the target speaker in a naturalistic noisy situation. Nature Communications. 9 (1), 1-12 (2018).
  6. Long, Y., et al. Interpersonal neural synchronization during interpersonal touch underlies affiliative pair bonding between romantic couples. Cerebral Cortex. 31 (3), 1647-1659 (2021).
  7. Liu, W., et al. Shared neural representations of syntax during online dyadic communication. NeuroImage. 198, 63-72 (2019).
  8. Zheng, L., et al. Enhancement of teaching outcome through neural prediction of the students’ knowledge state. Human Brain Mapping. 39 (7), 3046-3057 (2018).
  9. Stephens, G. J., Silbert, L. J., Hasson, U. Speaker-listener neural coupling underlies successful communication. Proceedings of the National Academy of Sciences of the United States of America. 107 (32), 14425-14430 (2010).
  10. Hirsch, J., et al. Interpersonal agreement and disagreement during face-to-face dialogue: An fNIRS investigation. Frontiers in Human Neuroscience. 14, 606397 (2021).
  11. Pan, Y., Cheng, X., Zhang, Z., Li, X., Hu, Y. Cooperation in lovers: An fNIRS-based hyperscanning study. Human Brain Mapping. 38 (2), 831-841 (2017).
  12. Cui, X., Bryant, D. M., Reiss, A. L. NIRS-based hyperscanning reveals increased interpersonal coherence in superior frontal cortex during cooperation. NeuroImage. 59 (3), 2430-2437 (2012).
  13. Piazza, E. A., Hasenfratz, L., Hasson, U., Lew-Williams, C. Infant and Adult Brains Are Coupled to the Dynamics of Natural Communication. Psychological Science. 31 (1), 6-17 (2020).
  14. Djalovski, A., Dumas, G., Kinreich, S., Feldman, R. Human attachments shape interbrain synchrony toward efficient performance of social goals. NeuroImage. 226, 117600 (2021).
  15. Zhao, H., et al. How mother-child interactions are associated with a child’s compliance. Cerebral Cortex. 31 (9), 4398-4410 (2021).
  16. Jiang, J., Zheng, L., Lu, C. A hierarchical model for interpersonal verbal communication. Social Cognitive and Affective Neuroscience. 16 (1-2), 246-255 (2021).
  17. Yan, W., et al. Bibliometric evaluation of 2000-2019 publications on functional near-infrared spectroscopy. NeuroImage. 220, 117121 (2020).
  18. Zheng, L., et al. Affiliative bonding between teachers and students through interpersonal synchronisation in brain activity. Social Cognitive and Affective Neuroscience. 15 (1), 97-109 (2020).
  19. Dean, R. T., Dunsmuir, W. T. M. Dangers and uses of cross-correlation in analyzing time series in perception, performance, movement, and neuroscience: The importance of constructing transfer function autoregressive models. Behavior Research Methods. 48 (2), 783-802 (2016).
  20. Barker, J. W., Rosso, A. L., Sparto, P. J., Huppert, T. J. Correction of motion artifacts and serial correlations for real-time functional near-infrared spectroscopy. Neurophotonics. 3 (3), 031410 (2016).
  21. Huppert, T. J. Commentary on the statistical properties of noise and its implication on general linear models in functional near-infrared spectroscopy. Neurophotonics. 3 (1), 010401 (2016).
  22. Mihanović, H., Orlić, M., Pasarić, Z. Diurnal thermocline oscillations driven by tidal flow around an island in the Middle Adriatic. Journal of Marine Systems. 78, 157-168 (2009).
  23. Ng, E. K. W., Chan, J. C. L. Geophysical applications of partial wavelet coherence and multiple wavelet coherence. Journal of Atmospheric and Oceanic Technology. 29 (12), 1845-1853 (2012).
  24. Ng, E. K. W., Chan, J. C. L. Interannual variations of tropical cyclone activity over the north Indian Ocean. International Journal of Climatology. 32 (6), 819-830 (2012).
  25. Grinsted, A., Moore, J. C., Jevrejeva, S. Application of the cross wavelet transform and wavelet coherence to geophysical time series. Nonlinear Processes in Geophysics. 11, 561-566 (2004).
  26. Jurcak, V., Tsuzuki, D., Dan, I. 10/20, 10/10, and 10/5 systems revisited: Their validity as relative head-surface-based positioning systems. NeuroImage. 34 (4), 1600-1611 (2007).
  27. Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalography and Clinical Neurophysiology. 66 (4), 376-382 (1987).
  28. Koessler, L., et al. Automated cortical projection of EEG sensors: Anatomical correlation via the international 10-10 system. NeuroImage. 46 (1), 64-72 (2009).
  29. Penny, W., Friston, K., Ashburner, J., Kiebel, S., Nichols, T. . Statistical Parametric Mapping: The Analysis of Functional Brain Images. , (2007).
  30. Shalinsky, M. H., Kovelman, I., Berens, M. S., Petitto, L. A. Exploring cognitive functions in babies, children & adults with near infrared spectroscopy. Journal of Visualized Experiments: JoVE. (29), e1268 (2009).
  31. Xu, S. Y., Cheong, L. I., Zhuang, Y., Couto, T. A. P., Yuan, Z. Conducting concurrent electroencephalography and functional near-infrared spectroscopy recordings with a flanker task. Journal of Visualized Experiments: JoVE. (159), e6069 (2020).
  32. Noah, J. A., et al. fMRI validation of fNIRS measurements during a naturalistic task. Journal of Visualized Experiments: JoVE. (100), e52116 (2015).
  33. Tong, Y., Lindsey, K. P., Frederick, B. D. Partitioning of physiological noise signals in the brain with concurrent near-infrared spectroscopy and fMRI. Journal of Cerebral Blood Flow and Metabolism. 31 (12), 2352-2362 (2011).
  34. Buck, R., Miller, R. E., Caul, W. F. Sex, personality, and physiological variables in the communication of affect via facial expression. Journal of Personality and Social Psychology. 30 (4), 587-596 (1974).
  35. Walen, H. R., Lachman, M. E. Social support and strain from partner, family, and friends: Costs and benefits for men and women in adulthood. Journal of Social and Personal Relationships. 17 (1), 5-30 (2000).
  36. Chang, C., Glover, G. H. Time-frequency dynamics of resting-state brain connectivity measured with fMRI. NeuroImage. 50 (1), 81-98 (2010).
  37. Liu, H., et al. Inferring subsurface preferential flow features from a wavelet analysis of hydrological signals in the shale hills catchment. Water Resources Research. 56 (11), 0 (2020).
  38. Rhif, M., Abbes, A. B., Farah, I. R., Martínez, B., Sang, Y. Wavelet transform application for/in non-stationary time-series analysis: A review. Applied Sciences. 9 (7), 1345 (2019).
  39. Molavi, B., Dumont, G. A. Wavelet-based motion artifact removal for functional near-infrared spectroscopy. Physiological Measurement. 33 (2), 259-270 (2012).
  40. Scholkmann, F., Spichtig, S., Muehlemann, T., Wolf, M. How to detect and reduce movement artifacts in near-infrared imaging using moving standard deviation and spline interpolation. Physiological Measurement. 31 (5), 649-662 (2010).
  41. Zhang, Y., Brooks, D. H., Franceschini, M. A., Boas, D. A. Eigenvector-based spatial filtering for reduction of physiological interference in diffuse optical imaging. Journal of Biomedical Optics. 10 (1), 011014 (2005).
  42. Cui, X., Bray, S., Reiss, A. L. Functional near infrared spectroscopy (NIRS) signal improvement based on negative correlation between oxygenated and deoxygenated hemoglobin dynamics. NeuroImage. 49 (4), 3039-3046 (2010).
  43. Cooper, R. J., et al. A systematic comparison of motion artifact correction techniques for functional near-infrared spectroscopy. Frontiers in Neuroscience. , 147 (2012).
  44. Brigadoi, S., et al. Motion artifacts in functional near-infrared spectroscopy: A comparison of motion correction techniques applied to real cognitive data. NeuroImage. 85, 181-191 (2014).
  45. Liu, Y., et al. Measuring speaker-listener neural coupling with functional near infrared spectroscopy. Scientific Reports. 7, 1-13 (2017).
  46. Li, Z., et al. Speaker-listener neural coupling reveals an adaptive mechanism for speech comprehension in a noisy environment. Cerebral Cortex. , (2021).

Play Video

Diesen Artikel zitieren
Zhou, S., Long, Y., Lu, C. Measurement of the Directional Information Flow in fNIRS-Hyperscanning Data using the Partial Wavelet Transform Coherence Method. J. Vis. Exp. (175), e62927, doi:10.3791/62927 (2021).

View Video