Summary

Meting van de directionele informatiestroom in fNIRS-Hyperscanning-gegevens met behulp van de Partial Wavelet Transform Coherence Method

Published: September 03, 2021
doi:

Summary

Dit protocol beschrijft partiële wavelettransformatiecoherentie (pWTC) voor het berekenen van het tijd-vertraagde patroon van interpersoonlijke neurale synchronisatie (INS) om de richting en het temporele patroon van informatiestroom tijdens sociale interactie af te leiden. De effectiviteit van pWTC bij het verwijderen van de confounds van signaalautocorrelatie op INS werd bewezen door twee experimenten.

Abstract

Sociale interactie is van vitaal belang voor de mens. Hoewel de hyperscanning-benadering uitgebreid is gebruikt om interpersoonlijke neurale synchronisatie (INS) tijdens sociale interacties te bestuderen, is functionele nabij-infraroodspectroscopie (fNIRS) een van de meest populaire technieken voor hyperscanning naturalistische sociale interacties vanwege de relatief hoge ruimtelijke resolutie, geluidsanatomische lokalisatie en uitzonderlijk hoge tolerantie voor bewegingsartefacten. Eerdere op fNIRS gebaseerde hyperscanningstudies berekenen meestal een in de tijd vertraagde INS met behulp van wavelettransformatiecoherentie (WTC) om de richting en het temporele patroon van informatiestroom tussen individuen te beschrijven. De resultaten van deze methode kunnen echter worden verstoord door het autocorrelatie-effect van het fNIRS-signaal van elk individu. Om dit probleem aan te pakken, werd een methode geïntroduceerd die partiële wavelettransformatiecoherentie (pWTC) werd genoemd, die tot doel had het autocorrelatie-effect te verwijderen en de hoge temporele spectrumresolutie van het fNIRS-signaal te behouden. In deze studie werd eerst een simulatie-experiment uitgevoerd om de effectiviteit van de pWTC aan te tonen bij het verwijderen van de impact van autocorrelatie op INS. Vervolgens werd stapsgewijze begeleiding geboden over de werking van de pWTC op basis van de fNIRS-dataset uit een sociaal interactie-experiment. Daarnaast werd een vergelijking gemaakt tussen de pWTC-methode en de traditionele WTC-methode en die tussen de pWTC-methode en de Granger causaliteit (GC) methode. De resultaten toonden aan dat pWTC kon worden gebruikt om het INS-verschil tussen verschillende experimentele omstandigheden en het directionele en temporele patroon van INS tussen individuen tijdens naturalistische sociale interacties te bepalen. Bovendien biedt het een betere temporele en frequentieresolutie dan het traditionele WTC en een betere flexibiliteit dan de GC-methode. PWTC is dus een sterke kandidaat voor het afleiden van de richting en het temporele patroon van informatiestroom tussen individuen tijdens naturalistische sociale interacties.

Introduction

Sociale interactie is van levensbelang voor de mens 1,2. Voor het begrijpen van het neurocognitieve mechanisme van sociale interactie in de dubbele hersenen, is de hyperscanning-benadering onlangs uitgebreid gebruikt, waaruit blijkt dat de patronen van interpersoonlijke neurale synchronisatie (INS) het sociale interactieproces goed kunnen karakteriseren 3,4,5,6,7,8,9,10,11,12 ,13,14. Onder recente studies is een interessante bevinding dat het rolverschil van individuen in een dyade kan leiden tot een tijdsvertragingspatroon van INS, d.w.z. INS treedt op wanneer de hersenactiviteit van een individu seconden achterblijft bij die van een ander individu, zoals die van luisteraars tot sprekers 5,9, van leiders tot volgers4, van leerkrachten tot leerling8, van moeders tot kinderenvan 13,15, en van vrouwen tot mannen in een romantisch koppel6. Het belangrijkste is dat er een goede overeenkomst is tussen het interval van de ins met een tijdsachterstand en dat van sociaal interactiegedrag, zoals tussen leraren die vragen stellen en studenten die8 beantwoorden of tussen ouderschapsgedrag van moeders en volgzaam gedrag van kinderen15. Ins met een tijdsachterstand kan dus een directionele informatiestroom van het ene individu naar het andere weerspiegelen, zoals voorgesteld in een recent hiërarchisch model voor interpersoonlijke verbale communicatie16.

Voorheen werd de in de tijd vertraagde INS voornamelijk berekend op het functionele nabij-infraroodspectroscopie (fNIRS) signaal vanwege de relatief hoge ruimtelijke resolutie, geluidsanatomische lokalisatie en uitzonderlijk hoge tolerantie voor bewegingsartefacten17 bij het bestuderen van naturalistische sociale interacties. Bovendien, om de overeenkomst tussen de neurale tijdsvertraging en de gedragsmatige tijdsvertraging tijdens sociale interactie nauwkeurig te karakteriseren, is het essentieel om de INS-sterkte voor elke vertraging te verkrijgen (bijvoorbeeld van geen tijdsvertraging tot een vertraging van 10 s). Voor dit doel werd eerder de wavelet transform coherence (WTC) -procedure uitgebreid toegepast na het verschuiven van het hersensignaal van een individu naar voren of naar achteren ten opzichte van dat van een ander individu 5,6,18. Bij het gebruik van deze traditionele WTC-procedure voor fNIRS-signalen is er een potentiële uitdaging omdat de waargenomen ins met een vertraagde tijd kan worden verstoord door het autocorrelatie-effect van het fNIRS-signaal voor een individuele 19,20,21. Tijdens een dyadisch sociaal interactieproces kan bijvoorbeeld het signaal van deelnemer A op tijdstip t worden gesynchroniseerd met dat van deelnemer B op hetzelfde tijdstip. Ondertussen kan het signaal van deelnemer A op tijdstip t worden gesynchroniseerd met dat van deelnemer A op een later tijdstip t+1 vanwege het autocorrelatie-effect. Daarom kan een valse tijdsachterstand ins optreden tussen het signaal van deelnemer A op tijdstip t en dat van deelnemer B op tijdstip t+1.

Mihanović en zijn collega’s22 introduceerden eerst een methode genaamd partiële wavelettransformatiecoherentie (pWTC) en pasten deze vervolgens toe in de mariene wetenschap23,24. Het oorspronkelijke doel van deze methode was om de exogene verstorende ruis te beheersen bij het schatten van de samenhang van twee signalen. Hier, om het autocorrelatieprobleem in de fNIRS-hyperscanninggegevens aan te pakken, werd de pWTC-methode uitgebreid om tijd-vertraagde INS op het fNIRS-signaal te berekenen. Precies, een in de tijd vertraagde INS (en een directionele informatiestroom) van deelnemer A naar deelnemer B kan worden berekend met behulp van de onderstaande vergelijking (vergelijking 1)23.

Equation 1

Hier wordt aangenomen dat er twee signalen zijn, A en B, van respectievelijk deelnemers A en B. Het optreden van signaal B gaat altijd vooraf aan dat van signaal A met een tijdsvertraging van n, waarbij WTC (At, Bt+n) het traditionele wtc met tijdsachterstand is. WTC (At, At+n) is het autocorrele WTC in deelnemer A. WTC (At, Bt) is het tijd-uitgelijnde WTC op tijdstip t tussen deelnemer A en B. * is de complexe geconjugeerde operator (Figuur 1A).

Figure 1
Figuur 1: Overzicht van pWTC. (A) De logica van de pWTC. Er zijn twee signalen A en B, binnen een dyade. Het voorkomen van A volgt altijd dat van B met een vertraging n. Een grijs vak is een waveletvenster op een bepaald tijdstip t of t+n. Op basis van de pWTC-vergelijking (weergegeven in de figuur) moeten drie WTC’s worden berekend: het WTC met de tijdsachterstand van At+n en Bt; het autocorrele WTC in deelnemer A van At en At+n; en het op tijd uitgelijnde WTC op tijdstip t, At en Bt. B) De lay-out van optode sonde sets. CH11 werd geplaatst op T3 en CH25 werd geplaatst op T4 na het internationale 10-20 systeem27,28. Klik hier om een grotere versie van deze figuur te bekijken.

Dit protocol introduceerde eerst een simulatie-experiment om aan te tonen hoe goed de pWTC de autocorrelatie-uitdaging oplost. Vervolgens werd uitgelegd hoe pWTC stap voor stap kon worden uitgevoerd op basis van een empirisch experiment van naturalistische sociale interacties. Hier werd een communicatiecontext gebruikt om de methode te introduceren. Dit komt omdat voorheen de in de tijd vertraagde INS meestal werd berekend in een naturalistische communicatiecontext 3,4,6,8,13,15,18. Daarnaast werd ook een vergelijking uitgevoerd tussen de pWTC en het traditionele WTC en validatie met de Granger causaliteitstest (GC).

Protocol

Het menselijke experimentprotocol werd goedgekeurd door de Institutional Review Board en de Ethische Commissie van het State Key Laboratory of Cognitive Neuroscience and Learning aan de Beijing Normal University. Alle deelnemers gaven schriftelijke geïnformeerde toestemming voordat het experiment begon. 1. Het simulatie-experiment Genereer twee tijdreeksen van signalen die met elkaar correleren, waarbij één signaal autocorrelatie heeft met een tijdsvertraging van 4 s. Stel de corr…

Representative Results

Simulatie resultatenDe resultaten toonden aan dat de tijd-vertraagde INSWTC met autocorrelatie significant hoger was dan de tijd-vertraagde INSWTC zonder autocorrelatie (t(1998) = 4,696, p < 0,001) en tijd-vertraagde INSpWTC (t(1998) = 5,098, p < 0,001). Bovendien was er geen significant verschil tussen in de tijd vertraagd INSWTC zonder autocorrelatie en INSpWTC (t(1998) = 1,573, p = 0,114, <strong cl…

Discussion

In hyperscanningstudies is het meestal essentieel om de directionele en temporele patronen van informatiestroom tussen individuen te beschrijven. De meeste eerdere fNIRS-hyperscanningstudies hebben traditionele WTC25 gebruikt om deze kenmerken af te leiden door de in de tijd vertraagde INS te berekenen. Als een van de intrinsieke kenmerken van het fNIRS-signaal 20,21 kan het autocorrelatie-effect de in de tijd vertraagde INS verstoren. Om …

Disclosures

The authors have nothing to disclose.

Acknowledgements

Dit werk werd ondersteund door de National Natural Science Foundation of China (61977008) en het Young Top Notch Talents of Ten Thousand Talent Program.

Materials

fNIRS topography system Shimadzu Corporation Shimadzu LABNIRS systen LABNIRS system contains 40 emitters and 40 detectors for fNIRS signals measurement. In this protocol we used these emitters and detectors created two customized 26-channels probe sets and attached to two caps accroding to 10-20 system. Further, LABNIRS system also contains built-in GUI softwares for data quality check, data convert and data export.
MATLAB The MathWorks, Inc. MATLAB 2019a In this protocol, several toolboxs and functions bulit in MATLAB were used:
SPM12 toolbox was used to normalize the valided MRI data through its GUI.
NIRS_SPM toolbox was used to project the MNI coordinates of the probes to the AAL template through its GUI.
Homer3 toolbox was used to remove motion artifacts through its function hmrMotionCorrectWavelet with default parameters.
Wavelet toolbox was used to compute WTC and pWTC through its function wcoherence.
MRI scanner Siemens Healthineers TRIO 3-Tesla scanner In this protocol, the MRI scanner was used to obtain MNI coordinates of each channel and optpde. Scan parameters are described in main text.
customized caps In this protocol, we first marked two nylon caps with 10-20 system. Then, we made two 26-channels customized optode probes sets. Finally, we attached probes sets to caps aligned with landmarks.

References

  1. Hasson, U., Ghazanfar, A. A., Galantucci, B., Garrod, S., Keysers, C. Brain-to-brain coupling: A mechanism for creating and sharing a social world. Trends in Cognitive Sciences. 16 (2), 114-121 (2012).
  2. Hasson, U., Frith, C. D. Mirroring and beyond: Coupled dynamics as a generalized framework for modelling social interactions. Philosophical Transactions of the Royal Society B: Biological Sciences. 371, 20150366 (2016).
  3. Jiang, J., et al. Neural synchronization during face-to-face communication. Journal of Neuroscience. 32 (45), 16064-16069 (2012).
  4. Jiang, J., et al. Leader emergence through interpersonal neural synchronization. Proceedings of the National Academy of Sciences of the United States of America. 112 (14), 4274-4279 (2015).
  5. Dai, B., et al. Neural mechanisms for selectively tuning in to the target speaker in a naturalistic noisy situation. Nature Communications. 9 (1), 1-12 (2018).
  6. Long, Y., et al. Interpersonal neural synchronization during interpersonal touch underlies affiliative pair bonding between romantic couples. Cerebral Cortex. 31 (3), 1647-1659 (2021).
  7. Liu, W., et al. Shared neural representations of syntax during online dyadic communication. NeuroImage. 198, 63-72 (2019).
  8. Zheng, L., et al. Enhancement of teaching outcome through neural prediction of the students’ knowledge state. Human Brain Mapping. 39 (7), 3046-3057 (2018).
  9. Stephens, G. J., Silbert, L. J., Hasson, U. Speaker-listener neural coupling underlies successful communication. Proceedings of the National Academy of Sciences of the United States of America. 107 (32), 14425-14430 (2010).
  10. Hirsch, J., et al. Interpersonal agreement and disagreement during face-to-face dialogue: An fNIRS investigation. Frontiers in Human Neuroscience. 14, 606397 (2021).
  11. Pan, Y., Cheng, X., Zhang, Z., Li, X., Hu, Y. Cooperation in lovers: An fNIRS-based hyperscanning study. Human Brain Mapping. 38 (2), 831-841 (2017).
  12. Cui, X., Bryant, D. M., Reiss, A. L. NIRS-based hyperscanning reveals increased interpersonal coherence in superior frontal cortex during cooperation. NeuroImage. 59 (3), 2430-2437 (2012).
  13. Piazza, E. A., Hasenfratz, L., Hasson, U., Lew-Williams, C. Infant and Adult Brains Are Coupled to the Dynamics of Natural Communication. Psychological Science. 31 (1), 6-17 (2020).
  14. Djalovski, A., Dumas, G., Kinreich, S., Feldman, R. Human attachments shape interbrain synchrony toward efficient performance of social goals. NeuroImage. 226, 117600 (2021).
  15. Zhao, H., et al. How mother-child interactions are associated with a child’s compliance. Cerebral Cortex. 31 (9), 4398-4410 (2021).
  16. Jiang, J., Zheng, L., Lu, C. A hierarchical model for interpersonal verbal communication. Social Cognitive and Affective Neuroscience. 16 (1-2), 246-255 (2021).
  17. Yan, W., et al. Bibliometric evaluation of 2000-2019 publications on functional near-infrared spectroscopy. NeuroImage. 220, 117121 (2020).
  18. Zheng, L., et al. Affiliative bonding between teachers and students through interpersonal synchronisation in brain activity. Social Cognitive and Affective Neuroscience. 15 (1), 97-109 (2020).
  19. Dean, R. T., Dunsmuir, W. T. M. Dangers and uses of cross-correlation in analyzing time series in perception, performance, movement, and neuroscience: The importance of constructing transfer function autoregressive models. Behavior Research Methods. 48 (2), 783-802 (2016).
  20. Barker, J. W., Rosso, A. L., Sparto, P. J., Huppert, T. J. Correction of motion artifacts and serial correlations for real-time functional near-infrared spectroscopy. Neurophotonics. 3 (3), 031410 (2016).
  21. Huppert, T. J. Commentary on the statistical properties of noise and its implication on general linear models in functional near-infrared spectroscopy. Neurophotonics. 3 (1), 010401 (2016).
  22. Mihanović, H., Orlić, M., Pasarić, Z. Diurnal thermocline oscillations driven by tidal flow around an island in the Middle Adriatic. Journal of Marine Systems. 78, 157-168 (2009).
  23. Ng, E. K. W., Chan, J. C. L. Geophysical applications of partial wavelet coherence and multiple wavelet coherence. Journal of Atmospheric and Oceanic Technology. 29 (12), 1845-1853 (2012).
  24. Ng, E. K. W., Chan, J. C. L. Interannual variations of tropical cyclone activity over the north Indian Ocean. International Journal of Climatology. 32 (6), 819-830 (2012).
  25. Grinsted, A., Moore, J. C., Jevrejeva, S. Application of the cross wavelet transform and wavelet coherence to geophysical time series. Nonlinear Processes in Geophysics. 11, 561-566 (2004).
  26. Jurcak, V., Tsuzuki, D., Dan, I. 10/20, 10/10, and 10/5 systems revisited: Their validity as relative head-surface-based positioning systems. NeuroImage. 34 (4), 1600-1611 (2007).
  27. Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalography and Clinical Neurophysiology. 66 (4), 376-382 (1987).
  28. Koessler, L., et al. Automated cortical projection of EEG sensors: Anatomical correlation via the international 10-10 system. NeuroImage. 46 (1), 64-72 (2009).
  29. Penny, W., Friston, K., Ashburner, J., Kiebel, S., Nichols, T. . Statistical Parametric Mapping: The Analysis of Functional Brain Images. , (2007).
  30. Shalinsky, M. H., Kovelman, I., Berens, M. S., Petitto, L. A. Exploring cognitive functions in babies, children & adults with near infrared spectroscopy. Journal of Visualized Experiments: JoVE. (29), e1268 (2009).
  31. Xu, S. Y., Cheong, L. I., Zhuang, Y., Couto, T. A. P., Yuan, Z. Conducting concurrent electroencephalography and functional near-infrared spectroscopy recordings with a flanker task. Journal of Visualized Experiments: JoVE. (159), e6069 (2020).
  32. Noah, J. A., et al. fMRI validation of fNIRS measurements during a naturalistic task. Journal of Visualized Experiments: JoVE. (100), e52116 (2015).
  33. Tong, Y., Lindsey, K. P., Frederick, B. D. Partitioning of physiological noise signals in the brain with concurrent near-infrared spectroscopy and fMRI. Journal of Cerebral Blood Flow and Metabolism. 31 (12), 2352-2362 (2011).
  34. Buck, R., Miller, R. E., Caul, W. F. Sex, personality, and physiological variables in the communication of affect via facial expression. Journal of Personality and Social Psychology. 30 (4), 587-596 (1974).
  35. Walen, H. R., Lachman, M. E. Social support and strain from partner, family, and friends: Costs and benefits for men and women in adulthood. Journal of Social and Personal Relationships. 17 (1), 5-30 (2000).
  36. Chang, C., Glover, G. H. Time-frequency dynamics of resting-state brain connectivity measured with fMRI. NeuroImage. 50 (1), 81-98 (2010).
  37. Liu, H., et al. Inferring subsurface preferential flow features from a wavelet analysis of hydrological signals in the shale hills catchment. Water Resources Research. 56 (11), 0 (2020).
  38. Rhif, M., Abbes, A. B., Farah, I. R., Martínez, B., Sang, Y. Wavelet transform application for/in non-stationary time-series analysis: A review. Applied Sciences. 9 (7), 1345 (2019).
  39. Molavi, B., Dumont, G. A. Wavelet-based motion artifact removal for functional near-infrared spectroscopy. Physiological Measurement. 33 (2), 259-270 (2012).
  40. Scholkmann, F., Spichtig, S., Muehlemann, T., Wolf, M. How to detect and reduce movement artifacts in near-infrared imaging using moving standard deviation and spline interpolation. Physiological Measurement. 31 (5), 649-662 (2010).
  41. Zhang, Y., Brooks, D. H., Franceschini, M. A., Boas, D. A. Eigenvector-based spatial filtering for reduction of physiological interference in diffuse optical imaging. Journal of Biomedical Optics. 10 (1), 011014 (2005).
  42. Cui, X., Bray, S., Reiss, A. L. Functional near infrared spectroscopy (NIRS) signal improvement based on negative correlation between oxygenated and deoxygenated hemoglobin dynamics. NeuroImage. 49 (4), 3039-3046 (2010).
  43. Cooper, R. J., et al. A systematic comparison of motion artifact correction techniques for functional near-infrared spectroscopy. Frontiers in Neuroscience. , 147 (2012).
  44. Brigadoi, S., et al. Motion artifacts in functional near-infrared spectroscopy: A comparison of motion correction techniques applied to real cognitive data. NeuroImage. 85, 181-191 (2014).
  45. Liu, Y., et al. Measuring speaker-listener neural coupling with functional near infrared spectroscopy. Scientific Reports. 7, 1-13 (2017).
  46. Li, Z., et al. Speaker-listener neural coupling reveals an adaptive mechanism for speech comprehension in a noisy environment. Cerebral Cortex. , (2021).

Play Video

Cite This Article
Zhou, S., Long, Y., Lu, C. Measurement of the Directional Information Flow in fNIRS-Hyperscanning Data using the Partial Wavelet Transform Coherence Method. J. Vis. Exp. (175), e62927, doi:10.3791/62927 (2021).

View Video