Summary

Messung des direktionalen Informationsflusses in fNIRS-Hyperscanning-Daten mit der Partial-Wavelet-Transformationskohärenzmethode

Published: September 03, 2021
doi:

Summary

Dieses Protokoll beschreibt die partielle Wavelet-Transformationskohärenz (pWTC) zur Berechnung des zeitverzögerten Musters der zwischenmenschlichen neuronalen Synchronisation (INS), um die Richtung und das zeitliche Muster des Informationsflusses während der sozialen Interaktion abzuleiten. Die Wirksamkeit von pWTC bei der Entfernung der Störfaktoren der Signalautokorrelation auf INS wurde durch zwei Experimente bewiesen.

Abstract

Soziale Interaktion ist für den Menschen von entscheidender Bedeutung. Während der Hyperscanning-Ansatz umfassend zur Untersuchung der zwischenmenschlichen neuronalen Synchronisation (INS) während sozialer Interaktionen eingesetzt wurde, ist die funktionelle Nahinfrarotspektroskopie (fNIRS) aufgrund ihrer relativ hohen räumlichen Auflösung, der anatomischen Lokalisation des Schalls und der außergewöhnlich hohen Toleranz von Bewegungsartefakten eine der beliebtesten Techniken für das Hyperscanning naturalistischer sozialer Interaktionen. Frühere fNIRS-basierte Hyperscanning-Studien berechnen in der Regel ein zeitverzögertes INS unter Verwendung der Wavelet-Transformationskohärenz (WTC), um die Richtung und das zeitliche Muster des Informationsflusses zwischen Individuen zu beschreiben. Die Ergebnisse dieser Methode könnten jedoch durch den Autokorrelationseffekt des fNIRS-Signals jedes Individuums verwirrt werden. Um dieses Problem anzugehen, wurde eine Methode namens partielle Wavelet-Transformationskohärenz (pWTC) eingeführt, die darauf abzielte, den Autokorrelationseffekt zu entfernen und die hohe zeitliche Spektrumauflösung des fNIRS-Signals aufrechtzuerhalten. In dieser Studie wurde zunächst ein Simulationsexperiment durchgeführt, um die Wirksamkeit des pWTC bei der Beseitigung der Auswirkungen der Autokorrelation auf INS zu zeigen. Dann wurde eine Schritt-für-Schritt-Anleitung zum Betrieb des pWTC basierend auf dem fNIRS-Datensatz aus einem sozialen Interaktionsexperiment angeboten. Zusätzlich wurde ein Vergleich zwischen der pWTC-Methode und der traditionellen WTC-Methode sowie der pWTC-Methode und der Granger-Kausalitätsmethode (GC) gezogen. Die Ergebnisse zeigten, dass pWTC verwendet werden konnte, um die INS-Differenz zwischen verschiedenen experimentellen Bedingungen und das gerichtete und zeitliche Muster von INS zwischen Individuen während naturalistischer sozialer Interaktionen zu bestimmen. Darüber hinaus bietet es eine bessere zeitliche und Frequenzauflösung als das traditionelle WTC und eine bessere Flexibilität als die GC-Methode. Somit ist pWTC ein starker Kandidat für die Ableitung der Richtung und des zeitlichen Musters des Informationsflusses zwischen Individuen während naturalistischer sozialer Interaktionen.

Introduction

Soziale Interaktion ist für den Menschen von entscheidender Bedeutung 1,2. Um den neurokognitiven Dual-Brain-Mechanismus der sozialen Interaktion zu verstehen, wurde der Hyperscanning-Ansatz in letzter Zeit ausgiebig verwendet, um zu zeigen, dass die Muster der zwischenmenschlichen neuronalen Synchronisation (INS) den sozialen Interaktionsprozess gut charakterisierenkönnen 3,4,5,6,7,8,9,10,11,12 ,13,14 Unter neueren Studien ist ein interessantes Ergebnis, dass der Rollenunterschied von Individuen in einer Dyade zu einem zeitverzögerten Muster von INS führen kann, d.h. INS tritt auf, wenn die Gehirnaktivität eines Individuums um Sekunden hinter der eines anderen Individuums zurückbleibt, wie z.B. die von Zuhörern zu Sprechern5,9, von Führern zu Anhängern 4, Von Lehrern zu Schülern8, von Müttern zu Kindern13,15 und von Frauen zu Männern in einem romantischen Paar6. Am wichtigsten ist, dass es eine gute Übereinstimmung zwischen dem Intervall des zeitverzögerten INS und dem des sozialen Interaktionsverhaltens gibt, z. B. zwischen Lehrern, die Fragen stellen, und Schülern, die8 antworten, oder zwischen dem Erziehungsverhalten von Müttern und dem Compliance-Verhalten von Kindern15. Daher können zeitverzögerte INS einen direktionalen Informationsfluss von einer Person zur anderen widerspiegeln, wie es in einem neueren hierarchischen Modell für zwischenmenschliche verbale Kommunikationvorgeschlagen wird 16.

Zuvor wurde das zeitverzögerte INS hauptsächlich auf dem funktionellen Nahinfrarot-Spektroskopie-Signal (fNIRS) berechnet, da es bei der Untersuchung naturalistischer sozialer Interaktionen relativ hohe räumliche Auflösung, anatomische Lokalisation des Schalls und außergewöhnlich hohe Toleranz von Bewegungsartefakten 17 aufweist. Um die Korrespondenz zwischen der neuronalen Zeitverzögerung und der Verhaltenszeitverzögerung während der sozialen Interaktion genau zu charakterisieren, ist es außerdem wichtig, die INS-Stärke für jede Zeitverzögerung zu erhalten (z. B. von keiner Zeitverzögerung zu einer Zeitverzögerung von 10 s). Zu diesem Zweck wurde zuvor das WTC-Verfahren (Wavelet Transform Coherence) umfassend angewendet, nachdem das Gehirnsignal eines Individuums nach vorne oder hinten relativ zu dem eines anderen Individuums 5,6,18 verschoben wurde. Bei der Verwendung dieses traditionellen WTC-Verfahrens für fNIRS-Signale besteht eine potenzielle Herausforderung, da das beobachtete zeitverzögerte INS durch den Autokorrelationseffekt des fNIRS-Signals für ein Individuum 19,20,21 verwirrt werden kann. Zum Beispiel kann während eines dyadischen sozialen Interaktionsprozesses das Signal von Teilnehmer A zum Zeitpunkt t mit dem von Teilnehmer B zum gleichen Zeitpunkt synchronisiert werden. In der Zwischenzeit kann das Signal von Teilnehmer A zum Zeitpunkt t aufgrund des Autokorrelationseffekts mit dem von Teilnehmer A zu einem späteren Zeitpunkt t+1 synchronisiert werden. Daher kann ein unechtes zeitverzögertes INS zwischen dem Signal von Teilnehmer A zum Zeitpunkt t und dem von Teilnehmer B zum Zeitpunkt t+1 auftreten.

Mihanović und seine Kollegen 22 führten zunächst eine Methode ein, die als partielle Wavelet-Transformationskohärenz (pWTC) bezeichnet wird, undwandten sie dann in der Meereswissenschaftan 23,24. Der ursprüngliche Zweck dieser Methode bestand darin, das exogene Störrauschen bei der Abschätzung der Kohärenz zweier Signale zu kontrollieren. Um das Autokorrelationsproblem in den fNIRS-Hyperscanning-Daten zu beheben, wurde die pWTC-Methode erweitert, um zeitverzögerte INS auf dem fNIRS-Signal zu berechnen. Genau genommen kann ein zeitverzögertes INS (und ein direktionaler Informationsfluss) von Teilnehmer A zu Teilnehmer B mit der folgenden Gleichung (Gleichung 1)23 berechnet werden.

Equation 1

Hier wird angenommen, dass es zwei Signale, A und B, von den Teilnehmern A bzw. B gibt. Das Auftreten von Signal B geht immer dem von Signal A mit einer Zeitverzögerung von n voraus, wobei WTC (At, B t + n) das traditionelle zeitverzögerte WTC ist. WTC (A t, At+n) ist das autokorrelierte WTC in Teilnehmer A. WTC (A t, B t) ist das zeitlich ausgerichtete WTC zum Zeitpunkt t zwischen Teilnehmer A und B. * ist der komplexe konjugierte Operator (Abbildung 1A).

Figure 1
Abbildung 1: Übersicht über pWTC. (A) Die Logik des pWTC. Es gibt zwei Signale A und B innerhalb einer Dyade. Das Vorkommen von A folgt immer dem von B mit einer Verzögerung n. Eine graue Box ist ein Wavelet-Fenster zu einem bestimmten Zeitpunkt t oder t + n. Basierend auf der pWTC-Gleichung (dargestellt in der Abbildung) müssen drei WTCs berechnet werden: der zeitversetzte WTC von At+n und Bt; das autokorrelierte WTC in Teilnehmer A von At und At+n; und das zeitlich ausgerichtete WTC zum Zeitpunkt t, A t und Bt. (B) Das Layout von Optodensondensätzen. CH11 wurde auf T3 und CH25 auf T4 nach dem internationalen 10-20-System27,28 platziert. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

Dieses Protokoll führte zunächst ein Simulationsexperiment ein, um zu demonstrieren, wie gut das pWTC die Autokorrelationsherausforderung löst. Dann wurde erklärt, wie man pWTC Schritt für Schritt durchführt, basierend auf einem empirischen Experiment naturalistischer sozialer Interaktionen. Hier wurde ein Kommunikationskontext verwendet, um die Methode einzuführen. Dies liegt daran, dass zuvor das zeitverzögerte INS normalerweise in einem naturalistischen Kommunikationskontext 3,4,6,8,13,15,18 berechnet wurde. Zusätzlich wurden ein Vergleich zwischen dem pWTC und dem traditionellen WTC sowie eine Validierung mit dem Granger-Kausalitätstest (GC) durchgeführt.

Protocol

Das Humanexperimentprotokoll wurde vom Institutional Review Board und der Ethikkommission des State Key Laboratory of Cognitive Neuroscience and Learning an der Beijing Normal University genehmigt. Alle Teilnehmer gaben vor Beginn des Experiments eine schriftliche Einwilligung. 1. Das Simulationsexperiment Erzeugen Sie zwei Zeitreihen von Signalen, die miteinander korrelieren, wobei ein Signal mit einer Zeitverzögerung von 4 s Autokorrelation aufweist. Setzen Sie den Korrelationskoe…

Representative Results

SimulationsergebnisseDie Ergebnisse zeigten, dass der zeitverzögerte INS WTC mit Autokorrelation signifikant höher war als der zeitverzögerte INSWTC ohne Autokorrelation (t(1998) = 4,696, p < 0,001) und der zeitverzögerten INSpWTC (t(1998) = 5,098, p < 0,001). Darüber hinaus gab es keinen signifikanten Unterschied zwischen zeitverzögertem INSWTC ohne Autokorrelation und INSpWTC (t(1998) = 1,573, p</em…

Discussion

In Hyperscanning-Studien ist es in der Regel wichtig, die direktionalen und zeitlichen Muster des Informationsflusses zwischen Individuen zu beschreiben. Die meisten früheren fNIRS-Hyperscanning-Studien haben traditionelles WTC25 verwendet, um diese Eigenschaften durch Berechnung des zeitverzögerten INS abzuleiten. Da jedoch eines der intrinsischen Merkmale des fNIRS-Signals20,21 ist, kann der Autokorrelationseffekt das zeitverzögerte I…

Declarações

The authors have nothing to disclose.

Acknowledgements

Diese Arbeit wurde von der National Natural Science Foundation of China (61977008) und dem Young Top Notch Talents of Ten Thousand Talent Program unterstützt.

Materials

fNIRS topography system Shimadzu Corporation Shimadzu LABNIRS systen LABNIRS system contains 40 emitters and 40 detectors for fNIRS signals measurement. In this protocol we used these emitters and detectors created two customized 26-channels probe sets and attached to two caps accroding to 10-20 system. Further, LABNIRS system also contains built-in GUI softwares for data quality check, data convert and data export.
MATLAB The MathWorks, Inc. MATLAB 2019a In this protocol, several toolboxs and functions bulit in MATLAB were used:
SPM12 toolbox was used to normalize the valided MRI data through its GUI.
NIRS_SPM toolbox was used to project the MNI coordinates of the probes to the AAL template through its GUI.
Homer3 toolbox was used to remove motion artifacts through its function hmrMotionCorrectWavelet with default parameters.
Wavelet toolbox was used to compute WTC and pWTC through its function wcoherence.
MRI scanner Siemens Healthineers TRIO 3-Tesla scanner In this protocol, the MRI scanner was used to obtain MNI coordinates of each channel and optpde. Scan parameters are described in main text.
customized caps In this protocol, we first marked two nylon caps with 10-20 system. Then, we made two 26-channels customized optode probes sets. Finally, we attached probes sets to caps aligned with landmarks.

Referências

  1. Hasson, U., Ghazanfar, A. A., Galantucci, B., Garrod, S., Keysers, C. Brain-to-brain coupling: A mechanism for creating and sharing a social world. Trends in Cognitive Sciences. 16 (2), 114-121 (2012).
  2. Hasson, U., Frith, C. D. Mirroring and beyond: Coupled dynamics as a generalized framework for modelling social interactions. Philosophical Transactions of the Royal Society B: Biological Sciences. 371, 20150366 (2016).
  3. Jiang, J., et al. Neural synchronization during face-to-face communication. Journal of Neuroscience. 32 (45), 16064-16069 (2012).
  4. Jiang, J., et al. Leader emergence through interpersonal neural synchronization. Proceedings of the National Academy of Sciences of the United States of America. 112 (14), 4274-4279 (2015).
  5. Dai, B., et al. Neural mechanisms for selectively tuning in to the target speaker in a naturalistic noisy situation. Nature Communications. 9 (1), 1-12 (2018).
  6. Long, Y., et al. Interpersonal neural synchronization during interpersonal touch underlies affiliative pair bonding between romantic couples. Cerebral Cortex. 31 (3), 1647-1659 (2021).
  7. Liu, W., et al. Shared neural representations of syntax during online dyadic communication. NeuroImage. 198, 63-72 (2019).
  8. Zheng, L., et al. Enhancement of teaching outcome through neural prediction of the students’ knowledge state. Human Brain Mapping. 39 (7), 3046-3057 (2018).
  9. Stephens, G. J., Silbert, L. J., Hasson, U. Speaker-listener neural coupling underlies successful communication. Proceedings of the National Academy of Sciences of the United States of America. 107 (32), 14425-14430 (2010).
  10. Hirsch, J., et al. Interpersonal agreement and disagreement during face-to-face dialogue: An fNIRS investigation. Frontiers in Human Neuroscience. 14, 606397 (2021).
  11. Pan, Y., Cheng, X., Zhang, Z., Li, X., Hu, Y. Cooperation in lovers: An fNIRS-based hyperscanning study. Human Brain Mapping. 38 (2), 831-841 (2017).
  12. Cui, X., Bryant, D. M., Reiss, A. L. NIRS-based hyperscanning reveals increased interpersonal coherence in superior frontal cortex during cooperation. NeuroImage. 59 (3), 2430-2437 (2012).
  13. Piazza, E. A., Hasenfratz, L., Hasson, U., Lew-Williams, C. Infant and Adult Brains Are Coupled to the Dynamics of Natural Communication. Psychological Science. 31 (1), 6-17 (2020).
  14. Djalovski, A., Dumas, G., Kinreich, S., Feldman, R. Human attachments shape interbrain synchrony toward efficient performance of social goals. NeuroImage. 226, 117600 (2021).
  15. Zhao, H., et al. How mother-child interactions are associated with a child’s compliance. Cerebral Cortex. 31 (9), 4398-4410 (2021).
  16. Jiang, J., Zheng, L., Lu, C. A hierarchical model for interpersonal verbal communication. Social Cognitive and Affective Neuroscience. 16 (1-2), 246-255 (2021).
  17. Yan, W., et al. Bibliometric evaluation of 2000-2019 publications on functional near-infrared spectroscopy. NeuroImage. 220, 117121 (2020).
  18. Zheng, L., et al. Affiliative bonding between teachers and students through interpersonal synchronisation in brain activity. Social Cognitive and Affective Neuroscience. 15 (1), 97-109 (2020).
  19. Dean, R. T., Dunsmuir, W. T. M. Dangers and uses of cross-correlation in analyzing time series in perception, performance, movement, and neuroscience: The importance of constructing transfer function autoregressive models. Behavior Research Methods. 48 (2), 783-802 (2016).
  20. Barker, J. W., Rosso, A. L., Sparto, P. J., Huppert, T. J. Correction of motion artifacts and serial correlations for real-time functional near-infrared spectroscopy. Neurophotonics. 3 (3), 031410 (2016).
  21. Huppert, T. J. Commentary on the statistical properties of noise and its implication on general linear models in functional near-infrared spectroscopy. Neurophotonics. 3 (1), 010401 (2016).
  22. Mihanović, H., Orlić, M., Pasarić, Z. Diurnal thermocline oscillations driven by tidal flow around an island in the Middle Adriatic. Journal of Marine Systems. 78, 157-168 (2009).
  23. Ng, E. K. W., Chan, J. C. L. Geophysical applications of partial wavelet coherence and multiple wavelet coherence. Journal of Atmospheric and Oceanic Technology. 29 (12), 1845-1853 (2012).
  24. Ng, E. K. W., Chan, J. C. L. Interannual variations of tropical cyclone activity over the north Indian Ocean. International Journal of Climatology. 32 (6), 819-830 (2012).
  25. Grinsted, A., Moore, J. C., Jevrejeva, S. Application of the cross wavelet transform and wavelet coherence to geophysical time series. Nonlinear Processes in Geophysics. 11, 561-566 (2004).
  26. Jurcak, V., Tsuzuki, D., Dan, I. 10/20, 10/10, and 10/5 systems revisited: Their validity as relative head-surface-based positioning systems. NeuroImage. 34 (4), 1600-1611 (2007).
  27. Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalography and Clinical Neurophysiology. 66 (4), 376-382 (1987).
  28. Koessler, L., et al. Automated cortical projection of EEG sensors: Anatomical correlation via the international 10-10 system. NeuroImage. 46 (1), 64-72 (2009).
  29. Penny, W., Friston, K., Ashburner, J., Kiebel, S., Nichols, T. . Statistical Parametric Mapping: The Analysis of Functional Brain Images. , (2007).
  30. Shalinsky, M. H., Kovelman, I., Berens, M. S., Petitto, L. A. Exploring cognitive functions in babies, children & adults with near infrared spectroscopy. Journal of Visualized Experiments: JoVE. (29), e1268 (2009).
  31. Xu, S. Y., Cheong, L. I., Zhuang, Y., Couto, T. A. P., Yuan, Z. Conducting concurrent electroencephalography and functional near-infrared spectroscopy recordings with a flanker task. Journal of Visualized Experiments: JoVE. (159), e6069 (2020).
  32. Noah, J. A., et al. fMRI validation of fNIRS measurements during a naturalistic task. Journal of Visualized Experiments: JoVE. (100), e52116 (2015).
  33. Tong, Y., Lindsey, K. P., Frederick, B. D. Partitioning of physiological noise signals in the brain with concurrent near-infrared spectroscopy and fMRI. Journal of Cerebral Blood Flow and Metabolism. 31 (12), 2352-2362 (2011).
  34. Buck, R., Miller, R. E., Caul, W. F. Sex, personality, and physiological variables in the communication of affect via facial expression. Journal of Personality and Social Psychology. 30 (4), 587-596 (1974).
  35. Walen, H. R., Lachman, M. E. Social support and strain from partner, family, and friends: Costs and benefits for men and women in adulthood. Journal of Social and Personal Relationships. 17 (1), 5-30 (2000).
  36. Chang, C., Glover, G. H. Time-frequency dynamics of resting-state brain connectivity measured with fMRI. NeuroImage. 50 (1), 81-98 (2010).
  37. Liu, H., et al. Inferring subsurface preferential flow features from a wavelet analysis of hydrological signals in the shale hills catchment. Water Resources Research. 56 (11), 0 (2020).
  38. Rhif, M., Abbes, A. B., Farah, I. R., Martínez, B., Sang, Y. Wavelet transform application for/in non-stationary time-series analysis: A review. Applied Sciences. 9 (7), 1345 (2019).
  39. Molavi, B., Dumont, G. A. Wavelet-based motion artifact removal for functional near-infrared spectroscopy. Physiological Measurement. 33 (2), 259-270 (2012).
  40. Scholkmann, F., Spichtig, S., Muehlemann, T., Wolf, M. How to detect and reduce movement artifacts in near-infrared imaging using moving standard deviation and spline interpolation. Physiological Measurement. 31 (5), 649-662 (2010).
  41. Zhang, Y., Brooks, D. H., Franceschini, M. A., Boas, D. A. Eigenvector-based spatial filtering for reduction of physiological interference in diffuse optical imaging. Journal of Biomedical Optics. 10 (1), 011014 (2005).
  42. Cui, X., Bray, S., Reiss, A. L. Functional near infrared spectroscopy (NIRS) signal improvement based on negative correlation between oxygenated and deoxygenated hemoglobin dynamics. NeuroImage. 49 (4), 3039-3046 (2010).
  43. Cooper, R. J., et al. A systematic comparison of motion artifact correction techniques for functional near-infrared spectroscopy. Frontiers in Neuroscience. , 147 (2012).
  44. Brigadoi, S., et al. Motion artifacts in functional near-infrared spectroscopy: A comparison of motion correction techniques applied to real cognitive data. NeuroImage. 85, 181-191 (2014).
  45. Liu, Y., et al. Measuring speaker-listener neural coupling with functional near infrared spectroscopy. Scientific Reports. 7, 1-13 (2017).
  46. Li, Z., et al. Speaker-listener neural coupling reveals an adaptive mechanism for speech comprehension in a noisy environment. Cerebral Cortex. , (2021).

Play Video

Citar este artigo
Zhou, S., Long, Y., Lu, C. Measurement of the Directional Information Flow in fNIRS-Hyperscanning Data using the Partial Wavelet Transform Coherence Method. J. Vis. Exp. (175), e62927, doi:10.3791/62927 (2021).

View Video