Summary

Misurazione del flusso di informazioni direzionali in fNIRS-Hyperscanning Data utilizzando il metodo partial Wavelet Transform Coherence

Published: September 03, 2021
doi:

Summary

Questo protocollo descrive la coerenza della trasformazione wavelet parziale (pWTC) per calcolare il modello time-lag della sincronizzazione neurale interpersonale (INS) per dedurre la direzione e il modello temporale del flusso di informazioni durante l’interazione sociale. L’efficacia di pWTC nel rimuovere i confondimenti dell’autocorrelazione del segnale su INS è stata dimostrata da due esperimenti.

Abstract

L’interazione sociale è di vitale importanza per gli esseri umani. Mentre l’approccio di iperscansione è stato ampiamente utilizzato per studiare la sincronizzazione neurale interpersonale (INS) durante le interazioni sociali, la spettroscopia funzionale nel vicino infrarosso (fNIRS) è una delle tecniche più popolari per l’iperscansione delle interazioni sociali naturalistiche a causa della sua risoluzione spaziale relativamente elevata, della localizzazione anatomica del suono e della tolleranza eccezionalmente elevata degli artefatti di movimento. Precedenti studi di iperscansione basati su fNIRS di solito calcolano un INS ritardato nel tempo utilizzando la coerenza della trasformata wavelet (WTC) per descrivere la direzione e il modello temporale del flusso di informazioni tra gli individui. Tuttavia, i risultati di questo metodo potrebbero essere confusi dall’effetto di autocorrelazione del segnale fNIRS di ciascun individuo. Per affrontare questo problema, è stato introdotto un metodo chiamato coerenza di trasformazione wavelet parziale (pWTC), che mirava a rimuovere l’effetto di autocorrelazione e mantenere l’elevata risoluzione dello spettro temporale del segnale fNIRS. In questo studio, è stato eseguito prima un esperimento di simulazione per dimostrare l’efficacia del pWTC nel rimuovere l’impatto dell’autocorrelazione sull’INS. Quindi, è stata offerta una guida passo-passo sul funzionamento del pWTC basata sul set di dati fNIRS da un esperimento di interazione sociale. Inoltre, è stato effettuato un confronto tra il metodo pWTC e il metodo WTC tradizionale e quello tra il metodo pWTC e il metodo di causalità Granger (GC). I risultati hanno mostrato che il pWTC potrebbe essere utilizzato per determinare la differenza INS tra diverse condizioni sperimentali e il modello direzionale e temporale di INS tra gli individui durante le interazioni sociali naturalistiche. Inoltre, fornisce una migliore risoluzione temporale e di frequenza rispetto al WTC tradizionale e una migliore flessibilità rispetto al metodo GC. Pertanto, pWTC è un forte candidato per dedurre la direzione e il modello temporale del flusso di informazioni tra gli individui durante le interazioni sociali naturalistiche.

Introduction

L’interazione sociale è di vitale importanza per gli esseri umani 1,2. Per comprendere il meccanismo neurocognitivo dual-cerebrale dell’interazione sociale, l’approccio di iperscansione è stato recentemente ampiamente utilizzato, dimostrando che i modelli di sincronizzazione neurale interpersonale (INS) possono ben caratterizzare il processo di interazione sociale 3,4,5,6,7,8,9,10,11,12 ,13,14. Tra gli studi recenti, una scoperta interessante è che la differenza di ruolo degli individui in una diade può portare a un modello ritardato di INS, cioè INS si verifica quando l’attività cerebrale di un individuo è in ritardo rispetto a quella di un altro individuo di secondi, come quella dagli ascoltatori agli oratori 5,9, dai leader ai seguaci4, dagli insegnanti agli studenti8, dalle madri ai bambini13,15, e dalle donne agli uomini in una coppia romantica6. Ancora più importante, c’è una buona corrispondenza tra l’intervallo dell’INS ritardato nel tempo e quello dei comportamenti di interazione sociale, come tra insegnanti che interrogano e studenti che rispondonoa 8 o tra comportamenti genitoriali delle madri e comportamenti di conformità dei bambini15. Pertanto, l’INS ritardato nel tempo può riflettere un flusso di informazioni direzionali da un individuo all’altro, come proposto in un recente modello gerarchico per la comunicazione verbale interpersonale16.

In precedenza, l’INS time-lag veniva calcolato principalmente sul segnale funzionale della spettroscopia nel vicino infrarosso (fNIRS) a causa della sua risoluzione spaziale relativamente elevata, della localizzazione anatomica del suono e della tolleranza eccezionalmente elevata degli artefatti di movimento17 quando si studiano le interazioni sociali naturalistiche. Inoltre, per caratterizzare con precisione la corrispondenza tra il time lag neurale e il time lag comportamentale durante l’interazione sociale, è essenziale ottenere la forza INS per ogni time lag (ad esempio, da nessun time lag a un time lag di 10 s). A tale scopo, in precedenza, la procedura di coerenza della trasformazione wavelet (WTC) era ampiamente applicata dopo aver spostato il segnale cerebrale di un individuo in avanti o indietro rispetto a quello di un altroindividuo 5,6,18. Quando si utilizza questa procedura WTC tradizionale per i segnali fNIRS, c’è una potenziale sfida perché l’INS time-lag osservato può essere confuso dall’effetto di autocorrelazione del segnale fNIRS per un singolo 19,20,21. Ad esempio, durante un processo di interazione sociale diadica, il segnale del partecipante A al punto temporale t può essere sincronizzato con quello del partecipante B nello stesso punto temporale. Nel frattempo, il segnale del partecipante A al punto temporale t può essere sincronizzato con quello del partecipante A in un punto temporale successivo t + 1 a causa dell’effetto di autocorrelazione. Pertanto, può verificarsi un INS spurio ritardata nel tempo tra il segnale del partecipante A al punto temporale t e quello del partecipante B al punto temporale t + 1.

Mihanović e i suoi colleghi22 hanno prima introdotto un metodo chiamato coerenza parziale della trasformata wavelet (pWTC), e poi lo hanno applicato nelle scienze marine23,24. Lo scopo originale di questo metodo era quello di controllare il rumore esogeno confondente quando si stima la coerenza di due segnali. Qui, per risolvere il problema dell’autocorrelazione nei dati di iperscansione fNIRS, il metodo pWTC è stato esteso per calcolare INS time-lag sul segnale fNIRS. Precisamente, un INS ritardato nel tempo (e un flusso di informazioni direzionali) dal partecipante A al partecipante B può essere calcolato utilizzando l’equazione seguente (Equazione 1)23.

Equation 1

Qui, si presume che ci siano due segnali, A e B, dai partecipanti A e B, rispettivamente. Il verificarsi del segnale B precede sempre quello del segnale A con un time lag di n, dove wtC (At, Bt+n) è il tradizionale WTC time-lag. WTC (At, At + n) è il WTC autocorrediato nel partecipante A. WTC (At, Bt) è il WTC allineato nel tempo al punto temporale t tra il partecipante A e B. * è l’operatore coniugato complesso (Figura 1A).

Figure 1
Figura 1: Panoramica di pWTC. (A) La logica del pWTC. Ci sono due segnali A e B, all’interno di una diade. L’occorrenza di A segue sempre quella di B con un ritardo n. Una scatola grigia è una finestra wavelet in un determinato punto temporale t o t + n. Sulla base dell’equazione pWTC (rappresentata nella figura), è necessario calcolare tre WTC: il WTC ritardato nel tempo di At + n e Bt; il WTC autocorrelato nei partecipanti A di At e At+n; e il WTC allineato al tempo al timepoint t, At e Bt. B) Il layout dei set di sonde optodiche. CH11 è stato collocato a T3 e CH25 è stato posizionato a T4 seguendo il sistema internazionale 10-20 27,28. Fare clic qui per visualizzare una versione più grande di questa figura.

Questo protocollo ha introdotto per la prima volta un esperimento di simulazione per dimostrare quanto bene il pWTC risolve la sfida dell’autocorrelazione. Quindi, ha spiegato come condurre pWTC in un modo passo-passo basato su un esperimento empirico di interazioni sociali naturalistiche. Qui, un contesto di comunicazione è stato utilizzato per introdurre il metodo. Questo perché, in precedenza, l’INS time-lag veniva solitamente calcolato in un contesto di comunicazione naturalistica 3,4,6,8,13,15,18. Inoltre, è stato condotto anche un confronto tra il pWTC e il WTC tradizionale e la convalida con il test di causalità Granger (GC).

Protocol

Il protocollo di esperimento umano è stato approvato dall’Institutional Review Board e dal Comitato Etico dello State Key Laboratory of Cognitive Neuroscience and Learning presso l’Università Normale di Pechino. Tutti i partecipanti hanno dato il consenso informato scritto prima dell’inizio dell’esperimento. 1. L’esperimento di simulazione Genera due serie temporali di segnali correlati tra loro, con un segnale che ha autocorrelazione a un ritardo di 4 s. Impostare il coefficiente …

Representative Results

Risultati della simulazioneI risultati hanno mostrato che il TIME-lag INSWTC con autocorrelazione era significativamente superiore al TIME-lag INSWTC senza autocorrelazione (t(1998) = 4.696, p < 0.001) e time-lag INSpWTC (t(1998) = 5.098, p < 0.001). Inoltre, non vi è stata alcuna differenza significativa tra INSWTC ritardato nel tempo senza autocorrelazione e INSpWTC (t (1998) = 1.573, p = 0.114, <st…

Discussion

Negli studi di iperscansione, di solito è essenziale descrivere i modelli direzionali e temporali del flusso di informazioni tra gli individui. La maggior parte dei precedenti studi di iperscansione fNIRS hanno utilizzato il tradizionale WTC25 per dedurre queste caratteristiche calcolando l’INS time-lag. Tuttavia, come una delle caratteristiche intrinseche del segnale fNIRS20,21, l’effetto di autocorrelazione potrebbe confondere l’INS tim…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Questo lavoro è stato sostenuto dalla National Natural Science Foundation of China (61977008) e dal Young Top Notch Talents of Ten Thousand Talent Program.

Materials

fNIRS topography system Shimadzu Corporation Shimadzu LABNIRS systen LABNIRS system contains 40 emitters and 40 detectors for fNIRS signals measurement. In this protocol we used these emitters and detectors created two customized 26-channels probe sets and attached to two caps accroding to 10-20 system. Further, LABNIRS system also contains built-in GUI softwares for data quality check, data convert and data export.
MATLAB The MathWorks, Inc. MATLAB 2019a In this protocol, several toolboxs and functions bulit in MATLAB were used:
SPM12 toolbox was used to normalize the valided MRI data through its GUI.
NIRS_SPM toolbox was used to project the MNI coordinates of the probes to the AAL template through its GUI.
Homer3 toolbox was used to remove motion artifacts through its function hmrMotionCorrectWavelet with default parameters.
Wavelet toolbox was used to compute WTC and pWTC through its function wcoherence.
MRI scanner Siemens Healthineers TRIO 3-Tesla scanner In this protocol, the MRI scanner was used to obtain MNI coordinates of each channel and optpde. Scan parameters are described in main text.
customized caps In this protocol, we first marked two nylon caps with 10-20 system. Then, we made two 26-channels customized optode probes sets. Finally, we attached probes sets to caps aligned with landmarks.

References

  1. Hasson, U., Ghazanfar, A. A., Galantucci, B., Garrod, S., Keysers, C. Brain-to-brain coupling: A mechanism for creating and sharing a social world. Trends in Cognitive Sciences. 16 (2), 114-121 (2012).
  2. Hasson, U., Frith, C. D. Mirroring and beyond: Coupled dynamics as a generalized framework for modelling social interactions. Philosophical Transactions of the Royal Society B: Biological Sciences. 371, 20150366 (2016).
  3. Jiang, J., et al. Neural synchronization during face-to-face communication. Journal of Neuroscience. 32 (45), 16064-16069 (2012).
  4. Jiang, J., et al. Leader emergence through interpersonal neural synchronization. Proceedings of the National Academy of Sciences of the United States of America. 112 (14), 4274-4279 (2015).
  5. Dai, B., et al. Neural mechanisms for selectively tuning in to the target speaker in a naturalistic noisy situation. Nature Communications. 9 (1), 1-12 (2018).
  6. Long, Y., et al. Interpersonal neural synchronization during interpersonal touch underlies affiliative pair bonding between romantic couples. Cerebral Cortex. 31 (3), 1647-1659 (2021).
  7. Liu, W., et al. Shared neural representations of syntax during online dyadic communication. NeuroImage. 198, 63-72 (2019).
  8. Zheng, L., et al. Enhancement of teaching outcome through neural prediction of the students’ knowledge state. Human Brain Mapping. 39 (7), 3046-3057 (2018).
  9. Stephens, G. J., Silbert, L. J., Hasson, U. Speaker-listener neural coupling underlies successful communication. Proceedings of the National Academy of Sciences of the United States of America. 107 (32), 14425-14430 (2010).
  10. Hirsch, J., et al. Interpersonal agreement and disagreement during face-to-face dialogue: An fNIRS investigation. Frontiers in Human Neuroscience. 14, 606397 (2021).
  11. Pan, Y., Cheng, X., Zhang, Z., Li, X., Hu, Y. Cooperation in lovers: An fNIRS-based hyperscanning study. Human Brain Mapping. 38 (2), 831-841 (2017).
  12. Cui, X., Bryant, D. M., Reiss, A. L. NIRS-based hyperscanning reveals increased interpersonal coherence in superior frontal cortex during cooperation. NeuroImage. 59 (3), 2430-2437 (2012).
  13. Piazza, E. A., Hasenfratz, L., Hasson, U., Lew-Williams, C. Infant and Adult Brains Are Coupled to the Dynamics of Natural Communication. Psychological Science. 31 (1), 6-17 (2020).
  14. Djalovski, A., Dumas, G., Kinreich, S., Feldman, R. Human attachments shape interbrain synchrony toward efficient performance of social goals. NeuroImage. 226, 117600 (2021).
  15. Zhao, H., et al. How mother-child interactions are associated with a child’s compliance. Cerebral Cortex. 31 (9), 4398-4410 (2021).
  16. Jiang, J., Zheng, L., Lu, C. A hierarchical model for interpersonal verbal communication. Social Cognitive and Affective Neuroscience. 16 (1-2), 246-255 (2021).
  17. Yan, W., et al. Bibliometric evaluation of 2000-2019 publications on functional near-infrared spectroscopy. NeuroImage. 220, 117121 (2020).
  18. Zheng, L., et al. Affiliative bonding between teachers and students through interpersonal synchronisation in brain activity. Social Cognitive and Affective Neuroscience. 15 (1), 97-109 (2020).
  19. Dean, R. T., Dunsmuir, W. T. M. Dangers and uses of cross-correlation in analyzing time series in perception, performance, movement, and neuroscience: The importance of constructing transfer function autoregressive models. Behavior Research Methods. 48 (2), 783-802 (2016).
  20. Barker, J. W., Rosso, A. L., Sparto, P. J., Huppert, T. J. Correction of motion artifacts and serial correlations for real-time functional near-infrared spectroscopy. Neurophotonics. 3 (3), 031410 (2016).
  21. Huppert, T. J. Commentary on the statistical properties of noise and its implication on general linear models in functional near-infrared spectroscopy. Neurophotonics. 3 (1), 010401 (2016).
  22. Mihanović, H., Orlić, M., Pasarić, Z. Diurnal thermocline oscillations driven by tidal flow around an island in the Middle Adriatic. Journal of Marine Systems. 78, 157-168 (2009).
  23. Ng, E. K. W., Chan, J. C. L. Geophysical applications of partial wavelet coherence and multiple wavelet coherence. Journal of Atmospheric and Oceanic Technology. 29 (12), 1845-1853 (2012).
  24. Ng, E. K. W., Chan, J. C. L. Interannual variations of tropical cyclone activity over the north Indian Ocean. International Journal of Climatology. 32 (6), 819-830 (2012).
  25. Grinsted, A., Moore, J. C., Jevrejeva, S. Application of the cross wavelet transform and wavelet coherence to geophysical time series. Nonlinear Processes in Geophysics. 11, 561-566 (2004).
  26. Jurcak, V., Tsuzuki, D., Dan, I. 10/20, 10/10, and 10/5 systems revisited: Their validity as relative head-surface-based positioning systems. NeuroImage. 34 (4), 1600-1611 (2007).
  27. Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalography and Clinical Neurophysiology. 66 (4), 376-382 (1987).
  28. Koessler, L., et al. Automated cortical projection of EEG sensors: Anatomical correlation via the international 10-10 system. NeuroImage. 46 (1), 64-72 (2009).
  29. Penny, W., Friston, K., Ashburner, J., Kiebel, S., Nichols, T. . Statistical Parametric Mapping: The Analysis of Functional Brain Images. , (2007).
  30. Shalinsky, M. H., Kovelman, I., Berens, M. S., Petitto, L. A. Exploring cognitive functions in babies, children & adults with near infrared spectroscopy. Journal of Visualized Experiments: JoVE. (29), e1268 (2009).
  31. Xu, S. Y., Cheong, L. I., Zhuang, Y., Couto, T. A. P., Yuan, Z. Conducting concurrent electroencephalography and functional near-infrared spectroscopy recordings with a flanker task. Journal of Visualized Experiments: JoVE. (159), e6069 (2020).
  32. Noah, J. A., et al. fMRI validation of fNIRS measurements during a naturalistic task. Journal of Visualized Experiments: JoVE. (100), e52116 (2015).
  33. Tong, Y., Lindsey, K. P., Frederick, B. D. Partitioning of physiological noise signals in the brain with concurrent near-infrared spectroscopy and fMRI. Journal of Cerebral Blood Flow and Metabolism. 31 (12), 2352-2362 (2011).
  34. Buck, R., Miller, R. E., Caul, W. F. Sex, personality, and physiological variables in the communication of affect via facial expression. Journal of Personality and Social Psychology. 30 (4), 587-596 (1974).
  35. Walen, H. R., Lachman, M. E. Social support and strain from partner, family, and friends: Costs and benefits for men and women in adulthood. Journal of Social and Personal Relationships. 17 (1), 5-30 (2000).
  36. Chang, C., Glover, G. H. Time-frequency dynamics of resting-state brain connectivity measured with fMRI. NeuroImage. 50 (1), 81-98 (2010).
  37. Liu, H., et al. Inferring subsurface preferential flow features from a wavelet analysis of hydrological signals in the shale hills catchment. Water Resources Research. 56 (11), 0 (2020).
  38. Rhif, M., Abbes, A. B., Farah, I. R., Martínez, B., Sang, Y. Wavelet transform application for/in non-stationary time-series analysis: A review. Applied Sciences. 9 (7), 1345 (2019).
  39. Molavi, B., Dumont, G. A. Wavelet-based motion artifact removal for functional near-infrared spectroscopy. Physiological Measurement. 33 (2), 259-270 (2012).
  40. Scholkmann, F., Spichtig, S., Muehlemann, T., Wolf, M. How to detect and reduce movement artifacts in near-infrared imaging using moving standard deviation and spline interpolation. Physiological Measurement. 31 (5), 649-662 (2010).
  41. Zhang, Y., Brooks, D. H., Franceschini, M. A., Boas, D. A. Eigenvector-based spatial filtering for reduction of physiological interference in diffuse optical imaging. Journal of Biomedical Optics. 10 (1), 011014 (2005).
  42. Cui, X., Bray, S., Reiss, A. L. Functional near infrared spectroscopy (NIRS) signal improvement based on negative correlation between oxygenated and deoxygenated hemoglobin dynamics. NeuroImage. 49 (4), 3039-3046 (2010).
  43. Cooper, R. J., et al. A systematic comparison of motion artifact correction techniques for functional near-infrared spectroscopy. Frontiers in Neuroscience. , 147 (2012).
  44. Brigadoi, S., et al. Motion artifacts in functional near-infrared spectroscopy: A comparison of motion correction techniques applied to real cognitive data. NeuroImage. 85, 181-191 (2014).
  45. Liu, Y., et al. Measuring speaker-listener neural coupling with functional near infrared spectroscopy. Scientific Reports. 7, 1-13 (2017).
  46. Li, Z., et al. Speaker-listener neural coupling reveals an adaptive mechanism for speech comprehension in a noisy environment. Cerebral Cortex. , (2021).

Play Video

Cite This Article
Zhou, S., Long, Y., Lu, C. Measurement of the Directional Information Flow in fNIRS-Hyperscanning Data using the Partial Wavelet Transform Coherence Method. J. Vis. Exp. (175), e62927, doi:10.3791/62927 (2021).

View Video