Summary

Измерение направленного информационного потока в данных fNIRS-гиперсканирования с использованием метода когерентности с частичным вейвлет-преобразованием

Published: September 03, 2021
doi:

Summary

Этот протокол описывает когерентность частичного вейвлет-преобразования (pWTC) для вычисления запаздывающего во времени паттерна межличностной нейронной синхронизации (INS) для вывода направления и временного паттерна информационного потока во время социального взаимодействия. Эффективность pWTC в устранении путаницы автокорреляции сигнала на INS была доказана двумя экспериментами.

Abstract

Социальное взаимодействие имеет жизненно важное значение для людей. В то время как подход гиперсканирования широко используется для изучения межличностной нейронной синхронизации (INS) во время социальных взаимодействий, функциональная ближняя инфракрасная спектроскопия (fNIRS) является одним из самых популярных методов гиперсканирования натуралистических социальных взаимодействий из-за его относительно высокого пространственного разрешения, звуковой анатомической локализации и исключительно высокой толерантности к артефактам движения. Предыдущие исследования гиперсканирования на основе fNIRS обычно вычисляют запаздывающую во времени INS с использованием когерентности вейвлет-преобразования (WTC) для описания направления и временной структуры информационного потока между людьми. Однако результаты этого метода могут быть сбиты с толку автокорреляционным эффектом сигнала fNIRS каждого человека. Для решения этой проблемы был введен метод, называемый когерентностью частичного вейвлет-преобразования (pWTC), который был направлен на устранение эффекта автокорреляции и поддержание высокого разрешения временного спектра сигнала fNIRS. В этом исследовании сначала был проведен симуляционный эксперимент, чтобы показать эффективность pWTC в устранении влияния автокорреляции на INS. Затем было предложено пошаговое руководство по работе pWTC на основе набора данных fNIRS из эксперимента по социальному взаимодействию. Кроме того, было проведено сравнение между методом pWTC и традиционным методом WTC, а также сравнение между методом pWTC и методом причинности Грейнджера (GC). Результаты показали, что pWTC может быть использован для определения разницы INS между различными экспериментальными условиями и направленной и временной картины INS между людьми во время натуралистических социальных взаимодействий. Кроме того, он обеспечивает лучшее временное и частотное разрешение, чем традиционный ЦМТ, и лучшую гибкость, чем метод GC. Таким образом, pWTC является сильным кандидатом для вывода направления и временной модели информационного потока между людьми во время натуралистических социальных взаимодействий.

Introduction

Социальное взаимодействие имеет жизненно важное значение для людей 1,2. Для понимания нейрокогнитивного механизма социального взаимодействия двойного мозга в последнее время широко используется подход гиперсканирования, показывающий, что паттерны межличностной нейронной синхронизации (INS) могут хорошо характеризовать процесс социального взаимодействия 3,4,5,6,7,8,9,10,11,12 ,13,14. Среди недавних исследований интересным открытием является то, что разница ролей людей в диаде может привести к замедленной во времени картине INS, то есть INS возникает, когда активность мозга одного человека отстает от активности мозга другого человека на секунды, например, от слушателей к динамикам 5,9, от лидеров к последователям4, от учителей до учеников8, от матерей до детей13,15, а от женщин до мужчин в романтической паре6. Самое главное, существует хорошее соответствие между интервалом запаздывающих во времени INS и поведения социального взаимодействия, например, между учителями, задающими вопросы, и учащимися, отвечающимина 8, или между родительским поведением матерей и поведением соответствия детей15. Таким образом, запаздывающая во времени ИНС может отражать направленный информационный поток от одного человека к другому, как это предлагается в недавней иерархической модели межличностной вербальнойкоммуникации 16.

Ранее замедленная по времени ИНС в основном рассчитывалась по функциональному сигналу ближней инфракрасной спектроскопии (fNIRS) из-за его относительно высокого пространственного разрешения, анатомической локализации звука и исключительно высокой толерантности артефактов движения17 при изучении натуралистических социальных взаимодействий. Более того, чтобы точно охарактеризовать соответствие между нейронным временным лагом и поведенческим временным лагом во время социального взаимодействия, важно получить силу INS для каждого временного лага (например, от отсутствия временного лага до временного лага 10 с). С этой целью ранее широко применялась процедура когерентности вейвлет-преобразования (ВТЦ) после смещения сигнала мозга одного индивидуума вперед или назад относительно сигнала другого индивидуума 5,6,18. При использовании этой традиционной процедуры ЦМТ для сигналов fNIRS существует потенциальная проблема, поскольку наблюдаемая задержка во времени INS может быть спутана эффектом автокорреляции сигнала fNIRS для отдельного 19,20,21. Например, во время диадического процесса социального взаимодействия сигнал участника A в точке времени t может быть синхронизирован с сигналом участника B в той же точке времени. Между тем, сигнал участника A в точке времени t может быть синхронизирован с сигналом участника A в более поздней точке времени t+1 из-за эффекта автокорреляции. Таким образом, между сигналом участника A в точке времени t и сигналом участника B в точке времени t и сигналом участника B в точке времени t+1 может возникнуть ложная задержка во времени.

Миханович и его коллеги22 сначала представили метод, называемый когерентностью частичного вейвлет-преобразования (pWTC), а затем применили его в морской науке23,24. Первоначальной целью этого метода было управление экзогенным смешанным шумом при оценке когерентности двух сигналов. Здесь, чтобы решить проблему автокорреляции в данных гиперсканирования fNIRS, метод pWTC был расширен для расчета ins с задержкой во времени на сигнале fNIRS. Точнее, запаздывающий во времени INS (и направленный поток информации) от участника A к участнику B может быть рассчитан с использованием уравнения ниже (уравнение 1)23.

Equation 1

Здесь предполагается, что есть два сигнала, A и B, от участников A и B соответственно. Появление сигнала B всегда предшествует сигналу A с временным лагом n, где WTC (At, Bt +n) является традиционным WTC с задержкой во времени. ЦМТ (At, At+n) — автокоррелированный ЦМТ в участнике A. ЦМТ (At, Bt) — выровненный по времени ЦМТ в точке времени t между участником A и B. * — комплексный сопряженный оператор (рисунок 1A).

Figure 1
Рисунок 1: Обзор pWTC. (A) Логика pWTC. В диаде есть два сигнала А и В. Встречаемость A всегда следует за В с лагом n. Серый прямоугольник — это вейвлет-окно в определенной точке времени t или t+n. На основе уравнения pWTC (представленного на рисунке) необходимо рассчитать три WTC: ВТЦ с задержкой во времени At+n и Bt; автокоррелированный ЦМТ у участника A из At и At+n; и выровненный по времени ВТЦ в точке времени t, At и Bt. (Б) Компоновка комплектов оптодных зондов. CH11 был размещен в T3, а CH25 был размещен в T4 после международной системы 10-2027,28. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Этот протокол впервые представил эксперимент по моделированию, чтобы продемонстрировать, насколько хорошо pWTC решает проблему автокорреляции. Затем он объяснил, как проводить pWTC шаг за шагом на основе эмпирического эксперимента натуралистических социальных взаимодействий. Здесь для введения метода использовался контекст коммуникации. Это связано с тем, что ранее задержка во времени INS обычно рассчитывалась в натуралистическом коммуникационном контексте 3,4,6,8,13,15,18. Кроме того, было также проведено сравнение между pWTC и традиционным WTC и валидация с тестом причинности Грейнджера (GC).

Protocol

Протокол эксперимента на людях был одобрен Советом по институциональному обзору и Комитетом по этике Государственной ключевой лаборатории когнитивной неврологии и обучения в Пекинском педагогическом университете. Все участники дали письменное информированное согласие до начала эк…

Representative Results

Результаты моделированияРезультаты показали, что запаздывающий по времени INSWTC с автокорреляцией был значительно выше, чем INSWTC без автокорреляции (t(1998) = 4,696, p < 0,001) и inspWTC (t(1998) = 5,098, p < 0,001). Кроме того, не было существенной разницы между запаздыва…

Discussion

В исследованиях гиперсканирования обычно важно описать направленные и временные закономерности информационного потока между людьми. Большинство предыдущих исследований гиперсканирования fNIRS использовали традиционный WTC25 для вывода этих характеристик путем расчета INS ?…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Эта работа была поддержана Национальным фондом естественных наук Китая (61977008) и программой Young Top Notch Talents of Ten Thousand Talent Program.

Materials

fNIRS topography system Shimadzu Corporation Shimadzu LABNIRS systen LABNIRS system contains 40 emitters and 40 detectors for fNIRS signals measurement. In this protocol we used these emitters and detectors created two customized 26-channels probe sets and attached to two caps accroding to 10-20 system. Further, LABNIRS system also contains built-in GUI softwares for data quality check, data convert and data export.
MATLAB The MathWorks, Inc. MATLAB 2019a In this protocol, several toolboxs and functions bulit in MATLAB were used:
SPM12 toolbox was used to normalize the valided MRI data through its GUI.
NIRS_SPM toolbox was used to project the MNI coordinates of the probes to the AAL template through its GUI.
Homer3 toolbox was used to remove motion artifacts through its function hmrMotionCorrectWavelet with default parameters.
Wavelet toolbox was used to compute WTC and pWTC through its function wcoherence.
MRI scanner Siemens Healthineers TRIO 3-Tesla scanner In this protocol, the MRI scanner was used to obtain MNI coordinates of each channel and optpde. Scan parameters are described in main text.
customized caps In this protocol, we first marked two nylon caps with 10-20 system. Then, we made two 26-channels customized optode probes sets. Finally, we attached probes sets to caps aligned with landmarks.

References

  1. Hasson, U., Ghazanfar, A. A., Galantucci, B., Garrod, S., Keysers, C. Brain-to-brain coupling: A mechanism for creating and sharing a social world. Trends in Cognitive Sciences. 16 (2), 114-121 (2012).
  2. Hasson, U., Frith, C. D. Mirroring and beyond: Coupled dynamics as a generalized framework for modelling social interactions. Philosophical Transactions of the Royal Society B: Biological Sciences. 371, 20150366 (2016).
  3. Jiang, J., et al. Neural synchronization during face-to-face communication. Journal of Neuroscience. 32 (45), 16064-16069 (2012).
  4. Jiang, J., et al. Leader emergence through interpersonal neural synchronization. Proceedings of the National Academy of Sciences of the United States of America. 112 (14), 4274-4279 (2015).
  5. Dai, B., et al. Neural mechanisms for selectively tuning in to the target speaker in a naturalistic noisy situation. Nature Communications. 9 (1), 1-12 (2018).
  6. Long, Y., et al. Interpersonal neural synchronization during interpersonal touch underlies affiliative pair bonding between romantic couples. Cerebral Cortex. 31 (3), 1647-1659 (2021).
  7. Liu, W., et al. Shared neural representations of syntax during online dyadic communication. NeuroImage. 198, 63-72 (2019).
  8. Zheng, L., et al. Enhancement of teaching outcome through neural prediction of the students’ knowledge state. Human Brain Mapping. 39 (7), 3046-3057 (2018).
  9. Stephens, G. J., Silbert, L. J., Hasson, U. Speaker-listener neural coupling underlies successful communication. Proceedings of the National Academy of Sciences of the United States of America. 107 (32), 14425-14430 (2010).
  10. Hirsch, J., et al. Interpersonal agreement and disagreement during face-to-face dialogue: An fNIRS investigation. Frontiers in Human Neuroscience. 14, 606397 (2021).
  11. Pan, Y., Cheng, X., Zhang, Z., Li, X., Hu, Y. Cooperation in lovers: An fNIRS-based hyperscanning study. Human Brain Mapping. 38 (2), 831-841 (2017).
  12. Cui, X., Bryant, D. M., Reiss, A. L. NIRS-based hyperscanning reveals increased interpersonal coherence in superior frontal cortex during cooperation. NeuroImage. 59 (3), 2430-2437 (2012).
  13. Piazza, E. A., Hasenfratz, L., Hasson, U., Lew-Williams, C. Infant and Adult Brains Are Coupled to the Dynamics of Natural Communication. Psychological Science. 31 (1), 6-17 (2020).
  14. Djalovski, A., Dumas, G., Kinreich, S., Feldman, R. Human attachments shape interbrain synchrony toward efficient performance of social goals. NeuroImage. 226, 117600 (2021).
  15. Zhao, H., et al. How mother-child interactions are associated with a child’s compliance. Cerebral Cortex. 31 (9), 4398-4410 (2021).
  16. Jiang, J., Zheng, L., Lu, C. A hierarchical model for interpersonal verbal communication. Social Cognitive and Affective Neuroscience. 16 (1-2), 246-255 (2021).
  17. Yan, W., et al. Bibliometric evaluation of 2000-2019 publications on functional near-infrared spectroscopy. NeuroImage. 220, 117121 (2020).
  18. Zheng, L., et al. Affiliative bonding between teachers and students through interpersonal synchronisation in brain activity. Social Cognitive and Affective Neuroscience. 15 (1), 97-109 (2020).
  19. Dean, R. T., Dunsmuir, W. T. M. Dangers and uses of cross-correlation in analyzing time series in perception, performance, movement, and neuroscience: The importance of constructing transfer function autoregressive models. Behavior Research Methods. 48 (2), 783-802 (2016).
  20. Barker, J. W., Rosso, A. L., Sparto, P. J., Huppert, T. J. Correction of motion artifacts and serial correlations for real-time functional near-infrared spectroscopy. Neurophotonics. 3 (3), 031410 (2016).
  21. Huppert, T. J. Commentary on the statistical properties of noise and its implication on general linear models in functional near-infrared spectroscopy. Neurophotonics. 3 (1), 010401 (2016).
  22. Mihanović, H., Orlić, M., Pasarić, Z. Diurnal thermocline oscillations driven by tidal flow around an island in the Middle Adriatic. Journal of Marine Systems. 78, 157-168 (2009).
  23. Ng, E. K. W., Chan, J. C. L. Geophysical applications of partial wavelet coherence and multiple wavelet coherence. Journal of Atmospheric and Oceanic Technology. 29 (12), 1845-1853 (2012).
  24. Ng, E. K. W., Chan, J. C. L. Interannual variations of tropical cyclone activity over the north Indian Ocean. International Journal of Climatology. 32 (6), 819-830 (2012).
  25. Grinsted, A., Moore, J. C., Jevrejeva, S. Application of the cross wavelet transform and wavelet coherence to geophysical time series. Nonlinear Processes in Geophysics. 11, 561-566 (2004).
  26. Jurcak, V., Tsuzuki, D., Dan, I. 10/20, 10/10, and 10/5 systems revisited: Their validity as relative head-surface-based positioning systems. NeuroImage. 34 (4), 1600-1611 (2007).
  27. Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalography and Clinical Neurophysiology. 66 (4), 376-382 (1987).
  28. Koessler, L., et al. Automated cortical projection of EEG sensors: Anatomical correlation via the international 10-10 system. NeuroImage. 46 (1), 64-72 (2009).
  29. Penny, W., Friston, K., Ashburner, J., Kiebel, S., Nichols, T. . Statistical Parametric Mapping: The Analysis of Functional Brain Images. , (2007).
  30. Shalinsky, M. H., Kovelman, I., Berens, M. S., Petitto, L. A. Exploring cognitive functions in babies, children & adults with near infrared spectroscopy. Journal of Visualized Experiments: JoVE. (29), e1268 (2009).
  31. Xu, S. Y., Cheong, L. I., Zhuang, Y., Couto, T. A. P., Yuan, Z. Conducting concurrent electroencephalography and functional near-infrared spectroscopy recordings with a flanker task. Journal of Visualized Experiments: JoVE. (159), e6069 (2020).
  32. Noah, J. A., et al. fMRI validation of fNIRS measurements during a naturalistic task. Journal of Visualized Experiments: JoVE. (100), e52116 (2015).
  33. Tong, Y., Lindsey, K. P., Frederick, B. D. Partitioning of physiological noise signals in the brain with concurrent near-infrared spectroscopy and fMRI. Journal of Cerebral Blood Flow and Metabolism. 31 (12), 2352-2362 (2011).
  34. Buck, R., Miller, R. E., Caul, W. F. Sex, personality, and physiological variables in the communication of affect via facial expression. Journal of Personality and Social Psychology. 30 (4), 587-596 (1974).
  35. Walen, H. R., Lachman, M. E. Social support and strain from partner, family, and friends: Costs and benefits for men and women in adulthood. Journal of Social and Personal Relationships. 17 (1), 5-30 (2000).
  36. Chang, C., Glover, G. H. Time-frequency dynamics of resting-state brain connectivity measured with fMRI. NeuroImage. 50 (1), 81-98 (2010).
  37. Liu, H., et al. Inferring subsurface preferential flow features from a wavelet analysis of hydrological signals in the shale hills catchment. Water Resources Research. 56 (11), 0 (2020).
  38. Rhif, M., Abbes, A. B., Farah, I. R., Martínez, B., Sang, Y. Wavelet transform application for/in non-stationary time-series analysis: A review. Applied Sciences. 9 (7), 1345 (2019).
  39. Molavi, B., Dumont, G. A. Wavelet-based motion artifact removal for functional near-infrared spectroscopy. Physiological Measurement. 33 (2), 259-270 (2012).
  40. Scholkmann, F., Spichtig, S., Muehlemann, T., Wolf, M. How to detect and reduce movement artifacts in near-infrared imaging using moving standard deviation and spline interpolation. Physiological Measurement. 31 (5), 649-662 (2010).
  41. Zhang, Y., Brooks, D. H., Franceschini, M. A., Boas, D. A. Eigenvector-based spatial filtering for reduction of physiological interference in diffuse optical imaging. Journal of Biomedical Optics. 10 (1), 011014 (2005).
  42. Cui, X., Bray, S., Reiss, A. L. Functional near infrared spectroscopy (NIRS) signal improvement based on negative correlation between oxygenated and deoxygenated hemoglobin dynamics. NeuroImage. 49 (4), 3039-3046 (2010).
  43. Cooper, R. J., et al. A systematic comparison of motion artifact correction techniques for functional near-infrared spectroscopy. Frontiers in Neuroscience. , 147 (2012).
  44. Brigadoi, S., et al. Motion artifacts in functional near-infrared spectroscopy: A comparison of motion correction techniques applied to real cognitive data. NeuroImage. 85, 181-191 (2014).
  45. Liu, Y., et al. Measuring speaker-listener neural coupling with functional near infrared spectroscopy. Scientific Reports. 7, 1-13 (2017).
  46. Li, Z., et al. Speaker-listener neural coupling reveals an adaptive mechanism for speech comprehension in a noisy environment. Cerebral Cortex. , (2021).

Play Video

Cite This Article
Zhou, S., Long, Y., Lu, C. Measurement of the Directional Information Flow in fNIRS-Hyperscanning Data using the Partial Wavelet Transform Coherence Method. J. Vis. Exp. (175), e62927, doi:10.3791/62927 (2021).

View Video