Summary

Новая основа для понимания межполушарной когерентности в исследованиях гиперсканирования с помощью функциональной спектроскопии ближнего инфракрасного диапазона (fNIRS)

Published: October 06, 2023
doi:

Summary

Когерентность вейвлет-преобразования (WTC) — это распространенная методология оценки связи между сигналами, которая используется в исследованиях гиперсканирования с помощью функциональной спектроскопии ближнего инфракрасного диапазона (fNIRS). В работе представлен инструментарий для оценки направленности взаимодействия сигналов.

Abstract

Несмотря на растущее количество исследований в области функциональной спектроскопии ближнего инфракрасного диапазона (fNIRS), оценка связи между двумя нейронными сигналами с помощью когерентности вейвлет-преобразования (WTC), по-видимому, игнорирует направленность взаимодействия. В настоящее время в этой области отсутствует структура, которая позволила бы исследователям определить, отражает ли высокое значение когерентности, полученное с помощью функции ВТЦ, синфазную синхронизацию (т.е. нейронная активация наблюдается у обоих членов диады одновременно), запаздывающую синхронизацию (т.е. нейронная активация наблюдается у одного члена диады раньше другого); или противофазная синхронизация (т.е. нейронная активация увеличивается у одного члена диады и уменьшается у другого). Для удовлетворения этой потребности в данной работе предлагается дополнительный и более чувствительный подход к анализу фазовой когерентности двух нейронных сигналов. Набор инструментов позволяет исследователям оценить направленность связи, классифицируя значения фазового угла, полученные с помощью традиционного ВТЦ, на синфазную синхронизацию, синхронизацию с запаздыванием и противофазную синхронизацию. Инструментарий также позволяет исследователям оценить, как динамика взаимодействий развивается и изменяется на протяжении всей задачи. Использование этого нового подхода ВТЦ и его инструментария будет способствовать нашему пониманию сложных социальных взаимодействий через их использование в исследованиях гиперсканирования fNIRS.

Introduction

В последние годы произошел сдвиг в типах исследований, проводимых для понимания нейронных основ социального поведения 1,2. Традиционно исследования в области социальной нейробиологии были сосредоточены на нейронной активации в одном изолированном мозге во время выполнения социально значимой задачи. Тем не менее, достижения в области технологий нейровизуализации в настоящее время позволяют исследовать нейронную активацию в мозге одного или нескольких людей во время социального взаимодействия, как это происходит в «реальной» жизни. В условиях «реальной жизни» люди могут свободно двигаться, и паттерны активации мозга, вероятно, будут меняться по мере обмена информацией и получения обратной связи другот друга.

Гиперсканирование — это метод, который оценивает этот двунаправленный обмен информацией путем измерения активности мозга двух или более человек одновременно. В новых исследованиях использовалась функциональная спектроскопия ближнего инфракрасного диапазона (fNIRS), неинвазивный метод нейровизуализации, который, по сравнению с другими методами нейровизуализации, менее восприимчив картефактам движения. Гиперсканирование с помощью fNIRS позволяет оценить межмозговую синхронизацию (СРК) в реальных условиях, в то время как интерактивные партнеры двигаются свободно и естественно. Это особенно актуально для работы с младенцами и маленькими детьми, которые, как правило, довольно активны. Сообщается, что СРК отражает взаимопонимание между интерактивными партнерами, которое служит основой для эффективного социального взаимодействия и коммуникации и опосредует общую интенциональность 1,7,8.

Для оценки СРК двух головных мозгов используется несколько методов. К таким методам относятся корреляции временных рядов, такие как взаимная корреляция и коэффициент корреляции Пирсона 9,10 (см. обзор Scholkmann et al.10). Другие методы предполагают оценку силы связи в частотной области. К таким методам относятся значение фазовой автоподстройки (PLV) и фазовая когерентность (см. обзор Czeszumski et al.11). Один из наиболее распространенных методов в исследованиях fNIRS использует вейвлет-преобразование когерентности (WTC) – меру взаимной корреляции двух временных рядов в зависимости от частоты и времени10.

ВТЦ использует корреляционный анализ для расчета когерентности и фазового запаздывания между двумя временными рядами во временно-частотной области. В исследованиях гиперсканирования FNIRS ВТЦ использовался для оценки СРК во многих областях функционирования, включая мониторинг действий12, кооперативное и конкурентное поведение 5,13,14,15, имитацию 16, решение проблем между матерью и ребенком 17 и поведение преподавателя-обучения 18,19,20,21 . Как правило, в исследованиях гиперсканирования межмозговая когерентность, измеренная WTC, во время экспериментальной задачи сравнивается с межмозговой когерентностью во время контрольной задачи. Эти результаты обычно представляются в виде «горячего графика» ВТЦ, который показывает когерентность между двумя мозгами в каждый момент времени и с каждой частотой (см. рис. 1).

Как предположили Czesumaski et al.11, WTC стал стандартным аналитическим подходом для анализа гиперсканирования fNIRS. Анализ ВТЦ является гибким, «не зависящим от инструмента» методом визуализации и интерпретации данных22. Тепловая карта коэффициента когерентности, обеспечивающая повествовательную форму анализа, позволяющую легко идентифицировать периоды синхронного или асинхронного поведения, а также интенсивность мозговой активности во время выполнения задачи, является основным преимуществом ВТЦ и делает его сильным инструментом для прикладных исследований22. ЦМТ имеет преимущество перед корреляционными методами. Корреляции чувствительны к форме функции гемодинамического ответа (HRF), которая, как полагают, различается у разных людей (особенно с точки зрения возраста) и между различными областями мозга. В отличие от этого, ВТЦ не подвержен влиянию межрегиональных изменений в (HRF)23. Исследователи использовали вейвлет-подход для изучения временных рядов фМРТ. Zhang et al.24 сравнили широко используемые метрики функциональной связности, включая корреляцию Пирсона, частичную корреляцию, взаимную информацию и преобразование вейвлет-когерентности (WTC). Они провели классификационные эксперименты с использованием крупномасштабных функциональных паттернов связей, полученных из данных фМРТ в состоянии покоя и данных фМРТ при просмотре видео с естественным стимулом. Их результаты показали, что ВТЦ показал наилучшие результаты в классификации (специфичность, чувствительность и точность), подразумевая, что ВТЦ является предпочтительным показателем функциональной связности для изучения функциональных сетей мозга, по крайней мере,в классификационных приложениях.

Figure 1
Рисунок 1: Когерентность вейвлет-преобразования (WTC). ВТЦ показывает когерентность и фазовый угол между двумя временными рядами в зависимости от времени (ось x) и частоты (ось y). Увеличение когерентности показано красным цветом на графике, а маленькие стрелки на графике показывают фазовый угол двух временных рядов. Стрелка, направленная вправо, представляет синфазную синхронизацию; стрелки, направленные вниз и вверх, представляют синхронизацию с запаздыванием; а стрелка, направленная влево, представляет противофазную синхронизацию30. Эта цифра была адаптирована из Pan et al.19. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этого рисунка.

Недавно Гамильтон25 сформулировал несколько ограничений в интерпретации данных межмозговой когерентности в исследованиях гиперсканирования fNIRS. Одна из главных проблем Гамильтона заключалась в том, что показатели когерентности (например, ВТЦ) сообщают о симметричных эффектах (т.е. два мозга коррелируют друг с другом, демонстрируя одну и ту же картину изменений). Тем не менее, многие социальные взаимодействия асимметричны (например, поток информации между говорящим и слушающим) в том смысле, что два участника могут играть разные роли, и неясно, может ли ВТЦ зафиксировать эту информацию. В данном случае эта проблема решается с помощью новой структуры, которая позволяет легко интерпретировать мощность кросс-вейвлет-излучения с помощью кросс-вейвлет-фазы для определения направленности. Эта структура также позволит изучить, как развивается и изменяется динамика взаимодействий на протяжении всей задачи.

В то время как ВТЦ и корреляционные методы оценивают функциональную связность, другие методы оценивают эффективную связность, пытаясь извлечь причинно-следственные влияния одного нейронного элемента на другой. Энтропия переноса — мера из области теории информации, описывающая перенос между совместно зависимыми процессами26. Другим родственным методом является анализ причинно-следственной связи Грейнджера (GCA), который был описан как эквивалент энтропии переноса26.

В существующей литературе, посвященной исследованиям гиперсканирования fNIRS, анализ причинно-следственных связей Грейнджера (GCA) широко используется для оценки направленности связи между данными временных рядов fNIRS, полученными в ходе различных задач, таких как сотрудничество5, обучение19 и имитация16. GCA использует векторные авторегрессионные модели для оценки направленности связи между временными рядами в данных мозга. Причинно-следственная связь Грейнджера основана на предсказании и приоритете: «переменная X называется «G-причиной» переменной Y, если прошлое X содержит информацию, которая помогает предсказать будущее Y, сверх информации, уже имеющейся в прошлом Y»27. Соответственно, G-причинность анализируется в двух направлениях: 1) от субъекта А к субъекту Б и 2) от субъекта Б к субъекту А.

В то время как анализ GCA служит дополнительным анализом, направленным на определение того, отражает ли высокое значение когерентности, полученное с помощью функции WTC, IBS или запаздывающую синхронизацию (один сигнал опережает другой), он не позволяет определить, имела ли место противофазная синхронизация. В традиционных нейровизуализационных исследованиях, в которых сканируется только один участник (т.е. подход «одного мозга»), антифазный паттерн означает, что активность в одной области мозга увеличивается, в то время как активность в другой областимозга снижается. В литературе, посвященной гиперсканированию, наличие противофазной синхронизации может свидетельствовать о том, что нейронная активация повышена у одного субъекта, и в то же время нейронная активация снижена у другого субъекта. Поэтому необходимо предоставить комплексную модель, способную определить направленность. В частности, эта модель сможет обнаруживать антифазную синхронизацию (при которой направление активности у одного индивидуума противоположно направлению активности его партнера) в дополнение к синфазной синхронизации и запаздывающей синхронизации.

В попытке решить проблему того, что ВТЦ демонстрирует только симметричные эффекты, когда оба мозга демонстрируют одну и ту же картинуизменений, представлен новый подход к определению типа взаимодействия путем изучения фазы синхронизации (т.е. синфазной, запаздывающей или антифазной) (см. рис. 2). С этой целью был разработан инструментарий, использующий метод ВТЦ для классификации различных типов взаимодействий. Типы взаимодействий классифицируются с использованием относительных фазовых данных, полученных при анализе кросс-вейвлет-преобразований.

Figure 2
Рисунок 2: Иллюстрация различных фазовых соотношений простых синусоидальных волн. (A) Когда два сигнала, Сигнал 1 (синяя линия s) и Сигнал 2 (оранжевая линияs), достигают своих соответствующих максимальных, минимальных и нулевых значений в один и тот же момент времени, говорят, что они показывают синфазную синхронизацию32. (B) Когда один сигнал достигает своего максимального значения, а другой сигнал достигает нуля в тот же момент времени, говорят, что они показывают синхронизацию с запаздыванием (один опережает на 90°)32,33,34. (C) Когда два временных ряда смещаются в противоположных направлениях, что означает, что один сигнал достигает максимума, а другой достигает минимального значения в один и тот же момент времени, это называется противофазной синхронизацией28. (Д-) Во всех остальных фазовых соотношениях между двумя временными рядами один сигнал опережает другой. Во всех положительных фазах сигнал 2 является ведущим сигналом 1 (например, панели E, F, M и N), тогда как во всех отрицательных фазах сигнал 1 опережает сигнал 2 (например, панели D, G, H, O и P). Примечательно, что когда абсолютное значение фазы выше, становится более различимым, какой временной ряд опережает другой (например, лидерство более отчетливо выражено в панели J, чем в панели I, а в панели K лидерство более отчетливо, чем в панели L). Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этого рисунка.

Protocol

Исследование было проведено в Атлантическом университете Флориды (FAU) и было одобрено Институциональным наблюдательным советом FAU (IRB). 1. Использование программного обеспечения Homer3 (Table of Materials) для выполнения предварительной обработки данных гиперсканирования fNIRS</stron…

Representative Results

В этом разделе демонстрируются типы анализов, которые можно выполнять с помощью панели инструментов (которую можно загрузить по адресу https://www.ariel.ac.il/wp/sns/download/ или https://github.com/Minisharmaa/Leader-Follower-By-Phase.). Для этого анализа были использованы данные fNIRS, собранные с помощью небольшой выборки диад «…

Discussion

Одним из наиболее распространенных методов, используемых в исследованиях fNIRS, является когерентность вейвлет-преобразования (WTC), которая является мерой взаимной корреляции двух временных рядов в зависимости от частоты и времени10. ВТЦ вычисляет когерентность и фазовое за?…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Мы хотели бы выразить признательность за поддержку, оказанную Национальным фондом естественных наук Китая (No 62207025), Исследовательским проектом по гуманитарным и социальным наукам от Министерства образования Китая (No 22YJC190017) и Фондами фундаментальных исследований для центральных университетов Яфэн Пань.

Materials

NIRScout   NIRx Medical Technologies, LLC n.a. 8 sources, 8 detectors
MATLAB The Mathworks, Inc. Matlab 2022a In this protocol, several toolboxes and buit in MATLAB functions were used: HOMER3 toolbox was used to convert Intensity to OD, to remove motion artifacts through its function hmrMotionCorrectWavelet with default parameters and to convert OD to Conc. Wavelet Toolbox was used to compute WTC.

References

  1. Gvirts, H. Z., Perlmutter, R. What guides us to neurally and behaviorally align with anyone specific? A neurobiological model based on fNIRS hyperscanning studies. The Neuroscientist. 26 (2), 108-116 (2019).
  2. Balconi, M., Fronda, G., Vanutelli, M. E. Donate or receive? Social hyperscanning application with fNIRS. Current Psychology. 38 (4), 991-1002 (2019).
  3. Redcay, E., Schilbach, L. Using second-person neuroscience to elucidate the mechanisms of social interaction. Nature Reviews Neuroscience. 20 (8), 495-505 (2019).
  4. Shamay-Tsoory, S. G., Mendelsohn, A. Real-life neuroscience: An ecological approach to brain and behavior research. Perspectives on Psychological Science. 14 (5), 841-859 (2019).
  5. Cui, X., Bryant, D. M., Reiss, A. L. NIRS-based hyperscanning reveals increased interpersonal coherence in superior frontal cortex during cooperation. NeuroImage. 59 (3), 2430-2437 (2012).
  6. Quaresima, V., Ferrari, M. Functional near-infrared spectroscopy (fNIRS) for assessing cerebral cortex function during human behavior in natural/social situations: A concise review. Organizational Research Methods. 22 (1), 46-68 (2016).
  7. Fishburn, F. A., et al. Putting our heads together: interpersonal neural synchronization as a biological mechanism for shared intentionality. Social Cognitive and Affective Neuroscience. 13 (8), 841-849 (2018).
  8. Hasson, U., Ghazanfar, A. A., Galantucci, B., Garrod, S., Keysers, C. Brain-to-brain coupling: A mechanism for creating and sharing a social world. Trends in Cognitive Sciences. 16 (2), 114-121 (2012).
  9. Chang, C., Glover, G. H. Time-frequency dynamics of resting-state brain connectivity measured with fMRI. NeuroImage. 50 (1), 81-98 (2010).
  10. Scholkmann, F., Holper, L., Wolf, U., Wolf, M. A new methodical approach in neuroscience: Assessing inter-personal brain coupling using functional near-infrared imaging (fNIRI) hyperscanning. Frontiers in Human Neuroscience. 7, 813 (2013).
  11. Czeszumski, A., et al. Hyperscanning: A valid method to study neural inter-brain underpinnings of social interaction. Frontiers in Human Neuroscience. 14, 39 (2020).
  12. Dommer, L., Jäger, N., Scholkmann, F., Wolf, M., Holper, L. Between-brain coherence during joint n-back task performance: A two-person functional near-infrared spectroscopy study. Behavioural Brain Research. 234 (2), 212-222 (2012).
  13. Osaka, N., Minamoto, T., Yaoi, K., Azuma, M., Osaka, M. Neural synchronization during cooperated humming: A hyperscanning study using fNIRS. Procedia – Social and Behavioral Sciences. 126, 241-243 (2014).
  14. Wang, C., Zhang, T., Shan, Z., Liu, J., Yuan, D., Li, X. Dynamic interpersonal neural synchronization underlying pain-induced cooperation in females. Human Brain Mapping. 40 (11), 3222-3232 (2019).
  15. Cheng, X., Li, X., Hu, Y. Synchronous brain activity during cooperative exchange depends on gender of partner: A fNIRS-based hyperscanning study. Human Brain Mapping. 36 (6), 2039-2048 (2015).
  16. Holper, L., Scholkmann, F., Wolf, M. Between-brain connectivity during imitation measured by fNIRS. NeuroImage. 63 (1), 212-222 (2012).
  17. Nguyen, T., et al. The effects of interaction quality on neural synchrony during mother-child problem solving. Cortex. 124, 235-249 (2020).
  18. Zheng, L., et al. Enhancement of teaching outcome through neural prediction of the students’ knowledge state. Human Brain Mapping. 39 (7), 3046-3057 (2018).
  19. Pan, Y., Novembre, G., Song, B., Li, X., Hu, Y. Interpersonal synchronization of inferior frontal cortices tracks social interactive learning of a song. NeuroImage. 183, 280-290 (2018).
  20. Pan, Y., et al. Instructor-learner brain coupling discriminates between instructional approaches and predicts learning. NeuroImage. 211, 116657 (2020).
  21. Liu, J., et al. Interplay between prior knowledge and communication mode on teaching effectiveness: Interpersonal neural synchronization as a neural marker. NeuroImage. 193, 93-102 (2019).
  22. Léné, P., et al. Wavelet transform coherence: An innovative method to investigate social interaction in NeuroIS. Lecture Notes in Information Systems and Organisation. 32, 147-154 (2020).
  23. Nguyen, T., Hoehl, S., Vrtička, P. A guide to parent-child fNIRS hyperscanning data processing and analysis. Sensors. 21 (12), 4075 (2021).
  24. Zhang, Y., Han, J., Hu, X., Guo, L., Liu, T. Data-driven evaluation of functional connectivity metrics. Proceedings – International Symposium on Biomedical Imaging. , 532-535 (2013).
  25. Hamilton, A. F. d. e. C. Hyperscanning: Beyond the hype. Neuron. 109 (3), 404-407 (2021).
  26. Barnett, L., Barrett, A. B., Granger Seth, A. K. causality and transfer entropy are equivalent for Gaussian variables. Physical Review Letters. 103 (23), 2-5 (2009).
  27. Barnett, L., Seth, A. K. The MVGC multivariate Granger causality toolbox: A new approach to Granger-causal inference. Journal of Neuroscience Methods. 223, 50-68 (2014).
  28. Li, D., Zhou, C. Organization of anti-phase synchronization pattern in neural networks: What are the key factors. Frontiers in Systems Neuroscience. 5, 100 (2011).
  29. Huppert, T. J., Diamond, S. G., Franceschini, M. A., Boas, D. A. HomER: A review of time-series analysis methods for near-infrared spectroscopy of the brain. Applied Optics. 48 (10), D280-D298 (2009).
  30. Grinsted, A., Moore, J. C., Jevrejeva, S. Application of the cross wavelet transform and wavelet coherence to geophysical time series. Nonlinear Processes in Geophysics. 11 (5-6), 561-566 (2004).
  31. Feldman, R. Parent-infant synchrony. Current Directions in Psychological Science. 16 (6), 340-345 (2007).
  32. Fell, J., Axmacher, N. The role of phase synchronization in memory processes. Nature Reviews Neuroscience. 12 (2), 105-118 (2011).
  33. Olcay, B. O., Karaçalı, B. Evaluation of synchronization measures for capturing the lagged synchronization between EEG channels: A cognitive task recognition approach. Computers in Biology and Medicine. 114, 103441 (2019).
  34. Stam, C. J. Nonlinear dynamical analysis of EEG and MEG: Review of an emerging field. Clinical Neurophysiology. 116 (10), 2266-2301 (2005).
  35. Mallat, S. . A Wavelet Tour of Signal Processing. , (2009).
  36. Kleinbub, J. R., Ramseyer, F. T. . rMEA: An R package to assess nonverbal synchronization in motion energy analysis time-series. 31 (6), 817-830 (2020).
  37. Pan, Y., Novembre, G., Song, B., Zhu, Y., Hu, Y. Dual brain stimulation enhances interpersonal learning through spontaneous movement synchrony. Social Cognitive and Affective Neuroscience. 16 (1-2), 210-221 (2021).
  38. Ramseyer, F., Tschacher, W. Nonverbal synchrony in psychotherapy: Coordinated body movement reflects relationship quality and outcome. Journal of Consulting and Clinical Psychology. 79 (3), 284-295 (2011).
  39. Zhang, X., Noah, J. A., Dravida, S., Hirsch, J. Optimization of wavelet coherence analysis as a measure of neural synchrony during hyperscanning using functional near-infrared spectroscopy. Neurophotonics. 7 (1), 015010 (2020).
  40. Walton, A. E., Richardson, M. J., Langland-Hassan, P., Chemero, A. Improvisation and the self-organization of multiple musical bodies. Frontiers in Psychology. 6, 313 (2015).
  41. Varlet, M., Marin, L., Lagarde, J., Bardy, B. G. Social postural coordination. Journal of Experimental Psychology: Human Perception and Performance. 37 (2), 473-483 (2011).
  42. Hale, J., Ward, J. A., Buccheri, F., Oliver, D., Hamilton, A. F. d. e. C. Are you on my wavelength? Interpersonal coordination in dyadic conversations. Journal of Nonverbal Behavior. 44 (1), 63-83 (2020).
  43. Fujiwara, K., Daibo, I. Evaluating interpersonal synchrony: Wavelet transform toward an unstructured conversation. Frontiers in Psychology. 7, 516 (2016).
  44. Nozawa, T., Sasaki, Y., Sakaki, K., Yokoyama, R., Kawashima, R. Interpersonal frontopolar neural synchronization in group communication: An exploration toward fNIRS hyperscanning of natural interactions. NeuroImage. 133, 484-497 (2016).
  45. Dai, R., et al. Holistic cognitive and neural processes: A fNIRS-hyperscanning study on interpersonal sensorimotor synchronization. Social Cognitive and Affective Neuroscience. 13 (11), 1141-1154 (2018).
  46. Lu, K., Qiao, X., Yun, Q., Hao, N. Educational diversity and group creativity: Evidence from fNIRS hyperscanning. NeuroImage. 243, 118564 (2021).

Play Video

Cite This Article
Gvirts Provolovski, H. Z., Sharma, M., Gutman, I., Dahan, A., Pan, Y., Stotler, J., Wilcox, T. New Framework for Understanding Cross-Brain Coherence in Functional Near-Infrared Spectroscopy (fNIRS) Hyperscanning Studies. J. Vis. Exp. (200), e65347, doi:10.3791/65347 (2023).

View Video