מדידת זרימת המידע הכיווני בנתוני fNIRS-Hyperscanning באמצעות שיטת הקוהרנטיות של התמרת גלים חלקית
Summary
פרוטוקול זה מתאר קוהרנטיות של התמרת גלים חלקית (pWTC) לחישוב התבנית המפגרת בזמן של סנכרון עצבי בין-אישי (INS) כדי להסיק את הכיוון ואת התבנית הזמנית של זרימת המידע במהלך אינטראקציה חברתית. היעילות של pWTC בהסרת הבלבולים של תיקון אוטומטי של אותות ב- INS הוכחה על ידי שני ניסויים.
Abstract
אינטראקציה חברתית היא בעלת חשיבות מכרעת עבור בני האדם. בעוד שגישת ה-hyperscanning שימשה באופן נרחב לחקר סנכרון עצבי בין-אישי (INS) במהלך אינטראקציות חברתיות, ספקטרוסקופיה פונקציונלית של כמעט אינפרה-אדום (fNIRS) היא אחת הטכניקות הפופולריות ביותר לאינטראקציות חברתיות היפר-סקרניות נטורליסטיות בגלל הרזולוציה המרחבית הגבוהה יחסית שלה, לוקליזציה אנטומית קולית וסובלנות גבוהה במיוחד של תוצרי תנועה. מחקרי hyperscanning קודמים המבוססים על fNIRS מחשבים בדרך כלל INS מפגר בזמן באמצעות קוהרנטיות התמרת גלים (WTC) כדי לתאר את הכיוון ואת התבנית הטמפורלית של זרימת מידע בין פרטים. עם זאת, התוצאות של שיטה זו עשויות להיות מבלבלות על ידי אפקט ההתאמה האוטומטית של אות ה- fNIRS של כל אדם. כדי להתמודד עם בעיה זו, הוצגה שיטה המכונה קוהרנטיות התמרת גלים חלקית (pWTC), שמטרתה להסיר את אפקט ההתאמה האוטומטית ולשמור על הרזולוציה הגבוהה של הספקטרום הזמני של אות ה- fNIRS. במחקר זה, ניסוי סימולציה בוצע תחילה כדי להראות את היעילות של pWTC בהסרת ההשפעה של התאמה אוטומטית על INS. לאחר מכן, הוצעה הדרכה שלב אחר שלב על פעולת ה- pWTC בהתבסס על מערך הנתונים fNIRS מניסוי אינטראקציה חברתית. בנוסף, נערכה השוואה בין שיטת ה-pWTC לבין שיטת ה-WTC המסורתית לבין שיטת ה-pWTC לבין שיטת הסיבתיות של גריינג’ר (GC). התוצאות הראו כי ניתן להשתמש ב-pWTC כדי לקבוע את ההבדל ב-INS בין תנאי ניסוי שונים לבין התבנית הכיוונית והזמנית של INS בין פרטים במהלך אינטראקציות חברתיות נטורליסטיות. יתר על כן, הוא מספק רזולוציה טמפורלית ותדר טובה יותר מאשר WTC המסורתי וגמישות טובה יותר מאשר שיטת GC. לפיכך, pWTC הוא מועמד חזק להסקת הכיוון והדפוס הזמני של זרימת המידע בין פרטים במהלך אינטראקציות חברתיות נטורליסטיות.
Introduction
אינטראקציה חברתית היא בעלת חשיבות מכרעת עבור בני האדם 1,2. להבנת המנגנון הנוירו-קוגניטיבי הדו-מוחי של אינטראקציה חברתית, גישת ה-hyperscanning נמצאת לאחרונה בשימוש נרחב, ומראה כי דפוסי הסנכרון העצבי הבין-אישי (INS) יכולים לאפיין היטב את תהליך האינטראקציה החברתית 3,4,5,6,7,8,9,10,11,12 ,13,14. בין המחקרים האחרונים, ממצא מעניין הוא שהבדל התפקידים של אנשים בדיאדה עשוי להוביל לדפוס מפגר בזמן של INS, כלומר, INS מתרחש כאשר הפעילות המוחית של אדם אחד מפגרת אחרי זו של אדם אחר בשניות, כמו זו של מאזינים לדוברים 5,9, ממנהיגים לעוקבים4, ממורים לתלמידים8, מאמהות לילדיםבני 13,15, ומנשים לגברים בזוג רומנטי6. והכי חשוב, יש התאמה טובה בין המרווח של ה- INS המפגר בזמן לבין זה של התנהגויות אינטראקציה חברתית, כגון בין מורים השואלים לבין תלמידים שעונים8 או בין התנהגויות הורות של אמהות לבין התנהגויות ציות של ילדים15. לפיכך, INS מפגר בזמן עשוי לשקף זרימת מידע כיוונית מאדם אחד למשנהו, כפי שהוצע במודל היררכי עדכני לתקשורת מילולית בין-אישית16.
בעבר, ה-INS המפגר בזמן חושב בעיקר על אות הספקטרוסקופיה האינפרה-אדומה (fNIRS) הפונקציונלית בגלל הרזולוציה המרחבית הגבוהה יחסית שלו, לוקליזציה אנטומית קולית וסובלנות גבוהה במיוחד של ממצאי תנועה17 כאשר חוקרים אינטראקציות חברתיות נטורליסטיות. יתר על כן, כדי לאפיין במדויק את ההתאמה בין פיגור הזמן העצבי לבין פיגור הזמן ההתנהגותי במהלך אינטראקציה חברתית, חיוני להשיג את כוח ה- INS עבור כל פיגור זמן (למשל, מפיגור ללא זמן לפיגור זמן של 10 שניות). לשם כך, בעבר, הליך קוהרנטיות התמרת הגל (WTC) יושם באופן נרחב לאחר הסטת האות המוחי של אדם אחד קדימה או אחורה ביחס לזה של אדם אחר 5,6,18. בעת שימוש בהליך WTC מסורתי זה עבור אותות fNIRS, קיים אתגר פוטנציאלי מכיוון שה- INS המפגר בזמן שנצפה עשוי להיות מבולבל על ידי אפקט ההתאמה האוטומטית של אות ה- fNIRS עבור 19,20,21 בודד. לדוגמה, במהלך תהליך אינטראקציה חברתית דיאדית, האות של משתתף A בנקודת זמן t עשוי להיות מסונכרן עם זה של משתתף B באותה נקודת זמן. בינתיים, האות של משתתף A בנקודת זמן t עשוי להיות מסונכרן עם זה של משתתף A בנקודת זמן מאוחרת יותר t+1 בגלל אפקט ההתאמה האוטומטית. לכן, INS מפגר בזמן עשוי להתרחש בין האות של משתתף A בנקודת הזמן t לבין זה של משתתף B בנקודת הזמן t+1.
מיהנוביץ’ ועמיתיו22 הציגו תחילה שיטה שנקראה קוהרנטיות של התמרת גלים חלקית (pWTC), ולאחר מכן יישמו אותה במדעי הים23,24. המטרה המקורית של שיטה זו הייתה לשלוט ברעש המבלבל האקסוגני כאשר מעריכים את הקוהרנטיות של שני אותות. כאן, כדי לטפל בבעיית ההתאמה האוטומטית בנתוני ה-hyperscanning של fNIRS, שיטת ה-pWTC הורחבה כדי לחשב INS מפגר בזמן על אות ה-fNIRS. במדויק, ניתן לחשב INS מפגר בזמן (וזרימת מידע כיוונית) ממשתתף א’ למשתתף ב’ באמצעות המשוואה שלהלן (משוואה 1)23.
כאן, ההנחה היא כי ישנם שני אותות, A ו – B, ממשתתפים A ו- B, בהתאמה. המופע של אות B תמיד קודם לזה של אות A עם השהיית זמן של n, כאשר WTC (At, Bt+n) הוא ה-WTC המסורתי המפגר בזמן. WTC (At, At+n) הוא WTC הקשור אוטומטית במשתתף A. WTC (At, Bt) הוא ה-WTC המיושר בזמן בנקודת הזמן t בין משתתף A ל-B. * הוא אופרטור המצומד המרוכב (איור 1A).
איור 1: סקירה כללית של pWTC. (א) ההיגיון של ה-pWTC. ישנם שני אותות A ו-B, בתוך דיאדה. המופע של A תמיד עוקב אחר זה של B עם פיגור n. תיבה אפורה היא חלון wavelet בנקודת זמן מסוימת t או t+n. בהתבסס על משוואת pWTC (המיוצגת באיור), יש לחשב שלושה WTCs: WTC המפגר בזמן של At+n ו- Bt; WTC הקשור אוטומטית במשתתף A של At ו– At+n; וה-WTC המיושר בזמן בנקודת הזמן t, At ו-Bt. (ב) הפריסה של ערכות בדיקה אופטודיות. CH11 הוצב ב- T3, ו- CH25 הוצב ב- T4 בעקבות מערכת 10-20 הבינלאומית 27,28. אנא לחץ כאן כדי להציג גרסה גדולה יותר של נתון זה.
פרוטוקול זה הציג לראשונה ניסוי סימולציה כדי להדגים עד כמה ה-pWTC פותר את אתגר ההתאמה האוטומטית. לאחר מכן, הוא הסביר כיצד לנהל pWTC בצורה שלב אחר שלב בהתבסס על ניסוי אמפירי של אינטראקציות חברתיות נטורליסטיות. כאן נעשה שימוש בהקשר תקשורתי כדי להציג את השיטה. הסיבה לכך היא שבעבר, ה- INS המפגר בזמן חושב בדרך כלל בהקשר תקשורת נטורליסטי 3,4,6,6,8,13,15,18. בנוסף, נערכה גם השוואה בין ה-pWTC לבין ה-WTC המסורתי ואימות עם בדיקת הסיבתיות של גריינג’ר (GC).
Protocol
Representative Results
Discussion
במחקרי hyperscanning, זה בדרך כלל חיוני כדי לתאר את הדפוסים הכיווניים והזמניים של זרימת מידע בין פרטים. רוב מחקרי ההיפר-סריקה הקודמים של fNIRS השתמשו ב-WTC25 המסורתי כדי להסיק את המאפיינים הללו על ידי חישוב ה-INS המפגר בזמן. עם זאת, מכיוון שאחת התכונות המהותיות של ה-fNIRS מאותתתעל 20,21…
Disclosures
The authors have nothing to disclose.
Acknowledgements
עבודה זו נתמכה על ידי הקרן הלאומית למדעי הטבע של סין (61977008) ותוכנית הכישרונות הצעירים של עשרת אלפים כישרונות מהשורה הראשונה.
Materials
| fNIRS topography system | Shimadzu Corporation | Shimadzu LABNIRS systen | LABNIRS system contains 40 emitters and 40 detectors for fNIRS signals measurement. In this protocol we used these emitters and detectors created two customized 26-channels probe sets and attached to two caps accroding to 10-20 system. Further, LABNIRS system also contains built-in GUI softwares for data quality check, data convert and data export. |
| MATLAB | The MathWorks, Inc. | MATLAB 2019a | In this protocol, several toolboxs and functions bulit in MATLAB were used: SPM12 toolbox was used to normalize the valided MRI data through its GUI. NIRS_SPM toolbox was used to project the MNI coordinates of the probes to the AAL template through its GUI. Homer3 toolbox was used to remove motion artifacts through its function hmrMotionCorrectWavelet with default parameters. Wavelet toolbox was used to compute WTC and pWTC through its function wcoherence. |
| MRI scanner | Siemens Healthineers | TRIO 3-Tesla scanner | In this protocol, the MRI scanner was used to obtain MNI coordinates of each channel and optpde. Scan parameters are described in main text. |
| customized caps | In this protocol, we first marked two nylon caps with 10-20 system. Then, we made two 26-channels customized optode probes sets. Finally, we attached probes sets to caps aligned with landmarks. |
References
- Hasson, U., Ghazanfar, A. A., Galantucci, B., Garrod, S., Keysers, C. Brain-to-brain coupling: A mechanism for creating and sharing a social world. Trends in Cognitive Sciences. 16 (2), 114-121 (2012).
- Hasson, U., Frith, C. D. Mirroring and beyond: Coupled dynamics as a generalized framework for modelling social interactions. Philosophical Transactions of the Royal Society B: Biological Sciences. 371, 20150366 (2016).
- Jiang, J., et al. Neural synchronization during face-to-face communication. Journal of Neuroscience. 32 (45), 16064-16069 (2012).
- Jiang, J., et al. Leader emergence through interpersonal neural synchronization. Proceedings of the National Academy of Sciences of the United States of America. 112 (14), 4274-4279 (2015).
- Dai, B., et al. Neural mechanisms for selectively tuning in to the target speaker in a naturalistic noisy situation. Nature Communications. 9 (1), 1-12 (2018).
- Long, Y., et al. Interpersonal neural synchronization during interpersonal touch underlies affiliative pair bonding between romantic couples. Cerebral Cortex. 31 (3), 1647-1659 (2021).
- Liu, W., et al. Shared neural representations of syntax during online dyadic communication. NeuroImage. 198, 63-72 (2019).
- Zheng, L., et al. Enhancement of teaching outcome through neural prediction of the students’ knowledge state. Human Brain Mapping. 39 (7), 3046-3057 (2018).
- Stephens, G. J., Silbert, L. J., Hasson, U. Speaker-listener neural coupling underlies successful communication. Proceedings of the National Academy of Sciences of the United States of America. 107 (32), 14425-14430 (2010).
- Hirsch, J., et al. Interpersonal agreement and disagreement during face-to-face dialogue: An fNIRS investigation. Frontiers in Human Neuroscience. 14, 606397 (2021).
- Pan, Y., Cheng, X., Zhang, Z., Li, X., Hu, Y. Cooperation in lovers: An fNIRS-based hyperscanning study. Human Brain Mapping. 38 (2), 831-841 (2017).
- Cui, X., Bryant, D. M., Reiss, A. L. NIRS-based hyperscanning reveals increased interpersonal coherence in superior frontal cortex during cooperation. NeuroImage. 59 (3), 2430-2437 (2012).
- Piazza, E. A., Hasenfratz, L., Hasson, U., Lew-Williams, C. Infant and Adult Brains Are Coupled to the Dynamics of Natural Communication. Psychological Science. 31 (1), 6-17 (2020).
- Djalovski, A., Dumas, G., Kinreich, S., Feldman, R. Human attachments shape interbrain synchrony toward efficient performance of social goals. NeuroImage. 226, 117600 (2021).
- Zhao, H., et al. How mother-child interactions are associated with a child’s compliance. Cerebral Cortex. 31 (9), 4398-4410 (2021).
- Jiang, J., Zheng, L., Lu, C. A hierarchical model for interpersonal verbal communication. Social Cognitive and Affective Neuroscience. 16 (1-2), 246-255 (2021).
- Yan, W., et al. Bibliometric evaluation of 2000-2019 publications on functional near-infrared spectroscopy. NeuroImage. 220, 117121 (2020).
- Zheng, L., et al. Affiliative bonding between teachers and students through interpersonal synchronisation in brain activity. Social Cognitive and Affective Neuroscience. 15 (1), 97-109 (2020).
- Dean, R. T., Dunsmuir, W. T. M. Dangers and uses of cross-correlation in analyzing time series in perception, performance, movement, and neuroscience: The importance of constructing transfer function autoregressive models. Behavior Research Methods. 48 (2), 783-802 (2016).
- Barker, J. W., Rosso, A. L., Sparto, P. J., Huppert, T. J. Correction of motion artifacts and serial correlations for real-time functional near-infrared spectroscopy. Neurophotonics. 3 (3), 031410 (2016).
- Huppert, T. J. Commentary on the statistical properties of noise and its implication on general linear models in functional near-infrared spectroscopy. Neurophotonics. 3 (1), 010401 (2016).
- Mihanović, H., Orlić, M., Pasarić, Z. Diurnal thermocline oscillations driven by tidal flow around an island in the Middle Adriatic. Journal of Marine Systems. 78, 157-168 (2009).
- Ng, E. K. W., Chan, J. C. L. Geophysical applications of partial wavelet coherence and multiple wavelet coherence. Journal of Atmospheric and Oceanic Technology. 29 (12), 1845-1853 (2012).
- Ng, E. K. W., Chan, J. C. L. Interannual variations of tropical cyclone activity over the north Indian Ocean. International Journal of Climatology. 32 (6), 819-830 (2012).
- Grinsted, A., Moore, J. C., Jevrejeva, S. Application of the cross wavelet transform and wavelet coherence to geophysical time series. Nonlinear Processes in Geophysics. 11, 561-566 (2004).
- Jurcak, V., Tsuzuki, D., Dan, I. 10/20, 10/10, and 10/5 systems revisited: Their validity as relative head-surface-based positioning systems. NeuroImage. 34 (4), 1600-1611 (2007).
- Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalography and Clinical Neurophysiology. 66 (4), 376-382 (1987).
- Koessler, L., et al. Automated cortical projection of EEG sensors: Anatomical correlation via the international 10-10 system. NeuroImage. 46 (1), 64-72 (2009).
- Penny, W., Friston, K., Ashburner, J., Kiebel, S., Nichols, T. . Statistical Parametric Mapping: The Analysis of Functional Brain Images. , (2007).
- Shalinsky, M. H., Kovelman, I., Berens, M. S., Petitto, L. A. Exploring cognitive functions in babies, children & adults with near infrared spectroscopy. Journal of Visualized Experiments: JoVE. (29), e1268 (2009).
- Xu, S. Y., Cheong, L. I., Zhuang, Y., Couto, T. A. P., Yuan, Z. Conducting concurrent electroencephalography and functional near-infrared spectroscopy recordings with a flanker task. Journal of Visualized Experiments: JoVE. (159), e6069 (2020).
- Noah, J. A., et al. fMRI validation of fNIRS measurements during a naturalistic task. Journal of Visualized Experiments: JoVE. (100), e52116 (2015).
- Tong, Y., Lindsey, K. P., Frederick, B. D. Partitioning of physiological noise signals in the brain with concurrent near-infrared spectroscopy and fMRI. Journal of Cerebral Blood Flow and Metabolism. 31 (12), 2352-2362 (2011).
- Buck, R., Miller, R. E., Caul, W. F. Sex, personality, and physiological variables in the communication of affect via facial expression. Journal of Personality and Social Psychology. 30 (4), 587-596 (1974).
- Walen, H. R., Lachman, M. E. Social support and strain from partner, family, and friends: Costs and benefits for men and women in adulthood. Journal of Social and Personal Relationships. 17 (1), 5-30 (2000).
- Chang, C., Glover, G. H. Time-frequency dynamics of resting-state brain connectivity measured with fMRI. NeuroImage. 50 (1), 81-98 (2010).
- Liu, H., et al. Inferring subsurface preferential flow features from a wavelet analysis of hydrological signals in the shale hills catchment. Water Resources Research. 56 (11), 0 (2020).
- Rhif, M., Abbes, A. B., Farah, I. R., Martínez, B., Sang, Y. Wavelet transform application for/in non-stationary time-series analysis: A review. Applied Sciences. 9 (7), 1345 (2019).
- Molavi, B., Dumont, G. A. Wavelet-based motion artifact removal for functional near-infrared spectroscopy. Physiological Measurement. 33 (2), 259-270 (2012).
- Scholkmann, F., Spichtig, S., Muehlemann, T., Wolf, M. How to detect and reduce movement artifacts in near-infrared imaging using moving standard deviation and spline interpolation. Physiological Measurement. 31 (5), 649-662 (2010).
- Zhang, Y., Brooks, D. H., Franceschini, M. A., Boas, D. A. Eigenvector-based spatial filtering for reduction of physiological interference in diffuse optical imaging. Journal of Biomedical Optics. 10 (1), 011014 (2005).
- Cui, X., Bray, S., Reiss, A. L. Functional near infrared spectroscopy (NIRS) signal improvement based on negative correlation between oxygenated and deoxygenated hemoglobin dynamics. NeuroImage. 49 (4), 3039-3046 (2010).
- Cooper, R. J., et al. A systematic comparison of motion artifact correction techniques for functional near-infrared spectroscopy. Frontiers in Neuroscience. , 147 (2012).
- Brigadoi, S., et al. Motion artifacts in functional near-infrared spectroscopy: A comparison of motion correction techniques applied to real cognitive data. NeuroImage. 85, 181-191 (2014).
- Liu, Y., et al. Measuring speaker-listener neural coupling with functional near infrared spectroscopy. Scientific Reports. 7, 1-13 (2017).
- Li, Z., et al. Speaker-listener neural coupling reveals an adaptive mechanism for speech comprehension in a noisy environment. Cerebral Cortex. , (2021).
