Summary

评估参与的多维度来表征学习:神经生理学角度

Published: July 01, 2015
doi:

Summary

This paper aims to describe the techniques involved in the collection and synchronization of the multiple dimensions (behavioral, affective and cognitive) of learners’ engagement during a task.

Abstract

In a recent theoretical synthesis on the concept of engagement, Fredricks, Blumenfeld and Paris1 defined engagement by its multiple dimensions: behavioral, emotional and cognitive. They observed that individual types of engagement had not been studied in conjunction, and little information was available about interactions or synergy between the dimensions; consequently, more studies would contribute to creating finely tuned teaching interventions. Benefiting from the recent technological advances in neurosciences, this paper presents a recently developed methodology to gather and synchronize data on multidimensional engagement during learning tasks. The technique involves the collection of (a) electroencephalography, (b) electrodermal, (c) eye-tracking, and (d) facial emotion recognition data on four different computers. This led to synchronization issues for data collected from multiple sources. Post synchronization in specialized integration software gives researchers a better understanding of the dynamics between the multiple dimensions of engagement. For curriculum developers, these data could provide informed guidelines for achieving better instruction/learning efficiency. This technique also opens up possibilities in the field of brain-computer interactions, where adaptive learning or assessment environments could be developed.

Introduction

参与起着学习了至关重要的作用。对于克拉克和迈耶2,“所有的学习要求参与,”不管交货媒体。张某 3还建议,增加学生的参与可以提高学习效果,如解决问题和批判性思维能力。定义参与仍然是一个挑战。在他们的文献综述,Fredricks,布鲁门菲尔德和巴黎1定义参与其多面性:“行为参与借鉴了参与的念头;它包括参与学术和社交或课外活动。 (…)情感投入包括正面和负面的反应老师,同学,学者和学校,被推定为创建联系的对象和影响力的意愿做的工作。最后,认知参与借鉴心理投资的理念;它采用体贴,并愿意尽努力NEC埃森理解复杂的思想,掌握高难度的技巧。“

Fredricks,布鲁门菲尔德和巴黎1还声称,注重行为,情绪和认知,参与的概念中,可提供学习更丰富的特性。这些作者指出,研究一个健壮体分别针对接合的每个部件,但这些部件并没有被研究结合。他们还观察到的信息很少关于尺寸之间,更多的研究可能有助于规划微调教学干预的相互作用。作为在这个方向迈出的一步,本文介绍的开发是为了收集,并在学习任务分析的定量和定性数据,同步,对行为,情绪和认知参与研究的方法论。

使神经科学到教育

BehavIOR,因此行为的参与,一直是教育研究中央重点:主要集中于发生在长时间内的时间,前后测试之间的变化,在知识和行为的研究设计,并在间隔小时,周,几个月或几年。行为,情感和认知参与区分仍然是一个挑战,因为最后两个维度是没有系统观察到外部。认知和情绪必须被从观察推断或评价与自我报告的措施。从外部来看,它仍然难以确定学生是否正在试图让他们的工作尽可能快地或使用深层次的学习策略,掌握了具体的内容进行。就事实而言,Fredricks,布鲁门菲尔德和巴黎1无法找到使用认知参与的直接,客观的任何措施发表的研究报告。

在最近的技术发展神经科学领域创造了科研教育新的可能性。新的数据收集方法和神经人体工程学的领域发展分析算法看起来非常有前途的定性和定量研究的过程中学习任务。其他学科,如经济学,心理学,市场营销,和人体工程学,一直在使用神经生理学测量,以评估认知参与了一段时间4-8。神经生理学的措施,再加上高效的分析算法,允许一个学习的现象,而不会干扰它。就其性质而言,自我报告的问卷脱离学习的学生。神经生理学的措施让研究设计,以更真实的学习环境中进行。这些工具包括设备监测心脏速率,呼吸速率,血压,体温,瞳孔直径,皮肤电活动,脑电图(EEG)

<st荣>聚会同步数据的行为,情绪,认知和参与

作为代表性的成果继用此协议,本文将提出一个研究中,学习者需要解决,在电脑屏幕上,在机械物理学十大难题的部分结果。在以往的工作进行了9开发了这些问题。收集的数据神经生理学,而学生是解决问题和45秒休息时放松,用自己的眼睛闭上,每个​​问题之后。

如上所述,行为接合数据由软件相互作用(鼠标移动和点击),眼睛注视,性能和回答由学习者与系统而完成任务1相互作用产生的问题。一种眼球追踪系统来收集软件的交互和眼睛注视数据。性能数据(时间解决一个问题,答案的正确性)收集在调查网站被用来呈现的任务。该网站也被用来收集与改编自布拉德利和朗10调查问卷收集自我报告的数据。情感投入涉及情感的表征。据郎11,情绪的特征价方面(愉快/不愉快的)和觉醒(CALM /激起)。情感投入数据进行了相应的收集,使用量化情绪价和皮肤电活动编码器/传感器觉醒12,13自动面部表情识别软件。皮肤电活动(EDA)指的是当一个非常弱的电流稳定地在它们之间传递的两个电极之间所记录的电阻。卡西奥普,Tassinary和Berntson 14表明,记录的电阻根据被检者的觉醒而变化。因此,心理生理数据,例如化合价或觉醒,被认为是情感接合的相关因素。

<p类=“jove_content”>最后,认知参与数据通过脑电图(EEG)收集。脑电图措施,在头皮上,同步于脑的神经元群体的电活动。从头皮记录的电信号往往振荡和频率分量组成。按照惯例,这些频率被分组序列中,被称为带。例如,α,β和θ频带是本研究的焦点。根据神经科学的研究14,这些频带反映在大脑的特定区域不同的认知处理能力。因此,特定频率的功率谱密度(PSD)的分析,结合对警觉性和注意力大量研究7,15,使研究人员能够在任务中量化认知参与。作为米库尔卡等人 16指出,有研究表明β活度和认知警觉和alpha一个之间的间接关系之间的直接关系ðTHETA活动和警觉性。因此,教皇,鲍嘉和Bartoleme 7开发了计算的三个波段的PSD参与指数:公测/(阿尔法+ THETA)。这比在其他研究中的参与16,17,18验证。随着时间的推移表征认知参与,快速傅立叶变换(FFT)将来自每个活性部位(F3,F4,O1,O2)脑电图信号转换成一个功率谱。在时间T脑电图参与指数是由每个接合比率的平均值中时间T重复这一过程每秒钟和一个新的滑动窗口来更新索引之前的20秒的滑动窗口来计算。

由于这种方法的目的是提供接合的多个尺寸的富分析,数据同步是至关重要的。由于莱热 19提醒读者,设备制造商强烈推荐使用每次测量工具只有一台电脑,以保证其指定的精度乐VEL。因此,当多台计算机被使用,记录在计算机之间的同步成为一个关键步骤。录音不能在完全相同的时间都被启动,并且每个数据流具有其特定的时间框架( 例如 ,秒0的眼跟踪≠脑电图或生理数据秒0)。这是极为重要的:数据流之间的去同步化装置中的错误接合的每一维的量化。有并发的生理和行为同步录音的方式不同。这些方法可分成两种主要方法;直接和间接的20。在下一节介绍的协议是基于在那里的外部设备,一个syncbox,用于晶体管-晶体管逻辑(TTL)信号发送到所有的记录设备( 如图1)的间接的方法。由于每一件设备具有不同的开始时间,将TTL标记被记录在日志文件中以相对延迟。标记,然后用于重新对准信号,从而保证在每个记录后正确的同步。甲行为分析软件程序,它允许外部文件集成用于重新同步每个数据流的时间轴,并执行接合的每个维的定量和定性分析。

图1
图1.架构的数据采集系统,实验室环境中的行为(眼动跟踪),情感(EDA和面部表情)和认知(EEG)参与收集数据包含多台计算机。这就提出了一个同步挑战对于那些在它们各自的计算机的时钟被引用的数据。为了能够分析所有数据以相同的参考时间,在实验室安装涉及发送TTL信号到所有数据流的syncbox。NK“>点击此处查看该图的放大版本。

为了评估在同步方面的方法的精确度,45秒的暂停每个的机械物理问题之前进行了介绍。在这些暂停,受试者放松,闭上眼睛。正如在其他研究4,9,16,17,18,这些暂停应该引起在采集到的信号显著的变化:在眼球追踪立即消失(行为参与)两个眼瞳点和认知参与立刻降(EEG信号)被观察到。信号的这些特定组件被用来评估该同步的普遍有效性。最近出版的完全或部分地依赖于该同步过程,在信息系统19,人机交互21和教育9,22领域论文,提供它的有效性的证据。

Protocol

该协议由法国精品行业institutionnel德拉RECHERCHE AVEC DESêtreshumains(CIER)DE L'魁北克大学蒙特利尔(分校),这是赞同HEC-蒙特利尔的Tech3Lab研究机构获得了道德证书。该协议描述了每个那在我们的实验室环境和设备进行了具体步骤。尽管提供精确的软件的路径,以澄清的方法,这种技术是转让,并且可以与其他专有眼睛跟踪,自动面部情感识别,皮肤电活动和脑电图设备和软件被复制。 <p class="…

Representative Results

图2和3示出的屏幕截图的整合和行为,情感和认知参与数据的同步在行为分析软件应用程序的结果。在两个图中,左手区组织的研究对象和编码方案。在中间部分,视频(带有红点)示出了在任务期间被检者的眼睛注视。主体的参与行为可以根据他/她的任务中寻找和执行什么操作来推断。在较低部分,一个时间标记同步地滚动数据的三条轨道:将EDA(觉醒)及面部情感价为情感?…

Discussion

在该协议中的关键步骤方面,首先应当指出,数据的质量始终是神经生理学收集技术的主要焦点。在这种方法中,研究助理必须特别注意​​指示主题,以尽量减少头部运动,这将干扰价监测(失去正确的杆面角度的摄像头),或产生的脑电图myographic文物。在另一方面,平衡必须保持真正的解决问题和干预措施更符合人体工程学的数据集合所做的真实性之间。同样重要的是要注意,脑电图数据收…

Declarações

The authors have nothing to disclose.

Acknowledgements

The authors acknowledge the financial support of the Social Sciences and Humanities Research Council of Canada (SSHERC), Natural Sciences and Engineering Research Council of Canada (NSERC), Fonds de Recherche Nature et Technologies du Québec (FQRNT) and Fonds de Recherche sur la Société et Culture du Québec (FQRSC).

Materials

EGI GSN-32  EGI n/a Dense array EEG
Netstation v.5.0 EGI n/a EEG data collection software: EEG is collected with 32-electrode dense array electroencephalography (dEEG) geodesic sensor net using Netstation acquisition software and EGI amplifiers (Electrical Geodesics, Inc). The vertex (recording site Cz) is the reference electrode for recording. Impedance is kept below 50 kΩ with a sampling rate of 250 Hz. 
Facereader v.4 Noldus n/a Facial emotion recognition software
Syncbox Noldus n/a Syncbox start the co-registration of EEG and gaze data by sending a Transistor-Transistor Logic (TTL) signal to the EGI amplifier and a keystroke signal to the Tobii Studio v 3.2.
Logitech C600  Webcam 960-000396 Webcam used to gather video data sent to mediarecorder and that will be analyzed in Facereader
The Observer XT Noldus n/a Integration and synchronization software: The Noldus Observer XT (Noldus Information Technology) is used to synchronize all behavioral, emotional and cognitive engagement data. 
On-Screen LED illumination Noldus n/a Neon positioned on computer screen in order to correctly light the face of subjects
MediaRecorder Noldus n/a Video data collection software
Tobii X60 Tobii n/a Collect eye-movement patterns :  used to record subjects’ eye movement patterns at 60Hz during the experiment. 
Tobii Studio v.3.2 Tobii n/a Eye-tracking data collection and analysis software
Analyzer 2 Brainvision n/a EEG signal processing software
Acqknowledge v.4.0 Biopac ACK100M Physiological signal acquisition and processing software
Control III germicide solution Maril Products. 10002REVA-20002-1 Disinfectant solution used with EEG helmets : recommended by EGI
Unipark QuestBack AG n/a Online survey environment

Referências

  1. Fredricks, J. A., Blumenfeld, P. C., Paris, A. H. School engagement: Potential of the concept, state of the evidence. Rev. Educ. Res. 74 (1), 59-109 (2004).
  2. Clark, R. C., Mayer, R. E. . E-learning and the Science of Instruction. , (2011).
  3. Zhang, D., Zhou, L., Briggs, R. O., Nunamaker, J. F. Instructional video in e-learning: Assessing the impact of interactive video on learning effectiveness. Inform. Manage. 43 (1), 15-27 (2006).
  4. Freeman, F. G., Mikulka, P. J., Prinzel, L. J., Scerbo, M. W. Evaluation of an adaptive automation system using three EEG indices with a visual tracking task. Biol. Psychol. 50, 61-76 (1999).
  5. Glimcher, P., Rustichini, A. Neuroeconomics: The consilience of brain and decision. Science. 306 (5695), 447-452 (2004).
  6. Lieberman, M. D. Social Cognitive neuroscience: A review of core processes. Annu. Rev. Physiol. 58, 259-289 (2007).
  7. Pope, A. T., Bogart, E. H., Bartolome, D. S. Biocybernetic system evaluates indices of operator engagement in automated task. Biol. Psychol. 40 (1-2), 187-195 (1995).
  8. Mandryk, R., Inkpen, K. Physiological indicators for the evaluation of co-located collaborative play. , (2004).
  9. Allaire-Duquette, G., Charland, P., Riopel, M. At the very root of the development of interest: Using human body contexts to improve women’s emotional engagement in introductory physics. Eur. J. Phy. Ed. 5 (2), 31-48 (2014).
  10. Bradley, M. M., Lang, P. J. Measuring emotion: The self-assessment manikin and the semantic differential. J. Behav. Ther. Exp. Psy. 25 (1), 49-59 (1994).
  11. Lang, P. J. The emotion probe: Studies of motivation and attention. Am. Psychol. 50 (5), 372-385 (1995).
  12. Ekman, P., Felt Friesen, W. false, and miserable smiles. J. Nonverbal Behav. 6 (4), 238-252 (1982).
  13. Van Kuilenburg, H., Den Uyl, M. J., Israël, M. L., Ivan, P. Advances in face and gesture analysis. , 371-372 (2008).
  14. Cacioppo, J., Tassinary, L. G., Berntson, G. G. . Handbook of Psychophysiology. , (2007).
  15. Lubar, J. F., Swartwood, M. O., Swartwood, J. N., O’Donnell, P. H. Evaluation of the effectiveness of EEG neurofeedback training for ADHD in a clinical setting as measured by changes in T.O.V.A. scores, behavioral ratings, and WISC R performance. Biofeedback Self-reg. 20 (1), (1995).
  16. Mikulka, P. J., Freeman, F. G., Scerbo, M. W. Effects of a biocybernetic system on the vigilance decrement. Hum. factors. 44 (4), 654-664 (2002).
  17. Freeman, F. G., Mikulka, P. J., Scerbo, M. W., Scott, L. An evaluation of an adaptive automation system using a cognitive vigilance task. Biol. Psychol. 67 (3), 283-297 (2004).
  18. Chaouachi, M., Chalfoun, P., Jraidi, I., Frasson, C. Affect and mental engagement: Toward adaptability for intelligent systems. Proceedings of the Twenty-Third International Florida Artificial Intelligence Research Society Conference (FLAIRS 2010), Association for the Advancement of Artificial Intelligence. , 355-360 (2010).
  19. Courtemanche, F., Ortiz de Guinea, A., Titah, R., Fredette, M., Labonté-LeMoyne, &. #. 2. 0. 1. ;. Precision is in the eye of the beholder: Application of eye fixation-related potentials to information systems research. J. Assoc. Inf. Syst. 15 (10), 651-678 (2014).
  20. Courtemanche, F., Ortiz de Guinea, A., Titah, R., Fredette, M., Labonté-Lemoyne, E. Applying eye fixation-related potentials to information systems research: Demonstration of the method during natural IS use and guidelines for research. J. Assoc. Inf. Syst. 15 (10), (2014).
  21. Courtemanche, F. . Un outil d’évaluation neurocognitive des interactions humain-machine Doctoral thesis. , (2014).
  22. Charland, P., Léger, P. M., Mercier, J., Skelling-Desmeules, Y. Assessing multiple dimensions of learner engagement during science problem solving using psychophysiological and behavioral measures. , (2014).
  23. Venables, P. H., Christie, M. J., Martin, I., Venables, P. Electrodermal activity. Techniques in Psychophysiology. , 3-67 (1980).
  24. Boucsein, W. . Electrodermal Activity. , (2012).
  25. Sarlo, M., Palomba, D., Buodo, G. M., Minghetti, R., Stegagno, L. Blood pressure changes highlight gender differences in emotional reactivity to arousing pictures. Biol. Psychol. 70 (3), 188-196 (2005).
  26. Martens, R. L., Gulikers, J., Bastiaens, T. The impact of intrinsic motivation on e-learning in authentic computer tasks. J. Comput. Assist. Lear. 20 (5), 368-376 (2004).
check_url/pt/52627?article_type=t

Play Video

Citar este artigo
Charland, P., Léger, P., Sénécal, S., Courtemanche, F., Mercier, J., Skelling, Y., Labonté-Lemoyne, E. Assessing the Multiple Dimensions of Engagement to Characterize Learning: A Neurophysiological Perspective. J. Vis. Exp. (101), e52627, doi:10.3791/52627 (2015).

View Video