Summary

Évaluer les multiples dimensions de l'engagement à caractériser l'apprentissage: une perspective neurophysiologique

Published: July 01, 2015
doi:

Summary

This paper aims to describe the techniques involved in the collection and synchronization of the multiple dimensions (behavioral, affective and cognitive) of learners’ engagement during a task.

Abstract

In a recent theoretical synthesis on the concept of engagement, Fredricks, Blumenfeld and Paris1 defined engagement by its multiple dimensions: behavioral, emotional and cognitive. They observed that individual types of engagement had not been studied in conjunction, and little information was available about interactions or synergy between the dimensions; consequently, more studies would contribute to creating finely tuned teaching interventions. Benefiting from the recent technological advances in neurosciences, this paper presents a recently developed methodology to gather and synchronize data on multidimensional engagement during learning tasks. The technique involves the collection of (a) electroencephalography, (b) electrodermal, (c) eye-tracking, and (d) facial emotion recognition data on four different computers. This led to synchronization issues for data collected from multiple sources. Post synchronization in specialized integration software gives researchers a better understanding of the dynamics between the multiple dimensions of engagement. For curriculum developers, these data could provide informed guidelines for achieving better instruction/learning efficiency. This technique also opens up possibilities in the field of brain-computer interactions, where adaptive learning or assessment environments could be developed.

Introduction

Engagement joue un rôle crucial dans l'apprentissage. Pour Clark et Mayer 2, "tout apprentissage nécessite l'engagement," indépendamment des médias de livraison. Zhang et al. 3 a également suggéré que l'augmentation de l'engagement des élèves peut améliorer les résultats d'apprentissage, comme la résolution de problèmes et la pensée critique. Définition de l'engagement reste un défi. Dans leur revue de la littérature, Fredricks, Blumenfeld et Paris 1 définis engagement par sa nature multiforme: "l'engagement du comportement se fonde sur l'idée de la participation; il comprend la participation à des activités scolaires et sociales ou parascolaires. (…) L'engagement émotionnel englobe réactions positives et négatives aux enseignants, camarades de classe, des universitaires, et l'école et est présumé pour créer des liens avec un objet et l'influence volonté de faire le travail. Enfin, engagement cognitif se fonde sur l'idée de l'investissement mentale; il intègre la prévenance et la volonté d'exercer l'effort ncasaire de comprendre des idées complexes et des compétences difficiles maîtres ".

Fredricks, Blumenfeld et Paris 1 ont également affirmé que l'accent mis sur le comportement, les émotions et la cognition, de la notion d'engagement, peut fournir une caractérisation plus riche de l'apprentissage. Ces auteurs ont souligné que un corps robuste de recherche aborde chaque composante de l'engagement séparément, mais ces composants avaient pas été étudiés conjointement. Ils ont également observé que peu d'information est disponible sur les interactions entre les dimensions et que d'autres études pourraient contribuer à la planification des interventions d'enseignement finement réglé. Comme une étape dans cette direction, le présent document décrit une méthode de recherche qui a été développé pour recueillir et analyser des données quantitatives et qualitatives, synchrone, sur l'engagement comportemental, affectif et cognitif pendant les tâches d'apprentissage.

Apporter les neurosciences dans l'éducation

BehavIOR, et un engagement conséquent de comportement, a longtemps été le point central des études dans l'enseignement: des modèles de recherche ont porté principalement sur l'évolution des connaissances et des comportements qui se produisent sur de longues périodes de temps, entre-tests pré et post, et sur des intervalles d'heures, semaines , des mois ou des années. Discrimination entre l'engagement comportemental, émotionnel et cognitif reste un défi parce que les deux dernières dimensions ne sont pas systématiquement observable de l'extérieur. Cognition et les émotions doivent soit être déduites des observations ou évalués par des mesures d'auto-évaluation. D'un point de vue extérieur, il reste difficile de déterminer si les élèves essaient de faire leur travail aussi rapidement que possible ou en utilisant des stratégies d'apprentissage à un niveau profond de maîtriser un contenu spécifique. En fait, Fredricks, Blumenfeld et Paris 1 ont été incapables de trouver des études publiées à l'aide, des mesures objectives directs d'engagement cognitif.

Les récents développements technologiques dansle domaine des neurosciences ont créé de nouvelles possibilités pour la recherche en éducation. De nouvelles méthodes de collecte de données et des algorithmes d'analyse développés dans le domaine de l'ergonomie neuro semblent très prometteurs pour les études qualitatives et quantitatives au cours de tâches d'apprentissage. D'autres disciplines, telles que l'économie, la psychologie, le marketing et l'ergonomie, ont eu recours à des mesures neurophysiologiques pour évaluer engagement cognitif pendant un certain temps 4-8. Mesures neurophysiologiques, couplés avec des algorithmes d'analyse efficaces, permettent d'étudier un phénomène sans le déranger. De par leur nature, les questionnaires d'autoévaluation se désengagent des étudiants de l'apprentissage. Mesures neurophysiologiques permettent modèles de recherche à effectuer dans des environnements d'apprentissage plus authentiques. Ces outils comprennent des équipements pour surveiller le rythme cardiaque, le rythme respiratoire, la tension artérielle, la température corporelle, diamètre de la pupille, l'activité électrodermale, l'électroencéphalographie (EEG), etc.

<strong> Rassemblement données synchronisées sur comportementaux, émotionnels et cognitifs de fiançailles

Comme résultats représentatifs après l'utilisation de ce protocole, le présent document présentera les résultats partiels d'une étude dans laquelle les apprenants ont à résoudre, sur un écran d'ordinateur, dix problèmes en physique mécanique. Ces problèmes ont été développées dans les travaux précédents 9. Données neurophysiologiques ont été recueillies alors que les apprenants ont été résoudre les problèmes et relaxant pendant la pause de 45, les yeux fermés, après chaque problème.

Comme mentionné ci-dessus, les données de mise en prise consistent en des interactions de comportement de logiciels (mouvements de la souris et les clics), le regard de l'oeil, les performances et les réponses aux questions produites par un apprenant interagir avec le système tout en accomplissant une tâche. Un système d'eye-tracking a été utilisé pour recueillir des interactions de logiciels et les données du regard de l'oeil. Les données de performance (temps de résoudre un problème, de l'exactitude des réponses) ont été recueillies sur uneSite web de l'enquête qui a été utilisé pour présenter la tâche. Ce site a également été utilisé pour recueillir des données autodéclarées recueillies par un questionnaire adapté de Bradley et Lang 10. L'engagement émotionnel implique la caractérisation des émotions. Selon Lang 11, les émotions sont caractérisés en termes de valence (agréable / désagréable) et l'éveil (calme / suscité). Données d'engagement affectif ont donc été recueillies, en utilisant un logiciel de reconnaissance faciale automatique de l'émotion qui quantifie valence émotionnelle et une activité codeur / capteur électrodermale de l'excitation 12,13. L'activité électrodermale (AED) se réfère à la résistance électrique enregistrée entre deux électrodes lorsqu'un courant électrique très faible est régulièrement passé entre eux. Cacioppo, Tassinary Berntson et 14 ont montré que la résistance enregistrée varie en fonction de l'excitation de l'objet. Ainsi, les données psychophysiologiques, comme valence ou l'excitation, sont considérés comme des corrélats de l'engagement émotionnel.

<pclass = "jove_content"> Enfin, les données d'engagement cognitives sont collectées par l'électroencéphalographie (EEG). mesures de l'EEG, sur le cuir chevelu, la synchronisation de l'activité électrique des groupes de neurones dans le cerveau. Les signaux électriques enregistrés à partir du cuir chevelu sont souvent oscillatoire et composé de composantes de fréquence. Par convention, ces fréquences sont regroupées en séquences, connu sous le nom des bandes. Par exemple, alpha, bêta et thêta bandes sont l'objet de cette étude. Selon des études neuroscientifiques 14, ces bandes reflètent différentes capacités de traitement cognitif dans les zones spécifiques du cerveau. Ainsi, l'analyse de la densité spectrale de puissance (PSD) de fréquences spécifiques, combinée avec de nombreuses études sur la vigilance 7,15 et d'attention, permet aux chercheurs de quantifier engagement cognitif au cours d'une tâche. Comme l'a noté Mikulka et al. 16, la recherche a montré une relation directe entre l'activité bêta et la vigilance cognitive et une relation indirecte entre un alphad activité thêta et la vigilance. Ainsi, le pape, Bogart et Bartoleme 7 développé un indice d'engagement qui calcule le PSD de trois bandes: beta / (alpha + thêta). Ce rapport a été validé dans d'autres études sur l'engagement 16,17,18. Pour caractériser engagement cognitif au fil du temps, une transformée de Fourier rapide (FFT) convertit le signal EEG de chaque site actif (F3, F4, O1, O2) dans un spectre de puissance. L'index EEG de mise en prise à l'instant T est calculé par la moyenne de chaque rapport de mise en prise à l'intérieur d'une fenêtre glissante de 20 secondes précédant l'instant T. Cette procédure est répétée toutes les secondes et une nouvelle fenêtre glissante est utilisée pour mettre à jour l'index.

Comme l'objectif de cette méthodologie est de fournir une riche analyse des multiples dimensions de l'engagement, la synchronisation des données est cruciale. Comme Leger et al. 19 rappeler aux lecteurs, les fabricants d'équipements recommandent fortement d'utiliser un seul ordinateur par outil de mesure de garantir leur précision spécifiée level. Ainsi, lorsque plusieurs ordinateurs sont utilisés, la synchronisation entre les ordinateurs d'enregistrement devient une étape critique. Les enregistrements ne peuvent pas tous être commencé à la même heure, et chaque flux de données dispose de son délai précis (par exemple, 0 sec de l'œil sec suivi ≠ 0 de l'EEG ou des données physiologiques). Cela est extrêmement important: la désynchronisation entre les flux de données des erreurs dans le moyen de quantification de chaque dimension de l'engagement. Il ya différentes façons de synchroniser les enregistrements physiologiques et comportementaux concomitants. Ces procédés peuvent être divisés en deux approches principales; directe et indirecte 20. Le protocole présenté dans la section suivante est basée sur une approche indirecte où un dispositif externe, une syncbox, est utilisé pour envoyer transistor-transistor logique (TTL) des signaux à tous les équipements d'enregistrement (comme représenté sur la figure 1). Comme chaque pièce d'équipement a une heure de début différente, les marqueurs de TTL sont enregistrées dans les fichiers journaux avec un parent retard. Les marqueurs sont ensuite utilisés pour réaligner les signaux et ainsi assurer une bonne synchronisation après chaque enregistrement. Un logiciel d'analyse comportementale qui permet l'intégration de fichier externe est utilisé pour re-synchroniser le calendrier de chaque flux de données et d'effectuer une analyse quantitative et qualitative de chaque dimension de l'engagement.

Figure 1
Figure 1. architecture du système de collecte de données. L'environnement de laboratoire dans lequel comportementale (eye-tracking), émotionnel (EDA et l'émotion du visage) et les données cognitives (EEG) de fiançailles sont collectées contient de nombreux ordinateurs. Cela pose un défi de synchronisation pour les données qui sont référencés sur leurs horloges des ordinateurs respectifs. Pour être en mesure d'analyser toutes les données dans le même temps de référence, la configuration de laboratoire implique un syncbox qui envoie des signaux TTL à tous les flux de données.nk "> S'il vous plaît cliquez ici pour voir une version plus grande de cette figure.

Pour évaluer la précision de la méthodologie en termes de synchronisation, 45 pauses sec ont été introduits avant chacun des problèmes de physique mécanique. Pendant ces pauses, les sujets devaient se détendre et à fermer les yeux. Comme on le voit dans d'autres études 4,9,16,17,18, ces pauses devraient induire des variations significatives dans le signal collecté: les deux points de pupille de l'oeil dans (l'engagement comportemental) eye-tracking immédiatement disparaître et une chute immédiate engagement cognitif (EEG le signal) est observée. Ces composants spécifiques du signal sont utilisés pour évaluer la validité générale de la synchronisation. La récente publication de documents qui dépendent totalement ou partiellement sur ​​cette procédure de synchronisation, dans les domaines des systèmes d'information 19, les interactions homme-machine et de l'éducation 21 9, 22, fournit la preuve de son efficacité.

Protocol

Ce protocole a reçu un certificat d'éthique du Comité institutionnel de la recherche Avec des Êtres Humains (CIER) de l'Université du Québec à Montréal (UQAM) qui a été approuvé par HEC-Montréal pour le centre de recherche de Tech3Lab. Le protocole décrit chacune des étapes spécifiques qui sont effectuées dans notre environnement de laboratoire et des équipements. Bien que les chemins de logiciels précises sont fournies pour clarifier la méthodologie, cette technique est transférable et peut …

Representative Results

Les figures 2 et 3 montrent les captures d'écran des résultats de l'intégration et la synchronisation des données d'engagement comportementaux, émotionnels et cognitifs dans un logiciel d'analyse comportementale. Dans les deux figures, la section de gauche organise les sujets de recherche et le système de codage. Dans la partie centrale, une vidéo (avec des points rouges) montre le regard de l'oeil du sujet au cours de la tâche. Engagement comportementale du sujet peut …

Discussion

En termes d'étapes critiques dans le protocole, il convient d'abord de souligner que la qualité des données est toujours l'objectif principal pour les techniques de collecte neurophysiologiques. Dans cette méthodologie, les assistants de recherche doivent porter une attention particulière à instruire les sujets afin de minimiser les mouvements de tête qui va interférer avec la surveillance de valence (perdre angle de la face correcte pour la caméra) ou générer des artefacts myographiques de l'…

Disclosures

The authors have nothing to disclose.

Acknowledgements

The authors acknowledge the financial support of the Social Sciences and Humanities Research Council of Canada (SSHERC), Natural Sciences and Engineering Research Council of Canada (NSERC), Fonds de Recherche Nature et Technologies du Québec (FQRNT) and Fonds de Recherche sur la Société et Culture du Québec (FQRSC).

Materials

EGI GSN-32  EGI n/a Dense array EEG
Netstation v.5.0 EGI n/a EEG data collection software: EEG is collected with 32-electrode dense array electroencephalography (dEEG) geodesic sensor net using Netstation acquisition software and EGI amplifiers (Electrical Geodesics, Inc). The vertex (recording site Cz) is the reference electrode for recording. Impedance is kept below 50 kΩ with a sampling rate of 250 Hz. 
Facereader v.4 Noldus n/a Facial emotion recognition software
Syncbox Noldus n/a Syncbox start the co-registration of EEG and gaze data by sending a Transistor-Transistor Logic (TTL) signal to the EGI amplifier and a keystroke signal to the Tobii Studio v 3.2.
Logitech C600  Webcam 960-000396 Webcam used to gather video data sent to mediarecorder and that will be analyzed in Facereader
The Observer XT Noldus n/a Integration and synchronization software: The Noldus Observer XT (Noldus Information Technology) is used to synchronize all behavioral, emotional and cognitive engagement data. 
On-Screen LED illumination Noldus n/a Neon positioned on computer screen in order to correctly light the face of subjects
MediaRecorder Noldus n/a Video data collection software
Tobii X60 Tobii n/a Collect eye-movement patterns :  used to record subjects’ eye movement patterns at 60Hz during the experiment. 
Tobii Studio v.3.2 Tobii n/a Eye-tracking data collection and analysis software
Analyzer 2 Brainvision n/a EEG signal processing software
Acqknowledge v.4.0 Biopac ACK100M Physiological signal acquisition and processing software
Control III germicide solution Maril Products. 10002REVA-20002-1 Disinfectant solution used with EEG helmets : recommended by EGI
Unipark QuestBack AG n/a Online survey environment

References

  1. Fredricks, J. A., Blumenfeld, P. C., Paris, A. H. School engagement: Potential of the concept, state of the evidence. Rev. Educ. Res. 74 (1), 59-109 (2004).
  2. Clark, R. C., Mayer, R. E. . E-learning and the Science of Instruction. , (2011).
  3. Zhang, D., Zhou, L., Briggs, R. O., Nunamaker, J. F. Instructional video in e-learning: Assessing the impact of interactive video on learning effectiveness. Inform. Manage. 43 (1), 15-27 (2006).
  4. Freeman, F. G., Mikulka, P. J., Prinzel, L. J., Scerbo, M. W. Evaluation of an adaptive automation system using three EEG indices with a visual tracking task. Biol. Psychol. 50, 61-76 (1999).
  5. Glimcher, P., Rustichini, A. Neuroeconomics: The consilience of brain and decision. Science. 306 (5695), 447-452 (2004).
  6. Lieberman, M. D. Social Cognitive neuroscience: A review of core processes. Annu. Rev. Physiol. 58, 259-289 (2007).
  7. Pope, A. T., Bogart, E. H., Bartolome, D. S. Biocybernetic system evaluates indices of operator engagement in automated task. Biol. Psychol. 40 (1-2), 187-195 (1995).
  8. Mandryk, R., Inkpen, K. Physiological indicators for the evaluation of co-located collaborative play. , (2004).
  9. Allaire-Duquette, G., Charland, P., Riopel, M. At the very root of the development of interest: Using human body contexts to improve women’s emotional engagement in introductory physics. Eur. J. Phy. Ed. 5 (2), 31-48 (2014).
  10. Bradley, M. M., Lang, P. J. Measuring emotion: The self-assessment manikin and the semantic differential. J. Behav. Ther. Exp. Psy. 25 (1), 49-59 (1994).
  11. Lang, P. J. The emotion probe: Studies of motivation and attention. Am. Psychol. 50 (5), 372-385 (1995).
  12. Ekman, P., Felt Friesen, W. false, and miserable smiles. J. Nonverbal Behav. 6 (4), 238-252 (1982).
  13. Van Kuilenburg, H., Den Uyl, M. J., Israël, M. L., Ivan, P. Advances in face and gesture analysis. , 371-372 (2008).
  14. Cacioppo, J., Tassinary, L. G., Berntson, G. G. . Handbook of Psychophysiology. , (2007).
  15. Lubar, J. F., Swartwood, M. O., Swartwood, J. N., O’Donnell, P. H. Evaluation of the effectiveness of EEG neurofeedback training for ADHD in a clinical setting as measured by changes in T.O.V.A. scores, behavioral ratings, and WISC R performance. Biofeedback Self-reg. 20 (1), (1995).
  16. Mikulka, P. J., Freeman, F. G., Scerbo, M. W. Effects of a biocybernetic system on the vigilance decrement. Hum. factors. 44 (4), 654-664 (2002).
  17. Freeman, F. G., Mikulka, P. J., Scerbo, M. W., Scott, L. An evaluation of an adaptive automation system using a cognitive vigilance task. Biol. Psychol. 67 (3), 283-297 (2004).
  18. Chaouachi, M., Chalfoun, P., Jraidi, I., Frasson, C. Affect and mental engagement: Toward adaptability for intelligent systems. Proceedings of the Twenty-Third International Florida Artificial Intelligence Research Society Conference (FLAIRS 2010), Association for the Advancement of Artificial Intelligence. , 355-360 (2010).
  19. Courtemanche, F., Ortiz de Guinea, A., Titah, R., Fredette, M., Labonté-LeMoyne, &. #. 2. 0. 1. ;. Precision is in the eye of the beholder: Application of eye fixation-related potentials to information systems research. J. Assoc. Inf. Syst. 15 (10), 651-678 (2014).
  20. Courtemanche, F., Ortiz de Guinea, A., Titah, R., Fredette, M., Labonté-Lemoyne, E. Applying eye fixation-related potentials to information systems research: Demonstration of the method during natural IS use and guidelines for research. J. Assoc. Inf. Syst. 15 (10), (2014).
  21. Courtemanche, F. . Un outil d’évaluation neurocognitive des interactions humain-machine Doctoral thesis. , (2014).
  22. Charland, P., Léger, P. M., Mercier, J., Skelling-Desmeules, Y. Assessing multiple dimensions of learner engagement during science problem solving using psychophysiological and behavioral measures. , (2014).
  23. Venables, P. H., Christie, M. J., Martin, I., Venables, P. Electrodermal activity. Techniques in Psychophysiology. , 3-67 (1980).
  24. Boucsein, W. . Electrodermal Activity. , (2012).
  25. Sarlo, M., Palomba, D., Buodo, G. M., Minghetti, R., Stegagno, L. Blood pressure changes highlight gender differences in emotional reactivity to arousing pictures. Biol. Psychol. 70 (3), 188-196 (2005).
  26. Martens, R. L., Gulikers, J., Bastiaens, T. The impact of intrinsic motivation on e-learning in authentic computer tasks. J. Comput. Assist. Lear. 20 (5), 368-376 (2004).
check_url/52627?article_type=t

Play Video

Cite This Article
Charland, P., Léger, P., Sénécal, S., Courtemanche, F., Mercier, J., Skelling, Y., Labonté-Lemoyne, E. Assessing the Multiple Dimensions of Engagement to Characterize Learning: A Neurophysiological Perspective. J. Vis. Exp. (101), e52627, doi:10.3791/52627 (2015).

View Video