Summary

Valutare le molteplici dimensioni di ingaggio per caratterizzare Learning: una prospettiva neurofisiologica

Published: July 01, 2015
doi:

Summary

This paper aims to describe the techniques involved in the collection and synchronization of the multiple dimensions (behavioral, affective and cognitive) of learners’ engagement during a task.

Abstract

In a recent theoretical synthesis on the concept of engagement, Fredricks, Blumenfeld and Paris1 defined engagement by its multiple dimensions: behavioral, emotional and cognitive. They observed that individual types of engagement had not been studied in conjunction, and little information was available about interactions or synergy between the dimensions; consequently, more studies would contribute to creating finely tuned teaching interventions. Benefiting from the recent technological advances in neurosciences, this paper presents a recently developed methodology to gather and synchronize data on multidimensional engagement during learning tasks. The technique involves the collection of (a) electroencephalography, (b) electrodermal, (c) eye-tracking, and (d) facial emotion recognition data on four different computers. This led to synchronization issues for data collected from multiple sources. Post synchronization in specialized integration software gives researchers a better understanding of the dynamics between the multiple dimensions of engagement. For curriculum developers, these data could provide informed guidelines for achieving better instruction/learning efficiency. This technique also opens up possibilities in the field of brain-computer interactions, where adaptive learning or assessment environments could be developed.

Introduction

Engagement gioca un ruolo cruciale nell'apprendimento. Per Clark e Mayer 2, "tutto l'apprendimento richiede impegno," indipendentemente dal supporto consegna. Zhang et al. 3 anche suggerito che un maggiore coinvolgimento degli studenti in grado di migliorare i risultati di apprendimento, come problem solving e capacità di pensiero critico. Definizione di impegno rimane una sfida. Nella loro revisione della letteratura, Fredricks, Blumenfeld e Parigi 1 definiti impegno per sua natura multiforme: "impegno comportamentale attinge l'idea della partecipazione; comprende la partecipazione alle attività accademiche e sociali o extrascolastiche. (…) L'impegno emotivo comprende reazioni positive e negative per gli insegnanti, i compagni di classe, accademici, e la scuola e si presume di creare legami con un oggetto e influenza la volontà di fare il lavoro. Infine, l'impegno cognitivo attinge l'idea di investimento mentale; incorpora pensosità e la volontà di esercitare il nec sforzone- di comprendere idee complesse e maestri competenze difficili ".

Fredricks, Blumenfeld e Parigi 1 anche sostenuto che un focus sul comportamento, emozione e cognizione, all'interno del concetto di impegno, può fornire una caratterizzazione più ricca di apprendimento. Questi autori hanno sottolineato che un corpo solido di ricerca affronta ogni componente di impegno separatamente, ma questi componenti non erano stati studiati in combinazione. Essi hanno inoltre osservato che poche informazioni sono disponibili riguardo le interazioni tra le dimensioni e che ulteriori studi potrebbero contribuire a programmare interventi didattici finemente sintonizzato. Come un passo in questa direzione, questo documento descrive una metodologia di ricerca che è stato sviluppato per raccogliere e analizzare i dati quantitativi e qualitativi, in modo sincrono, in impegno comportamentale, emotivo e cognitivo durante compiti di apprendimento.

Portare le Neuroscienze in Education

Behavior, e di conseguenza l'impegno comportamentale, è stata a lungo il tema centrale di studi in materia di istruzione: progetti di ricerca incentrati principalmente sui cambiamenti delle conoscenze e comportamenti che si verificano per lunghi periodi di tempo, tra il pre e post-test, e su intervalli di ore, settimane , mesi o anni. Discriminare tra impegno comportamentale, emotivo, cognitivo e rimane una sfida, perché le ultime due dimensioni non sono sistematicamente osservabili esternamente. Cognizione e le emozioni devono o essere dedotta dalle osservazioni o valutati con misure self-report. Da un punto di vista esterno, rimane difficile stabilire se gli studenti stanno cercando di ottenere il loro lavoro fatto nel più breve tempo possibile o utilizzando strategie di apprendimento a livello profondo di padroneggiare un contenuto specifico. In punto di fatto, Fredricks, Blumenfeld e Parigi 1 sono stati in grado di trovare tutti gli studi pubblicati che utilizzano, misure oggettive diretti di impegno cognitivo.

I recenti sviluppi tecnologici inil campo delle neuroscienze hanno creato nuove possibilità per la ricerca in materia di istruzione. Nuovi metodi di raccolta dei dati e algoritmi di analisi sviluppate nel campo dell'ergonomia neuro sembrano molto promettenti per gli studi qualitativi e quantitativi durante le attività di apprendimento. Altre discipline, come l'economia, la psicologia, marketing, e l'ergonomia, hanno utilizzato le misurazioni neurofisiologiche per valutare l'impegno cognitivo per qualche tempo 4-8. Misure neurofisiologici, insieme con algoritmi di analisi efficienti, permettono di studiare un fenomeno senza disturbarlo. Per loro natura, i questionari self-report disimpegnarsi studenti di apprendimento. Misure neurofisiologici permettono disegni di ricerca da svolgere in ambienti di apprendimento più autentica. Questi strumenti comprendono attrezzature per il monitoraggio della frequenza cardiaca, frequenza respiratoria, pressione arteriosa, temperatura corporea, diametro della pupilla, l'attività elettrodermica, elettroencefalografia (EEG), ecc.

<strong> Raccolta sincronizzato dei dati su Behavioral, emotivo, cognitivo e fidanzamento

Come risultati rappresentativi in ​​seguito all'uso di questo protocollo, questo articolo presenta i risultati parziali di uno studio in cui gli studenti hanno dovuto risolvere, sullo schermo del computer, dieci problemi di fisica meccanica. Questi problemi sono stati sviluppati in lavori precedenti 9. Dati neurofisiologici sono stati raccolti, mentre i discenti sono stati risolvere i problemi e di relax durante un 45 s pausa, con gli occhi chiusi, dopo ogni problema.

Come accennato in precedenza, i dati comportamentali impegno sono costituiti da interazioni software (movimenti del mouse e click), lo sguardo degli occhi, le prestazioni e le risposte alle domande prodotte da uno studente interagisce con il sistema, mentre realizzazione del compito 1. Un sistema di eye-tracking è stato utilizzato per raccogliere le interazioni del software e dei dati sguardo degli occhi. Prestazioni (tempo per risolvere un problema, correttezza delle risposte) sono stati raccolti su unsito web sondaggio che è stato utilizzato per presentare l'attività. Questo sito è stato utilizzato anche per raccogliere dati self-report raccolti con un questionario adattato da Bradley e Lang 10. Coinvolgimento emotivo comporta caratterizzazione di emozioni. Secondo Lang 11, le emozioni sono caratterizzati in termini di valenza (piacevole / spiacevole) e l'eccitazione (calma / suscitato). Dati coinvolgimento emotivo sono stati quindi raccolti, utilizzando il software di riconoscimento facciale automatico emozione che quantifica valenza emotiva e un'attività encoder / sensore elettrodermica per l'eccitazione 12,13. Dell'attività elettrodermica (EDA) si riferisce alla resistenza elettrica registrato tra due elettrodi quando una corrente elettrica molto debole è in costante passati tra loro. Cacioppo, Tassinary e Berntson 14 hanno dimostrato che la resistenza registrata varia secondo l'eccitazione del soggetto. Pertanto, i dati psicofisiologici, come la valenza o l'eccitazione, sono considerati correlati di coinvolgimento emotivo.

<pclass = "jove_content"> Infine, i dati di fidanzamento cognitive vengono raccolti attraverso elettroencefalografia (EEG). Misure EEG, sul cuoio capelluto, l'attività elettrica di gruppi di neuroni nel cervello sincronizzati. I segnali elettrici registrati dal cuoio capelluto sono spesso oscillatorio e composto di componenti di frequenza. Per convenzione, queste frequenze sono raggruppate in sequenze, noto come bande. Ad esempio, alfa, beta e theta bande sono al centro di questo studio. Secondo gli studi neuroscientifici 14, queste bande riflettono differenti capacità di elaborazione cognitiva in aree specifiche del cervello. Pertanto, l'analisi della densità spettrale di potenza (PSD) di frequenze specifiche, combinato con numerosi studi 7,15 su vigilanza e l'attenzione, permette ai ricercatori di quantificare l'impegno cognitivo durante un compito. Come ha osservato Mikulka et al. 16, la ricerca ha dimostrato una relazione diretta tra l'attività di beta e la vigilanza cognitiva e una relazione indiretta tra alpha und attività theta e la vigilanza. Quindi, il Papa, Bogart e Bartoleme 7 sviluppato un indice di impegno che calcola il PSD di tre bande: beta / (alpha + theta). Questo parametro è stato convalidato in altri studi sul coinvolgimento 16,17,18. Per caratterizzare l'impegno cognitivo nel tempo, una trasformata rapida di Fourier (FFT) converte il segnale EEG da ciascun sito attivo (F3, F4, O1, O2) in uno spettro di potenza. L'indice di impegno EEG al tempo T viene calcolata la media di ciascun rapporto di impegno entro una finestra scorrevole 20 sec il precedente tempo T. Questa procedura viene ripetuta ogni secondo e una nuova finestra scorrevole è utilizzato per aggiornare l'indice.

Poiché l'obiettivo di questa metodologia è quello di fornire una ricca analisi delle molteplici dimensioni di ingaggio, sincronizzazione dei dati è cruciale. Come Leger et al. 19 ricordare ai lettori, i produttori di apparecchiature consiglia vivamente di utilizzare un solo computer per ogni strumento di misurazione per garantirne la precisione specificata level. Così, quando più computer sono impiegati, la sincronizzazione tra i computer di registrazione diventa un passaggio fondamentale. Le registrazioni non possono tutti essere iniziato al tempo stesso esatto, e ogni flusso di dati ha il suo determinato periodo di tempo (ad esempio, sec 0 di eye-tracking ≠ sec 0 di EEG o dati fisiologici). Ciò è estremamente importante: desincronizzazione tra i flussi di dati significa errori nella quantificazione di ogni dimensione di impegno. Ci sono diversi modi di sincronizzazione registrazioni fisiologiche e comportamentali concomitanti. Questi metodi possono essere suddivisi in due approcci principali; diretta e indiretta 20. Il protocollo presentato nella sezione successiva è basato su un approccio indiretta quando un dispositivo esterno, un syncbox, viene utilizzato per inviare logica transistor-transistor (TTL) segnali a tutto l'apparecchio di controllo (come mostrato in Figura 1). Come ogni pezzo di equipaggiamento ha un orario di inizio diverso, i marcatori TTL sono registrati nei file di registro con un parente ritardo. Marcatori vengono poi utilizzati per riallineare i segnali e garantire la corretta sincronizzazione dopo ogni registrazione così. Un programma software di analisi comportamentale che consente l'integrazione file esterno viene utilizzato per ri-sincronizzare la cronologia di ogni flusso di dati e di eseguire analisi quantitativa e qualitativa di ogni dimensione di impegno.

Figura 1
Figura 1. Architettura del sistema di raccolta dei dati. L'ambiente di laboratorio in cui comportamentale (eye-tracking), emotivo (EDA ed emozione facciale) e dati (EEG) di fidanzamento cognitivi sono raccolte contiene molti computer. Questo solleva una sfida di sincronizzazione per i dati a cui fa riferimento sui rispettivi orologi dei computer. Per essere in grado di analizzare tutti i dati nello stesso tempo di riferimento, l'impostazione del laboratorio comporta un syncbox che invia segnali TTL a tutti i flussi di dati.nk "> Clicca qui per vedere una versione più grande di questa figura.

Per valutare la precisione del metodo in termini di sincronizzazione, sono stati introdotti 45 sec pause prima ciascuno dei problemi fisica meccanica. Durante queste pause, i soggetti dovevano rilassarsi e chiudere gli occhi. Come si è visto in altri studi 4,9,16,17,18, queste pause dovrebbero indurre variazioni significative del segnale raccolto: i due punti pupilla dell'occhio di eye-tracking subito scompaiono (impegno comportamentale) e un calo immediato impegno cognitivo (EEG segnale) si osserva. Questi componenti specifici del segnale sono utilizzati per valutare la validità generale della sincronizzazione. La recente pubblicazione di articoli che completamente o parzialmente basano su questa procedura di sincronizzazione, nel campo dei sistemi informativi 19, interazioni uomo-macchina 21 e di formazione 9, 22, fornisce la prova della sua efficacia.

Protocol

Questo protocollo ha ricevuto un certificato di etica dal Comitato institutionnel de la recherche avec des êtres humains (CIER) de l'Université du Québec à Montréal (UQAM), che è stato approvato dal HEC-Montreal per la struttura di ricerca Tech3Lab. Il protocollo descritti i passaggi specifici che vengono eseguite nel nostro ambiente di laboratorio e delle attrezzature. Anche se i percorsi di software precise vengono forniti per chiarire la metodologia, questa tecnica è trasferibile e può essere replicato co…

Representative Results

Le figure 2 e 3 mostrano schermate dei risultati dell'integrazione e sincronizzazione dei dati comportamentali, emotivi e cognitivi impegno in un'applicazione software di analisi comportamentale. In entrambe le figure, la parte sinistra organizza i soggetti di ricerca e lo schema di codifica. Nella sezione centrale, un video (con punti rossi) mostra l'occhio lo sguardo del soggetto durante il compito. Impegno comportamentale del soggetto può essere dedotta sulla base di quello che lui…

Discussion

In termini di fasi critiche all'interno del protocollo, si deve in primo luogo rilevare che la qualità dei dati è sempre l'obiettivo principale per tecniche di raccolta neurofisiologiche. In questa metodologia, assistenti di ricerca devono prestare particolare attenzione a istruire i temi per ridurre al minimo i movimenti della testa che interferiscono con il monitoraggio di valenza (perdendo corretto angolo di fronte per la fotocamera) o generare artefatti myographic nel EEG. D'altra parte, un equilibrio …

Disclosures

The authors have nothing to disclose.

Acknowledgements

The authors acknowledge the financial support of the Social Sciences and Humanities Research Council of Canada (SSHERC), Natural Sciences and Engineering Research Council of Canada (NSERC), Fonds de Recherche Nature et Technologies du Québec (FQRNT) and Fonds de Recherche sur la Société et Culture du Québec (FQRSC).

Materials

EGI GSN-32  EGI n/a Dense array EEG
Netstation v.5.0 EGI n/a EEG data collection software: EEG is collected with 32-electrode dense array electroencephalography (dEEG) geodesic sensor net using Netstation acquisition software and EGI amplifiers (Electrical Geodesics, Inc). The vertex (recording site Cz) is the reference electrode for recording. Impedance is kept below 50 kΩ with a sampling rate of 250 Hz. 
Facereader v.4 Noldus n/a Facial emotion recognition software
Syncbox Noldus n/a Syncbox start the co-registration of EEG and gaze data by sending a Transistor-Transistor Logic (TTL) signal to the EGI amplifier and a keystroke signal to the Tobii Studio v 3.2.
Logitech C600  Webcam 960-000396 Webcam used to gather video data sent to mediarecorder and that will be analyzed in Facereader
The Observer XT Noldus n/a Integration and synchronization software: The Noldus Observer XT (Noldus Information Technology) is used to synchronize all behavioral, emotional and cognitive engagement data. 
On-Screen LED illumination Noldus n/a Neon positioned on computer screen in order to correctly light the face of subjects
MediaRecorder Noldus n/a Video data collection software
Tobii X60 Tobii n/a Collect eye-movement patterns :  used to record subjects’ eye movement patterns at 60Hz during the experiment. 
Tobii Studio v.3.2 Tobii n/a Eye-tracking data collection and analysis software
Analyzer 2 Brainvision n/a EEG signal processing software
Acqknowledge v.4.0 Biopac ACK100M Physiological signal acquisition and processing software
Control III germicide solution Maril Products. 10002REVA-20002-1 Disinfectant solution used with EEG helmets : recommended by EGI
Unipark QuestBack AG n/a Online survey environment

References

  1. Fredricks, J. A., Blumenfeld, P. C., Paris, A. H. School engagement: Potential of the concept, state of the evidence. Rev. Educ. Res. 74 (1), 59-109 (2004).
  2. Clark, R. C., Mayer, R. E. . E-learning and the Science of Instruction. , (2011).
  3. Zhang, D., Zhou, L., Briggs, R. O., Nunamaker, J. F. Instructional video in e-learning: Assessing the impact of interactive video on learning effectiveness. Inform. Manage. 43 (1), 15-27 (2006).
  4. Freeman, F. G., Mikulka, P. J., Prinzel, L. J., Scerbo, M. W. Evaluation of an adaptive automation system using three EEG indices with a visual tracking task. Biol. Psychol. 50, 61-76 (1999).
  5. Glimcher, P., Rustichini, A. Neuroeconomics: The consilience of brain and decision. Science. 306 (5695), 447-452 (2004).
  6. Lieberman, M. D. Social Cognitive neuroscience: A review of core processes. Annu. Rev. Physiol. 58, 259-289 (2007).
  7. Pope, A. T., Bogart, E. H., Bartolome, D. S. Biocybernetic system evaluates indices of operator engagement in automated task. Biol. Psychol. 40 (1-2), 187-195 (1995).
  8. Mandryk, R., Inkpen, K. Physiological indicators for the evaluation of co-located collaborative play. , (2004).
  9. Allaire-Duquette, G., Charland, P., Riopel, M. At the very root of the development of interest: Using human body contexts to improve women’s emotional engagement in introductory physics. Eur. J. Phy. Ed. 5 (2), 31-48 (2014).
  10. Bradley, M. M., Lang, P. J. Measuring emotion: The self-assessment manikin and the semantic differential. J. Behav. Ther. Exp. Psy. 25 (1), 49-59 (1994).
  11. Lang, P. J. The emotion probe: Studies of motivation and attention. Am. Psychol. 50 (5), 372-385 (1995).
  12. Ekman, P., Felt Friesen, W. false, and miserable smiles. J. Nonverbal Behav. 6 (4), 238-252 (1982).
  13. Van Kuilenburg, H., Den Uyl, M. J., Israël, M. L., Ivan, P. Advances in face and gesture analysis. , 371-372 (2008).
  14. Cacioppo, J., Tassinary, L. G., Berntson, G. G. . Handbook of Psychophysiology. , (2007).
  15. Lubar, J. F., Swartwood, M. O., Swartwood, J. N., O’Donnell, P. H. Evaluation of the effectiveness of EEG neurofeedback training for ADHD in a clinical setting as measured by changes in T.O.V.A. scores, behavioral ratings, and WISC R performance. Biofeedback Self-reg. 20 (1), (1995).
  16. Mikulka, P. J., Freeman, F. G., Scerbo, M. W. Effects of a biocybernetic system on the vigilance decrement. Hum. factors. 44 (4), 654-664 (2002).
  17. Freeman, F. G., Mikulka, P. J., Scerbo, M. W., Scott, L. An evaluation of an adaptive automation system using a cognitive vigilance task. Biol. Psychol. 67 (3), 283-297 (2004).
  18. Chaouachi, M., Chalfoun, P., Jraidi, I., Frasson, C. Affect and mental engagement: Toward adaptability for intelligent systems. Proceedings of the Twenty-Third International Florida Artificial Intelligence Research Society Conference (FLAIRS 2010), Association for the Advancement of Artificial Intelligence. , 355-360 (2010).
  19. Courtemanche, F., Ortiz de Guinea, A., Titah, R., Fredette, M., Labonté-LeMoyne, &. #. 2. 0. 1. ;. Precision is in the eye of the beholder: Application of eye fixation-related potentials to information systems research. J. Assoc. Inf. Syst. 15 (10), 651-678 (2014).
  20. Courtemanche, F., Ortiz de Guinea, A., Titah, R., Fredette, M., Labonté-Lemoyne, E. Applying eye fixation-related potentials to information systems research: Demonstration of the method during natural IS use and guidelines for research. J. Assoc. Inf. Syst. 15 (10), (2014).
  21. Courtemanche, F. . Un outil d’évaluation neurocognitive des interactions humain-machine Doctoral thesis. , (2014).
  22. Charland, P., Léger, P. M., Mercier, J., Skelling-Desmeules, Y. Assessing multiple dimensions of learner engagement during science problem solving using psychophysiological and behavioral measures. , (2014).
  23. Venables, P. H., Christie, M. J., Martin, I., Venables, P. Electrodermal activity. Techniques in Psychophysiology. , 3-67 (1980).
  24. Boucsein, W. . Electrodermal Activity. , (2012).
  25. Sarlo, M., Palomba, D., Buodo, G. M., Minghetti, R., Stegagno, L. Blood pressure changes highlight gender differences in emotional reactivity to arousing pictures. Biol. Psychol. 70 (3), 188-196 (2005).
  26. Martens, R. L., Gulikers, J., Bastiaens, T. The impact of intrinsic motivation on e-learning in authentic computer tasks. J. Comput. Assist. Lear. 20 (5), 368-376 (2004).

Play Video

Cite This Article
Charland, P., Léger, P., Sénécal, S., Courtemanche, F., Mercier, J., Skelling, Y., Labonté-Lemoyne, E. Assessing the Multiple Dimensions of Engagement to Characterize Learning: A Neurophysiological Perspective. J. Vis. Exp. (101), e52627, doi:10.3791/52627 (2015).

View Video