Una progettazione sperimentale interdisciplinare e multimodale per studiare esperienze di esame autentico quasi in tempo reale
Summary
È stato sviluppato un progetto sperimentale per studiare le influenze in tempo reale di un’esperienza di esame per valutare le realtà emotive che gli studenti sperimentano in contesti e compiti di istruzione superiore. Questo progetto è il risultato di un approccio interdisciplinare (ad esempio psicologia educativa, biologia, fisiologia, ingegneria) e multimodale (ad esempio, marcatori salivari, indagini, sensori elettrodermici).
Abstract
Negli ultimi dieci anni, la ricerca sulle emozioni degli studenti negli ambienti educativi è aumentata. Anche se i ricercatori hanno chiesto ulteriori studi che si basano su misure oggettive dell’esperienza emotiva, esistono limitazioni all’utilizzo di fonti di dati multimodali. Gli studi sulle emozioni e la regolazione emotiva nelle classi tradizionalmente si basano su strumenti di indagine, campionamento di esperienze, artefatti, interviste o procedure di osservazione. Questi metodi, sebbene preziosi, dipendono principalmente dalla soggettività del partecipante o dell’osservatore ed è limitato nella sua misurazione autentica delle prestazioni in tempo reale degli studenti a un’attività o un compito in classe. Quest’ultimo, in particolare, pone un ostacolo a molti studiosi che cercano di misurare oggettivamente le emozioni e altre misure correlate in classe, in tempo reale.
Lo scopo di questo lavoro è quello di presentare un protocollo per studiare sperimentalmente le risposte in tempo reale degli studenti alle esperienze degli esami durante un’autentica situazione di valutazione. Per questo, un team di psicologi educativi, ingegneri e ricercatori di educazione ingegneristica ha progettato un protocollo sperimentale che ha mantenuto i limiti necessari per la misurazione accurata fisiologica dei sensori, le migliori pratiche di raccolta salivare e un un ambiente di test autentico. In particolare, gli studi esistenti che si basano su sensori fisiologici sono condotti in ambienti sperimentali che sono disconnessi da contesti educativi (ad esempio, Trier Stress Test), staccati nel tempo (ad esempio, prima o dopo un’attività) o introdurre un errore di analisi (ad esempio, l’uso di sensori in ambienti in cui gli studenti sono suscettibili di muoversi). Questo limita la nostra comprensione delle risposte in tempo reale degli studenti alle attività e alle attività in classe. Inoltre, recenti ricerche hanno chiesto di tenere più considerazioni su questioni relative a reclutamento, replicabilità, validità, configurazioni, pulizia dei dati, analisi preliminari e circostanze particolari (ad esempio, aggiungendo una variabile nella nella ricerca sulle emozioni accademiche che si basa su approcci multimodali.
Introduction
Gli psicologi hanno da tempo compreso l’importanza delle emozioni degli esseri umani nel chiarire i loro comportamenti1. All’interno dello studio dell’istruzione, Academic Achievement Emotions (AEE) è diventato il centro della ricerca sulle emozioni2. I ricercatori che utilizzano AAE sostengono che i contesti situazionali in cui si trovano gli studenti sono importanti da considerare quando esaminano le emozioni degli studenti. Gli studenti possono sperimentare emozioni legate ai test, classi, o relative all’apprendimento che coinvolgono processi multi-componente, tra cui componenti affettivi, fisiologici, motivazionali e cognitivi. L’AEE è espresso in due forme: valenza (positiva/negativa) e attivazione (energia focalizzata/non focalizzata). Le emozioni attive positive, come il godimento, possono aumentare i processi riflessivi come la metacognizione, mentre le emozioni positive che disattivano come l’orgoglio possono portare a bassi livelli di elaborazione cognitiva. L’attivazione negativa di emozioni come rabbia e ansia può innescare l’impegno, mentre le emozioni negative che didisattivano come la disperazione possono smorzare la motivazione3,4,5. Le emozioni accademiche contribuiscono a come impariamo, percepiamo, decidiamo, rispondiamo e risolviamo i problemi2. Per regolare le emozioni accademiche, un individuo deve possedere l’autoefficacia (SE)6,7,8, che è la loro fiducia nella loro capacità di impiegare il controllo sulla loro motivazione, comportamento, e ambiente sociale 6.L’autoefficacia e le emozioni accademiche sono interconnesse, dove una minore autoefficacia è legata a emozioni di disattivazione negative (ad esempio, ansia, rabbia, noia) e una maggiore autoefficacia è legata a emozioni attivanti positive (ad esempio, felicità, speranza, eccitazione)6,7,8. SE è anche creduto di essere fortemente legato alle prestazioni6,7,8.
La ricerca che ha esaminato le emozioni in classe si è basata su auto-relazioni, osservazioni, interviste e manufatti (ad esempio, esami, progetti)9,10. Sebbene questi metodi forniscano informazioni contestuali dettagliate sulle esperienze in classe degli studenti, hanno limitazioni significative. Ad esempio, interviste, osservazioni e auto-relazioni si basano sulle introspezie degli individui10. Altri metodi hanno cercato di esaminare le emozioni accademiche in modo più proxire rispetto ai precedenti ricercatori, come quelli basati su approcci di campionamento di esperienze in cui i ricercatori chiedono agli studenti di riferire sulle loro emozioni durante il giorno di scuola11. Anche se questa ricerca ci permette di segnalare le emozioni degli studenti in modo più accurato, questo lavoro si basa su metodi di auto-segnalazione e non consente la segnalazione in tempo reale in quanto gli studenti devono mettere in pausa il loro lavoro sull’esame per affrontare il sondaggio sull’esperienza.
Recentemente, i ricercatori hanno iniziato ad affrontare le preoccupazioni circa le misure di auto-relazione attraverso l’uso di misure biologiche o fisiologiche di emozione9, che combinate con altri strumenti o tecniche come indagini, osservazioni o interviste, consiste in una forma multimodale di raccolta dei dati per la ricerca educativa e psicologica12. Ad esempio, tecniche biologiche, tra cui biomarcatori salivari, vengono utilizzate per comprendere il ruolo dei processi biologici sulla cognizione, l’emozione, l’apprendimento e le prestazioni13,14,15. Per i processi cognitivi, gli androgeni (ad es. testosterone) sono stati collegati a diversi modelli di riconoscimento spaziale negli adulti e nei bambini16,17 mentre gli ormoni ipotalamici-pituitari-adrenomici (ad esempio, cortisolo) e gli ormoni adrenergici (ad es., salivare o sAA) sono collegati alla reattività allo stress tra gli individui18,19,20.
L’attività elettrodermica (EDA) rappresenta una misura fisiologica dell’attivazione del sistema nervoso autonomo (ANS) ed è legata ad una maggiore attivazione del sistema, carico cognitivo o intense risposte emotive21,22 ,23. Nelle attività di esame, l’EDA è affetto dalla mobilità fisica21,22, temperature corporee e ambientali24,25,26,27, e verbalizzazione di pensieri28, così come la sensibilità e il grado di connettività degli elettrodi analogico-digitale alla pelle29.
Anche se queste possono essere limitazioni all’utilizzo dell’EDA, questa tecnica può ancora fornire preziose informazioni su ciò che accade durante gli esami quasi in tempo reale e può servire come strumento promettente per esplorare L’AEE e, di fatto, l’autoefficacia. Di conseguenza, un quadro accurato dell’AEE degli studenti può essere ottenuto attraverso una combinazione di metodi di indagine, per determinare la valenza delle emozioni, e dati fisiologici e biologici, per misurare l’attivazione di tale emozione. Questo documento si basa su una precedente pubblicazione sulle attività di esame30 ed amplia la portata di tale lavoro per includere approcci multimodali (utilizzando indagini di campionamento di esperienze, sensori EDA e biomarcatori salivari) in uno scenario di esame. È essenziale ricordare che il protocollo descritto di seguito consente di raccogliere contemporaneamente i dati di più partecipanti all’interno di un’unica impostazione sperimentale.
Protocol
Representative Results
Discussion
Anche se le misure fisiologiche sono state utilizzate in molti contesti di apprendimento autentici, è fondamentale progettare un ambiente di studio che sia consapevole dei limiti della tecnologia attuale. Il nostro design bilancia la necessità di un ambiente di test autentico e accoglie la tecnologia. Limitare comodamente il movimento dei partecipanti, ridurre le interruzioni indesiderate e le risposte dei test dei partecipanti timestamp sono tutti passaggi critici all’interno del protocollo.
<p class="jove_content…Disclosures
The authors have nothing to disclose.
Acknowledgements
Questo materiale si basa sul lavoro sostenuto in parte dalla National Science Foundation (NSF) No. EED-1661100 e una sovvenzione NSF GRFP concessa a Darcie Christensen (n. 120214). Eventuali opinioni, risultati e conclusioni o raccomandazioni espresse in questo materiale non riflettono necessariamente quelle della NSF o dell’USU. Vogliamo ringraziare Sheree Benson per le sue gentili discussioni e raccomandazioni per la nostra analisi statistica.
I contributi degli autori in questo articolo sono i seguenti: Villanueva (progettazione della ricerca, raccolta e analisi dei dati, scrittura, editing); Husman (progettazione della ricerca, raccolta dei dati, scrittura, editing); Christensen (raccolta e analisi dei dati, scrittura, modifica); Youmans (raccolta e analisi dei dati, scrittura e modifica); Khan (raccolta e analisi dei dati, scrittura, editing); Vicioso (raccolta e analisi dei dati, modifica); Lampkins (raccolta e modifica dei dati); Graham (raccolta e modifica dei dati)
Materials
| 1.1 cu ft medical freezer | Compact Compliance | # bci2801863 | They can use any freezer as long as it can go below -20 degrees Celsius; these can be used to store salivary samples for longer periods of time (~4 months) before running salivary assays. |
| Camping Cooler | Amazon | (any size/type) | Can be used to store salivary samples during data collection |
| E4 sensor | Empatica Inc | E4 Wristband Rev2 | You can use any EDA sensor or company as long as it records EDA and accelerometry |
| EDA Explorer | https://eda-explorer.media.mit.edu/ | (open-source) | Can be used to identify potential sources of noise that are not necessarily due to movement |
| Laptops | Dell | Latitude 3480 | They can use any desktop or laptop |
| Ledalab | http://www.ledalab.de/ | (open-source) | Can be used to separate tonic and phasic EDA signals after following filtration steps |
| MATLAB | https://www.mathworks.com/products/matlab.html | (version varies according to updates) | To be used for Ledalab, EDA Explorer, and to create customized time-stamping programs. |
| Salivary Alpha Amylase Enzymatic Kit | Salimetrics | # 1-1902 | For the salivary kits, you should plan to either order the company to analyze your samples and/or go to a molecular biology lab for processing |
| Salivary Cortisol ELISA Kit | Salimetrics | # 1-3002 | For the salivary kits, you should plan to either order the company to analyze your samples and/or go to a molecular biology lab for processing |
| Testing Divider (Privacy Shields) | Amazon | #60005 | They can use any brand of testing shield as long as they cover the workspace |
| Web Camera | Amazon | Logitech c920 | They can use any web camera as long as it is HD and 1080p or greater |
References
- William, J. What is an emotion?. Mind. 9 (34), 188-205 (1884).
- Pekrun, R., Linnenbrink-Garcia, L., Pekrun, R., Linnenbrink-Garcia, L. Emotions in education: Conclusions and future directions. International handbook of emotions in education. , 659-675 (2014).
- Pekrun, R. The control-value theory of achievement emotions: Assumptions, corollaries, and implications for educational research and practice. Educational Psychology Review. 18 (4), 315-341 (2006).
- Pekrun, R., Perry, R. P. Control-value theory of achievement emotions. International Handbook of Emotions in Education. , 120-141 (2014).
- Pekrun, R., Stephens, E. J., Harris, K. R. Academic emotions. APA Educational Psychology Handbook. , 3-31 (2011).
- Bandura, A. . Self-efficacy: The exercise of control. , (1997).
- Bandura, A. . Social foundations of thought and action: A social cognitive theory. , (1986).
- Bandura, A., Pajares, F., Urdan, T. Guide for constructing self-efficacy scales. Self-efficacy beliefs of adolescents. , 307-337 (2006).
- Jarrell, A., Harley, J. M., Lajoie, S., Naismith, L. Success, failure and emotions: examining the relationship between performance feedback and emotions in diagnostic reasoning. Educational Technology Research and Development. 65 (5), 1263-1284 (2017).
- Pekrun, R., Bühner, M., Pekrun, R., Linnenbrink-Garcia, L. Self-report measures of academic emotions. International Handbook of Emotions in Education. , 561-566 (2014).
- Nett, U. E., Goetz, T., Hall, N. C. Coping with boredom in school: An experience sampling perspective. Contemporary Educational Psychology. 36 (1), 49-59 (2011).
- Azevedo, R. Defining and measuring engagement and learning in science: Conceptual, theoretical, methodological, and analytical issues. Educational Psychologist. 50 (1), 84-94 (2015).
- Spangler, G., Pekrun, R., Kramer, K., Hofman, H. Students’ emotions, physiological reactions, and coping in academic exams. Anxiety, Stress, & Coping. 15 (4), 413-432 (2002).
- Husman, J., Cheng, K. C., Puruhito, K., Fishman, E. J. Understanding engineering students stress and emotions during an introductory engineering course. American Society of Engineering Education. , (2015).
- Vedhara, K., Hyde, J., Gilchrist, I., Tytherleigh, M., Plummer, S. Acute stress, memory, attention and cortisol. Psychoneuroendocrinology. 25 (6), 535-549 (2000).
- Berenbaum, S. A., Moffat, S., Wisniewski, A., Resnick, S., de Haan, M., Johnson, M. H. Neuroendocrinology: Cognitive effects of sex hormones. The Cognitive Neuroscience of Development: Studies in Developmental Psychology. , 207-210 (2003).
- Lundberg, U., Frankenhaeuser, M. Pituitary-adrenal and sympathetic-adrenal correlates of distress and effort. Journal of Psychosomatic Research. 24 (3-4), 125-130 (1980).
- Nater, U. M., Rohleder, N. Salivary alpha-amylase as a non-invasive biomarker for the sympathetic nervous system: Current state of research. Psychoneuroendocrinology. 34 (4), 486-496 (2009).
- Denson, T., Spanovic, M., Miller, N., Cooper, H. Cognitive appraisals and emotions predict cortisol and immune responses: A meta-analysis of acute laboratory social stressors and emotion inductions. Psychological Bulletin. 135 (6), 823-853 (2009).
- Van Stegeren, A. H., Wolf, O. T., Kindt, M. Salivary alpha amylase and cortisol responses to different stress tasks: Impact of sex. International Journal of Psychophysiology. 69 (1), 33-40 (2008).
- Benedek, M., Kaernbach, C. A continuous measure of phasic electrodermal activity. Journal of Neuroscience Methods. 190 (1), 80-91 (2010).
- Boucsein, W., Backs, R. W., Backs, R. W., Boucsein, W. Engineering psychophysiology as a discipline: Historical and theoretical aspects. Engineering psychophysiology. Issues and applications. , 3-30 (2000).
- Boucsein, W., Backs, R. W., Duffy, V. G. The psychophysiology of emotion, arousal, and personality: Methods and models. Handbook of digital human modeling. , 35-38 (2009).
- Turpin, G., Shine, P., Lader, M. H. Ambulatory electrodermal monitoring: effects of ambient temperature, general activity, electrolyte media, and length of recording. Psychophysiology. 20, 219-224 (1983).
- Posada-Quintero, H. F., et al. Timevarying analysis of electrodermal activity during exercise. PLoS ONE. 13 (6), e0198328 (2018).
- Lobstein, T., Cort, J. The relationship between skin temperature and skin conductance activity: Indications of genetic and fitness determinants. Biological Psychology. 7, 139-143 (1978).
- Scholander, T. Some measures of electrodermal activity and their relationships as affected by varied temperatures. Journal of Psychosomatic Research. 7, 151-158 (1963).
- Schwerdtfeger, A. Predicting autonomic reactivity to public speaking: don’t get fixed on self-report data!. International Journal of Psychophysiology. 52 (3), 217-224 (2004).
- Braithwaite, J. J., Watson, D. G., Jones, R., Rowe, M. A guide for analysing electrodermal activity (EDA) & skin conductance responses (SCRs) for psychological experiments. Psychophysiology. 49 (1), 1017-1034 (2013).
- Villanueva, I., Valladares, M., Goodridge, W. Use of galvanic skin responses, salivary biomarkers, and self-reports to assess undergraduate student performance during a laboratory exam activity. Journal of Visualized Experiments. (108), e53255 (2016).
- Empatica, . E4 wristband from Empatica: User’s manual. Empatica. , 1-32 (2018).
- Salimetrics, . Collection methods: Passive drool using the saliva collection aid. Salimetrics Technical Summary. , 1-2 (2018).
- Salimetrics, . Collection methods: Passive drool using the saliva collection aid. Salimetrics Technical Summary. , 1-2 (2018).
- Salimetrics, . Expanded range high sensitivity salivary cortisol enzyme immunoassay kit. Salimetrics Technical Summary. , 1-21 (2016).
- Salimetrics, . Salivary α-amylase kinetic enzyme assay kit. Salimetrics Technical Summary. , 1-17 (2016).
- . Innovative Hormone Testing: Saliva Test Specifications, ZRT Laboratory Reports Available from: https://www.zrtlab.com/resources/ (2014)
- Call, B., Goodridge, W., Villanueva, I., Wan, N., Jordan, K. Utilizing electroencephalography measurements for comparison of task-specific neural efficiencies: spatial intelligence tasks. Journal of Visualized Experiments. (114), (2016).
- Ruel, E. E., Wagner, W. E., Gillespie, B. J. . The practice of survey research: theory and applications. , (2016).
- Barrett, P. Euclidean distance: raw, normalized, and double-spaced coefficients. The Technical Whitepaper Series. 6, 1-26 (2005).
- Groeneveld, R. A. Influence functions for the coefficient of variation, its inverse, and CV comparisons. Communications in Statistics- Theory and Methods. 40 (23), 4139-4150 (2011).
- Tronstad, C., Staal, O. M., Sælid, S., Martinsen, &. #. 2. 1. 6. ;. G. Model-based filtering for artifact and noise suppression with state estimation for electrodermal activity measurements in real time. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 2750-2753 (2015).
- Routray, A., Pradhan, A. K., Rao, K. P. A novel Kalman filter for frequency estimation of distorted signals in power systems. IEEE Transactions on Instrumentation and Measurement. 51 (3), 469-479 (2002).
- Benedek, M., Kaernbach, C. A continuous measure of phasic electrodermal activity. Journal of Neuroscience Methods. 190, 80-91 (2010).
- Taylor, S., et al. Automatic Identification of Artifacts in Electrodermal Activity Data. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 1934-1937 (2015).
- Andreasson, U., et al. A practical guide to immunoassay method validation. Frontiers in Neurology. 6 (179), 1-8 (2015).
- Adam, E. K., Kumari, M. Assessing salivary cortisol in large-scale, epidemiological research. Psychoneuroendocrinology. 34 (10), 1423-1436 (2009).
- Pruessner, J. C., Kirschbaum, C., Meinlschmid, G., Hellhammer, D. H. Two formulas for computation of the area under the curve represent measures of total hormone concentration versus time-dependent change. Psychoneuroendocrinology. 28 (7), 916-931 (2003).
- Girden, E. R. . ANOVA: Repeated measures. , (1992).
- Raudenbush, S. W., Bryk, A. S. . Hierarchical linear models: Applications and data analysis methods (Vol. 1). , (2002).
- Duncan, T. E., Duncan, S. C., Strycker, L. A. . An introduction to latent variable growth curve modeling: Concepts, issues, and application. , (2013).
- Mehta, P. D., West, S. G. Putting the individual back into individual growth curves. Psychological Methods. 5 (1), 23-43 (2000).
- Khan, M. T. H., Villanueva, I., Vicioso, P., Husman, J. Exploring relationships between electrodermal activity, skin temperature, and performance during engineering exams. , (Accepted).
- Christensen, D., Khan, M. T. H., Villanueva, I., Husman, J. Stretched Too Much? A Case Study of Engineering Exam-Related Predicted Performance, Electrodermal Activity, and Heart Rate. , (Accepted).
