Une conception expérimentale interdisciplinaire et multimodale pour étudier les expériences d'examen authentiques en temps quasi réel
Summary
Une conception expérimentale a été élaborée pour étudier les influences en temps réel d’une expérience d’examen afin d’évaluer les réalités émotionnelles que les élèves vivent dans les milieux et les tâches de l’enseignement supérieur. Cette conception est le résultat d’une approche interdisciplinaire (p. ex. psychologie de l’éducation, biologie, physiologie, ingénierie) et multimodale (p. ex. marqueurs salivaires, sondages, capteur électrodermique).
Abstract
Au cours des dix dernières années, la recherche sur les émotions des élèves dans les milieux éducatifs a augmenté. Bien que les chercheurs aient demandé plus d’études qui s’appuient sur des mesures objectives de l’expérience émotionnelle, il existe des limites à l’utilisation de sources de données multimodales. Les études sur l’émotion et la régulation émotionnelle dans les salles de classe reposent traditionnellement sur des instruments d’enquête, un échantillonnage d’expériences, des artefacts, des entrevues ou des procédures d’observation. Ces méthodes, bien que précieuses, dépendent principalement de la subjectivité des participants ou des observateurs et sont limitées dans leur mesure authentique du rendement en temps réel des élèves à une activité ou à une tâche en classe. Ce dernier, en particulier, constitue une pierre d’achoppement pour de nombreux chercheurs qui cherchent à mesurer objectivement les émotions et autres mesures connexes en classe, en temps réel.
Le but de ce travail est de présenter un protocole pour étudier expérimentalement les réponses en temps réel des étudiants aux expériences d’examen au cours d’une situation d’évaluation authentique. Pour ce faire, une équipe de psychologues de l’éducation, d’ingénieurs et de chercheurs en éducation en génie a conçu un protocole expérimental qui a conservé les limites requises pour une mesure précise des capteurs physiologiques, les meilleures pratiques de collecte salivaire et un environnement de test authentique. En particulier, les études existantes qui s’appuient sur des capteurs physiologiques sont menées dans des environnements expérimentaux déconnectés des milieux éducatifs (p. ex., test de stress de Trèves), détachées dans le temps (p. ex., avant ou après une tâche), ou introduisent une erreur d’analyse. (p. ex., l’utilisation de capteurs dans les environnements où les élèves sont susceptibles de se déplacer). Cela limite notre compréhension des réponses en temps réel des élèves aux activités et aux tâches en classe. En outre, des recherches récentes ont demandé que davantage de considérations soient abordées sur les questions de recrutement, de reproductibilité, de validité, d’installation, de nettoyage des données, d’analyse préliminaire et de circonstances particulières (p. ex., l’ajout d’une variable dans l’expérience dans la recherche sur les émotions académiques qui repose sur des approches multimodales.
Introduction
Les psychologues ont compris depuis longtemps l’importance des émotions des humains dans l’élucidation de leurs comportements1. Dans le cadre de l’étude de l’éducation, les émotions de réussite académique (AEE) est devenu le centre de la recherche sur les émotions2. Les chercheurs qui utilisent AAE soutiennent que les contextes situationnels dans lequel se trouvent les élèves sont importants à prendre en considération lorsqu’ils examinent les émotions des élèves. Les élèves peuvent éprouver des émotions liées aux tests, aux classes ou à l’apprentissage qui impliquent des processus multi-composants, y compris des composantes affectives, physiologiques, motivantes et cognitives. L’EEA s’exprime sous deux formes : la valence (positive/négative) et l’activation (énergie focalisée/non focalisée). Les émotions actives positives, telles que la jouissance, peuvent augmenter les processus réfléchissants comme la métacognition, tandis que les émotions désactivantes positives telles que l’orgueil peuvent entraîner de faibles niveaux de traitement cognitif. Les émotions actives négatives telles que la colère et l’anxiété peuvent susciter l’engagement, tandis que les émotions désactivantes négatives telles que le désespoir peuvent amortir la motivation3,4,5. Les émotions académiques contribuent à la façon dont nous apprenons, percevons, décidons, répondons et résolvons les problèmes2. Pour réguler les émotions académiques, un individu doit posséder l’auto-efficacité (SE)6,7,8, qui est leur confiance dans leur capacité à employer le contrôle sur leur motivation, comportement, et l’environnement social 6. L’auto-efficacité et les émotions académiques sont liées, lorsque la plus faible auto-efficacité est liée à des émotions négatives désactivantes (p. ex. anxiété, colère, ennui) et à une plus grande auto-efficacité est liée à des émotions actives positives (p. ex., le bonheur, l’espoir, excitation)6,7,8. SE est également considéré comme fortement lié à la performance6,7,8.
La recherche qui a examiné les émotions en classe s’est appuyée sur des auto-rapports, des observations, des entrevues et des artefacts (p. ex., examens, projets)9,10. Bien que ces méthodes fournissent de riches informations contextuelles sur les expériences des élèves en classe, elles ont des limites importantes. Par exemple, les entrevues, les observations et les auto-rapports reposent sur les introspections des individus10. D’autres méthodes ont cherché à examiner les émotions académiques plus proximally que les chercheurs précédents, comme celles basées sur des approches d’échantillonnage d’expérience où les chercheurs demandent aux élèves de rendre compte de leurs émotions au cours de la journée scolaire11. Bien que cette recherche nous permette de rapporter les émotions des élèves avec plus de précision, ce travail repose sur des méthodes d’autodéclaration et ne permet pas de faire des rapports en temps réel, car les étudiants doivent interrompre leur travail à l’examen pour répondre à l’enquête sur l’expérience.
Récemment, les chercheurs ont commencé à répondre aux préoccupations au sujet des mesures d’autodéclaration par l’utilisation de mesures biologiques ou physiologiques de l’émotion9, qui se sont combinées à d’autres instruments ou techniques tels que des enquêtes, des observations ou des entrevues, se compose d’une forme multimodale de collecte de données pour la recherche éducative et psychologique12. Par exemple, les techniques biologiques, y compris les biomarqueurs salivaires, sont utilisées pour comprendre le rôle des processus biologiques sur la cognition, l’émotion, l’apprentissage et la performance13,14,15. Pour les processus cognitifs, les androgènes (p. ex. testostérone) ont été liés à différents modèles de reconnaissance spatiale chez les adultes et les enfants16,17 tandis que les hormones hypothalamiques-pituitaires-adrénocortiques (p. ex. cortisol) et les hormones adrénergiques (p. ex., l’amylase salivaire ou l’amylase ou l’als) sont liées à la réactivité au stress chez les personnesde 18,19,20.
L’activité électrodermique (EdA) représente une mesure physiologique de l’activation du système nerveux autonome (ANS) et est liée à une activation accrue du système, à une charge cognitive ou à des réactions émotionnelles intenses21,22 ,23. Dans les activités d’examen, EDA est affectée par la mobilité physique21,22, les températures corporelles et ambiantes24,25,26,27, et la verbalisation de pensées28, ainsi que la sensibilité et le degré de connectivité des électrodes analogiques numériques à la peau29.
Bien qu’il puisse s’agir de limitations à l’utilisation de l’AED, cette technique peut tout de même fournir un aperçu précieux de ce qui se passe lors d’examens en temps quasi réel et peut servir d’outil prometteur pour explorer l’EAE et, dans une certaine mesure, l’auto-efficacité. Par conséquent, une image précise de l’EEA des élèves peut être obtenue au moyen d’une combinaison de méthodes d’enquête, afin de déterminer la valence des émotions et des données physiologiques et biologiques, afin de mesurer l’activation de cette émotion. Ce document s’appuie sur une publication antérieure sur les activités d’examen30 et élargit la portée de ce travail pour inclure des approches multimodales (à l’aide d’enquêtes d’échantillonnage d’expérience, de capteurs EDA et de biomarqueurs salivaires) dans un scénario d’examen. Il est essentiel de mentionner que le protocole décrit ci-dessous permet de recueillir des données sur plusieurs participants en même temps dans un seul cadre expérimental.
Protocol
Representative Results
Discussion
Bien que des mesures physiologiques aient été utilisées dans de nombreux contextes d’apprentissage authentiques, il est essentiel de concevoir un environnement d’étude conscient des limites de la technologie actuelle. Notre conception équilibre la nécessité d’un environnement de test authentique et s’adapte à la technologie. La limitation confortable des mouvements des participants, la réduction des interruptions imprévues et l’horodatage des réponses aux tests des participants sont autant d’étapes essentiell…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Ce matériel est basé sur des travaux soutenus en partie par la National Science Foundation (NSF) No. EED-1661100 ainsi qu’une subvention du GRFP du FNS accordée à Darcie Christensen (no 120214). Les opinions, constatations, conclusions ou recommandations exprimées dans ce document ne reflètent pas nécessairement celles de nSF ou de l’USU. Nous tenons à remercier Sheree Benson pour ses discussions aimables et ses recommandations pour notre analyse statistique.
Les contributions des auteurs dans cet article sont les suivantes : Villanueva (conception de la recherche, collecte et analyse de données, rédaction, édition); Husman (conception de recherche, collecte de données, écriture, montage); Christensen (collecte et analyse de données, écriture, édition); Youmans (collecte et analyse de données, écriture et montage); Khan (collecte et analyse de données, écriture, édition); Vicioso (collecte et analyse de données, édition); Lampkins (collecte et édition de données); Graham (collecte et édition de données)
Materials
| 1.1 cu ft medical freezer | Compact Compliance | # bci2801863 | They can use any freezer as long as it can go below -20 degrees Celsius; these can be used to store salivary samples for longer periods of time (~4 months) before running salivary assays. |
| Camping Cooler | Amazon | (any size/type) | Can be used to store salivary samples during data collection |
| E4 sensor | Empatica Inc | E4 Wristband Rev2 | You can use any EDA sensor or company as long as it records EDA and accelerometry |
| EDA Explorer | https://eda-explorer.media.mit.edu/ | (open-source) | Can be used to identify potential sources of noise that are not necessarily due to movement |
| Laptops | Dell | Latitude 3480 | They can use any desktop or laptop |
| Ledalab | http://www.ledalab.de/ | (open-source) | Can be used to separate tonic and phasic EDA signals after following filtration steps |
| MATLAB | https://www.mathworks.com/products/matlab.html | (version varies according to updates) | To be used for Ledalab, EDA Explorer, and to create customized time-stamping programs. |
| Salivary Alpha Amylase Enzymatic Kit | Salimetrics | # 1-1902 | For the salivary kits, you should plan to either order the company to analyze your samples and/or go to a molecular biology lab for processing |
| Salivary Cortisol ELISA Kit | Salimetrics | # 1-3002 | For the salivary kits, you should plan to either order the company to analyze your samples and/or go to a molecular biology lab for processing |
| Testing Divider (Privacy Shields) | Amazon | #60005 | They can use any brand of testing shield as long as they cover the workspace |
| Web Camera | Amazon | Logitech c920 | They can use any web camera as long as it is HD and 1080p or greater |
References
- William, J. What is an emotion?. Mind. 9 (34), 188-205 (1884).
- Pekrun, R., Linnenbrink-Garcia, L., Pekrun, R., Linnenbrink-Garcia, L. Emotions in education: Conclusions and future directions. International handbook of emotions in education. , 659-675 (2014).
- Pekrun, R. The control-value theory of achievement emotions: Assumptions, corollaries, and implications for educational research and practice. Educational Psychology Review. 18 (4), 315-341 (2006).
- Pekrun, R., Perry, R. P. Control-value theory of achievement emotions. International Handbook of Emotions in Education. , 120-141 (2014).
- Pekrun, R., Stephens, E. J., Harris, K. R. Academic emotions. APA Educational Psychology Handbook. , 3-31 (2011).
- Bandura, A. . Self-efficacy: The exercise of control. , (1997).
- Bandura, A. . Social foundations of thought and action: A social cognitive theory. , (1986).
- Bandura, A., Pajares, F., Urdan, T. Guide for constructing self-efficacy scales. Self-efficacy beliefs of adolescents. , 307-337 (2006).
- Jarrell, A., Harley, J. M., Lajoie, S., Naismith, L. Success, failure and emotions: examining the relationship between performance feedback and emotions in diagnostic reasoning. Educational Technology Research and Development. 65 (5), 1263-1284 (2017).
- Pekrun, R., Bühner, M., Pekrun, R., Linnenbrink-Garcia, L. Self-report measures of academic emotions. International Handbook of Emotions in Education. , 561-566 (2014).
- Nett, U. E., Goetz, T., Hall, N. C. Coping with boredom in school: An experience sampling perspective. Contemporary Educational Psychology. 36 (1), 49-59 (2011).
- Azevedo, R. Defining and measuring engagement and learning in science: Conceptual, theoretical, methodological, and analytical issues. Educational Psychologist. 50 (1), 84-94 (2015).
- Spangler, G., Pekrun, R., Kramer, K., Hofman, H. Students’ emotions, physiological reactions, and coping in academic exams. Anxiety, Stress, & Coping. 15 (4), 413-432 (2002).
- Husman, J., Cheng, K. C., Puruhito, K., Fishman, E. J. Understanding engineering students stress and emotions during an introductory engineering course. American Society of Engineering Education. , (2015).
- Vedhara, K., Hyde, J., Gilchrist, I., Tytherleigh, M., Plummer, S. Acute stress, memory, attention and cortisol. Psychoneuroendocrinology. 25 (6), 535-549 (2000).
- Berenbaum, S. A., Moffat, S., Wisniewski, A., Resnick, S., de Haan, M., Johnson, M. H. Neuroendocrinology: Cognitive effects of sex hormones. The Cognitive Neuroscience of Development: Studies in Developmental Psychology. , 207-210 (2003).
- Lundberg, U., Frankenhaeuser, M. Pituitary-adrenal and sympathetic-adrenal correlates of distress and effort. Journal of Psychosomatic Research. 24 (3-4), 125-130 (1980).
- Nater, U. M., Rohleder, N. Salivary alpha-amylase as a non-invasive biomarker for the sympathetic nervous system: Current state of research. Psychoneuroendocrinology. 34 (4), 486-496 (2009).
- Denson, T., Spanovic, M., Miller, N., Cooper, H. Cognitive appraisals and emotions predict cortisol and immune responses: A meta-analysis of acute laboratory social stressors and emotion inductions. Psychological Bulletin. 135 (6), 823-853 (2009).
- Van Stegeren, A. H., Wolf, O. T., Kindt, M. Salivary alpha amylase and cortisol responses to different stress tasks: Impact of sex. International Journal of Psychophysiology. 69 (1), 33-40 (2008).
- Benedek, M., Kaernbach, C. A continuous measure of phasic electrodermal activity. Journal of Neuroscience Methods. 190 (1), 80-91 (2010).
- Boucsein, W., Backs, R. W., Backs, R. W., Boucsein, W. Engineering psychophysiology as a discipline: Historical and theoretical aspects. Engineering psychophysiology. Issues and applications. , 3-30 (2000).
- Boucsein, W., Backs, R. W., Duffy, V. G. The psychophysiology of emotion, arousal, and personality: Methods and models. Handbook of digital human modeling. , 35-38 (2009).
- Turpin, G., Shine, P., Lader, M. H. Ambulatory electrodermal monitoring: effects of ambient temperature, general activity, electrolyte media, and length of recording. Psychophysiology. 20, 219-224 (1983).
- Posada-Quintero, H. F., et al. Timevarying analysis of electrodermal activity during exercise. PLoS ONE. 13 (6), e0198328 (2018).
- Lobstein, T., Cort, J. The relationship between skin temperature and skin conductance activity: Indications of genetic and fitness determinants. Biological Psychology. 7, 139-143 (1978).
- Scholander, T. Some measures of electrodermal activity and their relationships as affected by varied temperatures. Journal of Psychosomatic Research. 7, 151-158 (1963).
- Schwerdtfeger, A. Predicting autonomic reactivity to public speaking: don’t get fixed on self-report data!. International Journal of Psychophysiology. 52 (3), 217-224 (2004).
- Braithwaite, J. J., Watson, D. G., Jones, R., Rowe, M. A guide for analysing electrodermal activity (EDA) & skin conductance responses (SCRs) for psychological experiments. Psychophysiology. 49 (1), 1017-1034 (2013).
- Villanueva, I., Valladares, M., Goodridge, W. Use of galvanic skin responses, salivary biomarkers, and self-reports to assess undergraduate student performance during a laboratory exam activity. Journal of Visualized Experiments. (108), e53255 (2016).
- Empatica, . E4 wristband from Empatica: User’s manual. Empatica. , 1-32 (2018).
- Salimetrics, . Collection methods: Passive drool using the saliva collection aid. Salimetrics Technical Summary. , 1-2 (2018).
- Salimetrics, . Collection methods: Passive drool using the saliva collection aid. Salimetrics Technical Summary. , 1-2 (2018).
- Salimetrics, . Expanded range high sensitivity salivary cortisol enzyme immunoassay kit. Salimetrics Technical Summary. , 1-21 (2016).
- Salimetrics, . Salivary α-amylase kinetic enzyme assay kit. Salimetrics Technical Summary. , 1-17 (2016).
- . Innovative Hormone Testing: Saliva Test Specifications, ZRT Laboratory Reports Available from: https://www.zrtlab.com/resources/ (2014)
- Call, B., Goodridge, W., Villanueva, I., Wan, N., Jordan, K. Utilizing electroencephalography measurements for comparison of task-specific neural efficiencies: spatial intelligence tasks. Journal of Visualized Experiments. (114), (2016).
- Ruel, E. E., Wagner, W. E., Gillespie, B. J. . The practice of survey research: theory and applications. , (2016).
- Barrett, P. Euclidean distance: raw, normalized, and double-spaced coefficients. The Technical Whitepaper Series. 6, 1-26 (2005).
- Groeneveld, R. A. Influence functions for the coefficient of variation, its inverse, and CV comparisons. Communications in Statistics- Theory and Methods. 40 (23), 4139-4150 (2011).
- Tronstad, C., Staal, O. M., Sælid, S., Martinsen, &. #. 2. 1. 6. ;. G. Model-based filtering for artifact and noise suppression with state estimation for electrodermal activity measurements in real time. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 2750-2753 (2015).
- Routray, A., Pradhan, A. K., Rao, K. P. A novel Kalman filter for frequency estimation of distorted signals in power systems. IEEE Transactions on Instrumentation and Measurement. 51 (3), 469-479 (2002).
- Benedek, M., Kaernbach, C. A continuous measure of phasic electrodermal activity. Journal of Neuroscience Methods. 190, 80-91 (2010).
- Taylor, S., et al. Automatic Identification of Artifacts in Electrodermal Activity Data. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 1934-1937 (2015).
- Andreasson, U., et al. A practical guide to immunoassay method validation. Frontiers in Neurology. 6 (179), 1-8 (2015).
- Adam, E. K., Kumari, M. Assessing salivary cortisol in large-scale, epidemiological research. Psychoneuroendocrinology. 34 (10), 1423-1436 (2009).
- Pruessner, J. C., Kirschbaum, C., Meinlschmid, G., Hellhammer, D. H. Two formulas for computation of the area under the curve represent measures of total hormone concentration versus time-dependent change. Psychoneuroendocrinology. 28 (7), 916-931 (2003).
- Girden, E. R. . ANOVA: Repeated measures. , (1992).
- Raudenbush, S. W., Bryk, A. S. . Hierarchical linear models: Applications and data analysis methods (Vol. 1). , (2002).
- Duncan, T. E., Duncan, S. C., Strycker, L. A. . An introduction to latent variable growth curve modeling: Concepts, issues, and application. , (2013).
- Mehta, P. D., West, S. G. Putting the individual back into individual growth curves. Psychological Methods. 5 (1), 23-43 (2000).
- Khan, M. T. H., Villanueva, I., Vicioso, P., Husman, J. Exploring relationships between electrodermal activity, skin temperature, and performance during engineering exams. , (Accepted).
- Christensen, D., Khan, M. T. H., Villanueva, I., Husman, J. Stretched Too Much? A Case Study of Engineering Exam-Related Predicted Performance, Electrodermal Activity, and Heart Rate. , (Accepted).
