Een interdisciplinair en multimodaal experimenteel ontwerp voor het bestuderen van in de buurt van real-time authentieke examen ervaringen
Summary
Een experimenteel ontwerp werd ontwikkeld om de real-time invloeden van een examen ervaring te onderzoeken om de emotionele realiteit te beoordelen die studenten ervaren in instellingen en taken in het hoger onderwijs. Dit ontwerp is het resultaat van een multidisciplinaire (bijvoorbeeld educatieve psychologie, biologie, fysiologie, Engineering) en multimodale (bv. speeksel markers, enquêtes, elektrodermale sensor) benadering.
Abstract
In de afgelopen tien jaar is het onderzoek naar de emoties van studenten in educatieve omgevingen toegenomen. Hoewel onderzoekers hebben opgeroepen tot meer studies die afhankelijk zijn van objectieve maatregelen van emotionele ervaring, bestaan er beperkingen op het gebruik van multimodale gegevensbronnen. Studies van emotie en emotionele regulering in klaslokalen zijn van oudsher afhankelijk van onderzoeksinstrumenten, ervaring-bemonstering, artefacten, interviews of observationele procedures. Deze methoden, hoewel waardevol, zijn voornamelijk afhankelijk van deelnemer of waarnemer subjectiviteit en zijn beperkt in de authentieke meting van de real-time prestaties van studenten voor een klassikale activiteit of taak. Dit laatste vormt in het bijzonder een struikelblok voor veel geleerden die in real-time emoties en andere aanverwante maatregelen in de klas objectief willen meten.
Het doel van dit werk is om een protocol te presenteren om de real-time reacties van studenten op examen ervaringen te bestuderen tijdens een authentieke beoordelings situatie. Voor dit, een team van educatieve psychologen, ingenieurs, en ingenieurs onderwijs onderzoekers ontworpen een experimenteel protocol dat de grenzen die nodig zijn voor nauwkeurige fysiologische sensormeting behouden, best-practices van speeksel collectie, en een authentieke testomgeving. In het bijzonder worden bestaande studies die afhankelijk zijn van fysiologische sensoren uitgevoerd in experimentele omgevingen die zijn losgekoppeld van de onderwijsinstellingen (bijvoorbeeld de stress test van Trier), losraken in de tijd (bijv. voor of na een taak), of een analysefout introduceren (bijv. het gebruik van sensoren in omgevingen waar studenten waarschijnlijk zullen verhuizen). Dit beperkt ons inzicht in de real-time reacties van studenten op klassikale activiteiten en taken. Bovendien heeft recent onderzoek geëist dat meer overwegingen worden behandeld rond kwesties van aanwerving, replicabiliteit, geldigheid, opstellingen, gegevens reiniging, voorlopige analyse en bijzondere omstandigheden (bijvoorbeeld het toevoegen van een variabele in de experimentele ontwerp) in academische emoties onderzoek dat gebaseerd is op multimodale benaderingen.
Introduction
Psychologen hebben al lang het belang van de emoties van mensen begrepen in het verhelderend gedrag van hun gedragingen1. Binnen de studie van het onderwijs, academische prestatie emoties (AEE) is uitgegroeid tot de focus van Emotion Research2. Onderzoekers die AAE gebruiken, beweren dat de situationele contexten die studenten vinden, belangrijk zijn om te overwegen bij het onderzoeken van de emoties van de cursisten. Leerlingen kunnen test-gerelateerde, klassegerelateerde of leergerelateerde emoties ervaren die betrekking hebben op multi-component processen, waaronder affectieve, fysiologische, motiverende en cognitieve componenten. AEE wordt uitgedrukt in twee vormen: Valence (positief/negatief) en activatie (gerichte/ongerichte energie). Positieve activerende emoties, zoals plezier, kunnen reflecterende processen zoals Metacognition verhogen, terwijl positieve deactiverende emoties zoals hoogmoed kunnen resulteren in lage niveaus van cognitieve verwerking. Negatieve activerende emoties zoals woede en angst kunnen betrokkenheid veroorzaken, terwijl negatieve deactiverende emoties zoals hopeloosheid de motivatie3,4,5kunnen dempen. Academische emoties dragen bij aan hoe we leren, waarnemen, beslissen, reageren en probleem oplossen2. Om academische emoties te reguleren, moet een individu zelfwerkzaamheid bezitten (SE)6,7,8, wat hun vertrouwen is in hun vermogen om controle te gebruiken over hun motivatie, gedrag en sociale omgeving 6. zelfwerkzaamheid en academische emoties zijn onderling verbonden, waarbij lagere zelfwerkzaamheid is gekoppeld aan negatieve deactiverende emoties (bijv. angst, woede, verveling) en hogere zelfwerkzaamheid is gekoppeld aan positieve activerende emoties (bijv. geluk, hoop, opwinding)6,7,8. SE wordt ook verondersteld sterk gebonden te zijn aan de prestaties6,7,8.
Onderzoek dat klassikale emoties heeft onderzocht, heeft zich gebaseerd op zelf rapportages, observaties, interviews en artefacten (bijv. examens, projecten)9,10. Hoewel deze methoden uitgebreide contextuele informatie bieden over de ervaringen van studenten in de klas, hebben ze aanzienlijke beperkingen. Interviews, observaties en zelf rapportages zijn bijvoorbeeld afhankelijk van de introspecties van individuen10. Andere methoden hebben geprobeerd om academische emoties meer in de proximaal te onderzoeken dan eerdere onderzoekers, zoals die gebaseerd op ervaring-sampling benaderingen waar onderzoekers vragen om te rapporteren over hun emoties tijdens de school dag11. Hoewel dit onderzoek ons in staat stelt om de emoties van studenten nauwkeuriger te rapporteren, is dit werk afhankelijk van zelfrapportage methoden en staat het niet toe dat real-time rapportages worden aangeboden, omdat studenten hun werk aan het examen moeten onderbreken om de ervarings enquête aan te pakken.
Onlangs zijn onderzoekers begonnen met het aanpakken van zorgen over zelf-rapport maatregelen door het gebruik van biologische of fysiologische maatregelen van emotie9, die in combinatie met andere instrumenten of technieken zoals enquêtes, observaties of interviews, bestaat uit een multimodale vorm van gegevensverzameling voor educatief en psychologisch onderzoek12. Bijvoorbeeld, biologische technieken, met inbegrip van speeksel biomarkers, worden gebruikt om te begrijpen van de rol die biologische processen hebben op cognitie, emotie, leren, en prestaties13,14,15. Voor cognitieve processen, androgenen (bv, testosteron) zijn gekoppeld aan verschillende ruimtelijke herkenning patronen bij volwassenen en kinderen16,17 overwegende dat hypothalame-hypofyse-adrenocorticale hormonen (bijv., cortisol) en adrenergic hormonen (bijvoorbeeld speeksel α-amylase of sAA) zijn gekoppeld aan stress responsiviteit onder individuen18,19,20.
Electrodermale activiteit (EDA) vertegenwoordigt een fysiologische maatstaf voor de activering van het autonome zenuwstelsel (ANS) en is gekoppeld aan een verhoogde activering van het systeem, cognitieve belasting of intense emotionele reacties21,22 ,23. Bij onderzoeksactiviteiten wordt EDA beïnvloed door fysieke mobiliteit21,22, lichamelijke en omgevingstemperaturen24,25,26,27en verbalisatie van gedachten28, evenals de gevoeligheid en mate van connectiviteit van de analoge-digitale elektroden op de huid29.
Hoewel dit beperkingen kunnen zijn aan het gebruik van EDA, kan deze techniek nog steeds waardevol inzicht bieden in wat er gebeurt tijdens near-real-time examens en kan het fungeren als een veelbelovend hulpmiddel om AEE en in mate, zelfwerkzaamheid te verkennen. Als gevolg hiervan kan een nauwkeurig beeld van de AEE van studenten worden verkregen door middel van een combinatie van onderzoeksmethoden, om de valentie van emotie en fysiologische en biologische gegevens te bepalen, om de activering van die emotie te meten. Deze paper bouwt voort op een eerdere publicatie over onderzoekactiviteiten30 en breidt de reikwijdte van dat werk uit tot multimodale benaderingen (met behulp van ervarings steekproefenquêtes, EDA-sensoren en speeksel biomarkers) in een examen scenario. Het is essentieel om te vermelden dat het hieronder beschreven protocol toestaat dat meerdere deelnemersgegevens tegelijkertijd binnen één enkele experimentele setting worden verzameld.
Protocol
Representative Results
Discussion
Hoewel fysiologische maatregelen in veel authentieke leer contexten zijn gebruikt, is het van cruciaal belang om een studieomgeving te ontwerpen die de grenzen van de huidige technologie indachtig is. Ons ontwerp balanceert de behoefte aan een authentieke testomgeving en herbergt de technologie. Het comfortabel beperken van deelnemers bewegingen, het verminderen van onbedoelde onderbrekingen en het testen van tijdstempels van deelnemers zijn alle belangrijke stappen binnen het protocol.
De rui…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Dit materiaal is gebaseerd op werk dat deels ondersteund wordt door de National Science Foundation (NSF) No. EED-1661100 en een NSF GRFP-subsidie gegeven aan Darcie Christensen (nr. 120214). Alle meningen, bevindingen en conclusies of aanbevelingen die in dit materiaal worden uitgedrukt, komen niet noodzakelijkerwijs overeen met die van NSF of USU. We willen Sheree Benson bedanken voor haar vriendelijke discussies en aanbevelingen voor onze statistische analyse.
Bijdragen van de auteur in dit document zijn als volgt: Villanueva (onderzoeksontwerp, gegevensverzameling en-analyse, schrijven, bewerken); Husman (onderzoeksontwerp, gegevensverzameling, schrijven, bewerken); Christensen (gegevensverzameling en-analyse, schrijven, bewerken); Youmans (gegevensverzameling en-analyse, schrijven en bewerken); Khan (gegevensverzameling en-analyse, schrijven, bewerken); Vicioso (gegevensverzameling en-analyse, Editing); Lampkins (verzamelen en bewerken van gegevens); Graham (verzamelen en bewerken van gegevens)
Materials
| 1.1 cu ft medical freezer | Compact Compliance | # bci2801863 | They can use any freezer as long as it can go below -20 degrees Celsius; these can be used to store salivary samples for longer periods of time (~4 months) before running salivary assays. |
| Camping Cooler | Amazon | (any size/type) | Can be used to store salivary samples during data collection |
| E4 sensor | Empatica Inc | E4 Wristband Rev2 | You can use any EDA sensor or company as long as it records EDA and accelerometry |
| EDA Explorer | https://eda-explorer.media.mit.edu/ | (open-source) | Can be used to identify potential sources of noise that are not necessarily due to movement |
| Laptops | Dell | Latitude 3480 | They can use any desktop or laptop |
| Ledalab | http://www.ledalab.de/ | (open-source) | Can be used to separate tonic and phasic EDA signals after following filtration steps |
| MATLAB | https://www.mathworks.com/products/matlab.html | (version varies according to updates) | To be used for Ledalab, EDA Explorer, and to create customized time-stamping programs. |
| Salivary Alpha Amylase Enzymatic Kit | Salimetrics | # 1-1902 | For the salivary kits, you should plan to either order the company to analyze your samples and/or go to a molecular biology lab for processing |
| Salivary Cortisol ELISA Kit | Salimetrics | # 1-3002 | For the salivary kits, you should plan to either order the company to analyze your samples and/or go to a molecular biology lab for processing |
| Testing Divider (Privacy Shields) | Amazon | #60005 | They can use any brand of testing shield as long as they cover the workspace |
| Web Camera | Amazon | Logitech c920 | They can use any web camera as long as it is HD and 1080p or greater |
References
- William, J. What is an emotion?. Mind. 9 (34), 188-205 (1884).
- Pekrun, R., Linnenbrink-Garcia, L., Pekrun, R., Linnenbrink-Garcia, L. Emotions in education: Conclusions and future directions. International handbook of emotions in education. , 659-675 (2014).
- Pekrun, R. The control-value theory of achievement emotions: Assumptions, corollaries, and implications for educational research and practice. Educational Psychology Review. 18 (4), 315-341 (2006).
- Pekrun, R., Perry, R. P. Control-value theory of achievement emotions. International Handbook of Emotions in Education. , 120-141 (2014).
- Pekrun, R., Stephens, E. J., Harris, K. R. Academic emotions. APA Educational Psychology Handbook. , 3-31 (2011).
- Bandura, A. . Self-efficacy: The exercise of control. , (1997).
- Bandura, A. . Social foundations of thought and action: A social cognitive theory. , (1986).
- Bandura, A., Pajares, F., Urdan, T. Guide for constructing self-efficacy scales. Self-efficacy beliefs of adolescents. , 307-337 (2006).
- Jarrell, A., Harley, J. M., Lajoie, S., Naismith, L. Success, failure and emotions: examining the relationship between performance feedback and emotions in diagnostic reasoning. Educational Technology Research and Development. 65 (5), 1263-1284 (2017).
- Pekrun, R., Bühner, M., Pekrun, R., Linnenbrink-Garcia, L. Self-report measures of academic emotions. International Handbook of Emotions in Education. , 561-566 (2014).
- Nett, U. E., Goetz, T., Hall, N. C. Coping with boredom in school: An experience sampling perspective. Contemporary Educational Psychology. 36 (1), 49-59 (2011).
- Azevedo, R. Defining and measuring engagement and learning in science: Conceptual, theoretical, methodological, and analytical issues. Educational Psychologist. 50 (1), 84-94 (2015).
- Spangler, G., Pekrun, R., Kramer, K., Hofman, H. Students’ emotions, physiological reactions, and coping in academic exams. Anxiety, Stress, & Coping. 15 (4), 413-432 (2002).
- Husman, J., Cheng, K. C., Puruhito, K., Fishman, E. J. Understanding engineering students stress and emotions during an introductory engineering course. American Society of Engineering Education. , (2015).
- Vedhara, K., Hyde, J., Gilchrist, I., Tytherleigh, M., Plummer, S. Acute stress, memory, attention and cortisol. Psychoneuroendocrinology. 25 (6), 535-549 (2000).
- Berenbaum, S. A., Moffat, S., Wisniewski, A., Resnick, S., de Haan, M., Johnson, M. H. Neuroendocrinology: Cognitive effects of sex hormones. The Cognitive Neuroscience of Development: Studies in Developmental Psychology. , 207-210 (2003).
- Lundberg, U., Frankenhaeuser, M. Pituitary-adrenal and sympathetic-adrenal correlates of distress and effort. Journal of Psychosomatic Research. 24 (3-4), 125-130 (1980).
- Nater, U. M., Rohleder, N. Salivary alpha-amylase as a non-invasive biomarker for the sympathetic nervous system: Current state of research. Psychoneuroendocrinology. 34 (4), 486-496 (2009).
- Denson, T., Spanovic, M., Miller, N., Cooper, H. Cognitive appraisals and emotions predict cortisol and immune responses: A meta-analysis of acute laboratory social stressors and emotion inductions. Psychological Bulletin. 135 (6), 823-853 (2009).
- Van Stegeren, A. H., Wolf, O. T., Kindt, M. Salivary alpha amylase and cortisol responses to different stress tasks: Impact of sex. International Journal of Psychophysiology. 69 (1), 33-40 (2008).
- Benedek, M., Kaernbach, C. A continuous measure of phasic electrodermal activity. Journal of Neuroscience Methods. 190 (1), 80-91 (2010).
- Boucsein, W., Backs, R. W., Backs, R. W., Boucsein, W. Engineering psychophysiology as a discipline: Historical and theoretical aspects. Engineering psychophysiology. Issues and applications. , 3-30 (2000).
- Boucsein, W., Backs, R. W., Duffy, V. G. The psychophysiology of emotion, arousal, and personality: Methods and models. Handbook of digital human modeling. , 35-38 (2009).
- Turpin, G., Shine, P., Lader, M. H. Ambulatory electrodermal monitoring: effects of ambient temperature, general activity, electrolyte media, and length of recording. Psychophysiology. 20, 219-224 (1983).
- Posada-Quintero, H. F., et al. Timevarying analysis of electrodermal activity during exercise. PLoS ONE. 13 (6), e0198328 (2018).
- Lobstein, T., Cort, J. The relationship between skin temperature and skin conductance activity: Indications of genetic and fitness determinants. Biological Psychology. 7, 139-143 (1978).
- Scholander, T. Some measures of electrodermal activity and their relationships as affected by varied temperatures. Journal of Psychosomatic Research. 7, 151-158 (1963).
- Schwerdtfeger, A. Predicting autonomic reactivity to public speaking: don’t get fixed on self-report data!. International Journal of Psychophysiology. 52 (3), 217-224 (2004).
- Braithwaite, J. J., Watson, D. G., Jones, R., Rowe, M. A guide for analysing electrodermal activity (EDA) & skin conductance responses (SCRs) for psychological experiments. Psychophysiology. 49 (1), 1017-1034 (2013).
- Villanueva, I., Valladares, M., Goodridge, W. Use of galvanic skin responses, salivary biomarkers, and self-reports to assess undergraduate student performance during a laboratory exam activity. Journal of Visualized Experiments. (108), e53255 (2016).
- Empatica, . E4 wristband from Empatica: User’s manual. Empatica. , 1-32 (2018).
- Salimetrics, . Collection methods: Passive drool using the saliva collection aid. Salimetrics Technical Summary. , 1-2 (2018).
- Salimetrics, . Collection methods: Passive drool using the saliva collection aid. Salimetrics Technical Summary. , 1-2 (2018).
- Salimetrics, . Expanded range high sensitivity salivary cortisol enzyme immunoassay kit. Salimetrics Technical Summary. , 1-21 (2016).
- Salimetrics, . Salivary α-amylase kinetic enzyme assay kit. Salimetrics Technical Summary. , 1-17 (2016).
- . Innovative Hormone Testing: Saliva Test Specifications, ZRT Laboratory Reports Available from: https://www.zrtlab.com/resources/ (2014)
- Call, B., Goodridge, W., Villanueva, I., Wan, N., Jordan, K. Utilizing electroencephalography measurements for comparison of task-specific neural efficiencies: spatial intelligence tasks. Journal of Visualized Experiments. (114), (2016).
- Ruel, E. E., Wagner, W. E., Gillespie, B. J. . The practice of survey research: theory and applications. , (2016).
- Barrett, P. Euclidean distance: raw, normalized, and double-spaced coefficients. The Technical Whitepaper Series. 6, 1-26 (2005).
- Groeneveld, R. A. Influence functions for the coefficient of variation, its inverse, and CV comparisons. Communications in Statistics- Theory and Methods. 40 (23), 4139-4150 (2011).
- Tronstad, C., Staal, O. M., Sælid, S., Martinsen, &. #. 2. 1. 6. ;. G. Model-based filtering for artifact and noise suppression with state estimation for electrodermal activity measurements in real time. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 2750-2753 (2015).
- Routray, A., Pradhan, A. K., Rao, K. P. A novel Kalman filter for frequency estimation of distorted signals in power systems. IEEE Transactions on Instrumentation and Measurement. 51 (3), 469-479 (2002).
- Benedek, M., Kaernbach, C. A continuous measure of phasic electrodermal activity. Journal of Neuroscience Methods. 190, 80-91 (2010).
- Taylor, S., et al. Automatic Identification of Artifacts in Electrodermal Activity Data. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 1934-1937 (2015).
- Andreasson, U., et al. A practical guide to immunoassay method validation. Frontiers in Neurology. 6 (179), 1-8 (2015).
- Adam, E. K., Kumari, M. Assessing salivary cortisol in large-scale, epidemiological research. Psychoneuroendocrinology. 34 (10), 1423-1436 (2009).
- Pruessner, J. C., Kirschbaum, C., Meinlschmid, G., Hellhammer, D. H. Two formulas for computation of the area under the curve represent measures of total hormone concentration versus time-dependent change. Psychoneuroendocrinology. 28 (7), 916-931 (2003).
- Girden, E. R. . ANOVA: Repeated measures. , (1992).
- Raudenbush, S. W., Bryk, A. S. . Hierarchical linear models: Applications and data analysis methods (Vol. 1). , (2002).
- Duncan, T. E., Duncan, S. C., Strycker, L. A. . An introduction to latent variable growth curve modeling: Concepts, issues, and application. , (2013).
- Mehta, P. D., West, S. G. Putting the individual back into individual growth curves. Psychological Methods. 5 (1), 23-43 (2000).
- Khan, M. T. H., Villanueva, I., Vicioso, P., Husman, J. Exploring relationships between electrodermal activity, skin temperature, and performance during engineering exams. , (Accepted).
- Christensen, D., Khan, M. T. H., Villanueva, I., Husman, J. Stretched Too Much? A Case Study of Engineering Exam-Related Predicted Performance, Electrodermal Activity, and Heart Rate. , (Accepted).
