Um projeto experimental multidisciplinar e multimodal para estudar experiências de exame autêntico em tempo real
Summary
Um delineamento experimental foi desenvolvido para investigar as influências em tempo real de uma experiência de exame para avaliar as realidades emocionais que os alunos vivenciam nas configurações e tarefas do ensino superior. Este projeto é o resultado de uma abordagem Cross-disciplinar (por exemplo, psicologia educacional, biologia, fisiologia, engenharia) e multimodal (por exemplo, marcadores salivares, pesquisas, sensor eletrodérmico).
Abstract
Nos últimos dez anos, a pesquisa sobre as emoções dos alunos em ambientes educacionais aumentou. Embora os pesquisadores tenham chamado para mais estudos que dependem de medidas objetivas de experiência emocional, existem limitações na utilização de fontes de dados multimodais. Estudos de emoção e regulação emocional em salas de aula tradicionalmente dependem de instrumentos de pesquisa, experiência-amostragem, artefatos, entrevistas ou procedimentos observacionais. Esses métodos, embora valiosos, dependem principalmente da subjetividade participante ou observador e são limitados em sua autêntica mensuração do desempenho em tempo real dos alunos para uma atividade ou tarefa em sala de aula. Este último, em particular, representa um obstáculo para muitos estudiosos que procuram objetivamente medir as emoções e outras medidas relacionadas na sala de aula, em tempo real.
O objetivo deste trabalho é apresentar um protocolo para estudar experimentalmente as respostas em tempo real dos alunos às experiências de exame durante uma situação de avaliação autêntica. Para isso, uma equipe de psicólogos educacionais, engenheiros e pesquisadores de educação de engenharia projetou um protocolo experimental que manteve os limites necessários para a medição precisa do sensor fisiológico, as melhores práticas de coleta salivar e um ambiente de teste autêntico. Em particular, estudos existentes que dependem de sensores fisiológicos são conduzidos em ambientes experimentais que são desconectados de configurações educacionais (por exemplo, teste de stress de Trier), destacados no tempo (por exemplo, antes ou depois de uma tarefa), ou introduzir erro de análise (por exemplo, uso de sensores em ambientes onde os alunos provavelmente se movem). Isso limita nossa compreensão das respostas em tempo real dos alunos às atividades e tarefas em sala de aula. Além disso, pesquisas recentes apelaram para que mais considerações sejam abordadas em torno de questões de recrutamento, replicabilidade, validade, configurações, limpeza de dados, análise preliminar e circunstâncias específicas (por exemplo, adicionando uma variável no experimental Design) na pesquisa de emoções acadêmicas que se baseia em abordagens multimodais.
Introduction
Os psicólogos têm compreendido por muito tempo a importância das emoções dos seres humanos em elucidar seus comportamentos1. Dentro do estudo da educação, as emoções da realização académica (AEE) tornaram-se o foco da pesquisa de emoções2. Pesquisadores que usam AAE argumentam que os contextos situacionais em que os alunos se encontram são importantes a serem considerados ao examinar as emoções dos alunos. Os alunos podem experimentar emoções relacionadas ao teste, relacionadas à classe ou à aprendizagem que envolvem processos multicomponentes, incluindo componentes afetivos, fisiológicos, motivacionais e cognitivos. A AEE é expressa em duas formas: Valência (positiva/negativa) e ativação (energia focada/não focada). Emoções ativadoras positivas, como gozo, podem aumentar processos reflexivos como a metacognição, enquanto as emoções de desativação positivas, como o orgulho, podem resultar em baixos níveis de processamento cognitivo. Emoções ativadoras negativas, como raiva e ansiedade, podem desencadear engajamento, enquanto as emoções desativantes negativas, como a desesperança, podem umedecer a motivação3,4,5. As emoções acadêmicas contribuem para a forma como aprendemos, percebemos, decidimos, respondemos e resolvemos o problema2. Para regular as emoçõesacadêmicas, umindivíduo deve possuir Autoeficácia (se)6,7,8, queé a sua confiança na sua capacidade de empregar o controle sobre sua motivação, comportamento e ambiente social 6. Self-a eficácia e as emoções acadêmicas são inter-relacionadas, onde a baixa autoeficácia é amarrada às emoções de desativação negativas (por exemplo, ansiedade, raiva, tédio) e a autoeficácia mais elevada é amarrada às emoções de activação positivas (por exemplo, felicidade, esperança, excitação)6,7,8. Se acredita-se também estar fortemente ligada ao desempenho6,7,8.
Pesquisas que examinaram as emoções em sala de aula confiam em autorrelatos, observações, entrevistas e artefatos (por exemplo, exames, projetos)9,10. Embora esses métodos forneçam informações contextuais ricas sobre as experiências de sala de aula dos alunos, elas têm limitações significativas. Por exemplo, entrevistas, observações e autorrelatos dependem das introspecções dos indivíduos10. Outros métodos têm procurado examinar as emoções acadêmicas mais proximalmente do que os pesquisadores anteriores, como aqueles baseados em abordagens de amostragem de experiência, onde os pesquisadores pedem aos alunos que relatem suas emoções durante o dia escolar11. Embora esta pesquisa nos permita relatar as emoções dos alunos com mais precisão, este trabalho se baseia em métodos de autorrelato e não permite relatórios em tempo real, pois os alunos têm que pausar seu trabalho no exame para abordar a pesquisa de experiência.
Recentemente, os pesquisadores começaram a abordar as preocupações sobre as medidas de autorrelato através do uso de medidas biológicas ou fisiológicas de emoção9, que combinados com outros instrumentos ou técnicas, tais como inquéritos, observações, ou entrevistas, consiste em uma forma multimodal de coleta de dados para pesquisa educacional e psicológica12. Por exemplo, técnicas biológicas, incluindo biomarcadores salivares, estão sendo usadas para entender o papel que os processos biológicos têm sobre cognição, emoção, aprendizado e desempenho13,14,15. Para os processos cognitivos, os andrógenos (por exemplo, testosterona) têm sido ligados a diferentes padrões de reconhecimento espacial em adultos e crianças16,17enquanto os hormônios hipotálamo-hipófise-Adrenocortical (por exemplo, cortisol) e hormônios adrenérgicos (por exemplo, α-amilase salivar ou sAA) estão vinculados à responsividade ao estresse entre os indivíduos18,19,20.
A atividade eletrodérmica (EDA) representa uma medida fisiológica da ativação do sistema nervoso autônomo (ans) e está ligada ao aumento da ativação do sistema, carga cognitiva ou respostas emocionais intensas21,22 ,23. Em atividades de exame, EDA é afetada pela mobilidadefísica 21,22, temperaturas corporais eambientais 24,25,26,27, e verbalização de pensamentos28, bem como sensibilidade e grau de conectividade dos eletrodos analógico-digitais para a pele29.
Embora estes possam ser limitações a usar EDA, esta técnica pode ainda fornecer a introspecção valiosa em o que acontece durante examinações do próximo-tempo real e pode serir como uma ferramenta prometedora para explorar AEE e pela extensão, Self-eficácia. Como resultado, uma imagem exata do AEE dos alunos pode ser obtida através de uma combinação de métodos de pesquisa, para determinar a Valência da emoção, e dados fisiológicos e biológicos, para medir a ativação dessa emoção. Este artigo baseia-se em uma publicação anterior sobre as atividades de exame30 e amplia o escopo desse trabalho para incluir abordagens multimodais (usando pesquisas de amostragem de experiência, sensores EDA e biomarcadores salivares) em um cenário de exame. É essencial mencionar que o protocolo descrito abaixo permite que vários dados do participante sejam coletados ao mesmo tempo dentro de uma única configuração experimental.
Protocol
Representative Results
Discussion
Embora medidas fisiológicas tenham sido usadas em muitos contextos de aprendizado autênticos, é fundamental projetar um ambiente de estudo que esteja atento aos limites da tecnologia atual. Nosso projeto equilibra a necessidade de um ambiente de teste autêntico e acomoda a tecnologia. Limitar confortavelmente o movimento dos participantes, reduzindo interrupções não intencionais e as respostas de teste de carimbos de data/hora são todas as etapas críticas dentro do protocolo.
O espaç…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Este material é baseado no trabalho apoiado em parte pela Fundação Nacional de ciência (NSF) não. EED-1661100, bem como uma subvenção do NSF GRFP dada a Darcie Christensen (n º 120214). Quaisquer opiniões, achados e conclusões ou recomendações expressas neste material não refletem necessariamente os da NSF ou do USU. Queremos agradecer a Sheree Benson por suas amáveis discussões e recomendações para nossa análise estatística.
As contribuições do autor neste artigo são as seguintes: Villanueva (projeto de pesquisa, coleta e análise de dados, redação, edição); HUSMAN (projeto de pesquisa, coleta de dados, redação, edição); Christensen (coleta e análise de dados, redação, edição); Youmans (coleta e análise de dados, redação e edição); Khan (coleta e análise de dados, redação, edição); Vicioso (coleta e análise de dados, edição); Lampkins (coleta e edição de dados); Graham (coleta e edição de dados)
Materials
| 1.1 cu ft medical freezer | Compact Compliance | # bci2801863 | They can use any freezer as long as it can go below -20 degrees Celsius; these can be used to store salivary samples for longer periods of time (~4 months) before running salivary assays. |
| Camping Cooler | Amazon | (any size/type) | Can be used to store salivary samples during data collection |
| E4 sensor | Empatica Inc | E4 Wristband Rev2 | You can use any EDA sensor or company as long as it records EDA and accelerometry |
| EDA Explorer | https://eda-explorer.media.mit.edu/ | (open-source) | Can be used to identify potential sources of noise that are not necessarily due to movement |
| Laptops | Dell | Latitude 3480 | They can use any desktop or laptop |
| Ledalab | http://www.ledalab.de/ | (open-source) | Can be used to separate tonic and phasic EDA signals after following filtration steps |
| MATLAB | https://www.mathworks.com/products/matlab.html | (version varies according to updates) | To be used for Ledalab, EDA Explorer, and to create customized time-stamping programs. |
| Salivary Alpha Amylase Enzymatic Kit | Salimetrics | # 1-1902 | For the salivary kits, you should plan to either order the company to analyze your samples and/or go to a molecular biology lab for processing |
| Salivary Cortisol ELISA Kit | Salimetrics | # 1-3002 | For the salivary kits, you should plan to either order the company to analyze your samples and/or go to a molecular biology lab for processing |
| Testing Divider (Privacy Shields) | Amazon | #60005 | They can use any brand of testing shield as long as they cover the workspace |
| Web Camera | Amazon | Logitech c920 | They can use any web camera as long as it is HD and 1080p or greater |
References
- William, J. What is an emotion?. Mind. 9 (34), 188-205 (1884).
- Pekrun, R., Linnenbrink-Garcia, L., Pekrun, R., Linnenbrink-Garcia, L. Emotions in education: Conclusions and future directions. International handbook of emotions in education. , 659-675 (2014).
- Pekrun, R. The control-value theory of achievement emotions: Assumptions, corollaries, and implications for educational research and practice. Educational Psychology Review. 18 (4), 315-341 (2006).
- Pekrun, R., Perry, R. P. Control-value theory of achievement emotions. International Handbook of Emotions in Education. , 120-141 (2014).
- Pekrun, R., Stephens, E. J., Harris, K. R. Academic emotions. APA Educational Psychology Handbook. , 3-31 (2011).
- Bandura, A. . Self-efficacy: The exercise of control. , (1997).
- Bandura, A. . Social foundations of thought and action: A social cognitive theory. , (1986).
- Bandura, A., Pajares, F., Urdan, T. Guide for constructing self-efficacy scales. Self-efficacy beliefs of adolescents. , 307-337 (2006).
- Jarrell, A., Harley, J. M., Lajoie, S., Naismith, L. Success, failure and emotions: examining the relationship between performance feedback and emotions in diagnostic reasoning. Educational Technology Research and Development. 65 (5), 1263-1284 (2017).
- Pekrun, R., Bühner, M., Pekrun, R., Linnenbrink-Garcia, L. Self-report measures of academic emotions. International Handbook of Emotions in Education. , 561-566 (2014).
- Nett, U. E., Goetz, T., Hall, N. C. Coping with boredom in school: An experience sampling perspective. Contemporary Educational Psychology. 36 (1), 49-59 (2011).
- Azevedo, R. Defining and measuring engagement and learning in science: Conceptual, theoretical, methodological, and analytical issues. Educational Psychologist. 50 (1), 84-94 (2015).
- Spangler, G., Pekrun, R., Kramer, K., Hofman, H. Students’ emotions, physiological reactions, and coping in academic exams. Anxiety, Stress, & Coping. 15 (4), 413-432 (2002).
- Husman, J., Cheng, K. C., Puruhito, K., Fishman, E. J. Understanding engineering students stress and emotions during an introductory engineering course. American Society of Engineering Education. , (2015).
- Vedhara, K., Hyde, J., Gilchrist, I., Tytherleigh, M., Plummer, S. Acute stress, memory, attention and cortisol. Psychoneuroendocrinology. 25 (6), 535-549 (2000).
- Berenbaum, S. A., Moffat, S., Wisniewski, A., Resnick, S., de Haan, M., Johnson, M. H. Neuroendocrinology: Cognitive effects of sex hormones. The Cognitive Neuroscience of Development: Studies in Developmental Psychology. , 207-210 (2003).
- Lundberg, U., Frankenhaeuser, M. Pituitary-adrenal and sympathetic-adrenal correlates of distress and effort. Journal of Psychosomatic Research. 24 (3-4), 125-130 (1980).
- Nater, U. M., Rohleder, N. Salivary alpha-amylase as a non-invasive biomarker for the sympathetic nervous system: Current state of research. Psychoneuroendocrinology. 34 (4), 486-496 (2009).
- Denson, T., Spanovic, M., Miller, N., Cooper, H. Cognitive appraisals and emotions predict cortisol and immune responses: A meta-analysis of acute laboratory social stressors and emotion inductions. Psychological Bulletin. 135 (6), 823-853 (2009).
- Van Stegeren, A. H., Wolf, O. T., Kindt, M. Salivary alpha amylase and cortisol responses to different stress tasks: Impact of sex. International Journal of Psychophysiology. 69 (1), 33-40 (2008).
- Benedek, M., Kaernbach, C. A continuous measure of phasic electrodermal activity. Journal of Neuroscience Methods. 190 (1), 80-91 (2010).
- Boucsein, W., Backs, R. W., Backs, R. W., Boucsein, W. Engineering psychophysiology as a discipline: Historical and theoretical aspects. Engineering psychophysiology. Issues and applications. , 3-30 (2000).
- Boucsein, W., Backs, R. W., Duffy, V. G. The psychophysiology of emotion, arousal, and personality: Methods and models. Handbook of digital human modeling. , 35-38 (2009).
- Turpin, G., Shine, P., Lader, M. H. Ambulatory electrodermal monitoring: effects of ambient temperature, general activity, electrolyte media, and length of recording. Psychophysiology. 20, 219-224 (1983).
- Posada-Quintero, H. F., et al. Timevarying analysis of electrodermal activity during exercise. PLoS ONE. 13 (6), e0198328 (2018).
- Lobstein, T., Cort, J. The relationship between skin temperature and skin conductance activity: Indications of genetic and fitness determinants. Biological Psychology. 7, 139-143 (1978).
- Scholander, T. Some measures of electrodermal activity and their relationships as affected by varied temperatures. Journal of Psychosomatic Research. 7, 151-158 (1963).
- Schwerdtfeger, A. Predicting autonomic reactivity to public speaking: don’t get fixed on self-report data!. International Journal of Psychophysiology. 52 (3), 217-224 (2004).
- Braithwaite, J. J., Watson, D. G., Jones, R., Rowe, M. A guide for analysing electrodermal activity (EDA) & skin conductance responses (SCRs) for psychological experiments. Psychophysiology. 49 (1), 1017-1034 (2013).
- Villanueva, I., Valladares, M., Goodridge, W. Use of galvanic skin responses, salivary biomarkers, and self-reports to assess undergraduate student performance during a laboratory exam activity. Journal of Visualized Experiments. (108), e53255 (2016).
- Empatica, . E4 wristband from Empatica: User’s manual. Empatica. , 1-32 (2018).
- Salimetrics, . Collection methods: Passive drool using the saliva collection aid. Salimetrics Technical Summary. , 1-2 (2018).
- Salimetrics, . Collection methods: Passive drool using the saliva collection aid. Salimetrics Technical Summary. , 1-2 (2018).
- Salimetrics, . Expanded range high sensitivity salivary cortisol enzyme immunoassay kit. Salimetrics Technical Summary. , 1-21 (2016).
- Salimetrics, . Salivary α-amylase kinetic enzyme assay kit. Salimetrics Technical Summary. , 1-17 (2016).
- . Innovative Hormone Testing: Saliva Test Specifications, ZRT Laboratory Reports Available from: https://www.zrtlab.com/resources/ (2014)
- Call, B., Goodridge, W., Villanueva, I., Wan, N., Jordan, K. Utilizing electroencephalography measurements for comparison of task-specific neural efficiencies: spatial intelligence tasks. Journal of Visualized Experiments. (114), (2016).
- Ruel, E. E., Wagner, W. E., Gillespie, B. J. . The practice of survey research: theory and applications. , (2016).
- Barrett, P. Euclidean distance: raw, normalized, and double-spaced coefficients. The Technical Whitepaper Series. 6, 1-26 (2005).
- Groeneveld, R. A. Influence functions for the coefficient of variation, its inverse, and CV comparisons. Communications in Statistics- Theory and Methods. 40 (23), 4139-4150 (2011).
- Tronstad, C., Staal, O. M., Sælid, S., Martinsen, &. #. 2. 1. 6. ;. G. Model-based filtering for artifact and noise suppression with state estimation for electrodermal activity measurements in real time. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 2750-2753 (2015).
- Routray, A., Pradhan, A. K., Rao, K. P. A novel Kalman filter for frequency estimation of distorted signals in power systems. IEEE Transactions on Instrumentation and Measurement. 51 (3), 469-479 (2002).
- Benedek, M., Kaernbach, C. A continuous measure of phasic electrodermal activity. Journal of Neuroscience Methods. 190, 80-91 (2010).
- Taylor, S., et al. Automatic Identification of Artifacts in Electrodermal Activity Data. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 1934-1937 (2015).
- Andreasson, U., et al. A practical guide to immunoassay method validation. Frontiers in Neurology. 6 (179), 1-8 (2015).
- Adam, E. K., Kumari, M. Assessing salivary cortisol in large-scale, epidemiological research. Psychoneuroendocrinology. 34 (10), 1423-1436 (2009).
- Pruessner, J. C., Kirschbaum, C., Meinlschmid, G., Hellhammer, D. H. Two formulas for computation of the area under the curve represent measures of total hormone concentration versus time-dependent change. Psychoneuroendocrinology. 28 (7), 916-931 (2003).
- Girden, E. R. . ANOVA: Repeated measures. , (1992).
- Raudenbush, S. W., Bryk, A. S. . Hierarchical linear models: Applications and data analysis methods (Vol. 1). , (2002).
- Duncan, T. E., Duncan, S. C., Strycker, L. A. . An introduction to latent variable growth curve modeling: Concepts, issues, and application. , (2013).
- Mehta, P. D., West, S. G. Putting the individual back into individual growth curves. Psychological Methods. 5 (1), 23-43 (2000).
- Khan, M. T. H., Villanueva, I., Vicioso, P., Husman, J. Exploring relationships between electrodermal activity, skin temperature, and performance during engineering exams. , (Accepted).
- Christensen, D., Khan, M. T. H., Villanueva, I., Husman, J. Stretched Too Much? A Case Study of Engineering Exam-Related Predicted Performance, Electrodermal Activity, and Heart Rate. , (Accepted).
