Summary

Tecnologia de rastreamento de olhos e técnicas de mineração de dados utilizadas para uma análise comportamental de adultos envolvidos em processos de aprendizagem

Published: June 10, 2021
doi:

Summary

Apresentamos um protocolo para uma análise comportamental de adultos (de 18 a 70 anos) engajados em processos de aprendizagem, realizando tarefas projetadas para a Aprendizagem Autorregulada (SRL). Os participantes, professores universitários e estudantes e adultos da Universidade de Experiência foram monitorados com dispositivos de rastreamento ocular e os dados foram analisados com técnicas de mineração de dados.

Abstract

A análise comportamental de adultos engajados em tarefas de aprendizagem é um grande desafio no campo da educação de adultos. Hoje, em um mundo de contínuas mudanças tecnológicas e avanços científicos, há necessidade de aprendizagem e educação ao longo da vida em ambientes educacionais formais e não formais. Em resposta a esse desafio, o uso de tecnologia de rastreamento ocular e técnicas de mineração de dados, respectivamente, para aprendizado supervisionado (principalmente predito) e não supervisionado (especificamente análise de cluster), fornece métodos para a detecção de formas de aprendizagem entre os usuários e/ou a classificação de seus estilos de aprendizagem. Neste estudo, propõe-se um protocolo para o estudo de estilos de aprendizagem entre adultos com e sem conhecimento prévio em diferentes idades (18 a 69 anos) e em diferentes pontos ao longo do processo de aprendizagem (início e fim). Técnicas de análise estatística de variância significam que podem ser detectadas diferenças entre os participantes por tipo de aprendiz e conhecimento prévio da tarefa. Da mesma forma, o uso de técnicas de agrupamento de aprendizagem não supervisionadas lança luz sobre formas semelhantes de aprendizado entre os participantes em diferentes grupos. Todos esses dados facilitarão propostas personalizadas do professor para a apresentação de cada tarefa em diferentes pontos da cadeia de processamento de informações. Da mesma forma, será mais fácil para o professor adaptar os materiais didáticos às necessidades de aprendizagem de cada aluno ou grupo de alunos com características semelhantes.

Introduction

Metodologia de rastreamento de olhos aplicada à análise comportamental na aprendizagem
A metodologia de rastreamento ocular, entre outros usos funcionais, é aplicada ao estudo do comportamento humano, especificamente durante a resolução da tarefa. Essa técnica facilita o monitoramento e a análise durante a conclusão das tarefas de aprendizagem1. Especificamente, os níveis de atenção dos alunos em diferentes pontos do processo de aprendizagem (início, desenvolvimento e fim) em diferentes disciplinas (História, Matemática, Ciências, etc.) podem ser estudados com o uso da tecnologia de rastreamento ocular. Além disso, se a tarefa incluir o uso de vídeos com uma voz que orienta o processo de aprendizagem, a Aprendizagem Autorregulada (SRL) é facilitada. Portanto, a implementação da tecnologia de rastreamento ocular na análise de tarefas para as quais o SRL (que inclui o uso de vídeos) é proposto como um recurso significativo para entender como a aprendizagem é desenvolvida2,3,4. Essa combinação também significa que as diferenças entre os métodos instrucionais (com ou sem SRL, etc.) podem ser verificadas com diferentes tipos de alunos (com ou sem conhecimento prévio, etc.) 5. Em contrapartida, a apresentação de informações multicanais (apresentação simultânea de informações auditivas e visuais, sejam verbais, escritas ou pictóricas) pode facilitar tanto a gravação quanto a análise de informações relevantes versus não relevantes dasvariáveis acimamencionadas 6 . Estudantes com conhecimento prévio expostos a canais de aprendizagem multimídia parecem aprender mais efetivamente do que aqueles com pouco ou nenhum conhecimento prévio. Estudantes com altos níveis de conhecimento prévio do assunto integrarão informações textuais e gráficas de forma mais eficaz7. Essa funcionalidade tem sido observada no aprendizado dos textos8 que incluem imagens9. A tecnologia de rastreamento de olhos oferece informações sobre onde a atenção está focada e por quanto tempo. Esses dados fornecem uma visão do desenvolvimento de um processo de aprendizagem de forma mais precisa do que através da simples observação do processo de resolução durante a conclusão de uma tarefa. Além disso, a análise desses indicadores facilita o estudo de se o aluno desenvolve aprendizagem profunda ou superficial. Além disso, a relação entre esses dados e os resultados de aprendizagem facilita a validação das informações obtidas com a tecnologia de rastreamento ocular4,10. De fato, essa técnica em conjunto com a SRL são cada vez mais utilizadas no Ensino Superior e na Educação de Adultos11 ambientes de aprendizagem, tanto em cursos regulamentados quanto em cursos não regulamentados12.

A tecnologia de rastreamento de olhos oferece diferentes métricas: distância, velocidade, aceleração, densidade, dispersão, velocidade angular, transições entre Áreas de Interesse (AOI), ordem sequencial da AOI, visitas nas fixações, saccades, caminho de varredura e parâmetros do mapa de calor. No entanto, a interpretação desses dados é complexa e requer o uso de supervisionados (regressão, árvores de decisão, etc.) e não supervisionados (técnicas de cluster k-means, etc.) 13,14 técnicas de mineração de dados. Essas métricas podem ser aplicadas para monitorar o comportamento do mesmo sujeito ao longo do tempo ou para uma comparação entre vários sujeitos e seu desempenho com a mesma tarefa15, analisando a diferença entre participantes com conhecimento prévio versus nenhum conhecimento prévio16. Pesquisas recentes11,17 revelaram que aprendizes iniciantes se fixam mais nos estímulos (ou seja, há uma maior frequência de fixação enquanto padrões semelhantes de caminho de varredura são registrados). A duração média da fixação foi maior para especialistas do que para novatos. Os especialistas apresentaram seu foco de atenção nos pontos médios das informações (proximal e central), diferenças que também podem ser vistas nos pontos de visualização dentro da AOI nos mapas de calor.

Interpretação de métricas no rastreamento ocular
Estudos recentes18 indicaram que a aquisição de informações está relacionada ao número de fixações oculares nos estímulos. Outra métrica importante é a saccade, que é definida como o movimento rápido e repentino de uma fixação com um intervalo de [10 ms, 100 ms]. Sharafi et al. (2015)18 encontraram diferenças no número de saccades, dependendo da fase de codificação de informações do aluno. Outro parâmetro relevante é o caminho de varredura, métrica que captura a ordem cronológica das etapas que o participante realiza para a resolução da tarefa de aprendizagem dentro do AOI definido pelo pesquisador18. Da mesma forma, a tecnologia de rastreamento ocular pode ser usada para prever o nível de compreensão do participante, que parece estar relacionado ao número de fixações. Estudos recentes indicaram que a variabilidade no comportamento do olhar é determinada pelas propriedades da imagem (posição, intensidade, cor e orientação), as instruções para a realização da tarefa e o tipo de processamento de informações (estilo de aprendizagem) do participante. Essas diferenças são detectadas analisando a interação do aluno com o diferente AOI19. Técnicas quantitativas20 (análise de frequência) e/ou qualitativas ou dinâmicas21 (caminho de varredura) podem ser utilizadas para analisar os dados coletados a partir das diferentes métricas. As técnicas anteriores são analisadas com técnicas estatísticas tradicionais (análise de frequência, diferença média, diferença de variância, etc.) e estas últimas são analisadas com técnicas de Machine Learning (distâncias euclidianas com métodos de edição de cordas21,22e clustering17). A aplicação dessas técnicas facilita o agrupamento, considerando diferentes características dos sujeitos. Um estudo17 constatou que quanto mais especialista o aluno, mais eficaz é a estratégia de processamento de informações espaciais e temporais que é implementada. Uma tabela descritiva dos parâmetros de medição utilizados neste estudo pode ser consultada abaixo na Tabela 1.

Tabela 1: Parâmetros mais representativos que podem ser obtidos com a técnica de rastreamento ocular, adaptados de Sáiz, Zaparaín, Marticorena e Velasco (2019). 20   Clique aqui para baixar esta Tabela.

Aplicação da metodologia de rastreamento ocular para o estudo do processo de aprendizagem
O uso dos avanços tecnológicos e das técnicas de análise de dados descritas acimade 5 adicionará maior precisão à análise comportamental dos alunos durante a resolução de problemas nas diferentes fases do processamento de informações (iniciação de tarefas, processamento de informações e resolução de tarefas). Tudo isso facilitará a análise comportamental individual, que, por sua vez, permitirá o agrupamento de alunos com características semelhantes24. Da mesma forma, técnicas preditivas (árvores de decisão, técnicas de regressão, etc.) 25 podem ser aplicados à aprendizagem, tanto relacionada ao número de fixações quanto aos resultados de resolução de tarefas de cada aluno. Essa funcionalidade é um avanço muito importante no conhecimento de como cada aluno aprende e na proposta de programas de aprendizagem personalizados dentro de diferentes grupos (pessoas com ou sem dificuldades de aprendizagem26). Portanto, o uso dessa técnica contribuirá para a realização da personalização e otimização da aprendizagem27. A aprendizagem ao longo da vida deve ser entendida como um ciclo de melhoria contínua, uma vez que o conhecimento da sociedade está constantemente avançando e progredindo. A psicologia evolutiva indica que as habilidades de resolução e a eficácia no processamento de informações diminuem com a idade. Especificamente, a frequência saccade, amplitude e velocidade dos movimentos oculares entre os adultos têm sido encontradas para diminuir com a idade. Além disso, na idade avançada, a atenção está voltada para as áreas mais baixas das cenas visuais, que estão relacionadas a déficits na memória de trabalho14. No entanto, a ativação aumenta nas áreas frontal e pré-frontal em uma idade mais avançada, o que parece compensar esses déficits na resolução de tarefas. Esse aspecto inclui o nível de conhecimento prévio e as estratégias de compensação cognitiva que o sujeito pode aplicar. Os participantes experientes aprendem de forma mais eficiente, pois gerenciam a atenção de forma mais eficaz, devido à aplicação de processos automatizados de supervisão28. Além disso, se as informações a serem aprendidas forem transmitidas através de técnicas de SRL, as deficiências acima mencionadas serão atenuadas17. O uso de tais técnicas significa que os padrões de rastreamento visual são muito semelhantes, tanto em sujeitos sem conhecimento prévio quanto em sujeitos com conhecimento prévio7.

Em resumo, a análise dos dados multimodal-multicanais sobre o SRL obtidos com o uso de tecnologias avançadas de aprendizagem (rastreamento ocular) é fundamental para entender a interação entre processos cognitivos, metacognitivos e motivacionais, e seu impacto na aprendizagem29. Os resultados e o estudo das diferenças na aprendizagem têm implicações para o design de materiais de aprendizagem e sistemas inteligentes de tutoria, ambos possibilitando uma aprendizagem personalizada que provavelmente será mais eficaz e satisfatória para o aluno30.

Nesta pesquisa, foram feitas duas perguntas de investigação: (1) Haverá diferenças significativas nos resultados de aprendizagem e nos parâmetros de fixação ocular entre alunos e professores especialistas versus não especialistas em História da Arte diferenciando alunos com diplomas oficiais versus alunos com diplomas não oficiais (Universidade de Experiência – Educação de Adultos)? e (2) Os agrupamentos de cada participante com resultados de aprendizagem e parâmetros de fixação ocular coincidirão com o tipo de participantes (alunos com diplomas oficiais, estudantes com diplomas não oficiais (Universidade de Experiência – Educação de Adultos) e professores)?

Protocol

Este protocolo foi realizado em conformidade com as normas processuais do Comitê Bioético da Universidade de Burgos (Espanha) nº IR27/2019. Antes de sua participação, os participantes tinham tido plena consciência dos objetivos da pesquisa e todos tinham dado seu consentimento informado. Eles não receberam nenhuma compensação financeira por sua participação. 1. Recrutamento de participantes Recrutar participantes de um grupo de adultos em dois ambientes (estudantes e profe…

Representative Results

Os 36 participantes recrutados para o presente estudo foram de três grupos de adultos (estudantes da universidade de experiência, professores universitários e estudantes de graduação e mestrado) com idades que variam entre [18 e 69] anos(Tabela 2). O protocolo foi testado ao longo de 20 meses na Universidade de Burgos. Um esboço do desenvolvimento pode ser visto na Tabela 4. Mesa 4…

Discussion

Os resultados da pesquisa indicaram que a duração média de fixação dos estímulos relevantes foi maior entre os participantes com conhecimento prévio. Da mesma forma, o foco da atenção neste grupo está nos pontos médios da informação (proximal e distal)7. Os resultados deste estudo revelaram diferenças na forma como os participantes processaram as informações. Além disso, seu processamento nem sempre esteve ligado ao agrupamento inicial (Estudantes da Universidade de Experiência, …

Disclosures

The authors have nothing to disclose.

Acknowledgements

O trabalho foi desenvolvido dentro do Projeto “Aprendizagem Autorregulada na Educação de Adultos SmartArt Erasmus+ ” 2019-1-ES01-KA204-095615-Coordenador 6, financiado pela Comissão Europeia. O vídeo da fase de conclusão da tarefa teve o consentimento prévio informado de Rut Velasco Sáiz. Agradecemos a participação de professores e alunos na fase de implementação da tarefa.

Materials

iViewer XTM iViewer
SMI Experimenter Center 3.0 SMI
SMI Be Gaze SMI

References

  1. van Marlen, T., van Wermeskerken, M., Jarodzka, H., van Gog, T. Effectiveness of eye movement modeling examples in problem solving: The role of verbal ambiguity and prior knowledge. Learning and Instruction. 58, 274-283 (2018).
  2. Taub, M., Azevedo, R., Bradbury, A. E., Millar, G. C., Lester, J. Using sequence mining to reveal the efficiency in scientific reasoning during STEM learning with a game-based learning environment. Learning and Instruction. 54, 93-103 (2018).
  3. Cloude, E. B., Taub, M., Lester, J., Azevedo, R., Isotani, S., Millan, E., Ogan, A., Hastings, P., McLaren, B., Luckin, R. The Role of Achievement Goal Orientation on Metacognitive Process Use in Game-Based Learning. Artificial Intelligence in Education. , 36-40 (2019).
  4. Azevedo, R., Gašević, D. Analyzing Multimodal Multichannel Data about Self-Regulated Learning with Advanced Learning Technologies: Issues and Challenges. Computers in Human Behavior. 96, 207-210 (2019).
  5. Sáiz-Manzanares, M. C., Rodríguez-Diez, J. J., Marticorena-Sánchez, R., Zaparín-Yáñez, M. J., Cerezo-Menéndez, R. Lifelong learning from sustainable education: An analysis with eye tracking and data mining techniques. Sustainability. 12 (5), 2-18 (2020).
  6. Alemdag, E., Cagiltay, K. A systematic review of eye tracking research on multimedia learning. Computers & Education. 125, 413-428 (2018).
  7. Ho, H. N. J., Tsai, M. -. J., Wang, C. -. Y., Tsai, C. -. C. Prior knowledge and online inquiry-based science reading: evidence from eye tracking. International Journal of Science and Mathematics Education. 12, 525-554 (2014).
  8. Catrysse, L., Gijbels, D., Donche, V. It is not only about the depth of processing: What if eye am not interested in the text. Learning and Instruction. 58, 284-294 (2018).
  9. Mayer, R. E. Using multimedia for e-learning. Journal of Computer Assisted Learning. 33 (5), 403-423 (2017).
  10. Prokop, M., Pilař, L., Tichá, I. Impact of think-aloud on eye-tracking: A comparison of concurrent and retrospective think-aloud for research on decision-making in the game environment. Sensors. 20 (10), (2020).
  11. DuMouchel, W., Abello, J., Pardalos, P. M., Resende, M. G. C. Data Squashing: Constructing Summary Data Sets. Handbook of Massive Data Sets. , 579-591 (2002).
  12. Stull, A. T., Fiorella, L., Mayer, R. E. An eye-tracking analysis of instructor presence in video lectures. Computers in Human Behavior. 88, 263-272 (2018).
  13. König, S. D., Buffalo, E. A. A nonparametric method for detecting fixations and saccades using cluster analysis: Removing the need for arbitrary thresholds. Journal of Neuroscience Methods. 30 (227), 121-131 (2014).
  14. Maltz, M., Shinar, D. Eye Movements of Younger and Older Drivers. Human Factors. 41 (1), 15-25 (1999).
  15. Burch, M., Kull, A., Weiskopf, D. AOI rivers for visualizing dynamic eye gaze frequencies. Computer Graphics Forum. 32 (3), 281-290 (2013).
  16. Dzeng, R. -. J., Lin, C. -. T., Fang, Y. -. C. Using eye-tracker to compare search patterns between experienced and novice workers for site hazard identification. Safety Science. 82, 56-67 (2016).
  17. Kurzhals, K., Weiskopf, D. Space-time visual analytics of eye-tracking data for dynamic stimuli. IEEE Transactions on Visualization and Computer Graphics. 19 (12), 2129-2138 (2013).
  18. Sharafi, Z., Soh, Z., Guéhéneuc, Y. -. G. A systematic literature review on the usage of eye-tracking in software engineering. Information and Software Technology. 67, 79-107 (2015).
  19. Dalrymple, K. A., Jiang, M., Zhao, Q., Elison, J. T. Machine learning accurately classifies age of toddlers based on eye tracking. Scientific Reports. 9 (1), 6255 (2019).
  20. Seifert, L., Cordier, R., Orth, D., Courtine, Y., Croft, J. L. Role of route previewing strategies on climbing fluency and exploratory movements. PLoS One. 12 (4), 1-22 (2017).
  21. Takeuchi, H., Habuchi, Y. A quantitative method for analyzing scan path data obtained by eye tracker. IEEE Symposium on Computational Intelligence and Data Mining, CIDM 2007. , 283-286 (2007).
  22. Takeuchi, H., Matsuda, N. Scan-path analysis by the string-edit method considering fixation duration. 6th International Conference on Soft Computing and Intelligent Systems, and 13th International Symposium on Advanced Intelligence Systems, SCIS/ISIS 2012. , 1724-1728 (2012).
  23. Sáiz, M. C., Marticorena, R., Anaiz, &. #. 1. 9. 3. ;., Zaparaín, M. J., Peralbo, M., Risso, A., Barca, A., Duarte, B., Almeda, L., Brenlla, J. C. Task analysis with eye tracking technology. srl at Smartart. II Congress of the International Scientific Association of Psychopedagogy Proceedings. , 4093-4104 (2019).
  24. Khedher, A. B., Jraidi, I., Frasson, C. Tracking Students’ Analytical Reasoning Using Visual Scan Paths. IEEE 17th International Conference on Advanced Learning Technologies (ICALT). , 53-54 (2017).
  25. Xia, C., Han, J., Qi, F., Shi, G. Predicting Human Saccadic Scanpaths Based on Iterative Representation Learning. IEEE Trans Image Process. 8 (7), 3502-3515 (2019).
  26. Cerezo, R., Fernández, E., Gómez, C., Sánchez-Santillán, M., Taub, M., Azevedo, R. Multimodal Protocol for Assessing Metacognition and Self-Regulation in Adults with Learning Difficulties. Journal of Visualized Experiments. , e60331 (2020).
  27. Scherer, R., Siddiq, F., Tondeur, J. The technology acceptance model (TAM): A meta-analytic structural equation modeling approach to explaining teachers’ adoption of digital technology in education. Computers & Education. 128 (0317), 13-35 (2019).
  28. Bruder, C., Eißfeldt, H., Maschke, P., Hasse, C. Differences in monitoring between experts and novices. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 57 (1), 295-298 (2013).
  29. Azevedo, R., Gašević, D. Analyzing Multimodal Multichannel Data about Self-Regulated Learning with Advanced Learning Technologies: Issues and Challenges. Computers in Human Behavior. 96, 207-210 (2019).
  30. Taub, M., Azevedo, R. How Does Prior Knowledge Influence Eye Fixations and Sequences of Cognitive and Metacognitive SRL Processes during Learning with an Intelligent Tutoring System. International Journal of Artificial Intelligence in Education. 29 (1), 1-28 (2019).
  31. IBM Corp. . SPSS Statistical Package for the Social Sciences (SPSS) (Version 24). , (2016).
  32. . Orange Software Package Available from: https://orange.biolab.si/docs/ (2020)

Play Video

Cite This Article
Sáiz Manzanares, M. C., Payo Hernanz, R. J., Zaparaín Yáñez, M. J., Andrés López, G., Marticorena Sánchez, R., Calvo Rodríguez, A., Martín, C., Rodríguez Arribas, S. Eye-tracking Technology and Data-mining Techniques used for a Behavioral Analysis of Adults engaged in Learning Processes. J. Vis. Exp. (172), e62103, doi:10.3791/62103 (2021).

View Video