Summary

Op kunstmatige intelligentie gebaseerd systeem voor het detecteren van aandachtsniveaus bij studenten

Published: December 15, 2023
doi:

Summary

Dit artikel stelt een op kunstmatige intelligentie gebaseerd systeem voor om automatisch te detecteren of studenten aandacht besteden aan de klas of afgeleid zijn. Dit systeem is ontworpen om docenten te helpen de aandacht van studenten vast te houden, hun lessen te optimaliseren en dynamisch aanpassingen door te voeren zodat ze boeiender zijn.

Abstract

Het aandachtsniveau van leerlingen in een klaslokaal kan worden verbeterd door het gebruik van kunstmatige intelligentie (AI) technieken. Door automatisch het aandachtsniveau te identificeren, kunnen docenten strategieën gebruiken om de focus van studenten terug te krijgen. Dit kan worden bereikt door middel van verschillende informatiebronnen.

Een van de bronnen is het analyseren van de emoties die op de gezichten van de studenten worden weerspiegeld. AI kan emoties detecteren, zoals neutraal, walging, verrassing, verdriet, angst, geluk en woede. Bovendien kan de richting van de blik van de studenten mogelijk ook hun aandachtsniveau aangeven. Een andere bron is het observeren van de lichaamshouding van de studenten. Door gebruik te maken van camera’s en deep learning-technieken kan de houding worden geanalyseerd om het aandachtsniveau te bepalen. Studenten die bijvoorbeeld onderuitgezakt zitten of hun hoofd op hun bureau laten rusten, kunnen een lager aandachtsniveau hebben. Smartwatches die aan de studenten worden uitgedeeld, kunnen biometrische en andere gegevens verstrekken, waaronder hartslag- en traagheidsmetingen, die ook kunnen worden gebruikt als aandachtsindicatoren. Door deze informatiebronnen te combineren, kan een AI-systeem worden getraind om het aandachtsniveau in de klas te identificeren. Het integreren van de verschillende soorten gegevens vormt echter een uitdaging die het maken van een gelabelde dataset vereist. Input van experts en bestaande studies worden geraadpleegd voor een nauwkeurige etikettering. In dit artikel stellen we de integratie van dergelijke metingen voor en het creëren van een dataset en een mogelijke aandachtsclassificatie. Om feedback te geven aan de docent, verkennen we verschillende methoden, zoals smartwatches of directe computers. Zodra de leraar zich bewust wordt van aandachtsproblemen, kan hij zijn onderwijsaanpak aanpassen om de leerlingen opnieuw te betrekken en te motiveren. Samenvattend kunnen AI-technieken automatisch het aandachtsniveau van de studenten identificeren door hun emoties, blikrichting, lichaamshouding en biometrische gegevens te analyseren. Deze informatie kan leerkrachten helpen bij het optimaliseren van het onderwijsleerproces.

Introduction

In moderne onderwijsomgevingen is het nauwkeurig beoordelen en vasthouden van de aandacht van studenten cruciaal voor effectief lesgeven en leren. Traditionele methoden om de betrokkenheid te meten, zoals zelfrapportage of subjectieve observaties van docenten, zijn echter tijdrovend en vatbaar voor vooroordelen. Om deze uitdaging aan te gaan, zijn kunstmatige intelligentie (AI)-technieken naar voren gekomen als veelbelovende oplossingen voor geautomatiseerde aandachtsdetectie. Een belangrijk aspect om inzicht te krijgen in de betrokkenheidsniveaus van studenten is emotieherkenning1. AI-systemen kunnen gezichtsuitdrukkingen analyseren om emoties te identificeren, zoals neutraal, walging, verrassing, verdriet, angst, geluk en woede2.

Blikrichting en lichaamshouding zijn ook cruciale indicatoren van de aandacht van studenten3. Door gebruik te maken van camera’s en geavanceerde machine learning-algoritmen kunnen AI-systemen nauwkeurig volgen waar studenten kijken en hun lichaamshouding analyseren om tekenen van desinteresse of vermoeidheid te detecteren4. Bovendien verbetert het opnemen van biometrische gegevens de nauwkeurigheid en betrouwbaarheid van aandachtsdetectie5. Door metingen te verzamelen, zoals hartslag en zuurstofverzadigingsniveaus in het bloed, via smartwatches die door studenten worden gedragen, kunnen objectieve aandachtsindicatoren worden verkregen, als aanvulling op andere informatiebronnen.

Dit artikel stelt een systeem voor dat het aandachtsniveau van een persoon evalueert met behulp van kleurencamera’s en andere verschillende sensoren. Het combineert emotieherkenning, analyse van de blikrichting, beoordeling van de lichaamshouding en biometrische gegevens om docenten een uitgebreide set hulpmiddelen te bieden voor het optimaliseren van het onderwijsleerproces en het verbeteren van de betrokkenheid van studenten. Door deze tools te gebruiken, kunnen docenten een uitgebreid inzicht krijgen in het onderwijsleerproces en de betrokkenheid van studenten vergroten, waardoor de algehele onderwijservaring wordt geoptimaliseerd. Door AI-technieken toe te passen is het zelfs mogelijk om deze data automatisch te evalueren.

Het belangrijkste doel van dit werk is om het systeem te beschrijven waarmee we alle informatie kunnen vastleggen en, eenmaal vastgelegd, een AI-model kunnen trainen waarmee we in realtime de aandacht van de hele klas kunnen trekken. Hoewel andere werken al hebben voorgesteld de aandacht te trekken met behulp van visuele of emotionele informatie6, stelt dit werk het gecombineerde gebruik van deze technieken voor, wat een holistische benadering biedt om het gebruik van complexere en effectievere AI-technieken mogelijk te maken. Bovendien zijn de tot nu toe beschikbare datasets beperkt tot een reeks video’s of een reeks biometrische gegevens. De literatuur bevat geen datasets die volledige gegevens verstrekken met afbeeldingen van het gezicht of lichaam van de leerling, biometrische gegevens, gegevens over de positie van de leraar, enz. Met het hier gepresenteerde systeem is het mogelijk om dit type dataset vast te leggen.

Het systeem associeert een aandachtsniveau met elke student op elk moment van de tijd. Deze waarde is een waarschijnlijkheidswaarde van aandacht tussen 0% en 100%, wat kan worden geïnterpreteerd als een laag aandachtsniveau (0%-40%), een gemiddeld aandachtsniveau (40%-75%) en een hoog aandachtsniveau (75%-100%). In de hele tekst wordt naar deze aandachtskans verwezen als het aandachtsniveau, de aandacht van de student, of of studenten afgeleid zijn of niet, maar deze zijn allemaal gerelateerd aan dezelfde outputwaarde van ons systeem.

In de loop der jaren is het gebied van automatische betrokkenheidsdetectie aanzienlijk gegroeid vanwege het potentieel om een revolutie teweeg te brengen in het onderwijs. Onderzoekers hebben verschillende benaderingen voorgesteld voor dit studiegebied.

Ma et al.7 introduceerden een nieuwe methode op basis van een Neural Turing Machine voor automatische herkenning van betrokkenheid. Ze extraheerden bepaalde kenmerken, zoals oogblik, gezichtsactie-eenheden, hoofdhouding en lichaamshouding, om een uitgebreide weergave van betrokkenheidsherkenning te creëren.

EyeTab8, een ander innovatief systeem, gebruikte modellen om met beide ogen in te schatten waar iemand naar kijkt. Het is speciaal gemaakt om soepel te werken op een standaard tablet zonder aanpassingen. Dit systeem maakt gebruik van bekende algoritmen voor het verwerken van afbeeldingen en het analyseren van computervisie. Hun pijplijn voor het schatten van blikken omvat een Haar-achtige, op kenmerken gebaseerde oogdetector, evenals een op RANSAC gebaseerde limbus-ellips-fittingbenadering.

Sanghvi et al.9 stellen een aanpak voor die gebaseerd is op op visie gebaseerde technieken om automatisch expressieve houdingskenmerken te extraheren uit video’s die zijn opgenomen vanuit een zijaanzicht, waardoor het gedrag van de kinderen wordt vastgelegd. Er wordt een eerste evaluatie uitgevoerd, waarbij meerdere herkenningsmodellen worden getraind met behulp van gecontextualiseerde affectieve houdingsuitdrukkingen. De verkregen resultaten tonen aan dat patronen van houdingsgedrag de betrokkenheid van de kinderen bij de robot effectief kunnen voorspellen.

In andere werken, zoals Gupta et al.10, wordt een op deep learning gebaseerde methode gebruikt om de realtime betrokkenheid van online leerlingen te detecteren door hun gezichtsuitdrukkingen te analyseren en hun emoties te classificeren. De aanpak maakt gebruik van gezichtsemotieherkenning om een betrokkenheidsindex (EI) te berekenen die twee betrokkenheidstoestanden voorspelt: betrokken en niet-betrokken. Verschillende deep learning-modellen, waaronder Inception-V3, VGG19 en ResNet-50, worden geëvalueerd en vergeleken om het meest effectieve voorspellende classificatiemodel voor real-time betrokkenheidsdetectie te identificeren.

In Altuwairqi et al.11 presenteren de onderzoekers een nieuwe automatische multimodale benadering voor het beoordelen van de betrokkenheid van studenten in realtime. Om nauwkeurige en betrouwbare metingen te garanderen, integreerde en analyseerde het team drie verschillende modaliteiten die het gedrag van studenten vastleggen: gezichtsuitdrukkingen voor emoties, toetsaanslagen op het toetsenbord en muisbewegingen.

Guillén et al.12 stellen de ontwikkeling voor van een monitoringsysteem dat elektrocardiografie (ECG) gebruikt als een primair fysiologisch signaal om de aan- of afwezigheid van cognitieve aandacht bij individuen tijdens het uitvoeren van een taak te analyseren en te voorspellen.

Alban et al.13 gebruiken een neuraal netwerk (NN) om emoties te detecteren door de hartslag (HR) en elektrodermale activiteit (EDA) waarden van verschillende deelnemers te analyseren in zowel tijd- als frequentiedomeinen. Ze vinden dat een toename van het wortelgemiddelde kwadraat van opeenvolgende verschillen (RMSDD) en de standaarddeviatie normaal-naar-normaal (SDNN) intervallen, in combinatie met een afname van de gemiddelde HR, wijzen op verhoogde activiteit in het sympathische zenuwstelsel, wat wordt geassocieerd met angst.

Kajiwara et al.14 stellen een innovatief systeem voor dat gebruik maakt van draagbare sensoren en diepe neurale netwerken om het niveau van emotie en betrokkenheid bij werknemers te voorspellen. Het systeem volgt een proces in drie stappen. In eerste instantie verzamelen draagbare sensoren gegevens over gedrag en pulsgolven. Vervolgens worden tijdreekskenmerken berekend op basis van de verkregen gedrags- en fysiologische gegevens. Ten slotte worden diepe neurale netwerken gebruikt om de tijdreekskenmerken in te voeren en voorspellingen te doen over de emoties en betrokkenheidsniveaus van het individu.

In ander onderzoek, zoals Costante et al.15, wordt een benadering voorgesteld op basis van een nieuw algoritme voor het leren van overdrachtsgegevens, dat gebruikmaakt van voorkennis van een vooraf gedefinieerde reeks gebaren om de herkenning van door de gebruiker gedefinieerde gebaren te verbeteren. Deze verbetering wordt bereikt met minimale afhankelijkheid van aanvullende trainingsmonsters. Evenzo wordt een op sensoren gebaseerd kader voor de herkenning van menselijke activiteit16 gepresenteerd om het doel van de onpersoonlijke herkenning van complexe menselijke activiteiten aan te pakken. Signaalgegevens die worden verzameld van sensoren die om de pols worden gedragen, worden gebruikt in het ontwikkelde raamwerk voor de herkenning van menselijke activiteit, waarbij gebruik wordt gemaakt van vier op RNN gebaseerde DL-modellen (Long-Short Term Memories, Bidirectional Long-Short Term Memories, Gated Recurrent Units en Bidirectional Gated Recurrent Units) om de activiteiten te onderzoeken die worden uitgevoerd door de gebruiker van het draagbare apparaat.

Protocol

Het volgende protocol volgt de richtlijnen van de ethische commissie voor menselijk onderzoek van de Universiteit van Alicante met het goedgekeurde protocolnummer UA-2022-11-12. Van alle deelnemers is geïnformeerde toestemming verkregen voor dit experiment en voor het gebruik van de gegevens hier. 1. Hardware, software en lesinstellingen Stel een router met wifi-mogelijkheden in (de experimenten werden uitgevoerd met behulp van een DLink DSR 1000AC) op de gewenste l…

Representative Results

De doelgroep van deze studie zijn bachelor- en masterstudenten, en dus is de belangrijkste leeftijdsgroep tussen de 18 en 25 jaar oud. Deze populatie is geselecteerd omdat ze elektronische apparaten met minder afleiding kunnen omgaan dan jongere studenten. In totaal bestond de groep uit 25 personen. Deze leeftijdsgroep kan de meest betrouwbare resultaten leveren om het voorstel te testen. De resultaten van het aandachtsniveau dat aan de leerkracht wordt getoond, bestaan uit 2 delen. Deel A van…

Discussion

Dit werk presenteert een systeem dat het aandachtsniveau van een leerling in een klaslokaal meet met behulp van camera’s, smartwatches en kunstmatige intelligentie-algoritmen. Deze informatie wordt vervolgens aan de leraar gepresenteerd, zodat deze een idee krijgt van de algemene toestand van de klas.

Een van de belangrijkste kritieke stappen van het protocol is de synchronisatie van de smartwatch-informatie met het kleurencamerabeeld, aangezien deze verschillende frequenties hebben. Dit werd …

Disclosures

The authors have nothing to disclose.

Acknowledgements

Dit werk is ontwikkeld met financiering van Programa Prometeo, project-ID CIPROM/2021/017. Prof. Rosabel Roig is de voorzitter van de UNESCO “Onderwijs, Onderzoek en Digitale Inclusie”.

Materials

4 GPUs  Nvidia A40 Ampere NVIDIA TCSA40M-PB GPU for centralized model processing server
FusionServer 2288H V5 X-Fusion 02311XBK Platform that includes power supply and motherboard for centralized model processing server
Memory Card Evo Plus 128 GB Samsung MB-MC128KA/EU Memory card for the operation of the raspberry pi 4b 2gb.  One for each raspberry. 
NEMIX RAM – 512 GB Kit DDR4-3200 PC4-25600 8Rx4 EC NEMIX M393AAG40M32-CAE RAM for centralized model processing server
Processor Intel Xeon Gold 6330 Intel CD8068904572101 Processor for centralized model processing server
Raspberry PI 4B 2GB Raspberry 1822095 Local server that receives requests from the clocks and sends them to the general server. One every two students.
Samsung Galaxy Watch 5 (40mm) Samsung SM-R900NZAAPHE Clock that monitors each student's activity. For each student. 
Samsung MZQL23T8HCLS-00B7C PM9A3 3.84Tb Nvme U.2 PCI-Express-4 x4 2.5inch Ssd Samsung MZQL23T8HCLS-00B7C Internal storage for centralized model processing server
WebCam HD Pro C920 Webcam FullHD Logitech 960-001055 Webcam HD. One for each student plus two for student poses.

References

  1. Hasnine, M. N., et al. Students’ emotion extraction and visualization for engagement detection in online learning. Procedia Comp Sci. 192, 3423-3431 (2021).
  2. Khare, S. K., Blanes-Vidal, V., Nadimi, E. S., Acharya, U. R. Emotion recognition and artificial intelligence: A systematic review (2014-2023) and research recommendations. Info Fusion. 102, 102019 (2024).
  3. Bosch, N. Detecting student engagement: Human versus machine. UMAP ’16: Proc the 2016 Conf User Model Adapt Personal. , 317-320 (2016).
  4. Araya, R., Sossa-Rivera, J. Automatic detection of gaze and body orientation in elementary school classrooms. Front Robot AI. 8, 729832 (2021).
  5. Lu, Y., Zhang, J., Li, B., Chen, P., Zhuang, Z. Harnessing commodity wearable devices for capturing learner engagement. IEEE Access. 7, 15749-15757 (2019).
  6. Vanneste, P., et al. Computer vision and human behaviour, emotion and cognition detection: A use case on student engagement. Mathematics. 9 (3), 287 (2021).
  7. Ma, X., Xu, M., Dong, Y., Sun, Z. Automatic student engagement in online learning environment based on neural Turing machine. Int J Info Edu Tech. 11 (3), 107-111 (2021).
  8. Wood, E., Bulling, A. EyeTab: model-based gaze estimation on unmodified tablet computers. ETRA ’14: Proc Symp Eye Tracking Res Appl. , 207-210 (2014).
  9. Sanghvi, J., et al. Automatic analysis of affective postures and body motion to detect engagement with a game companion. HRI ’11: Proc 6th Int Conf Human-robot Interact. , 205-211 (2011).
  10. Gupta, S., Kumar, P., Tekchandani, R. K. Facial emotion recognition based real-time learner engagement detection system in online learning context using deep learning models. Multimed Tools Appl. 82 (8), 11365-11394 (2023).
  11. Altuwairqi, K., Jarraya, S. K., Allinjawi, A., Hammami, M. Student behavior analysis to measure engagement levels in online learning environments. Signal Image Video Process. 15 (7), 1387-1395 (2021).
  12. Belle, A., Hargraves, R. H., Najarian, K. An automated optimal engagement and attention detection system using electrocardiogram. Comput Math Methods Med. 2012, 528781 (2012).
  13. Alban, A. Q., et al. Heart rate as a predictor of challenging behaviours among children with autism from wearable sensors in social robot interactions. Robotics. 12 (2), 55 (2023).
  14. Kajiwara, Y., Shimauchi, T., Kimura, H. Predicting emotion and engagement of workers in order picking based on behavior and pulse waves acquired by wearable devices. Sensors. 19 (1), 165 (2019).
  15. Costante, G., Porzi, L., Lanz, O., Valigi, P., Ricci, E. Personalizing a smartwatch-based gesture interface with transfer learning. , 2530-2534 (2014).
  16. Mekruksavanich, S., Jitpattanakul, A. Deep convolutional neural network with RNNs for complex activity recognition using wrist-worn wearable sensor data. Electronics. 10 (14), 1685 (2021).
  17. Bazarevsky, V., Kartynnik, Y., Vakunov, A., Raveendran, K., Grundmann, M. BlazeFace: Sub-millisecond Neural Face Detection on Mobile GPUs. arXiv. , (2019).
  18. Bazarevsky, V., et al. BlazePose: On-device Real-time Body Pose tracking. arXiv. , (2020).
  19. Mejia-Escobar, C., Cazorla, M., Martinez-Martin, E. Towards a better performance in facial expression recognition: a data-centric approach. Comput Intelligence Neurosci. , (2023).
  20. El-Garem, A., Adel, R. Applying systematic literature review and Delphi methods to explore digital transformation key success factors. Int J Eco Mgmt Engi. 16 (7), 383-389 (2022).
  21. Indumathi, V., Kist, A. A. Using electroencephalography to determine student attention in the classroom. , 1-3 (2023).
  22. Ma, X., Xie, Y., Wang, H. Research on the construction and application of teacher-student interaction evaluation system for smart classroom in the post COVID-19. Studies Edu Eval. 78, 101286 (2023).
  23. Andersen, D. Constructing Delphi statements for technology foresight. Futures Foresight Sci. 5 (2), e144 (2022).
  24. Khodyakov, D., et al. Disciplinary trends in the use of the Delphi method: A bibliometric analysis. PLoS One. 18 (8), e0289009 (2023).
  25. Martins, A. I., et al. Consensus on the Terms and Procedures for Planning and Reporting a Usability Evaluation of Health-Related Digital Solutions: Delphi Study and a Resulting Checklist. J Medical Internet Res. 25, e44326 (2023).
  26. Dalmaso, M., Castelli, L., Galfano, G. Social modulators of gaze-mediated orienting of attention: A review. Psychon Bull Rev. 27 (5), 833-855 (2020).
  27. Klein, R. M. Thinking about attention: Successive approximations to a productive taxonomy. Cognition. 225, 105137 (2022).
  28. Schindler, S., Bublatzky, F. Attention and emotion: An integrative review of emotional face processing as a function of attention. Cortex. 130, 362-386 (2020).
  29. Zaletelj, J., Košir, A. Predicting students’ attention in the classroom from Kinect facial and body features. J Image Video Proc. 80, (2017).
  30. Strauch, C., Wang, C. A., Einhäuser, W., Van der Stigchel, S., Naber, M. Pupillometry as an integrated readout of distinct attentional networks. Trends Neurosci. 45 (8), 635-647 (2022).

Play Video

Cite This Article
Marquez-Carpintero, L., Pina-Navarro, M., Suescun-Ferrandiz, S., Escalona, F., Gomez-Donoso, F., Roig-Vila, R., Cazorla, M. Artificial Intelligence-Based System for Detecting Attention Levels in Students. J. Vis. Exp. (202), e65931, doi:10.3791/65931 (2023).

View Video