Op kunstmatige intelligentie gebaseerd systeem voor het detecteren van aandachtsniveaus bij studenten

In moderne onderwijsomgevingen is het nauwkeurig beoordelen en vasthouden van de aandacht van studenten cruciaal voor effectief lesgeven en leren. Traditionele methoden om de betrokkenheid te meten, zoals zelfrapportage of subjectieve observaties van docenten, zijn echter tijdrovend en vatbaar voor vooroordelen. Om deze uitdaging aan te gaan, zijn kunstmatige intelligentie (AI)-technieken naar voren gekomen als veelbelovende oplossingen voor geautomatiseerde aandachtsdetectie. Een belangrijk aspect om inzicht te krijgen in de betrokkenheidsniveaus van studenten is emotieherkenning¹. AI-systemen kunnen gezichtsuitdrukkingen analyseren om emoties te identificeren, zoals neutraal, walging, verrassing, verdriet, angst, geluk en woede².

Blikrichting en lichaamshouding zijn ook cruciale indicatoren van de aandacht van studenten³. Door gebruik te maken van camera’s en geavanceerde machine learning-algoritmen kunnen AI-systemen nauwkeurig volgen waar studenten kijken en hun lichaamshouding analyseren om tekenen van desinteresse of vermoeidheid te detecteren⁴. Bovendien verbetert het opnemen van biometrische gegevens de nauwkeurigheid en betrouwbaarheid van aandachtsdetectie⁵. Door metingen te verzamelen, zoals hartslag en zuurstofverzadigingsniveaus in het bloed, via smartwatches die door studenten worden gedragen, kunnen objectieve aandachtsindicatoren worden verkregen, als aanvulling op andere informatiebronnen.

Dit artikel stelt een systeem voor dat het aandachtsniveau van een persoon evalueert met behulp van kleurencamera’s en andere verschillende sensoren. Het combineert emotieherkenning, analyse van de blikrichting, beoordeling van de lichaamshouding en biometrische gegevens om docenten een uitgebreide set hulpmiddelen te bieden voor het optimaliseren van het onderwijsleerproces en het verbeteren van de betrokkenheid van studenten. Door deze tools te gebruiken, kunnen docenten een uitgebreid inzicht krijgen in het onderwijsleerproces en de betrokkenheid van studenten vergroten, waardoor de algehele onderwijservaring wordt geoptimaliseerd. Door AI-technieken toe te passen is het zelfs mogelijk om deze data automatisch te evalueren.

Het belangrijkste doel van dit werk is om het systeem te beschrijven waarmee we alle informatie kunnen vastleggen en, eenmaal vastgelegd, een AI-model kunnen trainen waarmee we in realtime de aandacht van de hele klas kunnen trekken. Hoewel andere werken al hebben voorgesteld de aandacht te trekken met behulp van visuele of emotionele informatie⁶, stelt dit werk het gecombineerde gebruik van deze technieken voor, wat een holistische benadering biedt om het gebruik van complexere en effectievere AI-technieken mogelijk te maken. Bovendien zijn de tot nu toe beschikbare datasets beperkt tot een reeks video’s of een reeks biometrische gegevens. De literatuur bevat geen datasets die volledige gegevens verstrekken met afbeeldingen van het gezicht of lichaam van de leerling, biometrische gegevens, gegevens over de positie van de leraar, enz. Met het hier gepresenteerde systeem is het mogelijk om dit type dataset vast te leggen.

Het systeem associeert een aandachtsniveau met elke student op elk moment van de tijd. Deze waarde is een waarschijnlijkheidswaarde van aandacht tussen 0% en 100%, wat kan worden geïnterpreteerd als een laag aandachtsniveau (0%-40%), een gemiddeld aandachtsniveau (40%-75%) en een hoog aandachtsniveau (75%-100%). In de hele tekst wordt naar deze aandachtskans verwezen als het aandachtsniveau, de aandacht van de student, of of studenten afgeleid zijn of niet, maar deze zijn allemaal gerelateerd aan dezelfde outputwaarde van ons systeem.

In de loop der jaren is het gebied van automatische betrokkenheidsdetectie aanzienlijk gegroeid vanwege het potentieel om een revolutie teweeg te brengen in het onderwijs. Onderzoekers hebben verschillende benaderingen voorgesteld voor dit studiegebied.

Ma et ^al.7 introduceerden een nieuwe methode op basis van een Neural Turing Machine voor automatische herkenning van betrokkenheid. Ze extraheerden bepaalde kenmerken, zoals oogblik, gezichtsactie-eenheden, hoofdhouding en lichaamshouding, om een uitgebreide weergave van betrokkenheidsherkenning te creëren.

EyeTab⁸, een ander innovatief systeem, gebruikte modellen om met beide ogen in te schatten waar iemand naar kijkt. Het is speciaal gemaakt om soepel te werken op een standaard tablet zonder aanpassingen. Dit systeem maakt gebruik van bekende algoritmen voor het verwerken van afbeeldingen en het analyseren van computervisie. Hun pijplijn voor het schatten van blikken omvat een Haar-achtige, op kenmerken gebaseerde oogdetector, evenals een op RANSAC gebaseerde limbus-ellips-fittingbenadering.

Sanghvi et ^al.9 stellen een aanpak voor die gebaseerd is op op visie gebaseerde technieken om automatisch expressieve houdingskenmerken te extraheren uit video’s die zijn opgenomen vanuit een zijaanzicht, waardoor het gedrag van de kinderen wordt vastgelegd. Er wordt een eerste evaluatie uitgevoerd, waarbij meerdere herkenningsmodellen worden getraind met behulp van gecontextualiseerde affectieve houdingsuitdrukkingen. De verkregen resultaten tonen aan dat patronen van houdingsgedrag de betrokkenheid van de kinderen bij de robot effectief kunnen voorspellen.

In andere werken, zoals Gupta et ^al.10, wordt een op deep learning gebaseerde methode gebruikt om de realtime betrokkenheid van online leerlingen te detecteren door hun gezichtsuitdrukkingen te analyseren en hun emoties te classificeren. De aanpak maakt gebruik van gezichtsemotieherkenning om een betrokkenheidsindex (EI) te berekenen die twee betrokkenheidstoestanden voorspelt: betrokken en niet-betrokken. Verschillende deep learning-modellen, waaronder Inception-V3, VGG19 en ResNet-50, worden geëvalueerd en vergeleken om het meest effectieve voorspellende classificatiemodel voor real-time betrokkenheidsdetectie te identificeren.

In Altuwairqi et ^al.11 presenteren de onderzoekers een nieuwe automatische multimodale benadering voor het beoordelen van de betrokkenheid van studenten in realtime. Om nauwkeurige en betrouwbare metingen te garanderen, integreerde en analyseerde het team drie verschillende modaliteiten die het gedrag van studenten vastleggen: gezichtsuitdrukkingen voor emoties, toetsaanslagen op het toetsenbord en muisbewegingen.

Guillén et ^al.12 stellen de ontwikkeling voor van een monitoringsysteem dat elektrocardiografie (ECG) gebruikt als een primair fysiologisch signaal om de aan- of afwezigheid van cognitieve aandacht bij individuen tijdens het uitvoeren van een taak te analyseren en te voorspellen.

Alban et ^al.13 gebruiken een neuraal netwerk (NN) om emoties te detecteren door de hartslag (HR) en elektrodermale activiteit (EDA) waarden van verschillende deelnemers te analyseren in zowel tijd- als frequentiedomeinen. Ze vinden dat een toename van het wortelgemiddelde kwadraat van opeenvolgende verschillen (RMSDD) en de standaarddeviatie normaal-naar-normaal (SDNN) intervallen, in combinatie met een afname van de gemiddelde HR, wijzen op verhoogde activiteit in het sympathische zenuwstelsel, wat wordt geassocieerd met angst.

Kajiwara et ^al.14 stellen een innovatief systeem voor dat gebruik maakt van draagbare sensoren en diepe neurale netwerken om het niveau van emotie en betrokkenheid bij werknemers te voorspellen. Het systeem volgt een proces in drie stappen. In eerste instantie verzamelen draagbare sensoren gegevens over gedrag en pulsgolven. Vervolgens worden tijdreekskenmerken berekend op basis van de verkregen gedrags- en fysiologische gegevens. Ten slotte worden diepe neurale netwerken gebruikt om de tijdreekskenmerken in te voeren en voorspellingen te doen over de emoties en betrokkenheidsniveaus van het individu.

In ander onderzoek, zoals Costante et ^al.15, wordt een benadering voorgesteld op basis van een nieuw algoritme voor het leren van overdrachtsgegevens, dat gebruikmaakt van voorkennis van een vooraf gedefinieerde reeks gebaren om de herkenning van door de gebruiker gedefinieerde gebaren te verbeteren. Deze verbetering wordt bereikt met minimale afhankelijkheid van aanvullende trainingsmonsters. Evenzo wordt een op sensoren gebaseerd kader voor de herkenning van menselijke activiteit¹⁶ gepresenteerd om het doel van de onpersoonlijke herkenning van complexe menselijke activiteiten aan te pakken. Signaalgegevens die worden verzameld van sensoren die om de pols worden gedragen, worden gebruikt in het ontwikkelde raamwerk voor de herkenning van menselijke activiteit, waarbij gebruik wordt gemaakt van vier op RNN gebaseerde DL-modellen (Long-Short Term Memories, Bidirectional Long-Short Term Memories, Gated Recurrent Units en Bidirectional Gated Recurrent Units) om de activiteiten te onderzoeken die worden uitgevoerd door de gebruiker van het draagbare apparaat.