Summary

Multimodaal protocol voor de beoordeling van metacognitie en zelfregulering bij volwassenen met leerproblemen

Published: September 27, 2020
doi:

Summary

Het huidige werk stelt een multimodaal evaluatieprotocol voor dat zich richt op metacognitieve, zelfregulering van leren en emotionele processen, die de basis vormen voor de moeilijkheden bij volwassenen met id’s.

Abstract

Leerstoornissen (ID’s) omvatten aandoeningen van degenen die moeite hebben met leren en het gebruik van academische vaardigheden, het vertonen van prestaties onder de verwachtingen voor hun chronologische leeftijd op het gebied van lezen, schrijven en / of wiskunde. Elk van de aandoeningen die deel uit de ID’s te betrekken verschillende tekorten; in die heterogeniteit zijn echter enkele overeenkomsten te vinden, zoals het leren van zelfregulering en metacognitie. In tegenstelling tot in de vroege leeftijd en later onderwijsniveaus, zijn er nauwelijks evidence-based evaluatie protocollen voor volwassenen met ID’s. ID’s beïnvloeden academische prestaties, maar hebben ook ernstige gevolgen in professionele, sociale en familiale contexten. In antwoord hierop stelt het huidige werk een multimodaal evaluatieprotocol voor dat gericht is op metacognitieve, zelfregulering van leren en emotionele processen, die de basis vormen van de moeilijkheden bij volwassenen met ID’s. De beoordeling wordt uitgevoerd door analyse van het online leerproces met behulp van verschillende methoden, technieken en sensoren (bijvoorbeeld eye tracking, gezichtsuitdrukkingen van emotie, fysiologische reacties, gelijktijdige verbalisaties, logbestanden, schermopnames van interacties tussen mens en machine) en off-line methoden (bijvoorbeeld vragenlijsten, interviews en zelfrapportagemaatregelen). Deze theoretisch gedreven en empirisch gebaseerde richtlijn heeft tot doel een nauwkeurige beoordeling van LD’s op volwassen leeftijd te bieden om effectieve preventie- en interventievoorstellen te ontwerpen.

Introduction

Specifieke leerstoornissen (SLDs) omvatten aandoeningen van degenen die moeite hebben met leren en het gebruik van academische vaardigheden, het vertonen van prestaties onder de verwachtingen voor hun chronologische leeftijd op het gebied van lezen, schrijven en / of wiskunde1,2. Er zijn verschillende schattingen van prevalentiepercentages, afhankelijk van de geanalyseerde leeftijd, taal en cultuur, maar ze liggen tussen 5% en 15%1,3. Binnen de wereldwijde categorie van neuroontwikkelingsstoornissen in het Diagnostic and Statistical Manual of Mental Disorders (5e Ed.) 1, is het ook noodzakelijk om zich te concentreren op de incidentie van Attention-Deficit / Hyperactivity Disorder (hierna “ADHD” genoemd) omdat het een veel voorkomende aandoening is die aanleiding heeft gegeven tot verschillende controverses over hoe het te benaderen in de afgelopen jaren. Op basis van de DSM-51kan het worden gedefinieerd als een patroon van hardnekkig gedrag van onoplettendheid en/of hyperactiviteit-impulsiviteit. Ook autisme spectrum stoornis (hierna “ASS) is een categorie in hetzelfde handboek dat studenten die neuroontwikkelingsstoornissen presenteren als gevolg van multifactoriële disfuncties van het centrale zenuwstelsel, die resulteren in kwalitatieve disfuncties in drie fundamentele gebieden van de ontwikkeling van de persoon omvat: sociale interactie, communicatie en belangen en gedrag1,2.

Op deze lijnen, een nieuw concept is ontstaan af te stappen van het gevoel van tekort en het aanbieden van een meer positieve benadering van deze aandoeningen in overeenstemming te zijn met de huidige ideeën van neuroontwikkelingsproblemen als zeer coëxistenten en overlappende4. Uit deze nieuwe modellen wordt begrepen dat de vaardigheden die betrokken zijn bij cognitieve processen op hoog niveau, die het mogelijk maken om iemands gedrag te beheren en te reguleren om een gewenst doel te bereiken, cruciaal zijn voor zelfregulering en dus voor activiteiten van het dagelijks leven, inclusief de academische5. In de context van volwassenheid, neurodiversiteit is geëvolueerd tot verschillende soorten problemen, waaronder ADHD en ASS, evenals dyslexie, dyspraxie, en / of dyscalculie. Daarom benaderen we deze neurodiversiteit vanuit een brede opvatting van leerproblemen (ID’s). De toename van studenten met deze diversiteit ingeschreven in het postsecundair onderwijs is goed gedocumenteerd en is deels te wijten aan de stijging van de middelbare school afstuderen tarieven voor studenten met een handicap6, maar tegelijkertijd is er minder onderzoek over het leerproces van deze studenten dan nodig7.

Elk van de wanordelijke aandoeningen omvat verschillende tekorten en manifestaties; in die heterogeniteit is echter enige gemeenschappelijkheid te vinden in termen van LD, zoals metacognitieve, zelfregulerende en emotionele storing8,9,10,11. Drie fundamentele grondslagen in de literatuur van het leren in het algemeen, en LDs in het bijzonder, die de basis vormen van succesvol leren en een essentiële rol spelen in deze bekende moeilijkheden op academisch niveau12. Naast deze, andere benaderingen begrijpen dat er een zekere gemeenschappelijkheid tussen tekorten in uitvoerende functies, zoals problemen in automatische verwerking of werkgeheugen, die zich voordoen in verschillende aandoeningen zoals ADHD en leesstoornissen13 of ADHD en ASS5. Er is echter nog werk aan de winkel op dit gebied, aangezien niet alle studies dezelfde conclusies trekken over deze gemeenschappelijke punten met betrekking tot uitvoerende functies. Dit kan te wijten zijn aan de variaties die worden gepresenteerd door de steekproeven waaruit de studies zijn gebaseerd en de evaluatieprocedures van de uitvoerende functies die in de onderzoeken worden gebruikt5,14.

In onderwijstermen heeft deze gevarieerde mix niet alleen invloed op de kwaliteit van het leren, vanwege de fundamentele aard van de getroffen functies, maar ook verschijnselen zoals schooluitval, verandering van graad, enz., met economische gevolgen voor overheden en universiteiten15. Het uitvalpercentage voor studenten met een ID is hoger dan voor studenten in de algemene bevolking16, maar ook hoger dan de uitvalpercentages voor een andere categorie van psychologische handicaps, behalve voor studenten met emotionele stoornissen17. Daarentegen neemt het aantal studenten met een ID met een opleiding tot post-leerplicht (beroepsopleiding, hogeschool, enz.) met15toe , met name in het hoger onderwijs19,20,21,22. Bovendien zou men goed kunnen aannemen dat er veel meer studenten met LD dan degenen die officieel passeren studentendiensten en meestal make-up van de prevalentie statistieken23.

Deze moeilijkheden worden niet altijd ontdekt tijdens de kindertijd, vooral bij volwassenen geboren voordat deze aandoeningen werden overwogen in het reguliere academische systeem, en de symptomen van deze aandoeningen blijven gedurende het hele leven van mensen bestaan en veroorzaken problemen op het werk, onderwijs en persoonlijk leven24. Onderzoek heeft aangetoond dat, hoewel mensen een aantal van hun moeilijkheden kunnen overwinnen, de meeste blijven kampen met leren tijdens de volwassenheid en hun persistentie is nog steeds problematisch op die hogere onderwijsniveaus25.

Paradoxaal genoeg zijn er, in tegenstelling tot eerdere onderwijsniveaus en vroegere tijden, nauwelijks evidence-based instrumenten of evaluatieprotocollen voor volwassenen met id’s. Ondanks de wildgroei van diagnostische instrumenten om ID’s te evalueren tijdens de kindertijd, is de beschikbaarheid van geldige, betrouwbare instrumenten en methodologieën voor de volwassen bevolking aanzienlijk beperkt24. Uit een recente literatuurstudie over leerstoornissen in het hoger onderwijs bleek dat de meeste informatie die in dit verband wordt verzameld, wordt gedaan door middel van interviews, en slechts af en toe zelfrapportagevragenlijsten worden gebruikt26. Zelfrapportagemethodologie en interviews, hoewel waardevol, zijn niet voldoende om metacognitieve, zelfregulering en emotionele vaardighedenprocessen nauwkeurig te beoordelen, in feite onder andere vanwege het procesnatuur. Het belang van schalen en interviewmethodologie voor het meten van deze processen is onmiskenbaar27,28, maar dat geldt ook voor de daarmee gepaard gaande problemen van validiteit29 en onverenigbaarheid met andere innovatieve beoordelingsmethoden30. Een bijkomend probleem bij de detectie van ID’s is de bias in de diagnose van de aandoening als gevolg van het ontbreken van uitgebreide beoordelingsprotocollen. Het feit dat professionals geen referentieprotocol hebben op basis van objectieve variabelen, veroorzaakt vaak veel vals-positieve en vals-negatieve gevallen van LDs31.

In reactie op zowel de schaarste aan instrumenten voor volwassenen als de noodzaak om de bestaande methodologie te verbeteren, stelt de huidige studie een multimodaal evaluatieprotocol voor dat gericht is op metacognitieve, zelfregulering en emotionele processen, die de basis vormen voor de moeilijkheden bij volwassenen met id’s. In overeenstemming met de huidige literatuur stellen we een stap in de richting van integratieve en multichannel meting32,33. De beoordeling wordt uitgevoerd door middel van een analyse van het online leerproces met behulp van verschillende methoden, technieken en sensoren (bijvoorbeeld hypermedialeeromgeving, virtual reality, eye tracking, gezichtsuitdrukkingen van emotie, fysiologische reacties, logbestanden, schermopnames van interacties tussen mens en machine) en off-line methoden (bijvoorbeeld vragenlijsten, interviews en zelfrapportagemaatregelen). Deze gemengde methodologie levert bewijs van de inzet van doelprocessen voor, tijdens en na het leren dat kan worden getriasticuleerd om het begrip van hoe studenten leren en waar het probleem ligt te verbeteren, als er een34.

Het evaluatieprotocol wordt uitgevoerd over twee sessies. De sessies kunnen worden gedaan in een vergadering of kan gedeeltelijke toepassingen nodig, afhankelijk van de persoon. De eerste is gericht op de detectie of bevestiging van ID’s en wat voor specifieke vorm van wanorde we worden geconfronteerd, en de tweede is ontworpen om in te gaan op de metacognitieve, zelfregulering, en emotionele processen van elk individueel geval in de diepte.

Sessie 1 is bedoeld als een diagnostische of bevestigingsbeoordeling van de leerstoornissen van de deelnemer: SLD, ADHD en/of ASS (hoog functioneren) om te bepalen welk soort specifieke problemen de deelnemers hebben. Deze beoordeling is om twee redenen van essentieel belang. 1) Volwassenen met leerstoornissen hebben zelden accurate informatie over hun disfunctioneel gedrag. Sommigen van hen vermoeden dat ze een LD hebben, maar zijn nooit geëvalueerd. Anderen kunnen zijn beoordeeld toen ze kinderen waren, maar hebben geen rapporten of verdere informatie. 2) Er kunnen verschillen zijn met eerdere diagnoses (bijvoorbeeld een eerdere diagnose van dyslexie in tegenstelling tot een actuele diagnose van aandachtstekort en trage verwerkingssnelheid; eerdere ASS-diagnose in tegenstelling tot de huidige beperkte intellectuele vermogen, enz.). De deelnemer wordt geïnterviewd en vragenlijsten en gestandaardiseerde tests worden toegepast. Deze sessie wordt hier uitgevoerd door therapeuten met ervaring in het diagnosticeren van ontwikkelings- en leerproblemen in de onderzoeks- en klinische context in verschillende kantoren van een Spaanse psychologiefaculteit. De sessie begint met een gestructureerd interview dat biografische informatie verzamelt, samen met de aanwezigheid van symptomen in verband met SLDs die worden genoemd in de DSM-51. Daarna wordt de referentie intellectuele vaardigheidstest WAIS-IV35 gebruikt in geval van toepassing van uitsluitingscriteriums en omdat het zeer waardevolle informatie biedt voor leerproblemen van de schalen “werkgeheugen” en “verwerkingssnelheid”36. Daarnaast wordt de PROLEC SE-Revised Test37 uitgebreid gebruikt om leesstoornissen te evalueren (lexicale, semantische en/of syntactische leesprocessen), een van de meest voorkomende en invaliderende problemen voor het leren in de huidige academische contexten, die overlapt met andere aandoeningen zoals ADHD38. Deze evaluatie verzamelt leesnauwkeurigheid, snelheid en vloeiendheid, samen met leeshandige personen, en nog belangrijker, waarin het leesproces van de fout optreedt37 (deze test is geëvalueerd met pre-universitaire studenten. Momenteel zijn er geen tests in Spanje die zijn aangepast aan de algemene volwassen bevolking, dus deze test werd geselecteerd omdat het het dichtst bij de doelgroep ligt). Vervolgens screenen we symptomen van ADHD via de World Health Organization Adult ADHD Self-Report Scale (ASRS)39 en verfijnen we de evaluatie van deze aandoening, waarbij we multimodaliteit introduceren met een geavanceerde virtual reality continue prestatietest voor de evaluatie van aandachtsprocessen en werkgeheugen bij volwassenen, het Nesplora Aquarium31,40. Deze test is een zeer nuttig hulpmiddel bij de diagnose van ADHD bij volwassenen en adolescenten ouder dan 16 jaar in een ecologisch scenario, het verstrekken van objectieve, betrouwbare gegevens. Het evalueert selectieve en aanhoudende aandacht, impulsiviteit, reactietijd, auditieve en visuele aandacht, doorzettingsvermogen, kwaliteit van aandachtsgerichtheid, motorische activiteit, werkgeheugen en kosten van taakverandering. Bovendien, samen met de WAIS-IV35 als geheel voor het verzamelen van informatie over de intellectuele vermogen van de deelnemer, besteden we speciale aandacht aan de schalen “werkgeheugen” en “verwerkingssnelheid” omdat ze gerelateerd zijn aan leerproblemen en de resultaten van deze schalen worden gebruikt in de uiteindelijke beslissing. Tot slot nemen we de Autisme Spectrum Quotient (AQ-Short)41 in het protocol, de korte versie van de betrouwbare AQ-Adult van Baron-Cohen, Wheelwright, Skinner, Martin en Clubley42.

Sessie 2 richt zich op een multimodale beoordeling van het leerproces van de deelnemer. De sleutel tot het begrijpen van complex leren ligt in het begrijpen van de inzet van cognitieve, metacognitieve, motiverende en affectieve processen van studenten43. Daartoe werken deelnemers met MetaTutor, waar het gebruik van metacognitieve en cognitieve strategieën wordt waargenomen terwijl ze aan het leren zijn. MetaTutor is een hypermediale leeromgeving die is ontworpen om zelfregulerend leren van studenten op te sporen, te modelleren en te bevorderen terwijl u verschillende wetenschapsonderwerp44leert. Het ontwerp van MetaTutor is gebaseerd op uitgebreid onderzoek door Azevedo en collega’s43,45,46,47 en behoort tot een nieuwe trend in de meting van SRL, de zogenaamde derde golf, die wordt gekenmerkt door gecombineerd gebruik van meet- en geavanceerde leertechnologieën33. Het gebruik van MetaTutor biedt ook multimodale tracegegevens, waarin maatregelen zoals, eye tracking, emotionele fysiologische reacties (galvanische huidrespons (GSR) en gezichtsuitdrukkingen van emoties)48, log-data en vragenlijsten. Al deze maatregelen worden gecombineerd om een dieper begrip van de deelnemers SRL en metacognitie te bereiken.

Eye tracking biedt inzicht in wat onmiddellijk de aandacht trekt, welke doelelementen worden genegeerd, waarin orderelementen worden opgemerkt of hoe elementen zich verhouden tot anderen; elektrodermale activiteit laat ons weten hoe emotionele opwindingsveranderingen in reactie op de omgeving; gezichts-emotie-herkenning maakt de automatische herkenning en analyse van gezichtsuitdrukkingen mogelijk; en data logging verzamelt en slaat de interactie van de student met de leeromgeving voor verdere analyse. Met betrekking tot de vragenlijsten, de Mini International Personality Item Pool49 informeert over een scala aan activiteiten en gedachten die mensen ervaren in het dagelijks leven de beoordeling van elk van de vijf belangrijkste persoonlijkheidskenmerken (extraversie, aangenaamheid, gewetensvolheid, neuroticisme en openheid). De Connotatieve Aspecten van Epistemological Beliefs50 geeft informatie over de overtuigingen van deelnemers over kennis. De Rosenberg Self-esteem schaal laat zien hoe de deelnemers zich voelen over zichzelf in totaal51. De Emotion Regulation Questionnaire52 geeft informatie over de emotieregulatie van de deelnemers. De Achievement Emotions Questionnaire (AEQ)53 informeert over emoties die doorgaans worden ervaren aan de universiteit.

Kortom, het beoordelen van id’s tijdens de volwassenheid is bijzonder moeilijk. Onderwijs en ervaring stellen veel volwassenen in staat om hun tekorten te compenseren en vertonen later ongedifferentieerde of gemaskerde symptomen, waarop wetenschappelijke kennis nog steeds schaars is. Rekening houdend met de kritische onderzoekskloof die ontstaat, is dit huidige werk erop gericht om theoretisch gestuurde, empirisch gebaseerde richtlijnen voor een nauwkeurige beoordeling van ID’s tijdens de volwassenheid te waarborgen om effectieve preventie- en interventieacties te ontwerpen.

Om lezers te helpen beslissen of de beschreven methode geschikt is of niet, is het noodzakelijk om aan te geven dat het protocol niet geschikt is voor mensen met een verstandelijke beperking, omdat hun diagnose de diagnose van leerproblemen ongeldig maakt. Bovendien is het vanwege de singulariteiten van de gebruikte apparatuur en het formaat van het tonen van de leerinhoud nog steeds niet mogelijk om mensen met een motorische handicap (bovenste ledematen, nek en/of gezicht), gehoor- of visuele beperking te evalueren. Ook zou het niet geschikt zijn voor deelnemers met ernstige psychiatrische stoornissen. Het zou het gebruik van geneesmiddelen vereisen die informatieverwerking of de fysiologische uitdrukking van emoties kunnen veranderen.

Protocol

De onderzoeksethiekcommissie van het Vorstendom Asturië en de Universiteit van Oviedo keurde dit protocol goed. 1. Sessie 1: diagnosebeoordeling OPMERKING: In deze sessie van het protocol worden evaluatietests van verschillende uitgevers gebruikt, die hun eigen specifieke toepassings- en interpretatiehandleidingen hebben. Aangezien deze tests, of andere soortgelijke, algemeen bekend zijn bij de wetenschappelijke gemeenschap op het gebied van psychologie en onderwijs,…

Representative Results

Deze sectie illustreert de representatieve resultaten van het protocol, inclusief een voorbeeld van gezamenlijke resultaten van sessie 1 en een voorbeeld van elke bron van informatie uit sessie 2. De resultaten over aandoeningen worden verzameld in sessie 1 door middel van diagnostische tests rekening houdend met de procedures en cut-off punten die zijn gespecificeerd voor de diagnostische beoordeling van de leerproblemen van deelnemers (SLD, ADHD, en ASS). De deskundigencommissie beslist of d…

Discussion

Het huidige protocol stelt een multimodale evaluatie voor die gericht is op metacognitieve, zelfregulering en emotionele processen, die de basis vormen voor de moeilijkheden bij volwassenen met ID’s.

Sessie 1 is essentieel omdat het bedoeld is als een diagnostische beoordeling van de leerstoornissen van de deelnemer. Merk op dat deze sessie hier wordt uitgevoerd door therapeuten met ervaring in het diagnosticeren van ontwikkelings- en leerproblemen in de onderzoeks- en klinische context. We ge…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Dit manuscript werd ondersteund door financiering van de National Science Foundation (DRL#1660878, DRL#1661202, DUE#1761178, DRL#1916417), the Social Sciences and Humanities Research Council of Canada (SSHRC 895-2011-1006), het Ministerie van Wetenschappen en Innovatie I+D+i (PID2019-107201GB-100), en de Europese Unie via de Europese Fondsen voor Regionale Ontwikkeling (EFRO) en het Vorstendom Asturië (FC-GRUPIN-IDI/IDI/000199). Alle adviezen, bevindingen, conclusies, of aanbevelingen uitgedrukt in dit materiaal zijn die van de auteur (s) en niet noodzakelijkerwijs weerspiegelen de standpunten van de National Science Foundation of Social Sciences and Humanities Research Council van Canada. De auteurs willen ook de leden van het SMART Lab van UCF bedanken voor hun hulp en bijdragen.

Materials

AQUARIUM Nesplora
Eye-tracker RED500 Systems SensoMotoric Instruments GmbH
Face API Microsoft
GSR NUL-217 NeuLog

References

  1. American Psychiatric Association. . Diagnostic and statistical manual of mental disorders (5th ed.). , (2013).
  2. World Health Organization. . International statistical classification of diseases and related health problems (11th Revision). , (2018).
  3. . Education’s Individuals with Disabilities Education Act. 2018 Annual Report to Congress on the Individuals with Disabilities Education Act Available from: https://sites.ed.gov/idea/data (2018)
  4. Armstrong, T. The myth of the normal brain: Embracing neurodiversity. AMA Journal of Ethics. 17 (4), 348-352 (2015).
  5. Berenger, C., Roselló, B., Miranda, A., Baixauli, I., Palomero, B. Executive functions and motivation in children with autism spectrum disorder and attention deficit hyperactivity disorder. International Journal of Developmental and Educational Psychology. 1 (1), 103-112 (2016).
  6. Brinkerhoff, L. C., McGuire, J. M., Shaw, S. F. . Postsecondary education and transition for students with learning disabilities (2nd ed.). , (2002).
  7. Allsopp, D. H., Minskoff, E. H., Bolt, L. Individualized course-specific strategy instruction for college students with learning disabilities and ADHD: Lessons learned from a model demonstration project. Learning Disabilities Research & Practice. 20 (2), 103-118 (2005).
  8. Crane, N., Zusho, A., Ding, Y., Cancelli, A. Domain-specific metacognitive calibration in children with learning disabilities. Contemporary Educational Psychology. 50, 72-79 (2017).
  9. Harris, K. R., Reid, R. R., Graham, S., Wong, B. Self-regulation among students with LD and ADHD. Learning about Learning Disabilities. , 167-195 (2004).
  10. National Joint Committee on Learning Disabilities. . Collective Perspectives on Issues Affecting Learning Disabilities. , (1994).
  11. Sawyer, A. C., Williamson, P., Young, R. Metacognitive processes in emotion recognition: Are they different in adults with Asperger’s disorder. Journal of Autism and Developmental Disorders. 44 (6), 1373-1382 (2014).
  12. Meltzer, L. . Executive function in education: From theory to practice. , (2018).
  13. Martino, G., Capri, T., Castriciano, C., Fabio, R. A. Automatic Deficits can lead to executive déficits. Mediterranean Journal of Clinical Psychology. 5 (3), 1-31 (2017).
  14. Fabio, R. A., et al. Frequency bands in seeing and remembering: comparing ADHD and typically developing children. Neuropsychological Trends. 24, 97-116 (2018).
  15. Bernardo, A. B., Esteban, M., Cerezo, R., Muñiz, L. J. Principales variables influyentes en el abandono de titulación en la Universidad de Oviedo. Informe PRIOR: PRoyecto Integral de ORientación Académico-Profesional. , (2013).
  16. Cortiella, C. . Diplomas at risk: A critical look at the graduation rate of students with learning disabilities. , (2013).
  17. Plasman, J. S., Gottfried, M. A. Applied STEM coursework, high school dropout rates, and students with learning disabilities. Educational Policy. 32 (5), 664-696 (2018).
  18. Cortiella, C., Horowitz, S. H. . The state of learning disabilities: Facts, trends and emerging issues (3rd Ed). , (2014).
  19. Chevalier, T. M., Parrila, R., Ritchie, K. C., Deacon, S. H. The role of metacognitive reading strategies, metacognitive study and learning strategies, and behavioral study and learning strategies in predicting academic success in students with and without a history of reading difficulties. Journal of Learning Disabilities. 50 (1), 34-48 (2017).
  20. Goroshit, M., Hen, M. Academic procrastination and academic performance: Do learning disabilities matter. Current Psychology. , 1-9 (2019).
  21. Grinblat, N., Rosenblum, S. Why are they late? Timing abilities and executive control among students with learning disabilities. Research in Developmental Disabilities. 59, 105-114 (2016).
  22. Heiman, T., Fichten, C. S., Olenik-Shemesh, D., Keshet, N. S., Jorgensen, M. Access and perceived ICT usability among students with disabilities attending higher education institutions. Education and Information Technologies. 22 (6), 2727-2740 (2017).
  23. Couzens, D., et al. Support for students with hidden disabilities in universities: A case study. International Journal of Disability. Development and Education. 62 (1), 24-41 (2015).
  24. Schelke, M. W., et al. Diagnosis of developmental learning and attention disorders in adults: A review of clinical modalities. Neurology, Psychiatry and Brain Research. 23, 27-35 (2017).
  25. Madaus, J. W., Shaw, S. F. The impact of the IDEA 2004 on transition to college for students with learning disabilities. Learning Disabilities Research & Practice. 21 (4), 273-281 (2006).
  26. Santos, C. G., Fernández, E., Cerezo, R., Núñez, J. C. Dificultades de aprendizaje en Educación Superior: un reto para la comunidad universitaria. Publicaciones. 48 (1), 63-75 (2018).
  27. Jiménez, L., García, A. J., López-Cepero, J., Saavedra, F. J. The brief-ACRA scale on learning strategies for university students. Revista de Psicodidáctica. 23 (1), 63-69 (2018).
  28. Zimmerman, B. J., Zimmerman, B. J., Schunk, D. H. Motivational sources and outcomes of self-regulated learning and performance. Handbook of Self-Regulation of Learning and Performance. , 49-65 (2011).
  29. Pike, G. R., Kuh, G. D. A tipology of student engagement for Amer-ican colleges and universities. Research in Higher Education. 46, 185-209 (2005).
  30. Winne, P. H., Perry, N. E., Boekaerts, M., Pintrich, P. R., Zeidner, M. Measuring self-regulated learning. Handbook of Self-Regulation. , 531-566 (2000).
  31. Areces, D., Cueli, M., García, T., González-Castro, P., Rodríguez, C. Using brain activation (nir-HEG/Q-EEG) and execution measures (CPTs) in an ADHD assessment protocol. Journal of Visualized Experiments. (134), e56796 (2018).
  32. Azevedo, R., Taub, M., Mudrick, N. V., Alexander, P. A., Schunk, D. H., Greene, J. A. Understanding and reasoning about real-time cognitive, affective, and metacognitive processes to foster self-regulation with advanced learning technologies. Handbook of Self-Regulation of Learning and Performance. , (2017).
  33. Panadero, E., Klug, J., Järvelä, S. Third wave of measurement in the self-regulated learning field: when measurement and intervention come hand in hand. Scandinavian Journal of Educational Research. 60 (6), 723-735 (2016).
  34. Greene, J. A., Azevedo, R. The measurement of learners’ self-regulated cognitive and metacognitive processes while using computer-based learning environments. Educational Psychologist. 45 (4), 203-209 (2010).
  35. Wechsler, D. A. . Wechsler Adult Intelligence Scale (4th ed.). , (2008).
  36. Theiling, J., Petermann, F. Neuropsychological profiles on the WAIS-IV of adults with ADHD. Journal of Attention Disorders. 20 (11), 913-924 (2016).
  37. Cuetos, F., Arribas, D., Ramos, J. L. . Prolec-SE-R, Batería para la evaluación de los procesos lectores en Secundaria y Bachillerato – Revisada. , (2016).
  38. Mayes, S. D., Calhoun, S. L., Crowell, E. W. Learning disabilities and ADHD: Overlapping spectrum disorders. Journal of Learning Disabilities. 33 (5), 417-424 (2000).
  39. Kessler, R. C., et al. The World Health Organization Adult ADHD Self-Report Scale (ASRS): a short screening scale for use in the general population. Psychological Medicine. 35 (2), 245-256 (2005).
  40. Climent, G., Banterla, F., Iriarte, Y. . AULA: Theoretical manual. , (2011).
  41. Hoekstra, R. A., et al. The construction and validation of an abridged version of the autism-spectrum quotient (AQ-Short). Journal of Autism and Developmental Disorders. 41, 589-596 (2010).
  42. Baron-Cohen, S., Wheelwright, S., Skinner, R., Martin, J., Clubley, E. The autism-spectrum quotient (AQ): evidence from Asperger syndrome/high-functioning autism, males and females, scientists and mathematicians. Journal of Autism and Developmental Disorders. 31, 5-17 (2001).
  43. Azevedo, R., Johnson, A., Chauncey, A., Burkett, C., Khine, M., Saleh, I. Self-regulated learning with MetaTutor: Advancing the science of learning with MetaCognitive tools. New Science of Learning. , 225-247 (2010).
  44. Azevedo, R., Witherspoon, A., Chauncey, A., Burkett, C., Fike, A. MetaTutor: A MetaCognitive tool for enhancing self-regulated learning. 2009 AAAI Fall Symposium Series. , (2009).
  45. Azevedo, R. Theoretical, methodological, and analytical challenges in the research on metacognition and self-regulation: A commentary. Metacognition & Learning. 4 (1), 87-95 (2009).
  46. Feyzi-Behnagh, R., Trevors, G., Bouchet, F., Azevedo, R. Aligning multiple sources of SRL data in MetaTutor: Towards interactive scaffolding in multi-agent systems. 18th biennial meeting of the European Association for Research on Learning and Instruction (EARLI). , (2013).
  47. Harley, J. M., et al. Assessing learning with MetaTutor: A Multi-Agent Hypermedia Learning Environment. Annual meeting of the American Educational Research Association. , (2014).
  48. Azevedo, R., Feyzi-Behnagh, R., Harley, J., Bouchet, F. Analyzing temporally unfolding self-regulatory process during learning with multi-agent technologies. EARLI Biannual Conference 2013. , (2013).
  49. Donnellan, M. B., Oswald, F. L., Baird, B. M., Lucas, R. E. The mini-IPIP scales: tiny-yet-effective measures of the Big Five factors of personality. Psychological Assessment. 18 (2), 192 (2006).
  50. Stahl, E., Bromme, R. The CAEB: An instrument for measuring connotative aspects of epistemological beliefs. Learning and Instruction. 17 (6), 773-785 (2007).
  51. Gray-Little, B., Williams, V. S. L., Hancock, T. D. An item response theory analysis of the Rosenberg Self-Esteem Scale. Personality and Social Psychology Bulletin. 23, 443-451 (1997).
  52. Gross, J. J., John, O. P. Individual differences in two emotion regulation processes: implications for affect, relationships, and well-being. Journal of Personality and Social Psychology. 85 (2), 348 (2003).
  53. Pekrun, R., Goetz, T., Frenzel, A. C., Barchfeld, P., Perry, R. P. Measuring emotions in students’ learning and performance: The Achievement Emotions Questionnaire (AEQ). Contemporary Educational Psychology. 36 (1), 36-48 (2011).
  54. American Psychiatric Association. . Diagnostic and statistical manual of mental disorders – reviewed (DSM-IV-TR). , (2000).
  55. . Face API [Computer software] Available from: https://azure.microsoft.com/es-es/services/cognitive-services/face/ (2019)
  56. Picard, R. W. . Affective computing. , (2000).
  57. Grills-Taquechel, A. E., Fletcher, J. M., Vaughn, S. R., Stuebing, K. K. Anxiety and reading difficulties in early elementary school: Evidence for unidirectional-or bi-directional relations. Child Psychiatry & Human Development. 43 (1), 35-47 (2012).
  58. Mammarella, I. C., et al. Anxiety and depression in children with nonverbal learning disabilities, reading disabilities, or typical development. Journal of Learning Disabilities. 49, 130-139 (2014).
  59. Nelson, J. M., Harwood, H. Learning disabilities and anxiety: A meta-analysis. Journal of Learning Disabilities. 44 (1), 3-17 (2011).
  60. Arora, M. R., Sharma, J., Mali, U., Sharma, A., Raina, P. Microsoft Cognitive Services. International Journal of Engineering Science. 8 (4), 17323-17326 (2018).
  61. Bondareva, D., et al. Inferring learning from gaze data during interaction with an environment to support self-regulated learning. International Conference on Artificial Intelligence in Education. , 229-238 (2013).
  62. Mason, L., Tornatora, M. C., Pluchino, P. Do fourth graders integrate text and picture in processing and learning from an illustrated science text? Evidence from eye-movement patterns. Computers & Education. 60 (1), 95-109 (2013).
  63. Duffy, M. C., Azevedo, R. Motivation matters: Interactions between achievement goals and agent scaffolding for self-regulated learning within an intelligent tutoring system. Computers in Human Behavior. 52, 338-348 (2015).
  64. Cerezo, R., et al. Mediating Role of Self-efficacy and Usefulness Between Self-regulated Learning Strategy Knowledge and its Use. Revista de Psicodidáctica. 24 (1), 1-8 (2019).
  65. Mudrick, N. V., Azevedo, R., Taub, M. Integrating metacognitive judgments and eye movements using sequential pattern mining to understand processes underlying multimedia learning. Computers in Human Behavior. 96, 223-234 (2019).
  66. Taub, M., Azevedo, R. How Does Prior Knowledge Influence Eye Fixations and Sequences of Cognitive and Metacognitive SRL Processes during Learning with an Intelligent Tutoring System. International Journal of Artificial Intelligence in Education. 29 (1), 1-28 (2019).
  67. Bogarín, A., Cerezo, R., Romero, C. A survey on educational process mining. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery. 8 (1), 1230 (2018).
  68. Cerezo, R., Bogarín, A., Esteban, M., Romero, C. Process mining for self-regulated learning assessment in e-learning. Journal of Computing in Higher Education. , (2019).
  69. Levenson, R. W. Blood, sweat, and fears. Annals of the New York Academy of Sciences. 1000 (1), 348-366 (2003).
  70. Meer, Y., Breznitz, Z., Katzir, T. Calibration of Self-Reports of Anxiety and Physiological Measures of Anxiety While Reading in Adults With and Without Reading Disability. Dyslexia. 22 (3), 267-284 (2016).
  71. Daley, S. G., Willett, J. B., Fischer, K. W. Emotional responses during reading: Physiological responses predict real-time reading comprehension. Journal of Educational Psychology. 106 (1), 132-143 (2014).
  72. Pekrun, R., Goetz, T., Titz, W., Perry, R. P. Academic emotions in students’ self-regulated learning and achievement: A program of qualitative and quantitative research. Educational Psychologist. 37 (2), 91-105 (2002).
  73. Antonietti, A., Colombo, B., Di Nuzzo, C. Metacognition in self-regulated multimedia learning: Integrating behavioural, psychophysiological and introspective measures. Learning, Media and Technology. 40 (2), 187-209 (2015).
  74. Bogarin, A., Cerezo, R., Romero, C. Discovering learning processes using inductive miner: a case study with Learning Management Systems (LMSs). Psicothema. 30 (3), 322-329 (2018).
  75. Lang, C., Siemens, G., Wise, A., Gašević, D. . Handbook of learning analytics. , (2017).
  76. Romero, C., Ventura, S., Pechenizkiy, M., Baker, R. S. J. . Handbook of educational data mining. , (2010).
  77. Azevedo, R., Gašević, Analyzing Multimodal Multichannel Data about Self-Regulated Learning with Advanced Learning Technologies: Issues and Challenges. Computers in Human Behavior. 96, 207-210 (2019).
  78. Veenman, M. V. J., Van Hout-Wolters, B., Afflerbach, P. Metacognition and Learning: Conceptual and Methodological Considerations. Metacognition Learning. 1, 3-14 (2006).
  79. Brusilovsky, P., Millán, E., Brusilovsky, P., Kobsa, A., Nejdl, W. User models for adaptive hypermedia and adaptive educational systems. The adaptive web. , 3-53 (2007).
  80. Taub, M., et al. using multi-channel data with multi-level modeling to assess in-game performance during gameplay with CRYSTAL ISLAND. Computers in Human Behavior. 76, 641-655 (2017).

Play Video

Cite This Article
Cerezo, R., Fernández, E., Gómez, C., Sánchez-Santillán, M., Taub, M., Azevedo, R. Multimodal Protocol for Assessing Metacognition and Self-Regulation in Adults with Learning Difficulties. J. Vis. Exp. (163), e60331, doi:10.3791/60331 (2020).

View Video