מערכת מבוססת בינה מלאכותית לאיתור רמות קשב אצל תלמידים
Summary
מאמר זה מציע מערכת מבוססת בינה מלאכותית כדי לזהות באופן אוטומטי אם התלמידים שמים לב לכיתה או מוסחים. מערכת זו נועדה לסייע למורים לשמור על תשומת הלב של התלמידים, לייעל את השיעורים שלהם ולהכניס שינויים באופן דינמי על מנת שהם יהיו מרתקים יותר.
Abstract
ניתן לשפר את רמת הקשב של התלמידים בכיתה באמצעות שימוש בטכניקות בינה מלאכותית (AI). על ידי זיהוי אוטומטי של רמת הקשב, מורים יכולים להשתמש באסטרטגיות כדי להחזיר את המיקוד של התלמידים. ניתן להשיג זאת באמצעות מקורות מידע שונים.
מקור אחד הוא לנתח את הרגשות המשתקפים על פניהם של התלמידים. בינה מלאכותית יכולה לזהות רגשות, כגון ניטרלי, גועל, הפתעה, עצב, פחד, שמחה וכעס. בנוסף, כיוון המבט של התלמידים יכול גם להצביע על רמת הקשב שלהם. מקור נוסף הוא התבוננות בתנוחת הגוף של התלמידים. באמצעות מצלמות וטכניקות למידה עמוקה, ניתן לנתח יציבה כדי לקבוע את רמת הקשב. לדוגמה, תלמידים שרועים או מניחים את ראשם על שולחנם עשויים להיות בעלי רמה נמוכה יותר של תשומת לב. שעונים חכמים המופצים לתלמידים יכולים לספק נתונים ביומטריים ואחרים, כולל מדידת דופק ומדידות אינרציאליות, שיכולים לשמש גם כאינדיקטורים לתשומת לב. על ידי שילוב מקורות מידע אלה, ניתן לאמן מערכת AI לזהות את רמת הקשב בכיתה. עם זאת, שילוב סוגי הנתונים השונים מציב אתגר הדורש יצירת ערכת נתונים מתויגת. מומחים ומחקרים קיימים מתייעצים לגבי תיוג מדויק. במאמר זה, אנו מציעים שילוב של מדידות כאלה ויצירת מערך נתונים ומסווג תשומת לב פוטנציאלי. כדי לספק משוב למורה, אנו חוקרים שיטות שונות, כגון שעונים חכמים או מחשבים ישירים. ברגע שהמורה הופך מודע לבעיות קשב, הוא יכול להתאים את גישת ההוראה שלו כדי לעורר מחדש מעורבות ולהניע את התלמידים. לסיכום, טכניקות AI יכולות לזהות באופן אוטומטי את רמת הקשב של התלמידים על ידי ניתוח רגשותיהם, כיוון מבטם, תנוחת הגוף ונתונים ביומטריים. מידע זה יכול לסייע למורים לייעל את תהליך ההוראה-למידה.
Introduction
במסגרות חינוכיות מודרניות, הערכה מדויקת ושמירה על תשומת הלב של התלמידים היא חיונית להוראה וללמידה אפקטיביות. עם זאת, שיטות מסורתיות למדידת מעורבות, כגון דיווח עצמי או תצפיות סובייקטיביות של מורים, גוזלות זמן רב ומועדות להטיות. כדי להתמודד עם אתגר זה, טכניקות בינה מלאכותית (AI) התגלו כפתרונות מבטיחים לזיהוי קשב אוטומטי. היבט משמעותי אחד של הבנת רמות המעורבות של התלמידים הוא זיהוי רגש1. מערכות AI יכולות לנתח הבעות פנים כדי לזהות רגשות, כגון ניטרלי, גועל, הפתעה, עצב, פחד, שמחה וכעס2.
כיוון המבט ותנוחת הגוף הם גם אינדיקטורים מכריעים לתשומת הלב של התלמידים3. על ידי שימוש במצלמות ואלגוריתמים מתקדמים של למידת מכונה, מערכות AI יכולות לעקוב במדויק לאן התלמידים מסתכלים ולנתח את תנוחת הגוף שלהם כדי לזהות סימנים של חוסר עניין או עייפות4. יתר על כן, שילוב נתונים ביומטריים משפר את הדיוק והאמינות של זיהוי קשב5. על ידי איסוף מדידות, כגון קצב לב ורמות ריווי חמצן בדם, באמצעות שעונים חכמים שענדו התלמידים, ניתן להשיג אינדיקטורים אובייקטיביים של תשומת לב, המשלימים מקורות מידע אחרים.
מאמר זה מציע מערכת המעריכה את רמת הקשב של הפרט באמצעות מצלמות צבע וחיישנים שונים אחרים. הוא משלב זיהוי רגשות, ניתוח כיוון מבט, הערכת תנוחת גוף ונתונים ביומטריים כדי לספק למחנכים סט מקיף של כלים לייעול תהליך ההוראה-למידה ושיפור מעורבות התלמידים. על ידי שימוש בכלים אלה, מחנכים יכולים להשיג הבנה מקיפה של תהליך ההוראה-למידה ולשפר את מעורבות התלמידים, ובכך לייעל את החוויה החינוכית הכוללת. על ידי יישום טכניקות AI, ניתן אפילו להעריך נתונים אלה באופן אוטומטי.
המטרה העיקרית של עבודה זו היא לתאר את המערכת המאפשרת לנו ללכוד את כל המידע, ולאחר שנלכד, לאמן מודל AI המאפשר לנו להשיג את תשומת הלב של כל הכיתה בזמן אמת. למרות שעבודות אחרות כבר הציעו ללכוד תשומת לב באמצעות מידע חזותי או רגשי6, עבודה זו מציעה שימוש משולב בטכניקות אלה, המספקת גישה הוליסטית המאפשרת שימוש בטכניקות AI מורכבות ויעילות יותר. יתר על כן, מערכי הנתונים הזמינים עד כה מוגבלים לסט סרטונים או אחד של נתונים ביומטריים. הספרות אינה כוללת מערכי נתונים המספקים נתונים מלאים עם תמונות של פני התלמיד או גופו, נתונים ביומטריים, נתונים על עמדת המורה ועוד. עם המערכת המוצגת כאן, ניתן ללכוד סוג זה של מערך נתונים.
המערכת משייכת רמת קשב לכל תלמיד בכל נקודת זמן. ערך זה הוא ערך הסתברותי של קשב בין 0% ל-100%, אשר יכול להתפרש כרמת קשב נמוכה (0%-40%), רמת קשב בינונית (40%-75%) ורמת קשב גבוהה (75%-100%). לאורך כל הטקסט, הסתברות זו של תשומת לב מכונה רמת הקשב, תשומת הלב של התלמידים, או אם התלמידים מוסחים או לא, אבל כל אלה קשורים לאותו ערך פלט של המערכת שלנו.
במהלך השנים, תחום זיהוי המעורבות האוטומטי גדל באופן משמעותי בשל הפוטנציאל שלו לחולל מהפכה בחינוך. חוקרים הציעו גישות שונות לתחום מחקר זה.
Ma et al.7 הציגו שיטה חדשנית המבוססת על מכונת טיורינג עצבית לזיהוי אוטומטי של מעורבות. הם חילצו תכונות מסוימות, כגון מבט עיניים, יחידות פעולה בפנים, תנוחת ראש ותנוחת גוף, כדי ליצור ייצוג מקיף של זיהוי מעורבות.
EyeTab8, מערכת חדשנית נוספת, השתמשה במודלים כדי להעריך לאן מישהו מסתכל בשתי עיניו. זה נעשה במיוחד כדי לעבוד בצורה חלקה על לוח סטנדרטי ללא שינויים. מערכת זו רותמת אלגוריתמים מוכרים לעיבוד תמונות ולניתוח ראייה ממוחשבת. צינור הערכת המבט שלהם כולל גלאי עיניים מבוסס תכונות דמוי Haar, כמו גם גישת התאמת אליפסת לימבוס מבוססת RANSAC.
Sanghvi et al.9 מציעים גישה המסתמכת על טכניקות מבוססות ראייה כדי לחלץ באופן אוטומטי תכונות יציבה אקספרסיביות מסרטונים שהוקלטו ממבט רוחבי, ולוכדים את התנהגות הילדים. הערכה ראשונית מבוצעת, הכוללת אימון של מודלים מרובים לזיהוי באמצעות ביטויי יציבה רגשית הקשרית. התוצאות שהתקבלו מראות כי דפוסי התנהגות יציבה יכולים לחזות ביעילות את מעורבות הילדים עם הרובוט.
בעבודות אחרות, כגון Gupta et al.10, משתמשים בשיטה מבוססת למידה עמוקה כדי לזהות את המעורבות בזמן אמת של לומדים מקוונים על ידי ניתוח הבעות הפנים שלהם וסיווג רגשותיהם. הגישה משתמשת בזיהוי רגשות פנים כדי לחשב מדד מעורבות (EI) המנבא שני מצבי מעורבות: מעורב ומנותק. מודלים שונים של למידה עמוקה, כולל Inception-V3, VGG19 ו- ResNet-50, מוערכים ומושווים כדי לזהות את מודל הסיווג החיזוי היעיל ביותר לזיהוי מעורבות בזמן אמת.
ב- Altuwairqi et al.11, החוקרים מציגים גישה רב-מודאלית אוטומטית חדשנית להערכת רמות מעורבות התלמידים בזמן אמת. כדי להבטיח מדידות מדויקות ומהימנות, הצוות שילב וניתח שלוש שיטות שונות שלוכדות את התנהגויות התלמידים: הבעות פנים לרגשות, הקשות מקלדת ותנועות עכבר.
Guillén et al.12 מציעים פיתוח של מערכת ניטור המשתמשת אלקטרוקרדיוגרפיה (ECG) כאות פיזיולוגי ראשוני לנתח ולחזות את נוכחותה או היעדרה של תשומת לב קוגניטיבית אצל אנשים בעת ביצוע משימה.
Alban et al.13 משתמשים ברשת עצבית (NN) כדי לזהות רגשות על ידי ניתוח ערכי קצב הלב (HR) והפעילות האלקטרודרמלית (EDA) של משתתפים שונים הן בתחום הזמן והן בתחום התדר. הם מצאו כי עלייה בריבוע השורש-ממוצע של הבדלים עוקבים (RMSDD) וסטיית התקן בין המרווחים נורמליים לנורמה (SDNN), יחד עם ירידה בדופק הממוצע, מצביעים על פעילות מוגברת במערכת העצבים הסימפתטית, הקשורה לפחד.
Kajiwara et al.14 מציעים מערכת חדשנית המשתמשת בחיישנים לבישים ורשתות עצביות עמוקות כדי לחזות את רמת הרגש והמעורבות של העובדים. המערכת עוקבת אחר תהליך בן שלושה שלבים. בתחילה, חיישנים לבישים לוכדים ואוספים נתונים על התנהגויות וגלי דופק. לאחר מכן, תכונות סדרות הזמן מחושבות בהתבסס על הנתונים ההתנהגותיים והפיזיולוגיים שנרכשו. לבסוף, רשתות עצביות עמוקות משמשות כדי להזין את תכונות סדרת הזמן ולבצע תחזיות על הרגשות ורמות המעורבות של הפרט.
במחקר אחר, כגון Costante et al.15, מוצעת גישה המבוססת על אלגוריתם למידה מדדי העברה חדשני, המשתמש בידע מוקדם של קבוצה מוגדרת מראש של מחוות כדי לשפר את הזיהוי של מחוות המוגדרות על ידי המשתמש. שיפור זה מושג תוך הסתמכות מינימלית על דגימות אימון נוספות. באופן דומה, מסגרת זיהוי פעילות אנושית מבוססת חיישנים16 מוצגת כדי לטפל במטרה של זיהוי לא אישי של פעילויות אנושיות מורכבות. נתוני אותות הנאספים מחיישנים הנענדים על פרק כף היד משמשים במסגרת זיהוי הפעילות האנושית שפותחה, תוך שימוש בארבעה דגמי DL מבוססי RNN (זיכרונות לטווח ארוך-קצר, זיכרונות דו-כיווניים לטווח ארוך-קצר, יחידות חוזרות מגודרות ויחידות חוזרות מגודרות דו-כיווניות) כדי לחקור את הפעילויות המבוצעות על ידי המשתמש במכשיר הלביש.
Protocol
Representative Results
Discussion
עבודה זו מציגה מערכת המודדת את רמת הקשב של תלמיד בכיתה באמצעות מצלמות, שעונים חכמים ואלגוריתמים של בינה מלאכותית. מידע זה מוצג לאחר מכן למורה כדי שיהיה להם מושג על המצב הכללי של הכיתה.
אחד השלבים הקריטיים העיקריים של הפרוטוקול הוא סנכרון של מידע השעון החכם עם תמונת המצלמה הצ…
Divulgaciones
The authors have nothing to disclose.
Acknowledgements
עבודה זו פותחה במימון Programa Prometeo, מזהה פרויקט CIPROM/2021/017. פרופ’ רוזבל רויג היא יו”ר אונסק”ו “חינוך, מחקר והכללה דיגיטלית”.
Materials
| 4 GPUs Nvidia A40 Ampere | NVIDIA | TCSA40M-PB | GPU for centralized model processing server |
| FusionServer 2288H V5 | X-Fusion | 02311XBK | Platform that includes power supply and motherboard for centralized model processing server |
| Memory Card Evo Plus 128 GB | Samsung | MB-MC128KA/EU | Memory card for the operation of the raspberry pi 4b 2gb. One for each raspberry. |
| NEMIX RAM – 512 GB Kit DDR4-3200 PC4-25600 8Rx4 EC | NEMIX | M393AAG40M32-CAE | RAM for centralized model processing server |
| Processor Intel Xeon Gold 6330 | Intel | CD8068904572101 | Processor for centralized model processing server |
| Raspberry PI 4B 2GB | Raspberry | 1822095 | Local server that receives requests from the clocks and sends them to the general server. One every two students. |
| Samsung Galaxy Watch 5 (40mm) | Samsung | SM-R900NZAAPHE | Clock that monitors each student's activity. For each student. |
| Samsung MZQL23T8HCLS-00B7C PM9A3 3.84Tb Nvme U.2 PCI-Express-4 x4 2.5inch Ssd | Samsung | MZQL23T8HCLS-00B7C | Internal storage for centralized model processing server |
| WebCam HD Pro C920 Webcam FullHD | Logitech | 960-001055 | Webcam HD. One for each student plus two for student poses. |
Referencias
- Hasnine, M. N., et al. Students’ emotion extraction and visualization for engagement detection in online learning. Procedia Comp Sci. 192, 3423-3431 (2021).
- Khare, S. K., Blanes-Vidal, V., Nadimi, E. S., Acharya, U. R. Emotion recognition and artificial intelligence: A systematic review (2014-2023) and research recommendations. Info Fusion. 102, 102019 (2024).
- Bosch, N. Detecting student engagement: Human versus machine. UMAP ’16: Proc the 2016 Conf User Model Adapt Personal. , 317-320 (2016).
- Araya, R., Sossa-Rivera, J. Automatic detection of gaze and body orientation in elementary school classrooms. Front Robot AI. 8, 729832 (2021).
- Lu, Y., Zhang, J., Li, B., Chen, P., Zhuang, Z. Harnessing commodity wearable devices for capturing learner engagement. IEEE Access. 7, 15749-15757 (2019).
- Vanneste, P., et al. Computer vision and human behaviour, emotion and cognition detection: A use case on student engagement. Mathematics. 9 (3), 287 (2021).
- Ma, X., Xu, M., Dong, Y., Sun, Z. Automatic student engagement in online learning environment based on neural Turing machine. Int J Info Edu Tech. 11 (3), 107-111 (2021).
- Wood, E., Bulling, A. EyeTab: model-based gaze estimation on unmodified tablet computers. ETRA ’14: Proc Symp Eye Tracking Res Appl. , 207-210 (2014).
- Sanghvi, J., et al. Automatic analysis of affective postures and body motion to detect engagement with a game companion. HRI ’11: Proc 6th Int Conf Human-robot Interact. , 205-211 (2011).
- Gupta, S., Kumar, P., Tekchandani, R. K. Facial emotion recognition based real-time learner engagement detection system in online learning context using deep learning models. Multimed Tools Appl. 82 (8), 11365-11394 (2023).
- Altuwairqi, K., Jarraya, S. K., Allinjawi, A., Hammami, M. Student behavior analysis to measure engagement levels in online learning environments. Signal Image Video Process. 15 (7), 1387-1395 (2021).
- Belle, A., Hargraves, R. H., Najarian, K. An automated optimal engagement and attention detection system using electrocardiogram. Comput Math Methods Med. 2012, 528781 (2012).
- Alban, A. Q., et al. Heart rate as a predictor of challenging behaviours among children with autism from wearable sensors in social robot interactions. Robotics. 12 (2), 55 (2023).
- Kajiwara, Y., Shimauchi, T., Kimura, H. Predicting emotion and engagement of workers in order picking based on behavior and pulse waves acquired by wearable devices. Sensors. 19 (1), 165 (2019).
- Costante, G., Porzi, L., Lanz, O., Valigi, P., Ricci, E. Personalizing a smartwatch-based gesture interface with transfer learning. , 2530-2534 (2014).
- Mekruksavanich, S., Jitpattanakul, A. Deep convolutional neural network with RNNs for complex activity recognition using wrist-worn wearable sensor data. Electronics. 10 (14), 1685 (2021).
- Bazarevsky, V., Kartynnik, Y., Vakunov, A., Raveendran, K., Grundmann, M. BlazeFace: Sub-millisecond Neural Face Detection on Mobile GPUs. arXiv. , (2019).
- Bazarevsky, V., et al. BlazePose: On-device Real-time Body Pose tracking. arXiv. , (2020).
- Mejia-Escobar, C., Cazorla, M., Martinez-Martin, E. Towards a better performance in facial expression recognition: a data-centric approach. Comput Intelligence Neurosci. , (2023).
- El-Garem, A., Adel, R. Applying systematic literature review and Delphi methods to explore digital transformation key success factors. Int J Eco Mgmt Engi. 16 (7), 383-389 (2022).
- Indumathi, V., Kist, A. A. Using electroencephalography to determine student attention in the classroom. , 1-3 (2023).
- Ma, X., Xie, Y., Wang, H. Research on the construction and application of teacher-student interaction evaluation system for smart classroom in the post COVID-19. Studies Edu Eval. 78, 101286 (2023).
- Andersen, D. Constructing Delphi statements for technology foresight. Futures Foresight Sci. 5 (2), e144 (2022).
- Khodyakov, D., et al. Disciplinary trends in the use of the Delphi method: A bibliometric analysis. PLoS One. 18 (8), e0289009 (2023).
- Martins, A. I., et al. Consensus on the Terms and Procedures for Planning and Reporting a Usability Evaluation of Health-Related Digital Solutions: Delphi Study and a Resulting Checklist. J Medical Internet Res. 25, e44326 (2023).
- Dalmaso, M., Castelli, L., Galfano, G. Social modulators of gaze-mediated orienting of attention: A review. Psychon Bull Rev. 27 (5), 833-855 (2020).
- Klein, R. M. Thinking about attention: Successive approximations to a productive taxonomy. Cognition. 225, 105137 (2022).
- Schindler, S., Bublatzky, F. Attention and emotion: An integrative review of emotional face processing as a function of attention. Cortex. 130, 362-386 (2020).
- Zaletelj, J., Košir, A. Predicting students’ attention in the classroom from Kinect facial and body features. J Image Video Proc. 80, (2017).
- Strauch, C., Wang, C. A., Einhäuser, W., Van der Stigchel, S., Naber, M. Pupillometry as an integrated readout of distinct attentional networks. Trends Neurosci. 45 (8), 635-647 (2022).
