מערכת מבוססת בינה מלאכותית לאיתור רמות קשב אצל תלמידים

במסגרות חינוכיות מודרניות, הערכה מדויקת ושמירה על תשומת הלב של התלמידים היא חיונית להוראה וללמידה אפקטיביות. עם זאת, שיטות מסורתיות למדידת מעורבות, כגון דיווח עצמי או תצפיות סובייקטיביות של מורים, גוזלות זמן רב ומועדות להטיות. כדי להתמודד עם אתגר זה, טכניקות בינה מלאכותית (AI) התגלו כפתרונות מבטיחים לזיהוי קשב אוטומטי. היבט משמעותי אחד של הבנת רמות המעורבות של התלמידים הוא זיהוי רגש¹. מערכות AI יכולות לנתח הבעות פנים כדי לזהות רגשות, כגון ניטרלי, גועל, הפתעה, עצב, פחד, שמחה וכעס².

כיוון המבט ותנוחת הגוף הם גם אינדיקטורים מכריעים לתשומת הלב של התלמידים³. על ידי שימוש במצלמות ואלגוריתמים מתקדמים של למידת מכונה, מערכות AI יכולות לעקוב במדויק לאן התלמידים מסתכלים ולנתח את תנוחת הגוף שלהם כדי לזהות סימנים של חוסר עניין או עייפות⁴. יתר על כן, שילוב נתונים ביומטריים משפר את הדיוק והאמינות של זיהוי קשב⁵. על ידי איסוף מדידות, כגון קצב לב ורמות ריווי חמצן בדם, באמצעות שעונים חכמים שענדו התלמידים, ניתן להשיג אינדיקטורים אובייקטיביים של תשומת לב, המשלימים מקורות מידע אחרים.

מאמר זה מציע מערכת המעריכה את רמת הקשב של הפרט באמצעות מצלמות צבע וחיישנים שונים אחרים. הוא משלב זיהוי רגשות, ניתוח כיוון מבט, הערכת תנוחת גוף ונתונים ביומטריים כדי לספק למחנכים סט מקיף של כלים לייעול תהליך ההוראה-למידה ושיפור מעורבות התלמידים. על ידי שימוש בכלים אלה, מחנכים יכולים להשיג הבנה מקיפה של תהליך ההוראה-למידה ולשפר את מעורבות התלמידים, ובכך לייעל את החוויה החינוכית הכוללת. על ידי יישום טכניקות AI, ניתן אפילו להעריך נתונים אלה באופן אוטומטי.

המטרה העיקרית של עבודה זו היא לתאר את המערכת המאפשרת לנו ללכוד את כל המידע, ולאחר שנלכד, לאמן מודל AI המאפשר לנו להשיג את תשומת הלב של כל הכיתה בזמן אמת. למרות שעבודות אחרות כבר הציעו ללכוד תשומת לב באמצעות מידע חזותי או רגשי⁶, עבודה זו מציעה שימוש משולב בטכניקות אלה, המספקת גישה הוליסטית המאפשרת שימוש בטכניקות AI מורכבות ויעילות יותר. יתר על כן, מערכי הנתונים הזמינים עד כה מוגבלים לסט סרטונים או אחד של נתונים ביומטריים. הספרות אינה כוללת מערכי נתונים המספקים נתונים מלאים עם תמונות של פני התלמיד או גופו, נתונים ביומטריים, נתונים על עמדת המורה ועוד. עם המערכת המוצגת כאן, ניתן ללכוד סוג זה של מערך נתונים.

המערכת משייכת רמת קשב לכל תלמיד בכל נקודת זמן. ערך זה הוא ערך הסתברותי של קשב בין 0% ל-100%, אשר יכול להתפרש כרמת קשב נמוכה (0%-40%), רמת קשב בינונית (40%-75%) ורמת קשב גבוהה (75%-100%). לאורך כל הטקסט, הסתברות זו של תשומת לב מכונה רמת הקשב, תשומת הלב של התלמידים, או אם התלמידים מוסחים או לא, אבל כל אלה קשורים לאותו ערך פלט של המערכת שלנו.

במהלך השנים, תחום זיהוי המעורבות האוטומטי גדל באופן משמעותי בשל הפוטנציאל שלו לחולל מהפכה בחינוך. חוקרים הציעו גישות שונות לתחום מחקר זה.

Ma et ^al.7 הציגו שיטה חדשנית המבוססת על מכונת טיורינג עצבית לזיהוי אוטומטי של מעורבות. הם חילצו תכונות מסוימות, כגון מבט עיניים, יחידות פעולה בפנים, תנוחת ראש ותנוחת גוף, כדי ליצור ייצוג מקיף של זיהוי מעורבות.

EyeTab⁸, מערכת חדשנית נוספת, השתמשה במודלים כדי להעריך לאן מישהו מסתכל בשתי עיניו. זה נעשה במיוחד כדי לעבוד בצורה חלקה על לוח סטנדרטי ללא שינויים. מערכת זו רותמת אלגוריתמים מוכרים לעיבוד תמונות ולניתוח ראייה ממוחשבת. צינור הערכת המבט שלהם כולל גלאי עיניים מבוסס תכונות דמוי Haar, כמו גם גישת התאמת אליפסת לימבוס מבוססת RANSAC.

Sanghvi et ^al.9 מציעים גישה המסתמכת על טכניקות מבוססות ראייה כדי לחלץ באופן אוטומטי תכונות יציבה אקספרסיביות מסרטונים שהוקלטו ממבט רוחבי, ולוכדים את התנהגות הילדים. הערכה ראשונית מבוצעת, הכוללת אימון של מודלים מרובים לזיהוי באמצעות ביטויי יציבה רגשית הקשרית. התוצאות שהתקבלו מראות כי דפוסי התנהגות יציבה יכולים לחזות ביעילות את מעורבות הילדים עם הרובוט.

בעבודות אחרות, כגון Gupta et ^al.10, משתמשים בשיטה מבוססת למידה עמוקה כדי לזהות את המעורבות בזמן אמת של לומדים מקוונים על ידי ניתוח הבעות הפנים שלהם וסיווג רגשותיהם. הגישה משתמשת בזיהוי רגשות פנים כדי לחשב מדד מעורבות (EI) המנבא שני מצבי מעורבות: מעורב ומנותק. מודלים שונים של למידה עמוקה, כולל Inception-V3, VGG19 ו- ResNet-50, מוערכים ומושווים כדי לזהות את מודל הסיווג החיזוי היעיל ביותר לזיהוי מעורבות בזמן אמת.

ב- Altuwairqi et ^al.11, החוקרים מציגים גישה רב-מודאלית אוטומטית חדשנית להערכת רמות מעורבות התלמידים בזמן אמת. כדי להבטיח מדידות מדויקות ומהימנות, הצוות שילב וניתח שלוש שיטות שונות שלוכדות את התנהגויות התלמידים: הבעות פנים לרגשות, הקשות מקלדת ותנועות עכבר.

Guillén et ^al.12 מציעים פיתוח של מערכת ניטור המשתמשת אלקטרוקרדיוגרפיה (ECG) כאות פיזיולוגי ראשוני לנתח ולחזות את נוכחותה או היעדרה של תשומת לב קוגניטיבית אצל אנשים בעת ביצוע משימה.

Alban et ^al.13 משתמשים ברשת עצבית (NN) כדי לזהות רגשות על ידי ניתוח ערכי קצב הלב (HR) והפעילות האלקטרודרמלית (EDA) של משתתפים שונים הן בתחום הזמן והן בתחום התדר. הם מצאו כי עלייה בריבוע השורש-ממוצע של הבדלים עוקבים (RMSDD) וסטיית התקן בין המרווחים נורמליים לנורמה (SDNN), יחד עם ירידה בדופק הממוצע, מצביעים על פעילות מוגברת במערכת העצבים הסימפתטית, הקשורה לפחד.

Kajiwara et ^al.14 מציעים מערכת חדשנית המשתמשת בחיישנים לבישים ורשתות עצביות עמוקות כדי לחזות את רמת הרגש והמעורבות של העובדים. המערכת עוקבת אחר תהליך בן שלושה שלבים. בתחילה, חיישנים לבישים לוכדים ואוספים נתונים על התנהגויות וגלי דופק. לאחר מכן, תכונות סדרות הזמן מחושבות בהתבסס על הנתונים ההתנהגותיים והפיזיולוגיים שנרכשו. לבסוף, רשתות עצביות עמוקות משמשות כדי להזין את תכונות סדרת הזמן ולבצע תחזיות על הרגשות ורמות המעורבות של הפרט.

במחקר אחר, כגון Costante et ^al.15, מוצעת גישה המבוססת על אלגוריתם למידה מדדי העברה חדשני, המשתמש בידע מוקדם של קבוצה מוגדרת מראש של מחוות כדי לשפר את הזיהוי של מחוות המוגדרות על ידי המשתמש. שיפור זה מושג תוך הסתמכות מינימלית על דגימות אימון נוספות. באופן דומה, מסגרת זיהוי פעילות אנושית מבוססת חיישנים¹⁶ מוצגת כדי לטפל במטרה של זיהוי לא אישי של פעילויות אנושיות מורכבות. נתוני אותות הנאספים מחיישנים הנענדים על פרק כף היד משמשים במסגרת זיהוי הפעילות האנושית שפותחה, תוך שימוש בארבעה דגמי DL מבוססי RNN (זיכרונות לטווח ארוך-קצר, זיכרונות דו-כיווניים לטווח ארוך-קצר, יחידות חוזרות מגודרות ויחידות חוזרות מגודרות דו-כיווניות) כדי לחקור את הפעילויות המבוצעות על ידי המשתמש במכשיר הלביש.