Öğrencilerdeki Dikkat Düzeylerini Tespit Etmek İçin Yapay Zeka Tabanlı Sistem

Modern eğitim ortamlarında, öğrencilerin dikkatini doğru bir şekilde değerlendirmek ve sürdürmek, etkili öğretme ve öğrenme için çok önemlidir. Bununla birlikte, kendi kendine raporlama veya öznel öğretmen gözlemleri gibi geleneksel katılımı ölçme yöntemleri zaman alıcıdır ve önyargılara eğilimlidir. Bu zorluğun üstesinden gelmek için, Yapay Zeka (AI) teknikleri, otomatik dikkat algılama için umut verici çözümler olarak ortaya çıkmıştır. Öğrencilerin katılım düzeylerini anlamanın önemli bir yönü duygu tanımadır¹. Yapay zeka sistemleri, nötr, iğrenme, şaşkınlık, üzüntü, korku, mutluluk ve öfke gibi duyguları tanımlamak için yüz ifadelerini analiz edebilir².

Bakış yönü ve vücut duruşu da öğrencilerin dikkatinin önemli göstergeleridir³. Yapay zeka sistemleri, kameraları ve gelişmiş makine öğrenimi algoritmalarını kullanarak, öğrencilerin nereye baktıklarını doğru bir şekilde izleyebilir ve ilgisizlik veya yorgunluk belirtilerini tespit etmek için vücut duruşlarını analiz edebilir⁴. Ayrıca, biyometrik verilerin dahil edilmesi, dikkat algılamanın doğruluğunu ve güvenilirliğini artırır⁵. Öğrenciler tarafından takılan akıllı saatler aracılığıyla kalp atış hızı ve kan oksijen doygunluğu seviyeleri gibi ölçümler toplanarak, diğer bilgi kaynaklarını tamamlayan objektif dikkat göstergeleri elde edilebilir.

Bu makale, renkli kameralar ve diğer farklı sensörleri kullanarak bireyin dikkat düzeyini değerlendiren bir sistem önermektedir. Eğitimcilere öğretme-öğrenme sürecini optimize etmek ve öğrenci katılımını artırmak için kapsamlı bir araç seti sağlamak için duygu tanıma, bakış yönü analizi, vücut duruşu değerlendirmesi ve biyometrik verileri birleştirir. Eğitimciler bu araçları kullanarak öğretme-öğrenme süreci hakkında kapsamlı bir anlayış kazanabilir ve öğrenci katılımını artırabilir, böylece genel eğitim deneyimini optimize edebilir. Yapay zeka tekniklerini uygulayarak, bu verileri otomatik olarak değerlendirmek bile mümkündür.

Bu çalışmanın temel amacı, tüm bilgileri yakalamamıza izin veren sistemi tanımlamak ve bir kez yakalandıktan sonra, tüm sınıfın dikkatini gerçek zamanlı olarak elde etmemizi sağlayan bir yapay zeka modelini eğitmektir. Diğer çalışmalar zaten görsel veya^{duygusal bilgiler kullanarak} dikkat çekmeyi önermiş olsa da6, bu çalışma, daha karmaşık ve etkili AI tekniklerinin kullanımına izin vermek için bütünsel bir yaklaşım sağlayan bu tekniklerin birlikte kullanılmasını önermektedir. Ayrıca, şimdiye kadar mevcut olan veri kümeleri ya bir dizi video ya da biyometrik verilerden biriyle sınırlıdır. Literatür, öğrencinin yüzünün veya vücudunun görüntüleri, biyometrik veriler, öğretmenin pozisyonuna ilişkin veriler vb. ile eksiksiz veri sağlayan veri kümeleri içermez. Burada sunulan sistem ile bu tür bir veri kümesini yakalamak mümkündür.

Sistem, her zaman noktasında her öğrenciyle bir dikkat düzeyini ilişkilendirir. Bu değer %0 ile %100 arasında bir dikkat olasılık değeri olup, dikkat düzeyi düşük (%0-%40), orta dikkat düzeyi (%40-%75) ve yüksek dikkat düzeyi (%75-%100) olarak yorumlanabilir. Metin boyunca bu dikkat olasılığı, dikkat düzeyi, öğrencinin dikkati ya da öğrencilerin dikkatinin dağılıp dağılmadığı olarak anılır ancak bunların hepsi sistemimizin aynı çıktı değeri ile ilgilidir.

Yıllar geçtikçe, otomatik katılım algılama alanı, eğitimde devrim yaratma potansiyeli nedeniyle önemli ölçüde büyüdü. Araştırmacılar bu çalışma alanı için çeşitli yaklaşımlar önermişlerdir.

Ma ve ^ark.7 , otomatik etkileşim tanıma için bir Nöral Turing Makinesine dayalı yeni bir yöntem tanıttı. Etkileşim tanımanın kapsamlı bir temsilini oluşturmak için göz bakışı, yüz hareket birimleri, baş duruşu ve vücut duruşu gibi belirli özellikleri çıkardılar.

Bir başka yenilikçi sistem olan EyeTab⁸, bir kişinin her iki gözüyle nereye baktığını tahmin etmek için modeller kullandı. Hiçbir değişiklik yapılmadan standart bir tablette sorunsuz çalışacak şekilde özel olarak yapılmıştır. Bu sistem, görüntüleri işlemek ve bilgisayar görüşünü analiz etmek için iyi bilinen algoritmalardan yararlanır. Bakış tahmin boru hattı, Haar benzeri özellik tabanlı bir göz dedektörünün yanı sıra RANSAC tabanlı bir limbus elips uydurma yaklaşımını içerir.

Sanghvi ve ^ark.9 , çocukların davranışlarını yakalayan, yanal bir görünümden kaydedilen videolardan etkileyici postüral özellikleri otomatik olarak çıkarmak için görme temelli tekniklere dayanan bir yaklaşım önermektedir. Bağlamsallaştırılmış duyuşsal postüral ifadeler kullanılarak çoklu tanıma modellerinin eğitimini içeren bir ilk değerlendirme yapılır. Elde edilen sonuçlar, postüral davranış kalıplarının çocukların robotla olan etkileşimini etkili bir şekilde tahmin edebileceğini göstermektedir.

Gupta ve ^ark.10 gibi diğer çalışmalarda, yüz ifadelerini analiz ederek ve duygularını sınıflandırarak çevrimiçi öğrenenlerin gerçek zamanlı katılımını tespit etmek için derin öğrenme tabanlı bir yöntem kullanılmaktadır. Yaklaşım, iki etkileşim durumunu tahmin eden bir etkileşim indeksi (EI) hesaplamak için yüz duygu tanımayı kullanır: nişanlı ve nişansız. Inception-V3, VGG19 ve ResNet-50 dahil olmak üzere çeşitli derin öğrenme modelleri, gerçek zamanlı etkileşim tespiti için en etkili tahmine dayalı sınıflandırma modelini belirlemek üzere değerlendirilir ve karşılaştırılır.

Altuwairqi ve ^ark.11’de araştırmacılar, öğrenci katılım düzeylerini gerçek zamanlı olarak değerlendirmek için yeni bir otomatik multimodal yaklaşım sunmaktadır. Doğru ve güvenilir ölçümler sağlamak için ekip, öğrencilerin davranışlarını yakalayan üç farklı yöntemi entegre etti ve analiz etti: duygular için yüz ifadeleri, klavye tuş vuruşları ve fare hareketleri.

Guillén ve ^ark.12 , bir görevi yerine getirirken bireylerde bilişsel dikkatin varlığını veya yokluğunu analiz etmek ve tahmin etmek için birincil fizyolojik sinyal olarak elektrokardiyografiyi (EKG) kullanan bir izleme sisteminin geliştirilmesini önermektedir.

Alban ve ^ark.13 , hem zaman hem de frekans alanlarında çeşitli katılımcıların kalp atış hızı (HR) ve elektrodermal aktivite (EDA) değerlerini analiz ederek duyguları tespit etmek için bir sinir ağı (NN) kullanır. Ardışık farklılıkların (RMSDD) kök-ortalama-karesindeki bir artışın ve standart sapma normal-normal (SDNN) aralıklarının, ortalama HR’deki bir azalma ile birleştiğinde, sempatik sinir sisteminde korku ile ilişkili artan aktiviteyi gösterdiğini bulmuşlardır.

Kajiwara ve ^ark.14 , çalışanların duygu ve katılım düzeyini tahmin etmek için giyilebilir sensörler ve derin sinir ağları kullanan yenilikçi bir sistem önermektedir. Sistem üç aşamalı bir süreç izler. Başlangıçta, giyilebilir sensörler davranışlar ve nabız dalgaları hakkında veri toplar ve toplar. Daha sonra, zaman serisi özellikleri, elde edilen davranışsal ve fizyolojik verilere dayalı olarak hesaplanır. Son olarak, derin sinir ağları, zaman serisi özelliklerini girmek ve bireyin duyguları ve katılım seviyeleri hakkında tahminlerde bulunmak için kullanılır.

Costante ve ^ark.15 gibi diğer araştırmalarda, kullanıcı tanımlı hareketlerin tanınmasını geliştirmek için önceden tanımlanmış bir dizi hareketin önceki bilgilerini kullanan yeni bir transfer metriği öğrenme algoritmasına dayalı bir yaklaşım önerilmiştir. Bu iyileştirme, ek eğitim örneklerine en az güvenilerek elde edilir. Benzer şekilde, karmaşık insan faaliyetlerinin kişisel olmayan tanınması hedefini ele almak için sensör tabanlı bir insan etkinliği tanıma çerçevesi¹⁶ sunulmuştur. Bileğe takılan sensörlerden toplanan sinyal verileri, giyilebilir cihazın kullanıcısı tarafından gerçekleştirilen aktiviteleri araştırmak için dört RNN tabanlı DL modeli (Uzun-Kısa Süreli Anılar, Çift Yönlü Uzun-Kısa Süreli Anılar, Geçitli Tekrarlayan Birimler ve Çift Yönlü Kapılı Tekrarlayan Birimler) kullanılarak geliştirilen insan aktivitesi tanıma çerçevesinde kullanılır.