Система определения уровня внимания у учащихся на основе искусственного интеллекта

В современных образовательных учреждениях точная оценка и удержание внимания учащихся имеет решающее значение для эффективного преподавания и обучения. Тем не менее, традиционные методы измерения вовлеченности, такие как самоотчетность или субъективные наблюдения учителя, отнимают много времени и подвержены предубеждениям. Для решения этой проблемы методы искусственного интеллекта (ИИ) стали многообещающими решениями для автоматизированного обнаружения внимания. Одним из важных аспектов понимания уровня вовлеченности учащихся является распознавание эмоций¹. Системы искусственного интеллекта могут анализировать выражения лица для выявления таких эмоций, как нейтральность, отвращение, удивление, печаль, страх, счастье и гнев.

Направление взгляда и положение тела также являются важными показателями внимания учащихся³. Используя камеры и передовые алгоритмы машинного обучения, системы искусственного интеллекта могут точно отслеживать, куда смотрят учащиеся, и анализировать их положение тела, чтобы обнаружить признаки отсутствия интереса или усталости⁴. Кроме того, включение биометрических данных повышает точность и надежность обнаружения внимания⁵. Собирая измерения, такие как частота сердечных сокращений и уровень насыщения крови кислородом, с помощью умных часов, которые носят учащиеся, можно получить объективные показатели внимания, дополняющие другие источники информации.

В этой статье предлагается система, которая оценивает уровень внимания человека с помощью цветных камер и других различных сенсоров. Он сочетает в себе распознавание эмоций, анализ направления взгляда, оценку осанки тела и биометрические данные, чтобы предоставить преподавателям полный набор инструментов для оптимизации процесса преподавания и обучения и повышения вовлеченности учащихся. Используя эти инструменты, преподаватели могут получить всестороннее представление о процессе преподавания и обучения и повысить вовлеченность учащихся, тем самым оптимизируя общий образовательный опыт. Применяя методы искусственного интеллекта, можно даже автоматически оценивать эти данные.

Основная цель данной работы — описать систему, которая позволяет нам захватывать всю информацию и, будучи захваченной, обучать модель искусственного интеллекта, которая позволяет нам привлекать внимание всего класса в режиме реального времени. Хотя в других работах уже предлагалось привлекать внимание с помощью визуальной или эмоциональной^{информации6}, в этой работе предлагается комбинированное использование этих методов, что обеспечивает целостный подход, позволяющий использовать более сложные и эффективные методы ИИ. Более того, доступные до сих пор наборы данных ограничены либо набором видео, либо набором биометрических данных. В литературе отсутствуют датасеты, предоставляющие полные данные с изображениями лица учащегося или его тела, биометрические данные, данные о должности учителя и т.д. С помощью представленной здесь системы можно захватывать этот тип набора данных.

Система связывает уровень внимания с каждым учеником в каждый момент времени. Это значение представляет собой вероятностное значение внимания в диапазоне от 0% до 100%, которое можно интерпретировать как низкий уровень внимания (0%-40%), средний уровень внимания (40%-75%) и высокий уровень внимания (75%-100%). На протяжении всего текста эта вероятность внимания называется уровнем внимания, вниманием учащихся или тем, отвлечены ли студенты или нет, но все они связаны с одним и тем же выходным значением нашей системы.

С годами область автоматического обнаружения вовлечения значительно выросла благодаря своему потенциалу революционизировать образование. Исследователи предложили различные подходы к этой области исследований.

Ma et ^al.7 представили новый метод, основанный на нейронной машине Тьюринга для автоматического распознавания вовлеченности. Они извлекли определенные особенности, такие как взгляд, мимические единицы действий, поза головы и поза тела, чтобы создать всеобъемлющее представление о распознавании вовлеченности.

EyeTab⁸, еще одна инновационная система, использовала модели для оценки того, куда человек смотрит обоими глазами. Он был специально сделан для бесперебойной работы на стандартном планшете без каких-либо модификаций. Эта система использует известные алгоритмы обработки изображений и анализа компьютерного зрения. Их конвейер оценки взгляда включает в себя детектор глаз на основе функций Haar, а также подход к подгонке лимба на основе RANSAC.

Sanghvi et ^al.9 предлагают подход, который опирается на методы, основанные на зрении, для автоматического извлечения выразительных постуральных черт из видео, записанных с бокового обзора, фиксируя поведение детей. Проводится первичная оценка, включающая обучение множественных моделей распознавания с использованием контекстуализированных аффективных постуральных выражений. Полученные результаты демонстрируют, что паттерны постурального поведения могут эффективно предсказывать взаимодействие детей с роботом.

В других работах, таких как Гупта и ^др.10, метод, основанный на глубоком обучении, используется для определения вовлеченности онлайн-учащихся в режиме реального времени путем анализа их мимики и классификации их эмоций. Этот подход использует распознавание эмоций лица для расчета индекса вовлеченности (EI), который предсказывает два состояния вовлеченности: вовлеченность и невовлеченность. Различные модели глубокого обучения, включая Inception-V3, VGG19 и ResNet-50, оцениваются и сравниваются, чтобы определить наиболее эффективную модель предиктивной классификации для обнаружения взаимодействия в режиме реального времени.

В работе Altuwairqi et ^al.11 исследователи представили новый автоматический мультимодальный подход к оценке уровня вовлеченности учащихся в режиме реального времени. Чтобы обеспечить точные и надежные измерения, команда интегрировала и проанализировала три различных модальности, которые фиксируют поведение учащихся: выражения лица для выражения эмоций, нажатия клавиш на клавиатуре и движения мыши.

Guillén et ^al.12 предлагают разработку системы мониторинга, которая использует электрокардиографию (ЭКГ) в качестве первичного физиологического сигнала для анализа и прогнозирования наличия или отсутствия когнитивного внимания у людей во время выполнения задачи.

Албан и ^др.13 используют нейронную сеть (НС) для обнаружения эмоций путем анализа значений частоты сердечных сокращений (ЧСС) и электрокожной активности (ЭДА) различных участников как во временной, так и в частотной областях. Они обнаружили, что увеличение среднеквадратичного значения последовательных различий (RMSDD) и интервалов стандартного отклонения от нормы к норме (SDNN) в сочетании со снижением среднего ЧСС указывает на повышенную активность в симпатической нервной системе, которая связана со страхом.

Кадживара и ^др.14 предлагают инновационную систему, которая использует носимые датчики и глубокие нейронные сети для прогнозирования уровня эмоций и вовлеченности работников. Система состоит из трех этапов. Первоначально носимые датчики захватывают и собирают данные о поведении и пульсовых волнах. Впоследствии на основе полученных поведенческих и физиологических данных рассчитываются особенности временных рядов. Наконец, глубокие нейронные сети используются для ввода характеристик временных рядов и прогнозирования эмоций человека и уровня вовлеченности.

В других исследованиях, таких как Costante et ^al.15, предлагается подход, основанный на новом алгоритме обучения на основе трансферной метрики, который использует предварительные знания о предопределенном наборе жестов для улучшения распознавания жестов, определенных пользователем. Это улучшение достигается при минимальной зависимости от дополнительных обучающих выборок. Аналогичным образом, для решения задачи безличного распознавания сложных видов человеческой деятельности представлена основанная на датчиках структура¹⁶ для решения задачи обезличенного распознавания сложных видов человеческой деятельности. Данные сигнала, собранные с датчиков, носимых на запястье, используются в разработанной среде распознавания человеческой активности с использованием четырех моделей DL на основе RNN (долгосрочная-краткосрочная память, двунаправленная долгосрочная-краткосрочная память, стробированные рекуррентные единицы и двунаправленные стробные рекуррентные единицы) для исследования действий, выполняемых пользователем носимого устройства.