학생의 주의력 수준을 감지하기 위한 인공 지능 기반 시스템

현대 교육 환경에서 학생들의 주의를 정확하게 평가하고 유지하는 것은 효과적인 교수 및 학습에 매우 중요합니다. 그러나 자기 보고 또는 주관적인 교사 관찰과 같은 참여도를 측정하는 전통적인 방법은 시간이 많이 걸리고 편향이 발생하기 쉽습니다. 이 문제를 해결하기 위해 인공 지능(AI) 기술이 자동화된 주의 감지를 위한 유망한 솔루션으로 부상했습니다. 학생들의 참여 수준을 이해하는 데 있어 한 가지 중요한 측면은 감정 인식이다¹. AI 시스템은 얼굴 표정을 분석하여 중립, 혐오, 놀람, 슬픔, 두려움, 행복, 분노와 같은 감정을 식별할 수 있습니다².

시선 방향과 몸의 자세도 학생들의 주의력을 나타내는 중요한 지표이다³. AI 시스템은 카메라와 고급 머신 러닝 알고리즘을 활용하여 학생들이 보는 곳을 정확하게 추적하고 신체 자세를 분석하여 무관심이나 피로의 징후를 감지할 수 있습니다⁴. 또한, 생체 인식 데이터를 통합하면 주의 감지의 정확성과 신뢰성이 향상된다⁵. 학생들이 착용하는 스마트워치를 통해 심박수 및 혈중 산소 포화도와 같은 측정값을 수집함으로써 주의력에 대한 객관적인 지표를 얻을 수 있고 다른 정보 소스를 보완할 수 있습니다.

이 논문은 컬러 카메라 및 기타 다양한 센서를 사용하여 개인의 주의 수준을 평가하는 시스템을 제안합니다. 감정 인식, 시선 방향 분석, 신체 자세 평가 및 생체 인식 데이터를 결합하여 교육자에게 교수-학습 프로세스를 최적화하고 학생 참여를 개선하기 위한 포괄적인 도구 세트를 제공합니다. 이러한 도구를 사용함으로써 교육자는 교수-학습 과정에 대한 포괄적인 이해를 얻고 학생 참여를 향상시켜 전반적인 교육 경험을 최적화할 수 있습니다. AI 기술을 적용하면 이 데이터를 자동으로 평가할 수도 있습니다.

이 작업의 주요 목표는 모든 정보를 캡처할 수 있는 시스템을 설명하고, 캡처한 후에는 실시간으로 전체 학급의 관심을 끌 수 있는 AI 모델을 훈련시키는 것입니다. 다른 연구에서는 이미 시각 또는 감성적 정보를 사용하여 관심을 끌 것을 제안했지만⁶ 이 연구는 보다 복잡하고 효과적인 AI 기술을 사용할 수 있도록 총체적인 접근 방식을 제공하는 이러한 기술의 결합 사용을 제안합니다. 또한 지금까지 사용 가능한 데이터 세트는 비디오 세트 또는 생체 인식 데이터 중 하나로 제한됩니다. 문헌에는 학생의 얼굴이나 신체 이미지, 생체 인식 데이터, 교사의 위치에 대한 데이터 등이 포함된 완전한 데이터를 제공하는 데이터 세트가 포함되어 있지 않습니다. 여기에 제시된 시스템을 사용하면 이러한 유형의 데이터 세트를 캡처할 수 있습니다.

시스템은 각 시점에서 각 학생에 대한 관심 수준을 연결합니다. 이 값은 0%에서 100% 사이의 관심 확률 값으로, 낮은 주의 수준(0%-40%), 중간 수준의 주의(40%-75%) 및 높은 주의 수준(75%-100%)으로 해석될 수 있습니다. 텍스트 전체에서 이 주의 확률은 주의 수준, 학생 주의 또는 학생이 산만한지 여부라고 하지만 모두 시스템의 동일한 출력 값과 관련이 있습니다.

수년에 걸쳐 자동 참여 감지 분야는 교육에 혁명을 일으킬 수 있는 잠재력으로 인해 크게 성장했습니다. 연구자들은 이 연구 분야에 대한 다양한 접근 방식을 제안했습니다.

Ma et ^al.7 은 자동 교전 인식을 위한 뉴럴 튜링 머신(Neural Turing Machine)을 기반으로 하는 새로운 방법을 소개했습니다. 그들은 시선 응시, 얼굴 동작 단위, 머리 자세 및 신체 자세와 같은 특정 기능을 추출하여 참여 인식을 포괄적으로 표현했습니다.

또 다른 혁신적인 시스템인 아이탭 8(EyeTab⁸)은 모델을 사용하여 사람이 두 눈으로 어디를 보고 있는지 추정했습니다. 수정 없이 표준 태블릿에서 원활하게 작동하도록 특별히 제작되었습니다. 이 시스템은 이미지 처리 및 컴퓨터 비전 분석을 위해 잘 알려진 알고리즘을 활용합니다. 그들의 시선 추정 파이프라인에는 Haar와 같은 특징 기반 눈 감지기와 RANSAC 기반 limbus ellipse fitting 접근 방식이 포함됩니다.

상비(Sanghvi) 등⁹ 은 시각 기반 기법을 사용하여 측면 시점으로 녹화된 비디오에서 표현적인 자세 특징을 자동으로 추출하여 어린이의 행동을 포착하는 접근 방식을 제안합니다. 상황에 맞는 정서적 자세 표현을 사용하여 여러 인식 모델의 훈련을 포함하는 초기 평가가 수행됩니다. 얻어진 결과는 자세 행동 패턴이 로봇과 어린이의 참여를 효과적으로 예측할 수 있음을 보여줍니다.

Gupta et ^al.10과 같은 다른 연구에서는 딥 러닝 기반 방법을 사용하여 얼굴 표정을 분석하고 감정을 분류하여 온라인 학습자의 실시간 참여를 감지합니다. 이 접근 방식은 얼굴 감정 인식을 활용하여 참여 및 이탈의 두 가지 참여 상태를 예측하는 참여 지수(EI)를 계산합니다. Inception-V3, VGG19 및 ResNet-50을 포함한 다양한 딥 러닝 모델을 평가하고 비교하여 실시간 참여 감지를 위한 가장 효과적인 예측 분류 모델을 식별합니다.

Altuwairqi et ^al.11에서 연구원들은 학생 참여 수준을 실시간으로 평가하기 위한 새로운 자동 다중 모드 접근 방식을 제시합니다. 정확하고 신뢰할 수 있는 측정을 보장하기 위해 연구팀은 학생들의 행동을 포착하는 세 가지 뚜렷한 양식, 즉 감정에 대한 얼굴 표정, 키보드 키 입력, 마우스 움직임을 통합하고 분석했습니다.

Guillén et ^al.12 은 작업을 수행하는 동안 개인의 인지적 주의의 유무를 분석하고 예측하기 위해 심전도(ECG)를 주요 생리학적 신호로 사용하는 모니터링 시스템의 개발을 제안합니다.

Alban et ^al.13 은 신경망(NN)을 활용하여 시간 및 주파수 영역에서 다양한 참가자의 심박수(HR) 및 전기 활동(EDA) 값을 분석하여 감정을 감지합니다. 그들은 RMSDD(Root-Mean-Square of Consecutive Differences) 및 SDNN(Standard Devation Normal-to-Normal) 간격의 증가와 평균 HR의 감소가 두려움과 관련된 교감신경계의 활동이 증가했음을 나타낸다는 것을 발견했습니다.

Kajiwara 등^[14 ]은 웨어러블 센서와 심층 신경망을 사용하여 근로자의 감정 및 참여 수준을 예측하는 혁신적인 시스템을 제안합니다. 시스템은 3단계 프로세스를 따릅니다. 처음에는 웨어러블 센서가 동작과 맥파에 대한 데이터를 캡처하고 수집합니다. 그 후, 시계열 특징은 획득된 행동 및 생리학적 데이터를 기반으로 계산됩니다. 마지막으로, 심층 신경망은 시계열 기능을 입력하고 개인의 감정과 참여 수준을 예측하는 데 사용됩니다.

Costante et ^al.15과 같은 다른 연구에서는 사용자 정의 제스처의 인식을 향상시키기 위해 사전 정의된 제스처 세트에 대한 사전 지식을 활용하는 새로운 전송 메트릭 학습 알고리즘을 기반으로 하는 접근 방식이 제안됩니다. 이러한 개선은 추가 학습 샘플에 대한 의존도를 최소화하면서 달성됩니다. 이와 유사하게, 센서 기반 인간 활동 인식 프레임워크^{(sensor-based} human activity recognition framework)(16)는 복잡한 인간 활동에 대한 비인격적 인식의 목표를 다루기 위해 제시된다. 손목에 착용하는 센서에서 수집된 신호 데이터는 웨어러블 장치 사용자가 수행한 활동을 조사하기 위해 4개의 RNN 기반 DL 모델(Long-Short Term Memories, Bidirectional Long-Short Term Memories, Gated Recurrent Units 및 Bidirectional Gated Recurrent Units)을 사용하여 개발된 인간 활동 인식 프레임워크에 활용됩니다.