人工知能を用いた学生の注意力検出システム

現代の教育現場では、効果的な教育と学習のためには、生徒の注意を正確に評価し、維持することが重要です。しかし、自己報告や教師の主観的な観察など、エンゲージメントを測定する従来の方法は時間がかかり、バイアスがかかりやすい。この課題に対処するために、人工知能(AI)技術が自動アテンション検出の有望なソリューションとして浮上しています。学生のエンゲージメントレベルを理解する上で重要な側面の1つは、感情認識¹です。AIシステムは、顔の表情を分析して、中立、嫌悪、驚き、悲しみ、恐怖、幸福、怒りなどの感情を特定できます²。

視線の向きと体の姿勢も、生徒の注意力の重要な指標^です3。カメラと高度な機械学習アルゴリズムを活用することで、AIシステムは生徒がどこを見ているかを正確に追跡し、生徒の体の姿勢を分析して、興味のなさや疲労の兆候を検出することができます⁴。さらに、生体認証データを組み込むことで、注意検出の精度と信頼性が向上します⁵。生徒が着用するスマートウォッチを通じて、心拍数や血中酸素飽和度などの測定値を収集することにより、注意の客観的な指標を取得し、他の情報源を補完することができます。

本稿では、カラーカメラなどのセンサーを用いて個人の注意力を評価するシステムを提案します。感情認識、視線方向分析、身体姿勢評価、生体認証データを組み合わせて、教育学習プロセスを最適化し、学生のエンゲージメントを向上させるための包括的なツールセットを教育者に提供します。これらのツールを使用することで、教育者は教育と学習のプロセスを包括的に理解し、学生の関与を高めることで、全体的な教育体験を最適化することができます。AIの技術を応用することで、このデータを自動的に評価することも可能です。

この作業の主な目標は、すべての情報をキャプチャできるシステムについて説明し、キャプチャすると、クラス全体の注意をリアルタイムで取得できるAIモデルをトレーニングすることです。他の研究では、視覚的または感情的な情報を使用して注意を引くことをすでに提案しています^が6、この研究では、これらの技術を組み合わせて使用することを提案しており、これにより、より複雑で効果的なAI技術の使用を可能にする全体的なアプローチが提供されます。また、これまで利用可能なデータセットは、動画のセットまたは生体認証データの1つに限定されていました。文献には、生徒の顔や体の画像、生体認証データ、教師の位置に関するデータなど、完全なデータを提供するデータセットは含まれていません。ここで紹介するシステムでは、このタイプのデータセットをキャプチャすることができます。

システムは、各時点で各学生に注意のレベルを関連付けます。この値は、0% から 100% の間の注意の確率値であり、注意のレベルが低い (0%-40%)、注意のレベルが中程度 (40%-75%)、注意のレベルが高い (75%-100%) と解釈できます。テキスト全体を通して、この注意力の確率は、注意力のレベル、生徒の注意力、または生徒が気を散らしているかどうかと呼ばれますが、これらはすべてシステムの同じ出力値に関連しています。

長年にわたり、自動エンゲージメント検出の分野は、教育に革命をもたらす可能性を秘めているため、大幅に成長してきました。研究者は、この研究分野に対してさまざまなアプローチを提案しています。

Ma et ^al.7 は、ニューラルチューリングマシンに基づく自動エンゲージメント認識のための新しい方法を導入しました。彼らは、視線入力、顔のアクション ユニット、頭のポーズ、体のポーズなどの特定の特徴を抽出して、エンゲージメント認識の包括的な表現を作成しました。

EyeTab⁸ も革新的なシステムであり、モデルを使用して、誰かが両目でどこを見ているかを推定しました。これは、標準のタブレットで問題なくスムーズに動作するように特別に作られました。このシステムは、画像の処理とコンピュータービジョンの分析によく知られているアルゴリズムを利用しています。彼らの視線推定パイプラインには、Haarのような特徴ベースのアイ検出器と、RANSACベースのリンバス楕円フィッティングアプローチが含まれています。

Sanghviら⁹ は、視覚ベースの技術に依存して、横方向から記録されたビデオから表現力豊かな姿勢の特徴を自動的に抽出し、子供たちの行動を捉えるアプローチを提案しています。初期評価が行われ、文脈に応じた感情的な姿勢表現を使用した複数の認識モデルのトレーニングが含まれます。得られた結果は、姿勢行動のパターンが、ロボットに対する子どもの関与を効果的に予測できることを示しています。

Guptaら¹⁰などの他の研究では、ディープラーニングベースの方法が採用されており、オンライン学習者の顔の表情を分析し、感情を分類することにより、オンライン学習者のリアルタイムのエンゲージメントを検出しています。このアプローチでは、顔の感情認識を利用して、エンゲージメントとエンゲージメント解除の 2 つのエンゲージメント状態を予測するエンゲージメント インデックス (EI) を計算します。Inception-V3、VGG19、ResNet-50 など、さまざまなディープラーニング モデルが評価され、比較され、リアルタイムのエンゲージメント検出に最も効果的な予測分類モデルが特定されます。

Altuwairqi et ^al.11 では、研究者は、学生のエンゲージメント レベルをリアルタイムで評価するための新しい自動マルチモーダル アプローチを提示しています。正確で信頼性の高い測定を確保するために、チームは、感情の表情、キーボードのキーストローク、マウスの動きという、生徒の行動を捉える3つの異なるモダリティを統合して分析しました。

Guillénら¹² は、タスクを実行している間の個人の認知的注意の有無を分析および予測するための主要な生理学的信号として心電図(ECG)を使用するモニタリングシステムの開発を提案しています。

Alban et ^al.13 は、ニューラルネットワーク(NN)を利用して、時間領域と周波数領域の両方でさまざまな参加者の心拍数(HR)と皮膚電気活動(EDA)の値を分析することにより、感情を検出します。その結果、逐次差の二乗平均平方根(RMSDD)と標準偏差の正常から正常(SDNN)の間隔の増加は、平均HRの減少と相まって、交感神経系の活動が活発化していることを示しており、これは恐怖と関連していることが分かった。

梶原ら¹⁴ は、ウェアラブルセンサーとディープニューラルネットワークを用いて、労働者の感情とエンゲージメントのレベルを予測する革新的なシステムを提案しています。システムは3段階のプロセスに従います。当初、ウェアラブルセンサーは、行動と脈波に関するデータを取得して収集します。その後、取得した行動データや生理学的データに基づいて時系列特徴量が計算されます。最後に、ディープニューラルネットワークを使用して時系列の特徴を入力し、個人の感情とエンゲージメントレベルについて予測を行います。

Costante et ^al.15などの他の研究では、新しい転送メトリック学習アルゴリズムに基づくアプローチが提案されており、これは、事前定義されたジェスチャーのセットに関する事前知識を利用して、ユーザー定義のジェスチャーの認識を強化します。この改善は、追加のトレーニングサンプルへの依存を最小限に抑えることで達成されます。同様に、センサベースの人間活動認識フレームワーク¹⁶ は、複雑な人間活動の非人格的認識の目標に対処するために提示される。腕時計型センサーから収集した信号データは、4つのRNNベースのDLモデル(Long-Short Term Memories、Bidirectional Long-Short Term Memories、Gated Recurrent Units、Bidirectional Gated Recurrent Units)を用いて、ウェアラブルデバイスのユーザーが行った活動を調査し、ヒト活動認識フレームワークに活用されます。