Allen Institute for AIは2026年8月6日、大規模言語モデル（LLM）の教育支援能力を評価するフレームワーク「TutorMoments」を公開した。これは生徒への適切な介入と見守りのバランスを測るためのものだ。
Allen Institute for AIは、AIチューターが学習者にいつ介入し、いつ待機すべきかという判断力を評価するための新しいフレームワーク「TutorMoments」を発表しました。
このフレームワークの核となるのは、実際の1対1の数学指導セッションを基にした評価手法です。経験豊富な教師らが指導記録から判断を迫られた重要な局面を選定します。AIにはその瞬間までの会話履歴を与え、その後のチューター役として振る舞わせ、模擬生徒とのやり取りを再現させます。
実際のテストでは、すべてのモデルがデフォルトの「手厚いサポート」傾向を示しました。指示がない場合、モデルは学習者の思考過程を奪うほど多くの支援を行いがちです。しかし、介入と見守りのトレードオフを意識するようプロンプトを調整すると、判断精度は向上します。
評価には教師らのアノテーションに基づいた正解が用いられます。各局面で「支援の提供」が必要か「思考の促し」が必要かが定義されており、AIの振る舞いがそれと一致するかどうかスコアリングされます。この手法により、単に答えを教えるだけでなく、学習者の理解度に合わせた教育的な判断ができるかを定量的に測ることができます。
Allen Institute for AIは関連データセットとコードも公開しています。教育現場や研究者、AIチューター開発者にとって、モデルの教育的判断力を可視化する新しい基準となるでしょう。