SNLP2026発表資料

SNLP当日までにアップロード予定

Transcript

1. EduBench: A Comprehensive Benchmarking Dataset for Evaluating Large Language Models in Diverse Educational Scenarios SNLP 2026 論文紹介資料 中山功太（NII LLMC） 図表はすべて元論文より引用、引用文献も元論文のリファレンスを参照
3. 研究目的 • 教育現場の多様なニーズを包括的に評価できるLLMベンチマークの構築 ◦ 現実的かつ多様な教育シナリオを反映 ◦ 生徒・教師双方のニーズをカバー ◦ 複数の機能・難易度・コンテンツモダリティを対象
4. 主な貢献 • • • 大規模な教育向けLLMベンチマークの構築 ◦ 4,000以上の教育コンテキストを収集 ◦ 12次元の評価フレームワークを構築 包括的な評価データと知見の提供 ◦ モデル生成データ＋人手アノテーションデータを公開 ◦ 教育応用・LLMベースの評価研究の双方に活用可能 小規模LLMの性能向上 ◦ 蒸留データを活用することで、小規模モデルでも最先端LLMに匹敵する性能を 達成可能
5. 主な知見 • 評価基準の理解は依然として不完全 ◦ LLMはスコアリングガイドラインを必ずしも正確に理解できていない • LLM-as-a-Judgeの性能にはモデル間で大きな差 ◦ DeepSeek V3：人間の評価との高い一貫性 ◦ GPT-4o：比較的低い性能 • 小規模モデルほど評価性能が低い傾向 ◦ 一般に、モデルサイズが小さいほど評価性能が低下 ◦ 蒸留である程度間を埋めることが可能
6. 先行研究：既存ベンチマーク • • 主流のベンチマークは汎用能力の評価が中心で、教育への適用可能性を十分に 評価できない 教育特化ベンチマークも存在するが、依然として対象が限定的 ◦ ◦ ◦ • EduNLP：8分野・5タスクを扱うが、シナリオの多様性が狭く、汎用的な評価基準に依存 (Huang et al., 2024b) プログラミング教育：コード修正・エラー説明を評価 (Koutcheme et al., 2024a,b) 学術QA・語学学習：推論や文章平易化を扱うが、可読性・正確性を重視した固定的な形式が中心 (Rein et al., 2023; Team et al., 2025; Huang et al., 2024a) 全体として、単一科目・事実ベースQAなど狭いシナリオに偏重
7. 先行研究：教育における LLM活用 • • • 教材生成：一貫した教材を大規模に生成 (Jia et al., 2021; Ghanem et al., 2022; Berman et al., 2024) 対話型指導・個別支援：プログラミング・数学などで段階的指導や個別フィードバッ ク (MacNeil et al., 2023; Wang et al., 2024c; Pardos and Bhandari, 2023; Markel et al., 2023) 自動評価：作文・数学解答の採点や診断的フィードバック (Cao et al., 2020; Yang et al., 2020; Jiang et al., 2024) ◦ ◦ • 選択肢ベースの評価形式も広く利用 (Rein et al., 2023) 評価指標は ROUGE・Accuracyなど表層的な指標が中心 (Shi et al., 2025) 教室・試験中心のシナリオに偏り、より広範な教育プロセスを十分にモデル化して いない (Zhu et al., 2025)
8. ベンチマーク構築：シナリオ設計 過去のサーベイを参考に教育関 係タスクを分類・整備 • 生徒向けシナリオ ◦ ◦ ◦ ◦ ◦ • 問題解決（Q&A） 誤り訂正（EC） アイデア提供（ IP） 個別学習支援（ PLS） 情緒的支援（ES） 教師向けシナリオ ◦ ◦ ◦ ◦ 問題生成（QG） 自動採点（AG） 教材生成（TMG） 個別化コンテンツ作成（ PCC）
9. ベンチマーク構築：教育コンテキスト設計 先行研究（EduNLP (Huang et al., 2024b) and SuperGPQA(Teametal.,2025)）を参考に 教育段階を分類 • 教科・分野 ◦ ◦ • K–12：中国語、数学、英語、物理、化学、生 物、歴史、地理 高等教育：自然科学、工学、農学、経済学、 教育学、経営・行政、医学、社会・人文科 学、文学・芸術、軍事学 難易度 ◦ ◦ ◦ Easy：基礎知識・低い認知負荷 Medium：中程度の理解を要する課題 Hard：批判的推論・専門知識を要する複雑 な課題 • 言語 • 問題形式 ◦ ◦ ◦ ◦ 中国語・英語 標準シナリオ：単一選択／複数選択／短答 情緒的支援：健康／軽度・中等度・重度の 不安 個別学習支援・個別化コンテンツ作成：学習 者プロフィールに基づく推薦・コンテンツ生成
10. ベンチマーク構築：データ合成 問題解決（Q&A）シナリオ用のプロンプト（ChatGPT訳） • • 教育シナリオごとにプロンプトを設 計 GPT-4oによりデータを生成 以下の教科と難易度に基づいて、適切な問題を自由に生成し、標準的な解答を提示し てください。 問題形式は "{question_type}" です。 問題形式が**短答式（short-answer）**の場合、教科によって必要であれば、コード や数式による計算も提示してください。 余分な内容は出力しないでください。 教科: "{subject}" 難易度: "{level}" 以下のJSON形式で出力してください。 "question": "answer": 説明: このプロンプトは、以下の能力要件に対応しています。 - 能力要件: 問題解決能力（Problem-Solving Ability） - 基本説明: 学習者から提示された問題を解決する能力。 - シナリオ設計: さまざまな教科にわたる質問への回答
11. ベンチマーク構築：合成データ品質評価① 教材生成タスクの評価基準（ ChatGPT訳） 合成データの評価のため、シナリオに合わ 説明 このクエリは、教材生成の指示としてどの程度優れているかを評価しま せた評価基準を人手設計 す。評価の中心となるのは、指示が明確かつ具体的であり、明確な教育 • 共通 ◦ ◦ • 言語品質 内容品質 シナリオ別 ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ 誤り訂正タスク品質 問題解決タスク品質 自動採点タスク品質 教材生成タスク品質 問題生成タスク品質 情緒的支援タスク品質 個別化コンテンツ作成タスク品質 個別学習支援タスク品質 目標と教育的価値を備えているかどうかです。 9–10：高品質な指示 指示が非常に具体的であり（例：対象学年、知識項目、教材の種類、難 易度）、教育目標が明確で、高い実用的価値があります。 7–8：良好な指示 指示が明確で、具体的な教育テーマと教材の種類が示されています が、一部の詳細な制約（例：難易度）が不足している場合があります。 5–6：平均的な指示 指示が広すぎる、または具体的な対象が明示されていませんが、基本 的な意図は理解できます。 3–4：低品質な指示 指示が曖昧である、または要求される教材の範囲が広すぎる・非現実 的である（例：教科書を丸ごと生成する）ため、実行が困難です。 1–2：無効な指示 指示に意味がない、または教材生成とはまったく関係がありません。
12. ベンチマーク構築：合成データ品質評価② • • • データを自動評価するためのモデルを選定 評価基準をもとに人手で500件を評価しLLM-as-a-Judgeによる評価と比較 最終的にQwenのQwQ-32Bを評価モデルに選択 データ評価スコア 誤り訂正 問題解決/アイディア提供 自動採点 教材生成 問題生成 情緒的支援 個別化コンテンツ生成 個別化学習支援
13. 評価：ルーブリック設計 LLM-as-a-Judgeの解釈性を上げるため、以下の 12個のサブルーブリックを設計 • • • シナリオ適応性（ Scenario Adaptation）：教育シナリオの文脈・期待に沿った応答かを評価 ◦ ◦ ◦ ◦ 指示遵守・タスク完遂 役割・トーンの一貫性 内容の関連性・範囲の適切さ シナリオ要素の統合 ◦ ◦ ◦ ◦ 基本的な事実の正確性 専門知識の正確性 推論プロセスの厳密性 誤りの特定・訂正の正確性 ◦ ◦ ◦ ◦ 明確さ・簡潔さ・学習意欲の喚起 動機づけ・指導・肯定的フィードバック 個別化・適応・学習支援 高次思考・スキルの育成 事実・推論の正確性（ Factual & Reasoning Accuracy）：情報の正確性と推論の厳密さを評価 教育的応用（ Pedagogical Application）：教育原則に基づき、学習を効果的に支援できているかを評 価
14. 評価：ルーブリック割り当て • ルーブリックはシナリオによって異なる ◦ ◦ • 情緒的支援（ES）：事実の正確性よりも、文脈に応じた共感・シナリオへの適応を重視 問題解決（Q&A）・問題生成（QG）：厳密な推論・事実の正確性を重視 評価指標の割り当てを以下のように設計 誤り訂正 自動採点 アイディア提供 指示遵守・タスク完遂 役割・トーンの一貫性 内容の関連性・範囲の適切さ シナリオ要素の統合 基本的な事実の正確性 専門知識の正確性 推論プロセスの厳密性 誤りの特定・訂正の正確性 明確さ・簡潔さ・学習意欲の喚起 動機づけ・指導・肯定的フィードバック 個別化・適応・学習支援 高次思考・スキルの育成 教材生成 問題解決 情緒的支援 問題生成 学習支援 学習支 個別化コンテンツ生成
15. 評価：LLM-as-a-Judge プロンプト 教育に関する問題と、それに対応する回答を提示します。 提供された評価基準および採点原則に基づいて回答を評価し、スコアとその理由を JSON形式で出力してください。 採点原則：{principle} 問題：{question} 回答：{response} JSON形式は以下のとおりです。 { "detailed_scores": [ { "principle": "評価基準1", "score": 0, "reason": "" }, ... ] }
16. 評価：LLM-as-a-Judge（スコア） 高次思考・スキルの育成のスコア基準 説明： そのやり取りや内容は、生徒の批判的思考、創造性、問題解決、知識の転移スキルの育成に役立っているか？ 9–10： 批判的／創造的思考、問題解決、または知識の転移を促進するよう巧みに設計されている（例：オープンエンドな質 問、比較分析、ケーススタディ、プロジェクト型課題を通じて）。 7–8： 高次思考（例：分析、評価、応用）の発達を積極的に支援する、ガイドとなる質問や適度に難しい課題が含まれている。 5–6： 高次思考を促す試み（例：簡単な振り返りの質問）はあるものの、深さと範囲が限定的であり、主に暗記的な理解や基 本的な応用に焦点を当てている。 3–4： やり取り／内容の大部分が記憶と理解を中心としており、高次思考を必要とする課題を扱うことはほとんどない。 1–2： 高次スキルの育成を完全に無視しており、丸暗記や反復を促している。思考の柔軟性を阻害する可能性もある。
17. 評価：メタ評価 • • • • LLM-as-a-Judgeのメタ評価のため人手評価を実施 高品質なテストセット：198例 ◦ 9シナリオ × 11例 × 2言語（英語・中国語） ◦ 多様なタスクタイプを収録 専門家が各例を評価・アノテーション LLM評価と人間評価の一致度を測定
18. 実験：モデル 応答生成モデル • • • • • DeepSeek R1 DeepSeek V3 Qwen Max Qwen2.5-14B-Instruct Qwen2.5-7B-Instruct 評価（LLM-as-a-Judge）モデル • • • • QwQ Plus GPT-4o DeepSeek R1 DeepSeek V3
19. 実験：メタ評価 • 人手間の一致率出してくれない と解釈が難しい。著者は 0.5を 超えているので強い一致との べているが... 人手評価とのケンドールの一致係数を測定 シナリオ適応性 指示遵守・タスク完遂 役割・トーンの一貫性 事実・推論の正確性 基本的な事実の正確性 内容の関連性・範囲の適切 シナリオ要素の統合 推論プロセスの厳密性 教育的応用 明確さ・簡潔さ・学習意欲の喚起 動機づけ・指導・肯定的フィードバック 個別化・適応・学習支援 高次思考・スキルの育成 専門知識の正確性 誤りの特定・訂正の正確性
20. 実験：生成評価（ルーブリックごと） • 人手評価とのケンドールの一致係数を測定 事実・推論の正確性 教育的応用 シナリオ適応性 基本的な事実の正確性 誤りの特定・訂正の正確性 なんでアルファベット順 にしたのか... 個別化・適応・学習支援 高次思考・スキルの育成 推論プロセスの厳密性 指示遵守・タスク完遂 役割・トーンの一貫性 動機づけ・指導・肯定的フィードバック 専門知識の正確性 シナリオ要素の統合 明確さ・簡潔さ・学習意欲の喚起 内容の関連性・範囲の適切
21. 評価：生成評価（シナリオごと） 問題解決 個別化学習支援 誤り訂正 既にスコアがかなり高い 個別化コンテンツ生成 自動採点 アイディア提供 教材生成 情緒的支援 問題生成
22. 蒸留 • • • • 各タスクで最高性能のモデルを回答生成に使用 テストセットとの重複・回答欠損を除外 9シナリオ、17,983サンプルの訓練データを構築 Qwen2.5-7Bを蒸留 事実・推論の正確性 教育的応用 シナリオ適応性 基本的な事実の正確性 誤りの特定・訂正の正確性 データセットが解かれ過ぎてい たので、小さいモデル向けの内 容を入れ込んだと推測 個別化・適応・学習支援 高次思考・スキルの育成 推論プロセスの厳密性 指示遵守・タスク完遂 役割・トーンの一貫性 動機づけ・指導・肯定的フィードバック 専門知識の正確性 シナリオ要素の統合 明確さ・簡潔さ・学習意欲の喚起 内容の関連性・範囲の適切
23. まとめ • • • • • 9つの教育シナリオ・4,000以上の文脈を含む包括的な教育LLMベンチマークを構 築 教師・学習者双方の観点を反映した12次元の評価指標を提案し、人手評価で品質 を検証 提案データで学習した小規模モデルが最先端LLMに匹敵 心理相談・課題採点・個別学習計画など、従来十分に扱われていない教育場面も 評価対象に 今後は、教育特化LLM・評価モデル・マルチロール教育エージェントへの発展を期 待
24. コメント • • 広く浅く教育的なシナリオでのアライメントを測定するだけなら有望 幅広いシナリオとは言いつつ、教育学的な評価設計や教育現場の状況とはまだ遠 い印象 ◦ ◦ ◦ • クラスでの学生間のインタラクション 安全性 教師の様々な業務 アップデートしつつ日本語でも構築したい