Cognitive Behaviors that Enable Self-Improving Reasoners, or, Four Habits of Highly Effective STaRs

論文紹介: Cognitive Behaviors that Enable Self-Improving Reasoners, or, Four Habits of Highly Effective STaRs

Kanishk Gandhi, Ayush Chakravarthy, Anikait Singh, Nathan Lile and Noah D. Goodman, 2025

arXiv preprint arXiv:2503.01307v1
https://arxiv.org/abs/2503.01307v1

太田 晋
2025-03-31

Transcript

1. Cognitive Behaviors that Enable Self-Improving Reasoners, or, Four Habits of Highly Effective STaRs Kanishk Gandhi, Ayush Chakravarthy, Anikait Singh, Nathan Lile and Noah D. Goodman, 2025 arXiv preprint arXiv:2503.01307v1 https://arxiv.org/abs/2503.01307v1 太田 晋 2025-03-31
2. 論文著者 (Kanishk Gandhi et al., 2025) (Eric Zelikman et al., 2022) 2/30
3. 概要 予備実験: Qwen-2.5-3B と Llama-3.2-3B をカウントダウンゲームで強化学習し性能を比較すると、 Qwen は問題解決 能力に大幅な改善を示す一方、 Llama は限定的な改善にとどまる (下左図) 仮説: 特定の認知行動が、テスト時計算を効果的に利用するために必要 4つの認知行動を含む合成推論軌跡を用いて Llama を SFT すると、 Qwen と同等の性能を達成 (下右図) バックトラッキング・検証・サブゴール設定・後向き連鎖 間違った解答で訓練されたモデルでも、正解で訓練されたモデルとほぼ同じ性能を達成 正解へのアクセスではなく、認知行動の存在が、強化学習による自己改善を成功させる重要な要因 4つの認知行動を強調するよう事前学習データの分布を修正し Llama を継続事前学習し、 Qwen と同等の性能を達成 モデルの初期推論行動と強化学習による改善能力の間に強い関係があることを明らかにした 3/30
4. 1 はじめに 人間は、難しいが解決可能な問題に遭遇すると、解決策に到達するために深く熟 考する時間を増やす 最近の言語モデルは、強化学習を用いて自己改善するように訓練されると、同様 の推論行動を示す 本研究では、この自己改善能力の要因を調査し、ベース言語モデルにおいて鍵と なる認知行動(cognitive behaviors)の存在に焦点を当てる バックトラッキング・検証・サブゴール設定・後向き連鎖 4/30
5. 2 関連研究 言語モデルの推論能力を向上させるアプローチ 推論のための外部探索 (External Search for Reasoning) 文脈内探索と自己改善 (In-Context Search and Self-Improvement) 推論のための強化学習 (Reinforcement Learning for Reasoning) 5/30
6. 推論のための外部探索 推論時計算(inference-time compute)により、言語モデルの性能を大幅に向上 並列サンプリング・検証・プロセス報酬モデル(Process Reward Models, PRMs) など 問題点: 以前探索した解決策を活用しないため、冗長な探索により効率が低下 6/30
7. 文脈内探索と自己改善 外部探索とは対照的に、モデルが言語を使って順次探索 インコンテクスト例(in-context examples)・線形化された探索トレース (linearized search traces)・自己訂正例(self-correction examples)による学習 問題点: 自己訂正やバックトラッキングなどの望ましい行動を組み込むために、訓 練データを注意深くエンジニアリングする必要がある 7/30
8. 推論のための強化学習 強化学習により、モデルが自律的に効果的な推論戦略を発見する可能性 検証可能な結果(verifiable outcomes)を用いた言語モデルの推論学習: オンポリシ ー手法・オフポリシー手法・バッチ手法 DeepSeek-R1 PPO の簡略版の GRPO 文脈内探索行動の創発(emergence)による推論機能の大幅な向上 長く構造化された CoT での SFT は、短い CoT と比較して、強化学習の効率性と 性能を向上させる 未解決の問題: なぜ一部のモデルは強化学習で推論機能の学習に成功し、他のモデ ルは失敗するのか？ 本研究: 推論行動の強化学習を可能にする初期モデルの重要な特性を調査 8/30
9. 3 自己改善行動の特定とエンジニアリング カウントダウンゲーム プレイヤーが四則演算（+, -, ×, ÷）を使って入力された数字の集合を組み合わ せ、目標の数字に到達しなければならない数学的パズル 例: 25, 30, 3, 4 という数字と 32 という目標数字が与えられた場合、これらの 数字を一連の演算で組み合わせて、(30 - 25 + 3) × 4 = 32 数学的推論(reasoning)、計画(planning)、探索戦略(search strategies)が必要 推論を必要としながらも、扱いやすい分析を可能にする制限された探索空間 数学的知識よりも問題解決能力を評価 ドメイン知識が推論能力の評価を混乱させる可能性が低い 9/30
10. 3.1 初期調査： Qwen と Llama の比較 Qwen-2.5-3B と Llama-3.2-3B を比較 (Fig. 1 Top) 強化学習ライブラリ VERL (Sheng et al., 2024) で PPO (Schulman et al., 2017) 250 steps, プロンプト毎に4つの軌跡をサンプリング Qwenはステップ30前後で質的な変化: 応答が長くなり、精度が向上 基本的な疑問: 推論に基づく改善を可能にする根本的な能力とは何か？ 10/30
11. 3.2 認知行動を分析するフレームワーク 4つの基礎的な認知行動に注目 バックトラッキング (Backtracking) エラー検出時にアプローチを明示的に修正 例: "このアプローチは機能しないので..." 検証 (Verification) 中間結果のシステマティックなチェック 例: "この結果を...によって検証しましょう" サブゴール設定 (Subgoal Setting) 複雑な問題を管理可能なステップに分解 例: "これを解決するためには、まず...が必要です" 後向き連鎖 (Backward Chaining) 目標指向の推論問題で、望ましい結果から逆方向に解決策を探る 例: "75に到達するためには、...で割り切れる数が必要" 11/30
12. フレームワークの妥当性 4つの認知行動は、直線的で単調な推論パターンではなく、より動的な探索のような推論の 軌跡を可能にする 4つの認知行動は完全ではないが、識別が容易 カウントダウンゲームと証明構築のような広範な数学的推論タスクの両方において、人間の 問題解決戦略と自然に一致 各認知行動は、推論トークン内のパターンによって識別可能 バックトラッキング: 前のステップを明確に否定して訂正するトークン列を生成 検証: 解の基準と結果を比較するトークンを生成 後向き連鎖: ゴールから初期状態への解のパスを構築するトークンを生成 サブゴール設定: 最終ゴールへのパスでターゲットとする中間ステップを明示的に提案 するトークンを生成 12/30
13. 3.3 自己改善における初期行動の役割 13/30
14. Qwen 性能向上の要因 Qwen の劇的な性能向上は、認知行動、特に検証とバックトラッキングの出現と 一致 (Fig. 1 Middle) 一方 Llama はこれらの行動をほとんど示さなかった 14/30
15. 推論パターンの分析 Qwen は4つの認知行動すべての割合がかなり高い (Fig.4) Llama-3.1-70B は、 Llama-3.2-3B と比較して認知行動が増加 しかし、この改善はばらつきがあり、特にバックトラッキングは制限されたまま 特定の認知行動が、モデルが拡張推論シーケンスを通じてテスト時間の計算増加を効果的に利用するた めに必要である可能性 モデル規模の拡大は、これらの行動の文脈的活性化を改善 15/30
16. 3.4 介入による認知行動の誘発 (SFT) 16/30
17. ターゲットを絞った介入によって認知行動を誘発出来 るか？ ベースモデルにおける認知行動の重要性を確認した 目的: 効果的な強化学習を可能にするための重要な行動パターンを明らかにする 方法 ベースモデルから SFT で特定の認知行動を選択的に示す派生モデルを作成 派生モデルを強化学習 性能を比較 17/30
18. プライミングデータセットの作成 Claude-3.5-Sonnet で以下5つの SFT 用の推論軌跡を生成 バックトラッキングのみ 解の経路を探索し、行き止まりに遭遇したら方針変更 バックトラッキングと検証 バックトラッキングに加え、計算途中の中間解をチェック バックトラッキングとサブゴール分解 バックトラッキングに加え、複雑な問題を扱いやすい中間ステップに分解 バックトラッキングと後向き連鎖 バックトラッキングに加え、ゴール状態から初期状態へ後ろ向きに推論 4個全ての推論戦略を包括 18/30
19. Claude による合成 Claude-3.5-Sonnet で5つの SFT 用の推論軌跡を生成 それぞれ 1,200 個のユニークな Countdown ゲーム問題を作成 5種類＋ベースラインの計6種類のデータセットを作成 Fig. 9: Claude は常に正しい答えを生成するわけではないが、要求された推論 パターンを一貫して示し、分析のためのクリーンな行動プリミティブを提供 19/30
20. 認知行動毎のプライミングの効果 プライミングデータセットで SFT した場合、 Llama と Qwen の両方とも強化学習 によって大幅な改善 (Fig. 2) 20/30
21. RL は有用な行動を選択的に増幅し他の行動を抑制 Fig. 1 Bottom-Left (b) バックトラッキングと検証を維持・強化 後方連鎖とサブゴール設定を減少 21/30
22. 認知行動を含まない CoT でプライミングした場合 認知行動を含まない CoT データで SFT した場合、モデルの性能は Llama ベース モデルと同程度 (Fig. 5) Qwen が行動の探索を停止(悪影響) 認知行動が、テスト時の計算を生産的に利用するために必要であることを示唆 22/30
23. 不正解でプライミングされたモデルの性能 不正解でプライミングされたモデルが、正解で訓練されたモデルとほぼ同じ性能 を達成 (Fig. 6) 正解へのアクセスではなく、認知行動の存在が、強化学習による自己改善を成功 させる重要な要因であることを示唆 23/30
24. 3.5 事前学習データを選択的に増幅 (CPT) 24/30
25. 数学の事前学習データセットに は認知行動が含まれているか？ 数学の事前学習データ OpenWebMath, FineMath 200,000件 ランダムサンプリング Qwen-2.5-32B で分類 バックトラッキングや検証のような重要な認知 行動がほとんど含まれていない (0.02程度) 25/30
26. 合成データで継続事前学習して認知行動を増幅 データセット: OpenWebMath Qwen-2.5-32B で認知行動を含むデータと含まないデータに分類 Qwen-2.5-32B でリライト (question-thought-answer 形式) それぞれ 8.3M トークンのデータセットを作成 Llama + 合成データで Qwen と同等の性能を達成 (Fig. 8) 26/30
27. 4 議論 モデルの初期の認知行動探索が、自己改善を可能にする上で重要な役割を果たす バックトラッキング・検証・サブゴール設定・後向き連鎖 少量の SFT で認知行動をプライミングすることで、モデルの性能を大幅に向上 間違った解答でプライミングされたモデルでも、特定の認知行動パターンを含ん でいれば、正解でプライミングされたモデルとほぼ同じ性能を達成 これらの結果は、認知行動の存在が、強化学習を通じた自己改善を可能にするた めの決定的な要因(causal factor)であることを示唆 OpenWebMath から派生した多様な認知行動を含む事前学習データセットを合成 し、 Llama で継続事前学習することで、 Qwen と同等の性能を達成 27/30
28. 今後の課題 人間が解決可能な難しい問題に取り組む際、問題解決プロセスをサポートする特定の行動を示す これらの認知行動は通常、連続的・計画的・問題空間に依存 同様に強化学習中に増幅または抑制される認知行動は、最適化されるタスクと環境に依存 カウントダウンゲームでは、バックトラッキングと検証が最も重要 コーディング・ゲームプレイ・創造的な執筆などのタスクで自己改善を可能にするパターンについても 調べる必要がある 本研究で発見した原則は他のドメインにも適用されると考えられるが、タスク固有の制約が認知行動と どのように相互作用するかを研究する必要がある 本研究で特定された認知行動は徹底的に調べられたわけではなく、他の認知行動も探索する価値がある 例: アナロジーの作成・既存の知識状態の特定 28/30
29. 結論 認知行動が言語モデルの自己改善を可能にする テスト時計算を効果的に利用して、より難しい問題を解決 人類は効果的な推論を可能にする豊かな認知行動の遺産を持っている 未来の人工知能は、これらの既存の行動を学ぶだけでなく、新しい行動を発見す るかもしれない 推論と計算に対する全く新しいアプローチを明らかにする可能性 29/30
30. 参考文献 Kanishk Gandhi et al., "Cognitive Behaviors that Enable Self-Improving Reasoners, or, Four Habits of Highly Effective STaRs", arXiv preprint arXiv:2503.01307v1, 2025. https://arxiv.org/abs/2503.01307v1 Eric Zelikman et al., "STaR: Bootstrapping Reasoning With Reasoning", NeurIPS 2022, 2022, https://papers.nips.cc/paper_files/paper/2022/hash/639a9a172c044fbb64175b 5fad42e9a5-Abstract-Conference.html Noah D. Goodman, "Stanford CoCoLab", https://cocolab.stanford.edu/ndg, ア クセス日: 2025-03-31 30/30