最先端NLP 2026 論文紹介: Wait, Wait, Wait... Why Do Reasoning Models Loop? / SNLP Paper Review: Wait, Wait, Wait... Why Do Reasoning Models Loop?

第18回最先端NLP勉強会での発表資料です

Transcript

1. 最先端 NLP 勉強会 2026 論文紹介： Wait, Wait, Wait... Why Do Reasoning Models Loop? 著者：Charilaos Pipis, Shivam Garg, Vasilis Kontonis, Vaishnavi Shrivastava, Akshay Krishnamurthy, Dimitris Papailiopoulos 読む人：徳永拓之（株式会社 PredNext） 注：特段の出典表記がない図は、紹介論文から引用しています。
2. LLM におけるループとは？ • LLM が同じ文字列を繰り返し生成し続けること • 実用上の大きな問題の一つである 2/23
3. この論文は何を主張するのか 著者らの主張 1. 学習のエラーがループの主な原因である 2. 実験により学習エラーがループを引き起こす 2 つのメカニズムを特定した 観測・実験が直接示すこと • LLM では、低温度・小規模モデル・難問でループが増える傾向がある • 人工的な実験で、実モデルと似たようなループを引き起こすことができる 論文が示していないこと • 実モデルのループの要因が人工的な実験で示した 2 つのメカニズムであること 3/23
4. 実験 1: 実モデルにおける ループの観察
5. 実験の設定 以下のモデルを AIME 2024/2025 で評価した • DeepSeek-R1-Distill-Qwen 1.5B / 7B / 32B • OpenThinker3 1.5B / 7B • QwQ-32B • Phi-4-reasoning • DeepSeek-R1-Distill-Llama-8B ループの定義は「同一の 30-gram が 20 回以上出現した場合」 5/23
6. 低温度ほどループしやすい • 調査した推論モデルはすべて、低温度ではループが発生した • 温度を上げるとループ率は減少した Figure 1（OpenThinker3 family） 6/23
7. 小規模モデルほどループしやすい 同一 family 内では小さいモデルほどループ率が高い傾向が見られた。 Figure 6（AIME 2024/2025、temperature 0） 7/23
8. 難問ほどループしやすい Phi-4 を除くモデルでは、難問ほど、温度 0 でのループ率が高い。 Figure 11（AIME の難問 5 問と易問 5 問を比較） Phi-4 はわからない問題に無理に回答しないように RL されている？ （スライド作成者の私見） 8/23
9. エラー実例 1： 簡単な事実を言い直し続ける 例： OpenThinker3-1.5B はある AIME の問題を解く途中で、 “Therefore, the word is the two letters in order, so the word is the same as the pair sorted.” を繰り返す ループに入る。 ループ直前までの文字列を prefill とし、そこから decode を行うと、 1. OpenThinker3-1.5B はループした 2. QwQ-32B はループせず、構造的な洞察へ進んだ 著者らは OpenThinker3-1.5B は「難しい前進」より「簡単な言い直し」を選んだと解釈する。 ただし、裏付けはない。（スライド作成者の私見） 9/23
10. エラー実例 2： 同じ計算ミスを繰り返す 例： OpenThinker3-1.5B は問題を回答する途中で、11 の倍数判定で誤った式を立て、そ の後の計算中で矛盾に気づく。その後、最初から考え直すものの、同じ誤りを再現してルー プしてしまう。 第 1 の実例と異なり、モデルは前進を避けているわけではない。前進するたびに同じよう に間違えてしまうせいでループしている。 10/23
11. ループする理由についての著者らの仮説 • 著者らは、訓練分布と学習された分布のずれを errors in learning と呼び、これをルー プの主要因とする仮説を立てた • そして、メカニズムを分離して調べるための人工的な実験を行った（次ページ以降） • ただし、訓練分布の明確な定義は論文中では与えられていない • そのため、errors in learning の明確な定義もない 11/23
12. 人工的実験によるループメカニズムの再現 以降では Star graph の経路探索という人工的な実験についてである Star graph 𝐺(𝑛, ℓ) は次の構造を持つ。 goal • start、goal ノード 正しいspoke • root ノード • root から分岐する複数の spoke があり、その先 のどれかに goal がある • 𝑛：root から分岐する spoke の本数 • ℓ：各 spoke 上のノード数 root reset start 𝐺(5, 5) の模式図（緑：goal へ続く spoke、赤破線：reset） 12/23
13. 実験の詳細な設定 • 問題文で graph の構造が与えられる • つまり、辺の長さを 1 としてダイクストラ法で解ける • 学習時：graph 構造と、start から goal までの経路をたどるテキストを与えられる • 推論時：graph 構造だけ与えられ、Transformer が経路を予測する 学習データは以下のルールで作成されている • 確率 0.7 で goal 方向へ 1 ステップ進む • 確率 0.3 で start 方向へ reset する 13/23
14. 実験結果：難しい問題ではループするが、簡単な問題ではループしない 青：𝐺(5, 5)（難しい）, 黄：𝐺(5, 3) （やさしめ） 著者らの解釈 60 50 ≈56 正しい spoke を選ぶことが難しいほど、モデル 40 は reset を選ぶ。 30 20 ≈5 10 0 G(5,5) 難しい →「難しい選択肢より、戻ることを選ぶ」ように見 える。 G(5,3) 簡単 平均ループ回数＝生成中の root → start 遷移回数 Pipis et al., Figure 3 を基に再描画（数値はグラフからの概算） 14/23
15. G(5, 5)でループする仕組みを考える 正しい spoke を識別できず、5 本の移動先が正解である確率を均等に割り振ると • 各 spoke: 05.7 = 0.14 • reset: 0.3 全 spoke の確率の合計は 0.7 だが、greedy decoding が比較するのは個々の次トークン である。0.3 > 0.14 なので reset が top-1 になり、次の往復が起きる。 🤔 start → root → start → root → … こう書くと当たり前のことを言ってるだけにも見える 15/23
16. 実験結果： ループは一度始まると自己強化される Star graph 実験では、連続した root 訪問間で次の傾向が見られた。 • 最も確率の高い child が同じ: 98.7% LLM による実例 2 (AIME 2025 の I-7, I-5)では、前進行動中に同じ間違いを繰り返すループが存在した。 Figure 16（論文 p. 28） つまり、一度ある経路を選択すると、似たような状況で、同じ経路を選択しやすくなる 16/23
17. Star graph 実験が示したこと Star graph 実験は以下のような問題設定であった • 前進行動の確率が複数候補へ分散する • 学習容易な cyclic action が訓練分布に十分な確率で存在する • cyclic action が個々の前進候補より高確率になる • 同じ決定地点へ戻るため、greedy decoding が選択を繰り返す この条件下でループすること自体は、確率の大小関係からほぼ自明である。 貢献は、以下の 2 つを実験的に示したこと 1. 問題が難しくなるとループし、容易であるとループしない 2. 一旦 spoke を選んでから root に戻った時、次も同じ spoke を選びやすいこと（同じ token を生成している=ループしている） 17/23
18. 感想 1. 実モデルのループの挙動に関する観察結果は有用である • 小さいモデル、低温度、難しい問題、がループを誘発する傾向がある 2. star graph 実験は面白いがなんだか微妙な気もする • タスクが小さすぎて実モデルについて何かを示せている感触がしない • 経験的には最近の LLM は「次は同じ間違いをするな」と指摘すると避けようとする (CoT の中身を読むとそういう thinking をしてることがよくある)ように思う • 人工実験から実モデルの主要因へ一般化するには証拠が不足している 18/23
19. 関連研究 1： 量子化は「正解後の迷走」を増やす Quantized Reasoning Models Think They Need to Think Longer, but They Do Not （Lotfi et al., 2026） overthinking error：CoT 途中で正解に到達したのに、考え直した上で誤答すること AWQ 3-bit 化した Qwen-1.5B に MATH-500 を解かせると • overthinking error：19 件 → 139 件 （7.3 倍） • 平均 CoT 長：5.2K → 23.4K （4.5 倍） • 正解率：85.6% → 47.0% 19/23
20. 関連研究 1 ： KL divergence で量子化の影響を測る 実験： BF16 モデルと量子化モデルに、まったく同じ推論 prefix を与え、各位置 𝑡 で、BF16 の次トークン分布 𝑝𝑡 と量子化モデル次トークン分布 𝑞𝑡 の差を KLD で測る。 KLD が大きい ⇒ 量子化による予測のずれが大きい 実験結果： • BF16 モデルの next-token entropy と KLD には強い相関がある（𝜌 = 0.92） • つまり、もともと次に何を書くか迷っている位置ほど、量子化の影響が大きい • 高 KL のトークンには Wait、But、Alternatively などが集中する • 数学・書式トークンの KL は比較的低い • 分岐トークンは高 entropy 位置の top-20 候補に 2–4 倍多く現れる 20/23
21. 関連研究 1 ： 分岐トークンの出現確率を抑えてみると？ 分析から得た予測：迷走の原因が分岐トークンなら、その確率だけを下げれば overthinking は減るかも Wait、But、Alternatively など 50 個の overthinking marker 𝑆 に、推論時だけ logit penalty を与える。 結果（Qwen-1.5B） 6 量子化設定・5 ベンチマークの平均で • 平均 CoT 長：12–23% 減少 • 正解率：維持または微増 21/23
22. 関連研究 2： ループは最初の反復から自己強化する Reducing Doom Loops with Final Token Preference Optimization（Liquid AI, 2026） アイデア： 「 ループの最初の 1 トークン 」 だけを修正する 1. 難しい数学・コード問題を低温度で生成する。60 文字以上の区間が 4 回以上反復した らループと判定する。 2. 最初の反復区間を開始したトークンを rejected とする。その位置で元モデルが出して いた top-k 候補から、最大 20 個の妥当な代替トークンを chosen とする。 • 複数の chosen へ確率を分散し、別の単一トークンへの偏りを防ぐ 3. FTPO で、その位置の選好を変える。 • LoRA で 1 epoch。学習しすぎると新しいループを生むそう。 22/23
23. 関連研究 2： FTPO でループ率が 1–2% へ低下 結果 • LFM2.5-2.6B early checkpoint：ループ率 10.2% → 1.4% • Qwen3.5-4B（greedy）：ループ率 22.9% → 1.0% • 数学・コードの評価スコアも改善した • 訓練データは新しい数学・コード知識を与えていないため、改善をループ除去の効果 であろう 23/23