最先端NLP勉強会2026 論文紹介：Reasoning with Sampling: Your Base Model is Smarter Than You Think (ICLR 2026 paper)

2026/08/30-31, 第18回最先端NLP勉強会
https://sites.google.com/view/snlp-jp/home/2026

Karan et al., Reasoning with Sampling: Your Base Model is Smarter Than You Think (ICLR 2026) の論文紹介です。
https://openreview.net/forum?id=Vsgq2ldr4K

Transcript

1. Reasoning with Sampling: Your Base Model is Smarter Than You Think Authors: Aayush Karan & Yilun Du ICLR 2026 Oral [paper link] 紹介者：小林悟郎（株式会社Preferred Networks/東北大学） 2026/08/30-31 第18回最先端NLP勉強会
2. 概要 • 先行研究：RL は、ベースモデルに既に存在する能力を引き出しやすくするだけ(?) • この研究：ベースモデル向けの新たなサンプリング手法を提案し、 学習なしで RL 後モデルと競争的な pass@1 推論性能を達成 2026/08/30-31 第18回最先端NLP勉強会 2
3. 最近の流行：RL で Reasoning model を構築 • DeepSeek-R1 登場を皮切りに GRPO などを用いた大規模 RL と、 最終回答の前に推論/思考する Reasoning model が流行 • 数学・コーディング・STEM などで大幅な性能向上 ← 昨年5月頃の結果 2026/08/30-31 https://x.com/ArtificialAnlys/status/1924845426479661547 第18回最先端NLP勉強会 3
4. 最近の流行：RL で Reasoning model を構築 • DeepSeek-R1 登場を皮切りに GRPO などを用いた大規模 RL と、 最終回答の前に推論/思考する Reasoning model が流行 • 数学・コーディング・STEM などで大幅な性能向上 ← 現在 (2026年8月末) Reasoning model だらけ Non-reasoning model とは明確な性能差 2026/08/30-31 https://artificialanalysis.ai/evaluations/artificial-analysis-intelligence-index 第18回最先端NLP勉強会 4
5. 背景：推論能力は RL で新たに獲得されるわけではない？ (Yue et al., 2025) • RL はベースモデルの分布を尖らせているだけかもしれない 十分に試行回数 k が多い pass@k (※) 評価では、 ベースモデルは RL 後モデルと同等以上の性能 ※ k 回サンプリングして１回でも正答した問題の割合 2026/08/30-31 RL 後モデルからサンプリングされたトークン列は、 ベースモデルにとっても尤度が高い領域に集中 (=Perplexity が低い) 第18回最先端NLP勉強会 5
6. 背景：推論能力は RL で新たに獲得されるわけではない？ (Yue et al., 2025) • RL はベースモデルの分布を尖らせているだけかもしれない • • RL によって、ベースモデルには存在しなかった新しい推論能力を獲得 ベースモデルでも比較的高い尤度を持つ良い推論パス (トークン列) の 確率をさらに高め、一発のサンプリングでも出やすくする (= 分布を尖らせてサンプリング効率を上げている) 2026/08/30-31 第18回最先端NLP勉強会 6
7. 背景：推論能力は RL で新たに獲得されるわけではない？ (Yue et al., 2025) • RL はベースモデルの分布を尖らせているだけかもしれない • • RL によって、ベースモデルには存在しなかった新しい推論能力を獲得 ベースモデルでも比較的高い尤度を持つ良い推論パス (トークン列) の 確率をさらに高め、一発のサンプリングでも出やすくする (= 分布を尖らせてサンプリング効率を上げている) 詳細は明日の大羽さんの論文紹介をお楽しみに！ https://sites.google.com/view/snlp-jp/home/2026 2026/08/30-31 第18回最先端NLP勉強会 7
8. 問い：RL などの学習なしで、 ベースモデルから効率的に推論能力を引き出せる？ これらの知見を参考に、たくさんサンプリングせずに ベースモデルからもっと効率的に良い推論を生成できないか...？ RL がやっていると考えられることを 操作的に実施したら学習なしでもうまくやれそう • アイデア：ベースモデルの分布を意図的に尖らせてから サンプリングしたら効率的に良い推論が生成できるのでは？ • 尤度が低いトークン列はさらに低く、尤度が高いトークン列はさらに高く • この分布からサンプリングすれば、より尤度が高いトークン列を引きやすい • 高尤度なトークン列には良い推論が多いはず...？ 2026/08/30-31 第18回最先端NLP勉強会 8
9. Power sampling： 系列レベルの分布を尖らせてからサンプリングする • 分布を自然に尖らせる方法の 1 つは冪乗 𝑝𝛼 (𝛼 > 1) • 尤度が低いトークン列はさらに低く、尤度が高いトークン列はさらに高く • この分布からサンプリング できれば良い推論を引きやすそう 2026/08/30-31 第18回最先端NLP勉強会 9
10. Power sampling： 系列レベルの分布を尖らせてからサンプリングする • 分布を自然に尖らせる方法の 1 つは冪乗 𝑝𝛼 (𝛼 > 1) • 尤度が低いトークン列はさらに低く、尤度が高いトークン列はさらに高く 各トークンを選ぶ時 • この分布からサンプリング できれば良い推論を引きやすそう 点で、その先にある • 単に温度 (temperature) を下げるのとは違う 個々のパスの確率に は触らずにまとめて 尖らせる • 低温度サンプリング： • Power sampling： 2026/08/30-31 各トークンを選ぶ時 点で、その先にある 個々のパスの確率を 尖らせてからまとめ る 第18回最先端NLP勉強会 10
11. Power sampling： 系列レベルの分布を尖らせてからサンプリングする • 分布を自然に尖らせる方法の 1 つは冪乗 𝑝𝛼 (𝛼 > 1) • 尤度が低いトークン列はさらに低く、尤度が高いトークン列はさらに高く • この分布からサンプリング できれば良い推論を引きやすそう • 単に温度 (temperature) を下げるのとは違う 0.0015 0.005 解の公式を <将来パス1> 0.002 <将来パス2> 0.0015 <将来パス3> ユーザー：𝑥 2 − 5𝑥 + 6 = 0 を解け。 アシスタント：この方程式を解くには、 0.003 因数分解を 0.003 <将来パス4> … 2026/08/30-31 ※ 説明のために紹介者が自作した恣意的な例です。 第18回最先端NLP勉強会 11
12. Power sampling： 系列レベルの分布を尖らせてからサンプリングする 低温度サンプリングは各トークンを選ぶ時点で、 • 分布を自然に尖らせる方法の 1 つは冪乗 𝑝𝛼 (𝛼 > 1) その先にあるすべてのパスの確率をまとめてから冪乗する • 尤度が低いトークン列はさらに低く、尤度が高いトークン列はさらに高く 将来的に低確率なパスにしか繋がらないようなトークンも • この分布からサンプリング できれば良い推論を引きやすそう 高く評価してしまう • 単に温度 (temperature) を下げるのとは違う 𝟏. 𝟐𝟓 × 𝟏𝟎−𝟕 𝜶=𝟑 0.005 解の公式を ユーザー：𝑥 2 − 5𝑥 + 6 = 0 を解け。 アシスタント：この方程式を解くには、 0.0015 <将来パス1> 0.002 <将来パス2> 0.0015 <将来パス3> 𝟐. 𝟕 × 𝟏𝟎−𝟖 𝜶=𝟑 0.003 因数分解を 0.003 <将来パス4> … 2026/08/30-31 ※ 説明のために紹介者が自作した恣意的な例です。 第18回最先端NLP勉強会 12
13. Power sampling： 系列レベルの分布を尖らせてからサンプリングする Power sampling • 分布を自然に尖らせる方法の 1 つは冪乗 𝑝𝛼 (𝛼は各トークンを選ぶ時点で、 > 1) その先にあるすべてのパスの確率を冪乗してからまとめる • 尤度が低いトークン列はさらに低く、尤度が高いトークン列はさらに高く 将来的に少数でも高確率なパスに繋がるトークンを • この分布からサンプリング できれば良い推論を引きやすそう 高く評価できる • 単に温度 (temperature) を下げるのとは違う 𝟏. 𝟒𝟕𝟓 × 𝟏𝟎−𝟖 0.005 解の公式を 0.0015 𝟑. 𝟑𝟕𝟓 × 𝟏𝟎−𝟗 <将来パス1> 0.002 𝟖 × 𝟏𝟎−𝟗 <将来パス2> 0.0015 𝟑. 𝟑𝟕𝟓 × 𝟏𝟎−𝟗 <将来パス3> ユーザー：𝑥 2 − 5𝑥 + 6 = 0 を解け。 アシスタント：この方程式を解くには、 𝟐. 𝟕 × 𝟏𝟎−𝟖 0.003 因数分解を 0.003 𝟐. 𝟕 × 𝟏𝟎−𝟖 <将来パス4> … 2026/08/30-31 ※ 説明のために紹介者が自作した恣意的な例です。 第18回最先端NLP勉強会 13
14. Power sampling： 系列レベルの分布を尖らせてからサンプリングする • 分布を自然に尖らせる方法の 1推論タスクにおいては、ある時点のわずかな つは冪乗 𝑝𝛼 (𝛼 > 1) token 選択がその 後の推論全体に大きく影響するという観察がある • 尤度が低いトークン列はさらに低く、尤度が高いトークン列はさらに高く → 推論タスクでは Power sampling の特性が特に嬉しそう！ • この分布からサンプリング できれば良い推論を引きやすそう • 単に温度 (temperature) を下げるのとは違う 𝟏. 𝟒𝟕𝟓 × 𝟏𝟎−𝟖 0.005 解の公式を 0.0015 𝟑. 𝟑𝟕𝟓 × 𝟏𝟎−𝟗 <将来パス1> 0.002 𝟖 × 𝟏𝟎−𝟗 <将来パス2> 0.0015 𝟑. 𝟑𝟕𝟓 × 𝟏𝟎−𝟗 <将来パス3> ユーザー：𝑥 2 − 5𝑥 + 6 = 0 を解け。 アシスタント：この方程式を解くには、 𝟐. 𝟕 × 𝟏𝟎−𝟖 0.003 因数分解を 0.003 𝟐. 𝟕 × 𝟏𝟎−𝟖 <将来パス4> … 2026/08/30-31 ※ 説明のために紹介者が自作した恣意的な例です。 第18回最先端NLP勉強会 14
15. 非現実的な計算量を要するので MCMC で近似する • 全ての将来パスの確率を計算しながらサンプリングするのは計算量的に不可 • マルコフ連鎖モンテカルロ法 (MCMC) で近似計算 (メトロポリス・ヘイスティングス法) • ざっくり説明：何度もランダムな位置から生成し直し、確率的に採用 1. 低温度サンプリングで自己回帰的にトークン列を一度生成する 2. 現在のトークン列に対して、以下を繰り返す (a) ランダムなトークン位置以降を生成し直す (b) トークン列の確率を冪乗して比較し、更新 (採用) するかどうか確率的に決める (b) (a) ※ 実際には先頭からブロック単位 (N トークンごと) に処理します 第18回最先端NLP勉強会 15
16. 処理イメージ (動画) X に論文著者が投稿した動画です https://x.com/aakaran31/status/1979194052697280712 2026/08/30-31 第18回最先端NLP勉強会 16
17. 実験設定 • 対象モデル × 3 • Qwen2.5-Math-7B (事前学習 & Math 特化の継続事前学習済みモデル) • Qwen2.5-7B (事前学習済みモデル) • Phi-3.5-mini-instruct (事後学習済みモデル) • 評価ベンチマーク × 4 • 数学 (MATH500)、コーディング (HumanEval)、科学 (GPQA)、 一般 (AlpacaEval2.0) • 比較設定 × 4 • ベースモデル w/ 通常サンプリング (モデルのデフォルト温度) • ベースモデル w/ 低温度サンプリング (temperature=0.25) • ベースモデル w/ Power sampling • GRPO 後モデル w/ 通常サンプリング • MATH の train split (数学 7,500 問) のみで GRPO 2026/08/30-31 第18回最先端NLP勉強会 17
18. 実験結果1： ベースモデルからpass@1で GRPOと競争的な性能を引き出せる Power sampling は低温度サンプリングを上回り、GRPO と競争的 2026/08/30-31 第18回最先端NLP勉強会 18
19. 実験結果2： RL は多様性を損なうが、Power sampling はいい感じ • RL は分布を尖らせているので、pass@k でそんなに性能が伸びない... • Power sampling は k を増やしても性能が伸びる！(RL より生成の多様性あり) 2026/08/30-31 第18回最先端NLP勉強会 19
20. ハイパーパラメータ • 冪乗パラメータ 𝛼 には比較実験において最良だった 𝛼 = 4.0 を採用 • 𝛼 > 1.0 が良い → 尖らせた分布からサンプリングすることは効果的 2026/08/30-31 第18回最先端NLP勉強会 20
21. Power sampling にかかる推論コスト (感想を含みます) • Power sampling は例えば MATH500 評価時、 通常の推論に比べて 8.84倍 のトークンを生成するとのこと... • 通常サンプリングを 8 回くらい行って、尤度でランキングつけて best を選 ぶ Best-of-N でも結構良い勝負しそうな気も...？ • 推論時計算量を合わせたそういう比較実験は...無い！！ • 後続研究 (Ji et al., 2026) では比較されていた • 同程度の計算量の Best-of-N よりも Power sampling の方が優れている 2026/08/30-31 第18回最先端NLP勉強会 21
22. まとめ • RL はベースモデルの分布を尖らせているだけで、すでに存在する能力を 引き出しているに過ぎないかもしれないと考えられている • これに着想を得て、ベースモデルの系列レベル分布を尖らせてから サンプリングする Power sampling を提案 • 学習・検証器・追加データなしで、 ベースモデルだけで GRPO と競争的な pass@1 性能を引き出せた • RL が持ついくつかの欠点がないという利点もあるが、推論コストは高い 2026/08/30-31 第18回最先端NLP勉強会 22
23. 感想 • この研究の GRPO 実験は小規模かつ数学のみの設定なので、 「ベースモデルで RL の上限性能を達成可能」と過大解釈しないよう注意 • 最近は QA 形式のデータや、推論過程付きデータが事前学習・中間学習に モリモリ入れられているので尚更ベースモデルは賢そう • 8倍以上の推論コストとなると、応用機会は限定的かもしれない • データ準備、応答の検証が難しいようなタスク • SFT・DPO 用データ合成や、RL の rollout 生成に組み込むなど • 計算の軽量化などの後続研究がいくつも出ていて盛り上がっている (Ji et al., 2026; Azizi et al., 2026; Nguyen et al., 2026; Guo et al., 2026) • 「RL は分布を尖らせているだけ」とは限らない、という研究もある模様 (Wen et al., 2026; Yao et al., 2025) 2026/08/30-31 第18回最先端NLP勉強会 23
24. Appendix
25. 冪乗パラメータ 𝛼 と MCMC ステップ数 • 𝛼 ≥ 2.0ではそれなりに頑健 • MCMC ステップ数は10までは性能向上に寄与、それ以降は安定 2026/08/30-31 第18回最先端NLP勉強会 25
26. 具体例 2026/08/30-31 第18回最先端NLP勉強会 26