PLaMo 3.0 Primeの事後学習

2026年7月30日に開催された「PFN LLMオープンハウス」での講演資料です。

Transcript

1. PLaMo 3.0 Primeの事後学習 LLM開発事業部 PLaMo Post-training team 野沢 健人
2. PLaMo 3.0 Prime のパイプライン概略 2 Pretraining & Continual pretraining SFT Stage 1 SFT Stage 2 RL DPO • 事前学習：(Continual) Pretraining ◦ ◦ 次のトークンを予測するように学習させ、後段のための良い初期値を得る Continual pretraining：コンテキスト長の延長 • 事後学習：SFT, RL, and DPO ◦ ◦ 利用時に期待する挙動を学習 Reasoningありの学習を紹介
3. SFT (Supervised fine-tuning) 3 - プロンプトと期待される応答のペアを用意し、期待する形式の応答がで きるように学習 - プロンプト：自己紹介よろ - 応答：株式会社PFNで開発されたAI PLaMoです！😀 - 応答のトークンの予測誤差を使って学習 - PLaMo 3.0 Prime では2段から構成
4. SFT Stage 1 4 - 大規模にReasoningを伴う応答ができるように学習 - プロンプト：1+1 - Reasoning：ユーザーが1+1…田ではなく2と回答しよう。 - 最終的な応答：2です！ - データのドメインは、STEMやCodingが支配的
5. SFT Stage 2 5 - Stage 1で身につけたReasoning能力を、PLaMoで注力するドメインや 汎用的な対話利用でも同じように学習 - 指示追従 - 長コンテキスト - エージェント - 安全性など - Stage 1に比べて多様、小規模
6. RL (Reinforcement learning) 6 - SFTで身につけた能力をさらに汎化させるために、報酬関数を最大化す るように学習 - データ例： - プロンプト：約30文字で面白いこと言って - 報酬関数：その応答の良し悪しを定量化する関数f - f(プロンプト + つまらない256文字): 0.0 - f(プロンプト + 爆笑の30文字): 1.0 - 報酬設計が重要 Shao et al. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models, arXiv, 2024.
7. DPO (Direct preference optimisation) 7 - 最後の微調整で、chosen (望ましい応答) の応答確率が rejected (望ま しくない応答) より高くなるように学習 - データ形式： - プロンプト：約30文字で面白いこと言って - chosen: 爆笑の30文字 - rejected: スベりたくないので拒否します - 事後学習の中でもっとも小規模 Rafailov et al., Direct Preference Optimization: Your Language Model is Secretly a Reward Model, In NeurIPS, 2023.
8. まとめ 8 Pretraining & Continual pretraining SFT Stage 1 SFT Stage 2 RL - 紹介できなかったPLaMo 3.0 Primeに関わる開発 - 学習・評価基盤改善 - Non-reasoning modelの開発 DPO
9. SFT vs RL 9 「RLで汎化するなら最初からRLしたら？」 - オンラインRLは応答生成が伴うため、GPUの利用効率がSFTより悪い - “SFT memorizes, RL Generalizes” [Chu et al., 2025] Chu et al., SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training, In ICML, 2025.