plamo-3-translateの開発

2026年7月30日に開催された「PFN LLMオープンハウス」での講演資料です。

Transcript

1. plamo-3-translate 2026-07-30 LLM Seminar LLM-Dev事業部 鈴木 海渡 開発
2. 宣伝: PLaMo翻訳サービス • テキスト翻訳に加え、ブラウザ翻訳、ファイル翻訳、ライブ音声翻訳、英文添削なども備えた、 翻訳 オールインワンツール として、誰にでも使って頂けます • PLaMoをベースにした翻訳特化 LLMであるplamo-2-translateが裏側で動いています 2
3. 翻訳特化 LLM 時代 従来型（ NMT）機械翻訳 LLMによる翻訳 翻訳特化 LLM 性能 ✅良 ✅✅ 最良 ✅✅ 最良（学習次第） 主なデータ 短文でアラインされた 並列コーパス 長文を含む大規模な Webコーパス 〃 翻訳 大規模な学習 なし or 小さな割合 小規模なSFT+DPO 翻訳 ため 学習コスト ❌ 大きい ❌❌❌ 超巨大 ❌ 事前学習 ✅ 追加学習 推論コスト・ 推論速度 ✅✅ 極小・最速 ❌ 巨大・遅い ✅ 小さい・速い 従順さ ✅ 常に翻訳する ❌ 確率的に翻訳しない ✅ 常に翻訳する 学習 「翻訳」を進歩させるに 翻訳特化 LLM 3 大きい 経済的
4. なぜPLaMoを使う か モデルサイズが小さくなると事前学習時に見た頻度 低い知識が落ちる タスク特化モデル 観点で 英和・和英 言語比率から PLaMoが有利 Llama 30B PLaMo 30B 約30% 数%以下 Llama 8B PLaMo 8B 4 日本語 知識
5. plamo-2-translate: 概要 • plamo-2-translate: PFNで開発している日本語特化LLMである PLaMo 2.0 に、 翻訳に特化したファインチューニングを行った翻訳特化モデル ◦ • ベースモデル (事後学習実施前) から開始してチューニング HuggingFaceにて公開中: https://huggingface.co/pfnet/plamo-2-translate ◦ 2025年5月に公開 5
6. plamo-2-translate: ベンチマーク結果 日英/英日性能において、plamo-2-translate (8B) TranslateGemma [1] 27Bを上回る 結果 [1] Finkelstein, M., Caswell, I., Domhan, T., Peter, J.-T., Juraska, J., Riley, P., Deutsch, D., Dilanni, C., Cherry, C., Briakou, E., Nielsen, E., Luo, J., Black, K., Mullins, R., Agrawal, S., Xu, W., Kats, E., Jaskiewicz, S., Freitag, M., & Vilar, D. (2026). 6 TranslateGemma Technical Report. arXiv preprint arXiv:2601.09012.
7. plamo-3-translate: モチベーション • plamo-2-translateを実際 サービスとして展開し、課題が見えてきた • 特に強化したい featureが見えてきた • 新しいベースモデルであるPLaMo 3がpretrainチームから出てきた 課題を解決し、期待されるfeatureを備えたPLaMo 3ベース 翻訳モデルとして、 plamo-3-translate開発プロジェクトを開始 7
8. plamo-3-translate: モチベーション • plamo-2-translate ◦ 課題: ハルシネーション 略語などを勝手に括弧で補おうとした結果、間違った情報を述べてしまう場合がある 訳文 原文 これら 質問に対する回答 以下 通りです：MCP （Model Completion Plugin） 一切インストールして いません。これら コンテキストを大幅に汚染するため です。私 AGENTSとSKILLS 、こ 問題が発生する 前 過去2～3週間から変更していません。また、 gpt-5.4 使用量も主要な原因で ありません。 5.3-codexも同様に使用量が非常に速く減少している からです。 None to all of these questions. I do not have a single MCP installed -- they hugely pollute the context. My AGENTS and SKILLS havent changed since the last 2-3 weeks before this started happening, and gpt-5.4 usage is also not the main culprit as 5.3-codex also is dropping usage really fast. 8
9. plamo-3-translate: モチベーション プロダクトチームから出てきた特に強化したいfeature • 多言語対応 ◦ plamo-2-translateもある程度 ◦ 中国語を ◦ 多言語 → 日 じめとした多言語対応 入っている言語 • 用語集対応 ◦ 多言語翻訳能力があるが、主な対応言語 PLaMo 日英 要望 顧客からも多い 強みが出るところ。日 → 多言語も、pretrainである程度 結構ある で、そういった言語 一定 対応が可能な ず 強化 plamo-2-translateに 翻訳用語集を与える受け口があるが、与えた用語が反映 されるかにムラがある 9
10. plamo-3-translate: モチベーション これら 背景を踏まえ、 • plamo-2-translate 流暢性を維持しつつ、翻訳 忠実性 を改善する • 日英以外 多言語に対応する ◦ 現時点で対応予定言語 • 公表できないが、十数言語を予定 用語集対応能力 を強化する 性質を備えたモデル開発を目指してplamo-3-translateプロジェクトを開始 もちろん、全体的な翻訳品質 強化も狙う 10
11. plamo-3-translate: 学習 学習 全体像 全体像 右図参照 事前学習 ポイント • Webデータ 事前学習段階からある 程度 • 翻訳データ DPO 翻訳データを投入 翻訳データ 基本的に オープンなLLM DPO オープンなLLMで合成 • 学習 SFTとIterative 翻訳済みデータ DPO DPOで行う ※1 こ 構成 plamo-2-translateと同様。他 モデルマージ？ アプローチも検討したが、 結局こちらに収束した ※2 モデルマージ plamo-2-translateで SFT 実施していたが、plamo-3-translateで 11 未検討
12. plamo-3-translate: ベンチマーク • 日本語を軸にした翻訳ベンチマークで、品質が高いも • plamo-3-translate 開発で 限られている 、Publicベンチマーク スコアも見ているが、社内で開発した 独自ベンチマークが複数あり、それらで性能をチェックしていることが多い • ◦ PFTB*: 幅広い文章について、日→英と英→日 翻訳品質をチェック ◦ SaaS: 実際 サービス データを集めた、SaaS マーク。現状 、英 → 日 事前 リクエストと同じ形式* 体験に直結するベンチ ブラウザ拡張における翻訳品質を主にチェック 実験から、「丁寧に作り込まれた参照訳と 間 n-gram マッチング評価により、充分に良い評 価ができる」ことを確認 [2] しており、こ 知見に基づいて、Gemini、Claude、GPTなどを駆使して構築し た理想的な参照訳と 間 n-gramマッチングで評価を実施している [2] 今城健太郎, 平野正徳. (2026). 高精度翻訳モデル https://doi.org/10.51094/jxiv.2428 * PLaMo翻訳 ため 自動評価手法 検討. Jxiv preprint, jxiv.2428. LPで公開しているスコアと 、同名だが細かい計算方式が異なるため比較不可 12
13. plamo-3-translate: ベンチマーク - PFTB PFTB データ 例: 幅広い翻訳文を集めたベンチマーク 参照訳 原文 As ESG investing expands, the importance of corporate sustainability disclosure has been rising. However, especially among small and medium-sized enterprises (SMEs), limited human resources and a lack of specialized expertise often make the collection and analysis of ESG-related data difficult. To address this challenge, we developed a system that leverages natural language processing to automatically extract key ESG information from Annual Securities Reports. The system employs a BERT model to analyze the context of non-financial information and identify ESG indicators such as greenhouse gas emissions and working conditions. Furthermore, it automatically converts the extracted information into formats compliant with international standards such as SASB and GRI. In an empirical evaluation using Annual Securities Reports from 100 companies, the system achieved an accuracy of 85% compared with manual analysis. The results of this study are expected to enhance the efficiency and transparency of ESG disclosure and, in particular, support SMEs’ sustainability initiatives. ESG投資 拡大に伴い，企業 サステナビリティ情報開示 重要性が 高まっている．しかし，中小企業を中心に，人的リソースや専門知識 不足からESG関連 データ収集や分析が困難なケースが少なくない． そこで本研究で ，自然言語処理技術を活用し，有価証券報告書から ESG関連 重要情報を自動抽出するシステムを開発した．本システム BERTモデルを用いて非財務情報 文脈を解析し，温室効果ガス排 出量や労働環境など ESG指標を特定する．さらに，抽出した情報を 国際基準（SASBやGRI）に準拠したフォーマットに自動変換する機能を 実装した．実証実験で 100社 有価証券報告書を対象に検証を行い ，人手による分析と比較して85% 精度を達成した．本研究 成果 ESG情報開示 効率化と透明性向上に寄与し，特に中小企業 サス テナビリティ対応を支援することが期待される． 13
14. plamo-3-translate: ベンチマーク - SaaS SaaS データ 例: 実際 ブラウザ翻訳サービス リクエスト形式に合わせたデータを収集 参照訳 原文 Each time a person is infected with SARS-CoV-2, they have a risk of developing Long COVID.^{<span id="1"><a href="2">1</a><a href="3">2</a></span>^]} <a href="4">Long COVID symptoms</a> and conditions can emerge, persist, resolve, and reemerge over weeks, months, and even years.<span id="5"><a href="6">3</a><a href="7">4</a><a href="8">5</a></span>These symptoms and conditions can range from mild to severe, may require comprehensive care, and can sometimes result in a <a href="9">disability</a>. SARS-CoV-2に感染するたびに、Long COVIDを発症 するリスクがあります。^{<span id="1"><a href="2">1</a><a href="3">2</a></span>^]} <a href="4">Long COVID 症状</a>や病態 、数週 間、数か月、さらに 数年にわたって出現、持続、消 失、再発する可能性があります。<span id="5"><a href="6">3</a><a href="7">4</a><a href="8">5</a></span>これら 症状や病態 軽度から重度まで多岐にわたり、包括 的なケアが必要となる場合があり、時に <a href="9">障害</a>につながることもあります。 14
15. plamo-3-translate: データ 準備 • 対訳コーパスも多少用いるが、圧倒的に多く データを 単言語コーパス から得る • データ 収集に当たって 、公開データセット ル、PLaMo翻訳SaaSにリクエストを投げて DL、大規模コーパスから マイニング、 Webから クロー 収集 などを組み合わせる 単言語コーパス （後でLLMで対訳を合成） 公開データセット 対訳コーパス DL Webから クロール 15 大規模コーパスから マイニング PLaMo翻訳SaaSに リクエストを投げて 収集
16. plamo-3-translate: データ 準備 • • 対訳データ Gemma-4-31B-IT [3] を用いて付与 1回 推論で なく、複数回 推論で候補訳を出し、それを評価、洗練 することでよりよい翻訳を生成 ◦ plamo-2-translate ハルシネーション 、参照訳 生成に当時用いていたDeepSeek V3.1 [4] 生成傾向を引き継いでしまった部分が多少あると考えており、丁寧に計算コストをかけて訳文を洗 練することで、課題となっていたハルシネーション 抑制も相当程度達成できると考えている Gemma-4-31B-IT 翻訳リクエスト 原文 訳文 候補訳1 評価 / 翻訳洗練 リクエスト 候補訳2 ・・・ [3] https://huggingface.co/google/gemma-4-31B-it [4] https://huggingface.co/deepseek-ai/DeepSeek-V3.1 16 候補訳N
17. plamo-3-translate: SFT • • 最初 学習プロセスとして SFT (Supervised Fine-Tuning) を実施 ◦ 翻訳タスク フォーマットをLLMに覚え込ませつつ、翻訳品質 ◦ 質 良いデータを投入すれ 作成した (原文、合成文) 、こ プロセスだけでかなり 原文 → 合成文: 各言語 自然な表現を読むことを学ぶ ▪ ◦ 合成文で 出てこない慣用句表現なども多い 合成文 → 原文: 各言語 自然な表現を書くことを学ぶ ▪ 翻訳能力向上が可能 データについて、[原文 → 合成文] 方向と [合成文 → 原文] 方向 両方を学習する ◦ 向上も狙う より流暢な文章を出力することを学ぶ 17
18. plamo-3-translate: SFT • SFTだけでベンチマークスコアが大きく伸びる ◦ 内製ベンチにおいて 、既に plamo-2-translateよりも良い ◦ SFTデータ 洗練によりハルシネーション 傾向が低減しており、それが効いていると 思われる • 一方Publicベンチで少し劣化傾向も見られ、調 査中 ◦ WMT24++ベンチ 実際 サービスで リクエスト傾向と 異なる文章が多いた め、サブ目標くらい 温度感で見ている 18
19. plamo-3-translate: DPO • SFT 次 学習プロセスとしてDPO (Direct Preference Optimization) を実施 ◦ さらなる翻訳品質 ◦ chosen (良い翻訳) と rejected (悪い翻訳) を対比することを通じて、モデルに 「やって • いけないこと 」を教える役割も持つ (典型例: 無限ループ) データ生成 → 学習 ◦ 向上を目指した学習プロセス プロセスを数段階繰り返すIterative DPOを採用 on-policyデータ 生成と学習を繰り返すことで、１回 DPOよりも性能が 向上することを確認済み • 実際に ◦ 、DPO Lossと、chosenと 間 DPOで よくある処理 SFT Lossを合算して学習をしている 1つだが、翻訳において マークスコアもかなり落ちる) 19 特に必須だった (ないとベンチ
20. plamo-3-translate: DPO DPOデータ: chosen (良い翻訳) と rejected (悪い翻訳) を対比する なるべくchosenとrejected 学習対象 モデル 出力から選ぶ （on-policy） 原文 What's Tom's social security number? chosen (良い翻訳) トム 社会保障番号 何ですか。 rejected (悪い翻訳) トム ＳＳナンバー 何番？ 20
21. plamo-3-translate: DPO • SFTまで終わった段階 翻訳モデルを用いて、N件 訳文を合成（以下 8件 例） ◦ N件 訳文を何らか 手段 (後述) でソートし、1位とN位を (chosen, rejected) ペアとする 1位 訳文 2位 訳文 訳文3 3位 訳文 訳文4 4位 訳文 訳文5 5位 訳文 訳文6 6位 訳文 訳文7 7位 訳文 8位 訳文 訳文1 訳文2 原文 PLaMo翻訳モデル (SFTまで完了) 訳文8 何らか ソート 21 手段で chosen rejected
22. plamo-3-translate: DPO DPO 訳文候補 ソートに 以下 ような手段を組み合わせて用いる （様々な方式が考えられ、現在進行系で試行錯誤中） • • n-gram ◦ 事前に準備した参照訳と 間 ◦ 参照訳が適切であれ 距離を大雑把に独自方式 n-gram [6] で計測し、近いほど高評価 、ハルシネーションや訳抜けに自動的にペナルティがかかる gemma-4によるランキング ◦ gemma-4によってスコアを付け、それによりランキング ◦ 例え 何らか 基準 下1 ~ 5 スコアを付けさせ、かつ 1 ~ 5 token logprob 重み付き和によっ て擬似的な連続スコアとする • そ 他 指標 ◦ 例: ルールベース (例え HTMLタグ 破壊や URL ◦ 例: 無限ループ 強制的に rejectedに入れる 改変にペナルティを与える） [6] charsim: パラメータに左右されにくい文字n-gram類似度, https://imoz.jp/scraps/202607_charsim.html 22
23. plamo-3-translate: 余談 - RL • 別アプローチとして、RL (強化学習) Optimization) を試したも • 不使用になった理由 トライとして GRPO (Group Relative Policy 、最終的に 使わない形に 落ち着いた 以下 ◦ ベンチ性能的に DPOと同等以上まで上げること できた ◦ 一方、DPOと違って毎回候補訳を生成しなけれ ならないため、同じ計算量あたりで可能な 試行錯誤や、入れられるデータ 分量が少なくなってしまった ◦ また、報酬で表現した能力を効果的に上げること できるも しづらい能力が下降する傾向 が強くみられた 23 、流暢性など 報酬で表現
24. plamo-3-translate: 用語集能力 • 事前に作成済み 強化 対訳ペアから用語集を合成し、入力テキストにメタデータとして付加する形で与 えて学習 ◦ 与えた用語集を無理に使おうとして翻訳を壊すような出力をする を避けるため、別 から持ってきた使うべきでない用語もノイズとして付与 原文 What's Tom's social security number? social security number 社会保障番号 訳文 トム 社会保障番号 何ですか。 用語集 抽出 (by gemma-4) 24 文章
25. plamo-3-translate: 用語集能力 強化 • 用語集 • 用語集付与あり/なし SFTを対照実験し、用語集付与あり 反映度合いを評価する専用ベンチマークを構築 SFTで反映能力が大きく向 上することを確認済み ◦ まだ精度的に 改善 余地があるが、後々DPO等でさらなる向上を検討予定 SFT (glossaryなし) 0.81 SFT (glossaryあり) 25 term-recall (与えた用語を正しく使えた割合) 0.95
26. plamo-3-translate: 多言語能力 • 多言語能力 明示的な強化 も実施中 (Work In Progress) • 基本的に • 日英 強化 プロセス 純粋な拡張 ◦ 各言語 データを明示的に収集し、そこから日本語 対訳をGemma-4で合成 ◦ 日本語 データを明示的に収集し、そこから各言語 対訳をGemma-4で合成 言語ごと 個別 固有 処理 多くないが、FineWebなどから マイニングを駆使して各言語 データ 収集 などを意識的に実施 26 文化圏
27. plamo-3-translate: まとめ • plamo-3-translateモデルを開発中 ◦ plamo-2-translateをサービスインして ▪ 反省や feature requestを踏まえて 開発 実際 プロダクトを持っていることを活かし、どういう能力を強化すべきか、どういう featureを持つべきかを密にコミュニケーションを取りながら開発（事実、発表者(鈴木) プロダクト側 • ◦ 多様なソースからデータを集めてGemma-4で訳を合成し、SFT → Iterative DPOで学習 ◦ 多言語対応、用語集能力 強化も実施中 2026年秋頃 リリースを目標 に鋭意開発中 ◦ • アプリ開発も兼任） 翻訳SaaS バックエンド置き換え PLaMo翻訳SaaS、誰でも試せる ほか、モデルweight 公開も予定 でぜひ使ってください！ 27
28. Appendix: セミナー時 質疑応答 [1/5] • Q. gemma たくさん 翻訳からよい翻訳を選ぶと ことですが、具体的にど ような評価指標・評 価方法で選んでいる ◦ A. gemmaでLLM as a Judgeをしたり、ルールベースでタグ 破壊を検出したり、そういった も • 組み合わせです Q. plamo-3-translate ◦ でしょうか？ 学習前モデル 推論能力がついていないモデルでしょうか A. ベースモデルな で、推論なしです。体感、reasoningで翻訳 フォーマット遵守能力 あ がりますが、流暢性 僅かに落ちるか、ほぼ同じです • Q. PLaMo 3.0 Prime 事後学習後 モデルを学習前モデルとして翻訳能力を追加学習させても 問題ないでしょうか。 ◦ A. 事後学習 Instruction Followingと衝突するかもしれない ルを使ったほうが良いです 28 で、使えるなら事前学習モデ
29. Appendix: セミナー時 質疑応答 [2/5] • Q. Gemma 31Bを選択した理由など ありますでしょうか？より大きなモデルを使って参照文を作 成した方がより流暢な参照文を生成できるような気がする どがあれ ◦ ですが、モデル選択 理由や経緯な 教えていただけますと幸いです。 A. サイズと性能 バランスが最も良いと考えているためです。また、より大きなモデル モデルが多いですが、非常に巨大なため推論コストが大きすぎる、中国モデル ため日本 語を書かせると中国語が混ざることがある、など 課題があります。 • Q. Qwenなど 検討された でしょうか？ ◦ A. 試していて、あまり変わらないか、同サイズ帯で Gemma ほうが少し優秀でした 29 中国
30. Appendix: セミナー時 質疑応答 [3/5] • Q. GRPOを試されたと ことですが、疑似データを作るモデル 精度が高けれ 流暢性が落ちる こと ないような気がします。流暢性が落ちた理由について思い当たることがありましたらご教授い ただきたいです。（計算量を気にしなけれ DPOよりもGRPO 方が精度 高くなる で と思って おりました。） ◦ A. 流暢性を報酬で表現する が難しいからであると思います。実際、LLM as a Judgeで流 暢性報酬 定義してみましたが、それ 上がっているも 人手評価で流暢性が落ちている こともありました • Q. 日本語ならで ◦ 翻訳 難しさ ありますか？ A. 主語にバリエーションがある で、どれを選ぶ が状況に依存するところ、中国語 LLM から素朴に蒸留すると言語が混ざるところでしょうか 30
31. Appendix: セミナー時 質疑応答 [4/5] • Q. Google翻訳でコード ことがある ◦ 翻訳をすると、printを「印刷する」みたいにまとめて訳してしまって、困る ですか、なにか対策されていますか？ A. コード翻訳データ 一定入っていて、コードブロック以外 部分だけを翻訳するとか、コメン トだけ翻訳するとか、そういうデータ 作り方をしています • Q. 翻訳を事前学習に入れる場合とSFTに入れる場合 ◦ • 何がありますか？ 翻訳 品質に相当気を遣っている A. データ 形式 そう変わりませんが、SFTで 前学習で Loss かかり方が少し違います（SFTで promptに勾配が流れない） Q. 業界用語へ ◦ 差 と、事 対応など ありますか？ A. 基本的に 用語集機能を使っていただくことになると思います。特定 パスを作って強化するみたいなところもやってみたいと 思っています 31 ドメイン 翻訳コー
32. Appendix: セミナー時 質疑応答 [5/5] • Q. ほとんどすべて いう考えな ◦ 処理をLLMにまかせているように見えますが、E2Eで全てLLMで行え でしょうか？ A. 人手対訳コーパス 少数ですが公開されていて、ありがたく利用しています。一方でス ケールを桁違いに大きくする ないです（例え 難しいです。また、例え アラビア語とロシア語 多言語間 コーパス で書けるならルールベースで書く、そ 辺 Q. 評価に当たって 人手も活用している ◦ 非常に少 対訳コーパスなど ほぼないと思います）。こ あた りを補うためにLLMを使い、高品質なデータとして人手も活用する、+αで言え • よいと ルールベース 総合戦だと思います ですか？ A. 私が気合で頑張って見ています & 複数 フロンティアLLMによる2つ 翻訳候補A/B ど ちらが良いか？というABテストをアンサンブルすると大体人間と 相関が非常に高いです 32