Preferred Networks (PFN) とLLM Post-Training チームの紹介 / 第4回 関東Kaggler会 スポンサーセッション

2024年4月にリリースされた最新の Kubernetes v1.30 や直近実装される機能のなかで私が注目するものを紹介します。

イベントサイト: https://kanto-kaggler.connpass.com/event/362280

Transcript

1. Preferred Networks 中鉢 魁三郎 Preferred Networks (PFN) と LLM Post-Training チームの紹介 2025/8/23 第4回 関東Kaggler会 スポンサーセッション資料 1
2. 自己紹介 2 中鉢 魁三郎 経歴 • 2019年に新卒で PFN に入社 (7年目) • 石油化学プラントの自動運転 • 気象レーダー・SAR などのリモセン • LLM Post-Training チームのマネージャー (Now) Kaggle • Competitions Grandmaster • 新しい技術がテーマのコンペとサンタが好き • 関東Kaggler会は前回に続き2回目の参加 X: @zaburo_ch Kaggle: @zaburo
3. Preferred Networks の事業 3
4. 4 PFNの事業: AI技術のバリューチェーンを垂直統合 AIソリューション・製品 計算基盤 AIチップ 生成AI基盤モデル 様々な産業向けのAIソリューション・製品 MN-Core MN-Core 2 GPUクラスタ MN-3 (MN-Coreクラスタ) PLaMo Prime（国産LLM） PLaMo Lite（エッジ向けSLM） MN-Core 次世代 MN-Core 2を 計算資源とした クラウドサービス 物質のエネルギー計算モデル PFP 生成AI（推論）向け MN-Core L1000 （2027年提供予定） PFNは、チップ、計算基盤、生成AI基盤モデル、ソリューション・製品まで、AI技術のバリューチェーン を垂直統合し、ソフトウェアとハードウェアを高度に融合することで、競争力の高い技術の開発および産 業応用を進めています。
5. 5 PFNの事業: AI技術のバリューチェーンを垂直統合 AIソリューション・製品 計算基盤 AIチップ 生成AI基盤モデル 様々な産業向けのAIソリューション・製品 MN-Core MN-Core 2 GPUクラスタ MN-3 (MN-Coreクラスタ) PLaMo Prime（国産LLM） PLaMo Lite（エッジ向けSLM） MN-Core 次世代 MN-Core 2を 計算資源とした クラウドサービス 物質のエネルギー計算モデル PFP 生成AI（推論）向け MN-Core L1000 （2027年提供予定） PFNは、チップ、計算基盤、生成AI基盤モデル、ソリューション・製品まで、AI技術のバリューチェーン を垂直統合し、ソフトウェアとハードウェアを高度に融合することで、競争力の高い技術の開発および産 業応用を進めています。
6. PLaMo：世界最高クラスの日本語性能を持った国産LLM • 追加学習でなくデータ収集、 学習をすべて自社で制御し実現 • 高品質データを大規模に構築。 小規模モデルでも高性能を実現 • pfgen, Jasterなど日本語性 能評価タスクで最高性能 • コード・数学・指示追従性な どでも同サイズ群のモデルで 世界最高レベルの性能 • 閉じたオンプレミス環境 でも利用可能 純国産フルスクラッチモデル 世界最高クラスの性能 クラウドおよびオンプレミス で利用可能予定 6 GENIAC技術モデル賞 GENIACナレッジ賞 • 標準的なAPIで利用可能 • 1Mトークンあたり 　60円（入力）/ 250円（出力） • コンテキスト長 32K
7. • PLaMoを元に翻訳タスク向けに特化したモデル ◦ 流暢性・正確性・語彙一貫性（最大8万文字での一貫性）・状況に応じた翻訳 ◦ レイアウトやインデントを維持し、コードやMarkdownを保存したまま翻訳 • 従来のLLMベース翻訳は高精度だが高コスト・低速という問題があった →高効率なPLaMoを元に翻訳タスクに特化した追加学習を行い、高性能かつ高速な機械翻訳を実現 PLaMo 翻訳 7
8. PreferredAI：生成AIを活用したプロダクト・サービス群 これらを構成する技術要素を組み合わせ、 お客様の課題・ニーズに合わせた独自ソリューションを提供 想定ユースケース毎にパッケージ化されたターンキー製品群 8
9. Post-Training チームの紹介 9
10. PFN における LLM 開発: 全体像 10 Pre-Training Post-Training Inference Opt. PLaMo API PLaMo 翻訳 PreferredAI + Vision, Research, Application 賢く文章が予測できる Chat などで人の役に立つ 様々な計算環境で 高速に動作する Preferred Networks（PFN）は深 層学習などの最先端の技術を最 短路で実用化することで、これま で解決が困難であった現実世界 の課題解決を目指しています。 PFN について教えて PFN は日本・東京に拠 点を置く、... LLM 開発を行う部署 ソリューション・製品 開発を行う部署 …
11. LLM を実際の用途に近い形で Fine-Tuning して、実タスクで求められる能力を伸ばすプロセス Post-Training とは 11 Long-Context 長いテキストからうま く情報を抽出して活用 できる Instruction Following 複雑な指示もきちんと 守れるようにする Function Calling 与えられた関数を活用 して能動的に問題を解 く Hallucination Mitigation ハルシネーションを 抑制する Reasoning 複雑な問題を論理的に 解き進める Safety 言ってはいけないこと を言わない
12. Post-Training チームの仕事内容 12 どういう能力を伸ばすと PLaMo の価値に繋がるか 考える ベンチマークなどを用いて 定量的に観測可能にする データ生成、前処理、学習 などの試行錯誤で能力を 伸ばす 特定の応用ではなく、能力という切り口で改善を図る
13. Post-Training チームの仕事内容 13 どういう能力を伸ばすと PLaMo の価値に繋がるか 考える ベンチマークなどを用いて 定量的に観測可能にする データ生成、前処理、学習 などの試行錯誤で能力を 伸ばす Kaggle コンペの企画 コンペの Metric や テストデータの設計 コンペ参加 LB の頂点を目指す 特定の応用ではなく、能力という切り口で改善を図る → Metric を決めて改善していく Kaggle に近い
14. LLM を実際の用途に近い形で Fine-Tuning して、実タスクで求められる能力を伸ばすプロセス → Kaggle コンペを作っては解いてしていくイメージ Post-Training とは：Kaggle 14 Long-Context 長いテキストからうま く情報を抽出して活用 できる Instruction Following 複雑な指示もきちんと 守れるようにする Function Calling 与えられた関数を活用 して能動的に問題を解 く Hallucination Mitigation ハルシネーションを 抑制する Reasoning 複雑な問題を論理的に 解き進める Safety 言ってはいけないこと を言わない
15. 15 PFNは、幅広い領域に最先端技術のもたらす 新しい体験や価値を届ける仲間を募集しています！ We are hiring!! ! 募集中のポジション • 大規模言語モデル　アラインメント（指示学習）エンジニア ◦ 今日紹介した Post-Training のチーム ◦ 一緒に PLaMo を最強の LLM にしましょう！！！ • 機械学習・最適化・データサイエンスエンジニア • 金融プロジェクト機械学習エンジニア • コンピュータビジョンエンジニア • ヘルスケア・ウェルネスプロジェクト開発エンジニア・リサーチャー • 他多数 https://open.talentio.com/r/1/c /preferred/homes/4551 応募はこちら カジュアル面談 https://open.talentio.com/r/1/c /preferred/pages/112481