Preferred Networks金融チームのご紹介

Transcript

1. Preferred Networks 金融チーム ご紹介 株式会社Preferred Networks https://projects.preferred.jp/qfin/ja/
2. 2 会社概要
3. 3 Preferred Networks (PFN) 会社概要 設立 本社 代表取締役 従業員数 事業内容 主要子会社 出資企業 (五十音順） 2014年3月26日 東京都千代田区 西川徹（最高経営責任者） 岡野原大輔（最高技術責任者、最高研究責任者） 約350名（2025年2月） AIチップ、計算基盤、生成AI基盤モデルなどのAI関連技術を 活用したソリューション・製品の開発・販売および研究開発 株式会社Preferred Computational Chemistry（2021年6月） 株式会社Preferred Robotics（2021年11月） 株式会社Preferred Elements（2023年11月） 株式会社Preferred Computing Infrastructure（2025年1月） SBIグループ　ENEOSイノベーションパートナーズ合同会社　株式会社講談社　積水ハウス投資事業有限責任組合　 中外製薬株式会社　TBSイノベーション・パートナーズ3号投資事業組合　TEL Venture Capital, Inc.　 東映アニメーション株式会社　トヨタ自動車株式会社　株式会社日本政策投資銀行　日本電信電話株式会社 株式会社博報堂DYホールディングス　株式会社日立製作所　ファナック株式会社　株式会社みずほ銀行 三井住友信託銀行株式会社　株式会社三井物産株式会社　三菱商事株式会社　三菱UFJ信託銀行株式会社 株式会社ワコム　他 ミッション： 現実世界を計算可能にする https://www.preferred.jp
4. 4 PFNの事業: AI技術のバリューチェーンを垂直統合 AIソリューション・製品 計算基盤 AIチップ PFNは、チップ、計算基盤、生成AI基盤モデル、ソリューション・製品まで、AI技術のバリュー チェーンを垂直統合し、ソフトウェアとハードウェアを高度に融合することで、競争力の高い技術の 開発および産業応用を進めています。 生成AI基盤モデル 様々な産業向けのAIソリューション・製品 MN-Core™ MN-Core™ 2 GPUクラスタ MN-3 (MN-Core™ クラスタ) PLaMo Prime（国産LLM） PLaMo Lite（エッジ向けSLM） MN-Core 次世代 MN-Core™ 2を 計算資源とした クラウドサービス 物質のエネルギー計算モデル PFP 生成AI（推論）向け MN-Core L1000 （2026年提供予定）
5. 5 PFNの事業: AI技術の水平展開 生成AI・基盤モデル 社会 消費者 人間の能力の拡張 新しい創作表現・娯楽体験 安心・安全な社会 高度な教育・医療 生産性向上・品質改善 属人化回避・人手不足解消 計算基盤 産業 AIチップ PFNは、AI技術のバリューチェーンを垂直統合し、様々な産業領域でソリューション・製品を 水平展開しています。 工場・製造 コンテンツ 製作 ロボット 小売 製薬 ヘルスケア 素材 化学品 教育 金融
6. 6 PFNの強み AI関連技術・人材 計算資源 ドメイン知識 • 世界トップのAI・機械学習関連学会 での論文採用実績 • Kaggle*称号保持者、ICPC*世界 大会出場経験者が多数在籍 • 日本語能力の高い国産の大規模言語 モデルPLaMo™をフルスクラッチで 自社開発 • 大規模なスーパーコンピュータを 自社運用 • AI向けプロセッサーMN-Core™ シリーズを神戸大と共同開発 • 自社開発のスパコンMN-3が Green500*で電力効率世界1位を 3度獲得 • 産業ロボット、自動車、製薬、エ ネルギー等のリーディング企業と の共同研究実績 • PFN Values（行動規範）に掲げる 「死ぬ気で学べ」の精神で各業界 ドメイン知識を学ぶ姿勢 • 様々なドメインの専門家が在籍 *Kaggle: 世界中の機械学習・データサイエンスに関わる人々のコミュニティーで、企業・政府などが提示した課題に対して最も精度の高いモデルの開発を競う世界的なコンペティション *ICPC: 国際大学対抗プログラミングコンテスト *Green500: 世界のスーパーコンピュータの性能上位500(TOP500)のうち、電力効率を評価するランキング
7. 7 Preferred Networks 金融チーム紹介
8. 8 金融チームのミッション 金融領域の極めて高度な課題に対して機械学習・深層学習の最先端技術を用いてアプローチし、 金融機関をはじめとするお客様、そして社会に価値を提供します。 市場の歪み、非自明な収益機会を発見できるか？ 高速かつ安全なヘッジングが可能か？ デリバティブのプライシングを高度化できるか？ より望ましいポートフォリオを構成できるか？ 企業や金融市場のリスクを適切に評価できるか？ 参加者の便益を維持しつつ不公正取引を迅速に発見できるか？ ・・・ 機械学習・ 深層学習 の最先端技術
9. 9 金融チームがご提供する価値 金融市場（セルサイド／バイサイド）向けのソリューションに加え、リテール領域や派生領域、 近年では大規模言語モデルの開発とそれを用いたソリューション提供も積極的に行っています。 金融ソリューション 研究開発 　　派生領域 　　金融市場 　　金融向けライブラリ開発 　　論文発表 　　大規模 　　言語モデル バイサイド セルサイド リテール 電力・不動産 etc
10. 10 金融特化LLMを用いたソリューション提供 PLaMoをベースに日本の金融知識をさらに強化したLLMを金融機関向けに提供。PFNの金融チームが、課題の把握から始まり、技術や ユースケースの検証、アプリケーションの開発・運用まで、トータルでのご支援。 金融領域における 高い回答性能 金融・LLM領域で豊富な 実績を持つ専門家による支援 社内データやノウハウの 利用・連携が可能 高いセキュリティを担保 1 2 3 4 • 追加学習を行うことで、証券アナ リストや会計士のような金融専門 家に求められる能力を問うタスク において高い性能を達成*1 • 大量の日本語データで学習を行っ ているため、日本固有の金融知識 が求められるタスクでの高い精度 も期待 • 業務日報、研修資料、マニュア ル、顧客データベースなどの社内 の独自ファイルをRAGによって活 用することが可能 • 投資における価値判断の基準と いった独自の業務ノウハウを追加 学習によってモデル自体に反映さ せることも可能 • データを一切社外に出さないオン プレミス環境で利用可能であり、 極めて高いセキュリティ水準が求 められる金融機関での利用も可能 • 顧客や国内外の学会・カンファレ ンスで高い評価を受けているPFN の金融チームが実務への応用を支 援 • LLMの追加学習によるパラメータ チューニング、機械学習・深層学 習の最先端技術に基づいたソ リューション開発・提供実績多数
11. 11 金融特化LLM開発に見る ”研究開発 x 社会実装”の事例 フルスクラッチで開発した金融特化LLMは国内屈指の技術力を持つPFN金融チームだからこそ実現 できた事例です。すでに複数のお客様にソリューションとしての提供を開始しております。 金融特化LLM ▪PLaMo-fin-base ▪PLaMo-100B事前学習モデル ＞ ベンチマーク開発 • 金融の”知識”を見るベンチマークの開発 • 金融の”生成の良さ”を見るベンチマークの開発 データセット構築 • 金融に特化した独自のコーパスを構築 継続事前学習 • OSSモデルで継続事前学習による金融ベンチ マーク性能の向上を確認 • PFNのPLaMoに対して継続事前学習を実施
12. 12 付録： 主な研究業績 トップ国際会議・論文誌 
 • Imajo, Minami, Ito, Nakagawa (2021). Deep Portfolio Optimization via Distributional Prediction of Residual Factors. In AAAI2021. (acceptance rate: 21%) https://arxiv.org/abs/2012.07245 • Ito, Minami, Imajo, Nakagawa (2021). Trader-Company Method: A Metaheuristic for Interpretable Stock Price Prediction. In AAMAS2021.(acceptance rate: 24%) https://arxiv.org/abs/2012.10215 • Liu, Ito, Minami, Imajo (2022). Power Laws and Symmetries in a Minimal Model of Financial Market Economy. Physical Review Research, No.4, e.033077. https://arxiv.org/abs/2206.06802 • Imaki, Imajo, Ito, Minami, Nakagawa (2023). No-Transaction Band Network: A Neural Network Architecture for Efficient Deep Hedging, The Journal of Financial Data Science, No.5 Vol.2, pp.84 - 99. https://arxiv.org/abs/2103.01775 • Liu, Minami, Imajo (2022). Theoretically Motivated Data Augmentation and Regularization for Portfolio Construction.In ICAIF2022. https://arxiv.org/abs/2106.04114 • Hirano, Minami, Imajo (2023). Adversarial Deep Hedging: Learning to Hedge without Price Process Modeling, In ICAIF '23. https://arxiv.org/abs/2307.13217 国内学会・研究会 
 • 平野、今城、南、島田 (2022). オプションによるオプションのヘッジを可能にする二重 Deep Hedging 機構. 第28回 人工知能学会 金融情報学研究会（SIG-FIN）
 • 南、今城、中川、今長谷 (2022). 予測型フルスケール最適化による資産配分. 第36回人工知能学会全国大会.
 
 業績一覧： https://projects.preferred.jp/qfin/ja/publications.html
13. 13 ソリューション提供について
14. 14 PFNのソリューション提供の流れ 金融チームは高度な技術開発はもとより、PFNの他チームとも密に連携し、課題の把握から、技術や ユースケースの検証、アプリケーションの開発・運用まで、トータルでのご支援を行っています。 アプローチ の検討 評価 PoC/技術検証 • 課題の把握 • 既存システ ムの確認 • 既存データ の確認 • ゴールの明 確化 • クリティカ ルな検証事 項の特定 • 評価指標や 検証手法の 初期設定 • 期間／工数 のお見積り • 契約の締結 • 要件定義に基づ きアプローチを 検討 • データ整理＆前 処理手法の検討 • 特徴量の設計 • 評価指標や検証 手法の確定 現状整理と 課題の把握 モデル 構築 業務 適用 データ 整備 • 設計したアプローチに基づきモデルを構築 • 設定評価手法で評価し、目標を満たさない場 合は改良を行い、再度評価 目標指標に達するまで お見積り ～契約 状況確認 要件定義 システム構築 設計 システム 要件定義 実装 ・テスト アジャイルに開発
15. 15 事例紹介 - マルチアセットファンド構築へのAI活用 背景と課題 PFNのアプローチと成果 機械学習を使う投資戦略とそうでない従来型戦略のアロケーションを自動的に行い、 個別戦略の強みを最大限に引き出す形で、マルチアセットへの分散投資を実現 アプローチ • アプローチの有用性を確認 し、さらに継続的に研究開発 中 成果 ＞ 各アセットの取引データ、 マクロ経済データ等 MLベースの投資戦略と 従来型の投資戦略 • 好成績が見込める ファンドを構築する にあたり、機械学習 ベースの戦略の開発 が進んでいる一方 で、そうでない従来 型の戦略にも利点が あるといわれている • また、分散投資の観 点からもマルチア セットをファンドに 組み込むことが望ま しいが、ポートフォ リオ構築はより複雑 になる Buy-Side トレーダーカンパニー法というML ベースの新戦略を提案しつつ、それ を含む複数の戦略を組み合わせて ポートフォリオを最適化 参考) ”Trader-Company Method: A Metaheuristic for Interpretable Stock Price Prediction”, https://arxiv.org/abs/2012.10215 マルチアセットに投資するファンド 自動アロケーションによる ポートフォリオ構築 複数の投資 戦略を策定
16. 16 事例紹介 - デリバティブのヘッジ取引の高度化 背景と課題 PFNのアプローチと成果 市場情報を入力に取って現時点で最適なヘッジをニューラルネット(NN)で計算する、 Deep Hedgingと呼ばれるアプローチが存在。PFNはこの従来手法を発展させ、原資産価格のモデリン グを不要にする、敵対的Deep Hedgingというアプローチを開発 アプローチ ＞ • デリバティブは価格 変動リスクを分散・ 移転する目的で、通 常の金融商品から派 生して設計された証 券。原資産に連動し て価格が決まる • デリバティブを売る 側は、売りポジショ ンに伴うリスクを ヘッジするため、原 資産を随時売買する 必要がある • 原資産価格は刻々と 変動するため、ヘッ ジ判断を自動化・効 率化することが肝要 • 実市場データで従来法と同等〜上回るヘッジ性能を確認 • シミュレーター選定・チューニングが不要になり、開発/運用コストを大幅 削減可能 成果 本手法はヘッジ取引高度化の一例で論文発表済みのもの。実案件で はお客様の状況にあわせてオーダーメイドでアプローチを検討 Sell-Side
17. 17 事例紹介 - 金融特化／タスク特化LLMの構築 背景と課題 PFNのアプローチと成果 自社保有のLLMを用いてきれいなコーパスを作り、LLM／SLMへの追加学習に 使用 ＞ • 汎用的なLLMは すでに業務で活用 中 • 一般的な文章に対 しては問題なく利 用できるものの、 専門性が極めて高 い分野において は、十分な性能が 出ない アプローチ • 特定分野の知識を有した モデルにより、特定タス クにおいて高い性能を発 揮することを確認 成果 追加学習 特化モデル 汎用モデル 追加学習に適し たコーパス 特定分野の専門 知識が含まれる データセット モデル自体を保有しているため、その出力 を追加学習に使用することができる フルスクラッチ開発をはじめ、LLMの構築や 追加学習に関する高度な知見を保有 LLM
18. 18 事例紹介 - 人工市場シミュレーション (研究開発) 背景と課題 PFNのアプローチと成果 LLMを用いて、実際のトレーダーを模した人工市場のエージェントを構築し、より現実 的な人間の意思決定を踏まえたシミュレーションを実施した。 その結果、現実の市場で発生する特徴の一部を再現できることを確認した。 ＞ • 人工市場シミュ レーションはシス テミックリスクや 市場規制設計に有 効とされている • 人工市場の設計自 体はかなり簡易的 に行われることも 多く、実際の人間 の意思決定をうま く反映することが できなかった アプローチ • シミュレーションにおけるLLM の活用法にはまだまだ議論が必 要だが、今後のシステミックリ スクの分析の選択肢が広がった 成果 研究 Noise Traders: ファンドリバランス等の外生的要因で取引する Fundamental Traders: 株価のファンダメンタルを考え取引する Chartist Traders: トレンドを考慮に入れ取引する Noise Fundamental Chartist LLM ＜人工市場モデルのエージェント設定＞ 従来モデルのFundamental, ChartistをLLMで代替 ＜生成された価格変動のパス＞
19. 19 補足資料 ～金融特化 LLM開発の取り組み～
20. 金融ベンチマークの構築 金融の知識を見るベンチマーク センチメント分析や、証券分析等の資格試験などを中 心に選択式問題でその正答率を測るベンチマークを 構築 金融の生成の良さを見るベンチマーク Preferred Multi-turn Benchmark for Finance in Japanese 全部で12種類のタスクでmulti-turnのアシスタントの 良さを計測する。 20
21. 継続事前学習後の金融ベンチマーク性能 • rinna社のnekomata-14bおよびmeta社のllama-3-70Bに対して、継続事前学習 を実施。 ◦ ほぼすべてのタスクでベンチマーク性能が向上。 ◦ llama-3-70Bは、claude-3-sonnet(61.59)の次に並び、gemini-1.5-pro (57.94)を超える性 能。(ただし、gpt-4は66.07) →継続事前学習により、金融の知識面での性能向上が確認できた 21
22. 金融機関向け大規模言語モデル PLaMo-fin-baseへ • ここまでの研究開発の成果をPLaMoに適用することで、日本語で金融に特化したモデル の開発に成功 ◦ すでに、金融関連の各社に提供を開始 ◦ 今後、アライメント対応などの実施を検討 22 https://www.preferred.jp/ja/news/pr20250127/
23. Fin-CALM: Enhancing Financial Domain Adaptation of Language Models via Model Augmentation • “LLM Augmented LLMs: Expanding Capabilities through Composition”を金融に応用 (https://arxiv.org/abs/2401.02412) • Augment LLM (左)の中間層の出力を変換してAnchor LLM (右)の中間層に繋ぎ込む • JaFin (金融に特化したインストラクション) 1490問を使 用して、真ん中の接合部分のみを学習させる。 • pfmt-bench-fin-jaで評価すると、LoRAよりもうまく答え ることができることを確認 23 K.Tanabe, M.Hirano, K.Matoya, K.Imajo, H.Sakaji, I.Noda, “Enhancing Financial Domain Adaptation of Language Models via Model Augmentation,” IEEE BigData 2024 学習ターゲット 通常のインストラ クションに対応し たLLM 金融知識を含む (Pretrained) LLM
24. 24 採用情報
25. 25 募集要項 金融領域の複雑な問題に一緒に立ち向かうメンバーを随時募集しております！ ※注）正式な募集要項や雇用条件等は 公式Webサイトや転職エージェント様からご提供するものをご参照ください。 エンジニア/リサーチャー 高度な専門知識で金融業界の課題解決 に取り組みます。プロジェクト推進に 加え、新規案件開拓や研究開発にも携 わります。 応募資格（必須） • 金融領域の専門知識・経験または実績 • コンピュータサイエンスの知識を活用 した課題解決の経験 • ソフトウェア開発経験 • ビジネスレベルの日本語能力 望ましいご経験（歓迎） • コンピュータサイエンス、データサイ エンス、深層学習に関する深い知識と 応用経験 • 研究開発の経験 • チームマネジメントの経験 ビジネス開発 顧客/パートナー企業とのプロジェクト の企画・推進に加え、新規事業の企画 ～立ち上げも担います。 応募資格（必須） • ビジネスによる課題解決や価値創造に 対する強い意欲 • 最新技術/業界トレンドへの学習意欲 • 3年以上のビジネス開発に準じる経験 望ましいご経験（歓迎） • 金融領域の専門知識や実務経験 • 顧客企業への提案およびプロジェクト マネジメントの経験 • 新事業立ち上げの経験 • エンジニアとの協働経験 • AIや技術への造詣 金融プロジェクトに関連する研究やそ の支援に加え、論文執筆も行います。 応募資格（必須） • 金融への興味・関心・情報収集能力 • GPU演算を含むPythonプログラミン グの経験 • テーマ設定から論文化までの研究開発 経験 望ましいご経験（歓迎） • 論文執筆・発表を行った経験 • 金融の専門的知識・経験または実績 • コンピュータサイエンス、データサイ エンス、深層学習に関する知識・経験 パートタイム リサーチャー
26. 26 PFN Company Deckもぜひご覧ください！ PFN全体の雰囲気やカルチャー、働き方のイメージをもっとリアルに知ることができる資料です。 • PFN Company Deck(JP) • PFN Company Deck(EN)
27. 27 Appendix
28. 28 1. No-Transaction Band Network (Imaki+2021) ◦ 数理ファイナンス理論的知見に基づいた
 深層学習の新しいモデルアーキテクチャを提案し、
 ディープヘッジング (深層学習による自動ヘッジ)
 の学習を高速化
 ◦ 人工知能学会において優秀賞 (2021)
 
 2. Deep Portfolio Optimization (Imajo+2021) ◦ ポートフォリオ理論、ファクター理論など 
 金融理論の伝統的知見から示唆を得て、 
 リターン分布予測・ポートフォリオ構築 
 のための新しい深層学習モデルを提案 
 ◦ AI系トップ会議であるAAAI2021に採択 
 技術開発事例（深層学習） 1/2 
 28
29. 29 3. Adversarial Deep Hedging (Hirano+2023) ◦ 敵対的な構造を用いることにより、Deep Hedging
 の原資産価格の価格過程を置かずに学習を可能に。
 ◦ 人工知能学会において学生優秀賞論文賞 (2023)
 ◦ International Conference on AI in Finance
 (ICAIF) に採択。
 
 4. 金融分野におけるLLMのベンチマーク・学習 ◦ PFN開発のPLaMo™を含め、各種LLMが金融分野において、
 どの程度性能を発揮できるのかは未知数
 ◦ まずはベンチマークがなければ、開発・評価ができない
 ◦ ベンチマークの構築と、ドメイン特化学習の開発を検討・実施
 
 技術開発事例（深層学習） 2/2 
 29
30. Making the real world computable