自然着想型アプローチによる基盤モデルの研究開発 (2025/01/23, 第35回ステアラボ人工知能セミナー)

Transcript

1. 自然着想型アプローチ による 基盤モデルの研究開発 第35回ステアラボ人工知能セミナー 2025/01/23 秋葉 拓哉 0
2. 会社紹介：Sakana AI Llion Jones, CTO 元 Google ”Transformer” 論文著者 伊藤 錬, COO Co-founders David Ha, CEO 元 Google Brain Tokyo Head
3. 会社紹介：Sakana AI モデルを大きく データを大きく 学習時間を大きく 他にもやるべき ことがあるはず
4. 会社紹介：Sakana AI “The core research focus of Sakana AI is in applying nature-inspired ideas, such as evolution and collective intelligence, to improve foundation models’ performance”
8. 目次 1. モデルマージ 2. 進化的モデルマージ [Akiba-Shing-Tang-Sun-Ha, 2024] 3. 多様化とモデルマージ [Kuroki-Nakamura-Akiba-Tang, 2024]
9. 進化的 モデルマージ 画像はOmar Sansevieroさん作
10. モデルマージとは？ LLMnew = Merge(LLM1, LLM2, LLM3, … ) 2つ以上のモデルを元に1つの新たなモデルを作る アプローチ2つ 1. 重みレベルのモデルマージ 2. レイヤーレベルのモデルマージ
11. アプローチ1 重みレベルのモデルマージ ↑動画はこちら：https://sakana.ai/evolutionary-model-merge-jp/
12. アプローチ1 重みレベルのモデルマージ 手法1: 線形補間 𝜃new = 𝛼𝜃1 + 1 − 𝛼 𝜃2 （𝜃1 , 𝜃2 , 𝜃new：LLMの重み、 𝛼 ：混ぜ合わせの設定パラメタ） • 既存の重みの線形補完で新たなモデルを作る • 同じアーキテクチャのモデル同士でないとできない • 同じbase modelからのfine-tuneでないと基本成功しない
13. • 同様に、重みをelement-wiseでマージする手法がいくつかある • 大体、線形補間のちょい発展版みたいなもんだと思っておけば一旦OK [2203.05482] Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time [2212.04089] Editing Models with Task Arithmetic [2306.01708] TIES-Merging: Resolving Interference When Merging Models [2311.03099] Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch [2403.19522] Model Stock: All we need is just a few fine-tuned models アプローチ1 重みレベルのモデルマージ
14. 実例： •Open LLM Leaderboard を見れば無数にある •例えば Mistral-7B-Merge-14-v0.1は Mistral 7Bのfine-tuneを14個マージ （そしてこいつが更にマージされ別のモデルが作られているというカオス） •Stable DiffusionのLoRAのマージとかも同じ話 アプローチ1 重みレベルのモデルマージ
15. アプローチ2 レイヤーレベルのモデルマージ ↑動画はこちら：https://sakana.ai/evolutionary-model-merge-jp/
16. • 重み自体は弄らず、レイヤーを重ね合わせる （レイヤー = transformer block） • パラメータ数が増減する アプローチ2 レイヤーレベルのモデルマージ
17. 論文 • [2312.15166] SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling • [2401.02415] LLaMA Pro: Progressive LLaMA with Block Expansion モデル • alpindale/goliath-120b • cognitivecomputations/MegaDolphin-120b • Undi95/Mistral-11B-v0.1 アプローチ2 レイヤーレベルのモデルマージ
18. 人は何を求めてモデルをマージする？ ①アンサンブル（的な何か） モデルをマージするとOpen LLM Leaderboardのスコアが上がる。 しかも学習不要で新しいモデルが作れる。 皆こぞって謎のマージを作りLeaderboardに提出。 （※ただし後述の通りこれはめっちゃLeaderboardにoverfitしてると思う） [1803.05407] Averaging Weights Leads to Wider Optima and Better Generalization [2203.05482] Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time
19. 人は何を求めてモデルをマージする？ ②複数の能力を統合 https://github.com/mkshing/ziplora-pytorch
20. 人は何を求めてモデルをマージする？ ②複数の能力を統合 [2311.03099] Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch [2310.04799] Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in New Languages
21. 日本での盛り上がりは今一つ？ 英語圏では無数にマージモデルが日々生み出されている一方、 日本語圏ではそこまででもない。何故？ 理由 • マージ元のモデルが少ない（1つの日本語base modelからの派生に限ると） • マージが難しい （より広い範囲のモデルを使おうとすると）
22. 日本での盛り上がりは今一つ？ 何故マージが難しい？ • 多くの日本語LLMは英語LLMからの継続事前学習で作られている • 継続事前学習では数十B〜数百Bトークンの学習が行われ、 元の英語LLMの重みからだいぶ離れてしまっている DAREの論文でもCodeLlama (Llama-2から500B token学習) の マージが難しい話が同様に議論されている 実際、私も最初は手動でマージのレシピを探ろうとしましたが、 なかなか上手くいかない…… → 自動探索！
23. 進化的 モデルマージ
25. 進化的モデルマージ ↑動画はこちら：https://sakana.ai/evolutionary-model-merge-jp/
26. 進化的アルゴリズム A Visual Guide to Evolution Strategies https://blog.otoro.net/2017/10/29/visual-evolution-strategies/
27. 進化的アルゴリズム HTML5 Genetic Algorithm 2D Car Thingy https://rednuht.org/genetic_cars_2/
28. 結果1: 日本語数学LLM
29. 結果1: 日本語数学LLM 日本語LLM + 英語数学LLM → 日本語数学LLM 元の「日本語能力」と「英語数学能力」を維持出来ただけでなく、 その両方を日本語数学能力として組合せて発揮出来る
30. 結果2: 日本語VLM (Vision Language Model)
31. 結果2: 日本語VLM (Vision Language Model) 前提知識 LLaVaというVLMは、vision encoder (ViT)とLLMをくっつけた上で fine-tuneして作られている 我々のマージ • LLaVaのLLM部分に日本語LLMをブレンド • 他の部分はLLaVaのまま LLM (base: Mistral 7B Instuct-v0.2) Llava-v1.6-mistral-7b 日本語LLM + 英語VLM → 日本語VLM
32. 結果2: 日本語VLM (Vision Language Model)
33. 結果2: 日本語VLM (Vision Language Model)
34. 結果2: 日本語VLM Version 2
35. 結果2: 日本語VLM Version 2 「複数の画像を扱える英語VLM」＋「日本語LLM」 → 「複数の画像を扱える日本語のVLM」
36. 結果3: 日本語画像生成モデル
37. 多様化と モデルマージ
38. ICLR’25 採択
39. CycleQD 39 Quality-Diversity Optimizationとは？ • 進化計算の新しいパラダイム • 自然界の進化が持つ多様性と局所適応の両立を模倣 • 問題空間全体で多様かつ高品質な解の集合を生成 Jean-Baptiste Mouret, Jeff Clune: Illuminating search spaces by mapping elites. CoRR abs/1504.04909 (2015) 多様なスキルをLLMに獲得
40. CycleQD 40 挑戦: 進化的モデルマージ ✕ Quality Diversity ✕ Agentic Tasks 新手法 “Cycle QD” を考案
41. 課題 LLMにエージェント系スキルを 習得させるための学習の課題 (1)データ比率のバランス (2)目的関数の調整 提案 QDとモデルマージを組み合わせ、それらを 循環的に適用することで、トレーニングデ ータや目標の分離を可能にする。 https://arxiv.org/abs/2410.14735
42. Methods MAP-Elitesをベースに 3つの鍵となるアイディア 差分 #1 Alternating Quality (Q) and Behavior Characteristics (BCs) in each generation 差分 #2 Model merging as crossover Illustration of model merging 差分 #3 SVD-based mutation Illustration of SVD-based mutation
43. Major Results 結果 #1: コンピュータ操作に関する 複数のスキルの獲得に成功 結果 #2: Cycle QDは他の基礎スキル を忘却しない 結果 #3: 画像系基盤モデル(SAM)にも適用可
44. 目次 1. モデルマージ 2. 進化的モデルマージ [Akiba-Shing-Tang-Sun-Ha, 2024] 3. 多様化とモデルマージ [Kuroki-Nakamura-Akiba-Tang, 2024]