Optunaを作ったときにやりたかったこと、その後 (2026/10/16, Optuna Meetup #3)

Transcript

1. Optuna Meetup #3 2026.10.16 Optunaを作ったときに やりたかったこと、その後 Sakana AI
2. 本日の流れ 01 Optunaを作ったときにやりたかったこと 02 その後①：LLMの推論時スケーリング 03 その後②：LLM事前学習のハイパラ最適化 Optuna Meetup #3 2026.10.16 2
3. 01 CHAPTER Optunaを作ったときに やりたかったこと Optuna Meetup #3 2026.10.16 3
4. 自己紹介：秋葉拓哉 Optuna Meetup #3 2026.10.16 4
5. 真面目な話は、インタビューに 01 Optuna https://findy-code.io/media/articles/mychoice-iwiwi Optuna Meetup #3 2026.10.16 5
6. 2017年3月、pfnopt の前の試作：darkopt 01 Optuna ブラックボックス最適化に対して グレーボックス最適化を強調する 意味で "dark" https://github.com/iwiwi/darkopt Optuna Meetup #3 2026.10.16 6
7. 2018年1月、pfnopt 企画書 PFNOpt Optuna Meetup #3 2026.10.16 01 Optuna PFN 7
8. 2018年、AutoML が盛り上がりそうな時期 01 Optuna 2018年1月 2017年5月 Google Google Cloud AutoML 2018 1 Optuna Meetup #3 2026.10.16 AutoML 2015 2020 Amazon SageMaker 2018 6 Azure Machine Learning 2018 9 8
9. 2018年1月、最初のコミット 01 Optuna https://github.com/optuna/optuna/commits Optuna Meetup #3 2026.10.16 9
10. 2018年1月の書き方、いまもほぼ同じ 01 Optuna import optuna def objective(trial): a = trial.suggest_float("a", 0, 1) if a < 0.5: x = trial.suggest_float("x", -10, 10) y = trial.suggest_float("y", -10, 10) return abs(x - 3) + abs(y + 5) + 1 else: z = trial.suggest_float("z", -10, 10) return abs(z - 7) * 10 study = optuna.create_study() study.optimize(objective, n_trials=10) 2018 1 Optuna Meetup #3 PFN 2026.10.16 Optuna 2026 10
11. 2018年、仲間が増えていく 01 2018.01.11 iwiwi 2018.02.19 g-votte 2018.07.05 toshihikoyanase 2018.11.08 sile 2018.11.12 HideakiImamura 2018.12.03 Optuna β版を公開 https://github.com/optuna/optuna/commits Optuna Meetup #3 2026.10.16 11
12. 2018年9月、pfnopt から Optuna に改名 01 Optuna https://github.com/optuna/optuna/pull/172 Optuna Meetup #3 2026.10.16 12
13. 2018年12月、β版を公開 01 Optuna https://atmarkit.itmedia.co.jp/ait/articles/1812/05/news042.html Optuna Meetup #3 2026.10.16 13
14. 2022年春、hyperopt を抜いた 01 Optuna 2022年春 https://star-history.com Optuna Meetup #3 2026.10.16 14
15. 2026年、論文の被引用数 18,122 01 Optuna https://scholar.google.com/citations?user=WW-22F8AAAAJ 2026 10 Optuna Meetup #3 2026.10.16 15
16. 2026年、企画書の "妄想" はほぼ実現 Define-by-Run Web 01 Optuna API optuna-dashboard Rustuna optuna-examples PFN Optuna Meetup #3 2026.10.16 16
17. 2025年、食べられるOptuna 01 Optuna 2025/11/10 Optuna Optuna Meetup #3 2026.10.16 17
18. 2026年、1→100 はみんなの力 01 Optuna Optuna を育ててくれたみなさん、 本当にありがとうございます！ https://github.com/optuna/optuna/graphs/contributors 316 Optuna Meetup #3 2026.10.16 18
19. 02 CHAPTER その後①： LLMの推論時スケーリング Optuna Meetup #3 2026.10.16 20
20. Sakana AI は BBO フレームワーク作者だらけ 01 Optuna estool Optuna EvoJAX evosax https://sakana.ai/seed-round/ Optuna Meetup #3 2026.10.16 19
21. Sakana AI での研究と Optuna 02 LLM Nature Machine Intelligence 2025 NeurIPS 2025 Spotlight 進化的モデルマージ AB-MCTS Optuna の CMA-ES を使った Optuna みたいなもの(?)を、また作った Optuna Meetup #3 2026.10.16 21
22. Sakana AI での研究と Optuna 02 NeurIPS 2025 Spotlight LLM 今日はこの話 AB-MCTS Optuna みたいなもの(?)を、また作った Optuna Meetup #3 2026.10.16 22
23. AB-MCTS は Sakana AI で実用されている wired.jp/article/mufg-sakana-ai-interview/ Optuna Meetup #3 2026.10.16 02 LLM sakana.ai/product-development-interview/ 32
24. AB-MCTS 公式実装の API、見覚えがある？ Optuna 02 LLM AB-MCTS 公式実装 github.com/SakanaAI/treequest ユーザー定義 def objective(trial): ユーザー定義 def generate(parent_state): score = ... new_state = ... return score score = ... return new_state, score ... ... 最適化実行 最適化実行 study.optimize(objective, n_trials=10) for _ in range(10): tree = algo.step(tree, {"A": generate}) ... ... Optuna Meetup #3 2026.10.16 23
25. ask-and-tell だと更にそっくり Optuna 02 LLM AB-MCTS 公式実装 github.com/SakanaAI/treequest ... ... 最適化実行 最適化実行 for _ in range(n_trials): for _ in range(n_trials): trial = study.ask() tree, trial = algo.ask(tree, actions) ユーザー定義 ユーザー定義 score = ... result = ... study.tell(trial, score) ... Optuna Meetup #3 tree = algo.tell(tree, trial.trial_id, result) ... 2026.10.16 24
26. LLM の推論時スケーリングとは 02 LLM 答えるときに LLM を何度も使い、答えの質を上げる 問題 何度もくり返す LLM が回答を作る 一番良い回答 採点する SWE-bench Lite 1 15.9% 250 56% [Brown+, 2024] Optuna Meetup #3 2026.10.16 25
27. 課題：深めるか、広げるか 深める （活用） LLM Optuna Meetup #3 2026.10.16 02 LLM 広げる （探索） LLM 26
28. AB-MCTS：概要 02 LLM AB-MCTS による探索木 深める 広げる ベイズ推定 Optuna Meetup #3 2026.10.16 深めたり広げたりを繰り返すので、探索は木になる 27
29. AB-MCTS：各ノードでやること 今の状態 今いる回答 A と、その子 B・C 02 判断 LLM どれに進む？ ベイズ推定 で、この3つから1つ選ぶ 回答 A A 1 B A A B 回答 C 3 C A 2 回答 B B を再訪 C を再訪 C A B C B C 新しい子を作る D A D ③ を自主的に選べるのが普通のMCTSとの違い Optuna Meetup #3 2026.10.16 28
30. AB-MCTS：再帰して、くり返す 再帰 選んだ先でも、同じことをする 02 くり返し LLM 何度も回して、木を育てる 回答 A A 回答 B 1 B の子 B の子 A 回答 C 3 2 A B を新しい A として、 同じ判断 B 1 B この流れは普通の MCTS と同じ Optuna Meetup #3 2026.10.16 29
31. AB-MCTS：スコア最大を常に選べばいい訳ではない 今の状態 → 判断 → 再帰 → 1 B 2 3 0.46 C C ① 何度も試した B ② 少し試した C C を再訪 A B 不確かさ込みで見積もる 0.56 C B ベイズ推定 B を再訪 A LLM くり返し 1つの値で見積もると A 02 B より上の 可能性もある ③ まだ0回の D 新しい子 D を作る ？ D → いつも B を選ぶことに スコア → → Thompson Sampling で選択 ③ の分布の見積もりが特に非自明であり論文の主な工夫の1つ Optuna Meetup #3 2026.10.16 30
32. Optuna と AB-MCTS 02 選ぶ（最適化実行） TPE GP Optuna パラメータ x を選ぶ AB-MCTS LLM 評価（ユーザー定義） x x を試して評価 Thompson Sampling ベースにする回答を選ぶ LLM がベースを改善して評価 極論、違いはパラメータをサンプルするか、ベースにする回答をサンプルするか Optuna Meetup #3 2026.10.16 31
33. 03 CHAPTER その後②： LLM事前学習のハイパラ最適化 Optuna Meetup #3 2026.10.16 33
34. 最近は色々あって、またLLMを作ってます 03 LLM LLM Optuna Meetup #3 2026.10.16 34
35. ハイパラ2つ決めるのに3億円！？ 100 Optuna Meetup #3 2026.10.16 GPU 03 × 2USD/GPU-hour× 150 /USD LLM 3 35
36. 本番サイズでは試せない、でもミスれない 本番事前学習 1回 8.4億円 DeepSeek-V3 H800 2,048 8×8 Optuna Meetup #3 50B 540 LLM 学習率次第で事前学習は台無し 2 2026.10.16 03 25B [Bjorck+, 2025] 36
37. ステップ1: まず小さいモデルで学習率を振る 03 LLM U字の底 ＝ そのサイズでの最適な学習率 50M 2.7B 4 × [Bjorck+ 2025, Figure 3] Optuna Meetup #3 2026.10.16 37
38. ステップ2: 線を引き、本番サイズに外挿 03 LLM 線を延ばして、本番の値を決める 1e17 2e19 FLOPs Optuna Meetup #3 2026.10.16 0.25% [DeepSeek LLM 2024, Figure 3] DeepSeek LLM 7B / 67B 38
39. ところで、これってほぼグリッドサーチ 03 LLM HPO の古典（2012） LLM の最前線（2024） Bergstra & Bengio, JMLR 2012, Figure 1 DeepSeek LLM, 2024, Figure 2(a) HPO 業界では "最悪" とされたグリッドサーチが、LLM では現役？ Optuna Meetup #3 2026.10.16 39
40. BO の発想で、最適ハイパラを効率的に外挿 03 LLM 2026年9月4日の新着論文 著者に Ax・BoTorch の開発者たち Eytan Bakshy Ax BoTorch Maximilian Balandat BoTorch BoTorch David Eriksson BoTorch Ax TuRBO Sebastian Ament BoTorch Ax Optuna Meetup #3 2026.10.16 LogEI 40
41. まとめ Optuna Meetup #3 2026.10.16 41
42. まとめ 01 Optunaを作ったときにやりたかったこと 02 その後①：LLMの推論時スケーリング 03 その後②：LLM事前学習のハイパラ最適化 Optuna Meetup #3 2018 2026 LLM Optuna 2 2026.10.16 3 BO/HPO 42