ハイパーパラメータチューニングって何をしているの

Transcript

1. ハイパーパラメータチューニング って何をしているの 開発部　井上 2024/10/25
2. ハイパーパラメータとは
3. （普通の）パラメータ 線形回帰での例 観測データ が与えられたとき、直線（モデル） が最もフィットするような、適切な値 を求めたい。 このような、データに合わせてモデルの振る舞いを決める値を、モデルのパラメータや重みという。 適切なパラメータを求めることを、学習という。
4. 「適切な」パラメータの定式化 線形回帰での例 どのようなときに「最もフィット」するか？ 線形回帰の例では、次の誤差関数を最小化すればよい（いわゆる最小二乗法）。
5. ハイパーパラメータ Ridge回帰の例 モデルの複雑さを抑えるため（上記の例では、パラメータの絶対値が大きくなりにくくするため）、線 形回帰の誤差関数に対して、次のような罰則項を加えた関数（コスト関数）を考え、この最小化を考え ることがある（Ridge回帰）。 ここでλは、罰則の強さを決める正の実数で、値が大きいほど罰則が強くなる（パラメータは絶対値の大 きな値を取りにくくなる）。 このλは、学習前に事前に決めておくパラメータで、ハイパーパラメータと呼ばれる。
6. フィットさせたい関数 パラメータ 最小化したい関数 ハイパーパラメータ ここまでのまとめ Ridge回帰の例
7. 実際の例 ハイパーパラメータを変えて学習した例 から生成した点+外れ値に 3つのモデルをフィッティング。 λを大きくすると、 傾きも小さくなっている。 ※αはscikit-learnライブラリで設定する 際のハイパーパラメータの名前で、 λと同じものと考えて大丈夫です ※Ridge回帰は多重共線性への対処に 用いられるのですが、今回は1変数 のため説明を割愛
8. ハイパーパラメータチューニング
9. ハイパーパラメータチューニングとは ハイパーパラメータに適切な値はあるの？　どうやって決めたらいいの？ それを決めるのがハイパーパラメータチューニングです。 ハイパーパラメータチューニングとは
10. ハイパーパラメータチューニングの定式化 任意のλに対し、コスト関数 を最小化するような を と書くことにする。このとき、誤差関数の値 が最も小さくなるようなλを選択すればよい。 ※本当は評価用のデータセットを分けたりしないといけないのですが、今回は割愛 Ridge回帰の例
11. ハイパーパラメータチューニングの方法 そのようなハイパーパラメータをどうやって探索すればよいか？ あらかじめ決めておいた有限個のリストを探索したり、与えられた範囲からランダムに探索したりする 方法もある。 完全なランダムではなく、いい感じに確率的に探索してくれるのが、ベイズ最適化。 探索の方法
12. 最適化とは 一般に、関数が最小値（あるいは最大値）を取るような値を求めることを最適化という。 ベイズ最適化はブラックボックス最適化の一種で、よく分からない関数でもいい感じに最適化してくれ る。 ベイズ最適化を行ってくれるPythonのライブラリとしては、Optunaが有名。 ベイズ最適化
13. コード例 このあたりはMLのテンプレなので Optunaのコード例 Optunaで最適化するために 追加するのはこのあたり
14. おまけ
15. 最適化の応用例 Googleの研究者がチョコチップクッキーのレシピの最適化をしたらしいです： Bayesian Optimization for a Better Dessert レシピ→“美味しさの評価値”という関数の最大化を試みたわけですね。 Googleのチョコチップクッキーレシピ
16. ご清聴ありがとうございました おわり