Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ハイパーパラメータチューニングって何をしているの
Search
toridori
November 11, 2024
Technology
0
390
ハイパーパラメータチューニングって何をしているの
toridori
November 11, 2024
Tweet
Share
More Decks by toridori
See All by toridori
Locustでmacから開発環境に負荷試験をしてみた
toridori_dev
0
200
N + 1 問題の概要と Railsにおける解決方法
toridori_dev
0
170
Aurora Cloneで QA環境をつくってみた
toridori_dev
0
250
ニューモーフィズムってどうなの
toridori_dev
0
400
toridori base webをv0で爆速で作った話
toridori_dev
0
200
KoT APIでプチ業務改善を試してみた
toridori_dev
0
420
MUI DataGridProコンポーネントの紹介
toridori_dev
0
660
あの日行ったマージの仕組みを僕達はまだ知らない。
toridori_dev
0
310
DBマイグレーションとORMについて
toridori_dev
0
230
Other Decks in Technology
See All in Technology
エンタメとAIのための3Dパラレルワールド構築(GPU UNITE 2025 特別講演)
pfn
PRO
0
280
セキュアな認可付きリモートMCPサーバーをAWSマネージドサービスでつくろう! / Let's build an OAuth protected remote MCP server based on AWS managed services
kaminashi
3
310
後進育成のしくじり〜任せるスキルとリーダーシップの両立〜
matsu0228
7
3.3k
コンテキストエンジニアリング入門〜AI Coding Agent作りで学ぶ文脈設計〜
kworkdev
PRO
1
690
from Sakichi Toyoda to Agile
kawaguti
PRO
1
120
AWS 잘하는 개발자 되기 - AWS 시작하기: 클라우드 개념부터 IAM까지
kimjaewook
0
130
成長自己責任時代のあるきかた/How to navigate the era of personal responsibility for growth
kwappa
4
320
『OCI で学ぶクラウドネイティブ 実践 × 理論ガイド』 書籍概要
oracle4engineer
PRO
3
210
衛星画像超解像化によって実現する2D, 3D空間情報の即時生成と“AI as a Service”/ Real-time generation spatial data enabled_by satellite image super-resolution
lehupa
0
160
AI駆動開発を推進するためにサービス開発チームで 取り組んでいること
noayaoshiro
0
260
これがLambdaレス時代のChatOpsだ!実例で学ぶAmazon Q Developerカスタムアクション活用法
iwamot
PRO
6
1k
AI時代こそ求められる設計力- AWSクラウドデザインパターン3選で信頼性と拡張性を高める-
kenichirokimura
3
300
Featured
See All Featured
The Invisible Side of Design
smashingmag
302
51k
How to Think Like a Performance Engineer
csswizardry
27
2k
Automating Front-end Workflow
addyosmani
1371
200k
Music & Morning Musume
bryan
46
6.8k
GraphQLとの向き合い方2022年版
quramy
49
14k
Why Our Code Smells
bkeepers
PRO
339
57k
The Pragmatic Product Professional
lauravandoore
36
6.9k
Become a Pro
speakerdeck
PRO
29
5.5k
BBQ
matthewcrist
89
9.8k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Context Engineering - Making Every Token Count
addyosmani
6
240
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Transcript
ハイパーパラメータチューニング って何をしているの 開発部 井上 2024/10/25
ハイパーパラメータとは
(普通の)パラメータ 線形回帰での例 観測データ が与えられたとき、直線(モデル) が最もフィットするような、適切な値 を求めたい。 このような、データに合わせてモデルの振る舞いを決める値を、モデルのパラメータや重みという。 適切なパラメータを求めることを、学習という。
「適切な」パラメータの定式化 線形回帰での例 どのようなときに「最もフィット」するか? 線形回帰の例では、次の誤差関数を最小化すればよい(いわゆる最小二乗法)。
ハイパーパラメータ Ridge回帰の例 モデルの複雑さを抑えるため(上記の例では、パラメータの絶対値が大きくなりにくくするため)、線 形回帰の誤差関数に対して、次のような罰則項を加えた関数(コスト関数)を考え、この最小化を考え ることがある(Ridge回帰)。 ここでλは、罰則の強さを決める正の実数で、値が大きいほど罰則が強くなる(パラメータは絶対値の大 きな値を取りにくくなる)。 このλは、学習前に事前に決めておくパラメータで、ハイパーパラメータと呼ばれる。
フィットさせたい関数 パラメータ 最小化したい関数 ハイパーパラメータ ここまでのまとめ Ridge回帰の例
実際の例 ハイパーパラメータを変えて学習した例 から生成した点+外れ値に 3つのモデルをフィッティング。 λを大きくすると、 傾きも小さくなっている。 ※αはscikit-learnライブラリで設定する 際のハイパーパラメータの名前で、 λと同じものと考えて大丈夫です ※Ridge回帰は多重共線性への対処に
用いられるのですが、今回は1変数 のため説明を割愛
ハイパーパラメータチューニング
ハイパーパラメータチューニングとは ハイパーパラメータに適切な値はあるの? どうやって決めたらいいの? それを決めるのがハイパーパラメータチューニングです。 ハイパーパラメータチューニングとは
ハイパーパラメータチューニングの定式化 任意のλに対し、コスト関数 を最小化するような を と書くことにする。このとき、誤差関数の値 が最も小さくなるようなλを選択すればよい。 ※本当は評価用のデータセットを分けたりしないといけないのですが、今回は割愛 Ridge回帰の例
ハイパーパラメータチューニングの方法 そのようなハイパーパラメータをどうやって探索すればよいか? あらかじめ決めておいた有限個のリストを探索したり、与えられた範囲からランダムに探索したりする 方法もある。 完全なランダムではなく、いい感じに確率的に探索してくれるのが、ベイズ最適化。 探索の方法
最適化とは 一般に、関数が最小値(あるいは最大値)を取るような値を求めることを最適化という。 ベイズ最適化はブラックボックス最適化の一種で、よく分からない関数でもいい感じに最適化してくれ る。 ベイズ最適化を行ってくれるPythonのライブラリとしては、Optunaが有名。 ベイズ最適化
コード例 このあたりはMLのテンプレなので Optunaのコード例 Optunaで最適化するために 追加するのはこのあたり
おまけ
最適化の応用例 Googleの研究者がチョコチップクッキーのレシピの最適化をしたらしいです: Bayesian Optimization for a Better Dessert レシピ→“美味しさの評価値”という関数の最大化を試みたわけですね。 Googleのチョコチップクッキーレシピ
ご清聴ありがとうございました おわり