Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
TensorFlow研究会 きちんと性能評価 〜にわかと言われないために〜
Search
sergeant-wizard
December 11, 2015
Technology
3
8.3k
TensorFlow研究会 きちんと性能評価 〜にわかと言われないために〜
sergeant-wizard
December 11, 2015
Tweet
Share
Other Decks in Technology
See All in Technology
o1のAPIで実験してみたが 制限きつすぎて辛かった話
pharma_x_tech
0
210
LINEヤフーのフロントエンド組織・体制の紹介
lycorp_recruit_jp
1
1.2k
不動産tech Product Night#2_AIことはじめ_GA橋本
takehikohashimoto
0
190
Creative UIs with Compose: DroidKaigi 2024
chrishorner
1
590
Analytics-Backed App Widget Development - Served with Jetpack Glance
miyabigouji
0
620
なにもしてないのにNew Relicのデータ転送量が増えていたときに確認したこと
tk3fftk
2
230
タイミーのレコメンドにおける ABテストの運用
ozeshun
1
190
『GRANBLUE FANTASY: Relink』最高の「没入感」を実現するカットシーン制作手法とそれを支える技術
cygames
1
140
Road to Single Activity
yurihondo
2
240
watsonx.ai Dojo 環境準備について
oniak3ibm
PRO
0
340
やってやろうじゃないかメカアジャイル! / Let's do it, mechanical agile!
psj59129
1
680
アプリをリリースできる状態に保ったまま 段階的にリファクタリングするための 戦略と戦術 / Strategies and tactics for incremental refactoring
yanzm
6
1.4k
Featured
See All Featured
Web Components: a chance to create the future
zenorocha
309
42k
[RailsConf 2023] Rails as a piece of cake
palkan
48
4.6k
Building Your Own Lightsaber
phodgson
101
6k
Building Better People: How to give real-time feedback that sticks.
wjessup
359
19k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.4k
Embracing the Ebb and Flow
colly
83
4.4k
How to name files
jennybc
75
98k
Art, The Web, and Tiny UX
lynnandtonic
294
20k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
502
140k
Automating Front-end Workflow
addyosmani
1365
200k
Ruby is Unlike a Banana
tanoku
96
11k
Being A Developer After 40
akosma
84
590k
Transcript
きちんと性能評価 〜にわかと言われないために〜 (株)アカツキ エンジニア 宮島 亮 @sergeant-wizard
はじめに - 基礎的な機械学習の内容です。勉強してる人ごめんなさい。 - にわかである私が犯したミスの話です。 - ブームに乗っかったつもりで変な解析が乱立するとTensorFlow()状態に! という自戒を込めた発表です 防御率等の成績から年俸を推定する回帰問題
自己紹介 - 宮島亮 @sergeant-wizard - ゲーム会社のエンジニア - Data Scienceにまつわる業務に携わるために機械学習まわりを勉強中 -
主にQiitaに出没中
今日お伝えしたいこと - TensorFlowの公式チュートリアル通りの流れで他の問題の解析をすると・・・ - ハイパーパラメータのチューニングで「ズル」してしまうかもしれないのでご注意を。 - チュートリアルではハイパーパラメータが既に与えられているが、実際の解析では チューニングが一番大変。
学習能力、汎化能力 - 真の分布は1次関数 + ノイズ - 3次関数: 学習能力低、汎化能力高 - 9次関数:
学習能力高、汎化能力低 - ほとんどの場合、汎化能力が高くないと意味がない - ニューラルネットワークは、学習が進むにつれて 次数が上がっていくイメージ:過学習
データセットの分け方 - Training Data Set : 学習に使う - Test Data
Set : 汎化能力を見るのに使う - Validation Data Set : ハイパーパラメータのチューニングに使う
ニューラルネットワークのハイパーパラメータ - 学習回数 - 学習係数 - 重み減衰係数 - モメンタム係数 -
ネットワーク構造 - ...etc このグラフを見ながら、「ここで学習をやめました」はズル!
データの分け方も色々 - プロ野球選手の年俸査定の記事では、 全データ94選手、うちTraining Data Setが89選手、Test Data Setが5選手 - ホールドアウト法
: もっともナイーブな方法 このデータの分け方の任意性のモヤモヤを解消するために・・・ - 交差確認法 - 一つ抜き法 - ブートストラップ法 詳しくはこちらの記事にて
まとめ - 学習能力と汎化能力は違うもので、 ニューラルネットワークではトレードオフになりやすい - 一般に機械学習ではTraining Data Set、Test Data Setで区別される
- ニューラルネットワークではハイパーパラメータのチューニングのためにValidation Data Set が使われることがある - ハイパーパラメータのチューニングでTest Data Setを使うのは「ズル」 - データをどう分割するかも重要
マサカリお待ちしております - Facebook : Ryo Miyajima - Twitter : @sergeant-wizard
- GitHub : sergeant-wizard - Qiita : sergeant-wizard
参考資料 - Hugo先生のNeural Networkの講義 - はじめてのパターン認識 - 問題の記事:プロ野球選手の年俸査定 - より深掘りしてる記事:
機械学習の性能評価