Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
TensorFlow研究会 きちんと性能評価 〜にわかと言われないために〜
Search
sergeant-wizard
December 11, 2015
Technology
3
8.5k
TensorFlow研究会 きちんと性能評価 〜にわかと言われないために〜
sergeant-wizard
December 11, 2015
Tweet
Share
Other Decks in Technology
See All in Technology
GCASアップデート(202506-202508)
techniczna
0
210
PFEM Online Feature Flag @ newmo
shinyaishitobi
1
140
AIに頼りすぎない新人育成術
cuebic9bic
3
330
Intro to Software Startups: Spring 2025
arnabdotorg
0
280
Oracle Exadata Database Service on Cloud@Customer X11M (ExaDB-C@C) サービス概要
oracle4engineer
PRO
2
6.4k
AIが住民向けコンシェルジュに?Amazon Connectと生成AIで実現する自治体AIエージェント!
yuyeah
0
210
EKS Pod Identity における推移的な session tags
z63d
1
150
サービスロボット最前線:ugoが挑むPhysical AI活用
kmatsuiugo
0
120
o11yツールを乗り換えた話
tak0x00
2
1.7k
Amazon Qで2Dゲームを作成してみた
siromi
0
170
20250807 Applied Engineer Open House
sakana_ai
PRO
2
610
Amazon Inspector コードセキュリティで手軽に実現するシフトレフト
maimyyym
0
140
Featured
See All Featured
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Designing Experiences People Love
moore
142
24k
The World Runs on Bad Software
bkeepers
PRO
70
11k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
810
Navigating Team Friction
lara
188
15k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.4k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Agile that works and the tools we love
rasmusluckow
329
21k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
183
54k
Transcript
きちんと性能評価 〜にわかと言われないために〜 (株)アカツキ エンジニア 宮島 亮 @sergeant-wizard
はじめに - 基礎的な機械学習の内容です。勉強してる人ごめんなさい。 - にわかである私が犯したミスの話です。 - ブームに乗っかったつもりで変な解析が乱立するとTensorFlow()状態に! という自戒を込めた発表です 防御率等の成績から年俸を推定する回帰問題
自己紹介 - 宮島亮 @sergeant-wizard - ゲーム会社のエンジニア - Data Scienceにまつわる業務に携わるために機械学習まわりを勉強中 -
主にQiitaに出没中
今日お伝えしたいこと - TensorFlowの公式チュートリアル通りの流れで他の問題の解析をすると・・・ - ハイパーパラメータのチューニングで「ズル」してしまうかもしれないのでご注意を。 - チュートリアルではハイパーパラメータが既に与えられているが、実際の解析では チューニングが一番大変。
学習能力、汎化能力 - 真の分布は1次関数 + ノイズ - 3次関数: 学習能力低、汎化能力高 - 9次関数:
学習能力高、汎化能力低 - ほとんどの場合、汎化能力が高くないと意味がない - ニューラルネットワークは、学習が進むにつれて 次数が上がっていくイメージ:過学習
データセットの分け方 - Training Data Set : 学習に使う - Test Data
Set : 汎化能力を見るのに使う - Validation Data Set : ハイパーパラメータのチューニングに使う
ニューラルネットワークのハイパーパラメータ - 学習回数 - 学習係数 - 重み減衰係数 - モメンタム係数 -
ネットワーク構造 - ...etc このグラフを見ながら、「ここで学習をやめました」はズル!
データの分け方も色々 - プロ野球選手の年俸査定の記事では、 全データ94選手、うちTraining Data Setが89選手、Test Data Setが5選手 - ホールドアウト法
: もっともナイーブな方法 このデータの分け方の任意性のモヤモヤを解消するために・・・ - 交差確認法 - 一つ抜き法 - ブートストラップ法 詳しくはこちらの記事にて
まとめ - 学習能力と汎化能力は違うもので、 ニューラルネットワークではトレードオフになりやすい - 一般に機械学習ではTraining Data Set、Test Data Setで区別される
- ニューラルネットワークではハイパーパラメータのチューニングのためにValidation Data Set が使われることがある - ハイパーパラメータのチューニングでTest Data Setを使うのは「ズル」 - データをどう分割するかも重要
マサカリお待ちしております - Facebook : Ryo Miyajima - Twitter : @sergeant-wizard
- GitHub : sergeant-wizard - Qiita : sergeant-wizard
参考資料 - Hugo先生のNeural Networkの講義 - はじめてのパターン認識 - 問題の記事:プロ野球選手の年俸査定 - より深掘りしてる記事:
機械学習の性能評価