機械学習プロジェクトの進め方 /howtoproceedwithmlproject

1. 機械学習プロジェクトの進め方 2018-03-19 宮川 拓
2. #ccc_e4 2/105 背景と動機  機械学習プロジェクトは、繰り返し的にシ ステムを改善していくプロセスらしい  繰り返しごとに、どこのツマミを回せば良 いのか？ デ ー タ 収 集 特 徴 抽 出 モ デ ル 構 築 ハ イ パ ー パ ラ メ ー タ 調 整 学 習 ・ 評 価 評 価 軸 設 計
3. #ccc_e4 3/105 ネタ元  Coursera「Machine Learning」  機械学習の基礎を学ぶ実務者向け講義  厳密な根拠づけは省いて、「直観的には こんな感じ、やり方はこう」という内容  「実務上どう実現すればいいの？」とい う話もちょいちょい出てくる  今回は第6週、第11週がネタ元
4. 題材1 （第6週） 線形回帰による住宅価格予測 #ccc_e4 4/105
5. #ccc_e4 5/105 題材1: 線形回帰  説明変数 (x)  広さ  部屋数  階数  築年数  ……  目的変数 (y)  住宅価格
6. #ccc_e4 6/105 次にどの手を打つべきか？  「予測がうまくいかない」とき  そもそもそれはどういう時？  何をするべき？  データをもっと集める？  説明変数を増やす？減らす？  1 2 + 2 みたいな多項式を新たな説明変 数にする？  正則化を強くする？弱くする？
7. def. 予測がうまくいっていない #ccc_e4 7/105 一般的なデータに対する予測の誤差が 大きい 訓練データセットに対する予測の誤差 が大きい ◦ ×
8. データセットの分割 #ccc_e4 8/105 モデルのパラメータの推定のため に使うデータセット 最適な説明変数群、ハイパーパラ メータなどを選択する基準として 使うデータセット 最終的な予測の性能を測る 一般的なデータとして 使うデータセット 訓練セット バリデーション セット テストセット
9. 説明変数の数と誤差の関係 #ccc_e4 9/105 誤差 説明変数の数 訓練誤差 バリデーション誤差 ←underfit overfit→
10. 説明変数の数と誤差の関係 #ccc_e4 10/105 誤差 正則化項の係数λ 訓練誤差 バリデーション誤差 ←overfit underfit→
11. 訓練セット量と誤差の関係 #ccc_e4 11/105 誤差 訓練データセットの量 Learning Curve 訓練誤差 バリデーション誤差 ←overfit 誤差が過大なら underfit→
12. #ccc_e4 12/105 状況ごとのやるべきこと Underfit: データに対してモデルが単純過ぎ  説明変数を増やす  正則化項の係数を小さくする Overfit: データに対してモデルが複雑過ぎ  訓練セットの量を増やす  説明変数を減らす  正則化項の係数を大きくする
13. 題材2 （第6週） spamフィルタ #ccc_e4 13/105
14. #ccc_e4 14/105 基本的な進め方  まずは簡単なモデルを作ってみる  Learning Curve (訓練セット量vs誤差)を プロットしてみる  誤差が充分に小さければOK!  誤差が大きければ  underfit → モデルを複雑に  overfit → データを集める → モデルを単純に
15. #ccc_e4 15/105 エラー分析  具体的に打つ手を決めるためには、 分類エラーを分析することが有用  例: “med1cine”のような意図的なミスス ペルを持つメールがspamとして分類で きていない → 未知語の数を説明変数に追加
16. 題材3 （第11週） Photo OCR #ccc_e4 16/105
17. 題材: OCRパイプライン #ccc_e4 17/105 画像 テキスト検出 文字分割 文字認識（分類）
18. #ccc_e4 18/105 Ceiling Analysis  やみくもに各ステップを改善するのは 非効率的  Ceiling Analysisを行って、どのステップを 改善するべきか突き止めよう
19. Ceiling Analysis #ccc_e4 19/105 最終的な accuracy 改善 現行のパイプライン 70% - + 完璧なテキスト検出器 75% +5% + 完璧な文字分割器 90% +15% + 完璧な文字認識器 100% +10% → 最も改善が見込める文字分割器の改善に 労力をそそぐべき