Upgrade to Pro — share decks privately, control downloads, hide ads and more …

はじめての人のための機械学習入門

 はじめての人のための機械学習入門

クックパッドサマーインターンシップ2015

Kenta Murata

August 25, 2015
Tweet

More Decks by Kenta Murata

Other Decks in Technology

Transcript

  1. ୭ʁ wଜాݡଠ ๺ւಓେֶത࢜ ৘ใՊֶ  ‣ ॴଐ ‣ ձһࣄۀ෦αʔϏε։ൃάϧʔϓ ‣

    ݚڀ։ൃνʔϜ ‣ 3VCZDPNNJUUFS ‣ ઐ໳෼໺ ‣ ෳࡶωοτϫʔΫɺػցֶश
  2. τϚτ 1 φε 0 ਫࡊ 0 ιό 1 ྫྷ΍͠ 1

    : : Ϩγϐ ಛ௃ϕΫτϧ ෼ྨث : : 0.13 0.89 0.62 : ෼ྨ֬཰ϕΫτϧ ໙ྉཧ ओ৯ ೑ྉཧ : ෼ྨ݁Ռ Ϩγϐ΁ͷࣗಈϥϕϧ෇͚ͷྲྀΕ લॲཧ ޙॲཧ
  3. ྫɿ෼ྨϞσϧ BMI ˔ ˔ ˔ ˔ ˔ ˔ ʷ ʷ

    ʷ ʷ ʷ ʷ ʷ ˔ ˔ʜ݈߁ମ ʷʜ৺ଁප ෼ྨڥք (ՍۭͷσʔλͰ͢)
  4. ڭࢣͳֶ͠शͱ͸ x1 x2 ˔ Ϩγϐ1 ˔ Ϩγϐ2 Ϩγϐ3 ˔ ˔

    Ϩγϐ5 Ϩγϐ8 ˔ ˔ Ϩγϐ4 ˔ Ϩγϐ7 ˔ Ϩγϐ6 Ϩγϐ9 ˔ ˔ Ϩγϐ10 x1 x2 ˒ Ϩγϐ1 ˛ Ϩγϐ2 Ϩγϐ3 ˒ ˒ Ϩγϐ5 Ϩγϐ8 ˒ ˛ Ϩγϐ4 ˛ Ϩγϐ7 ˛ Ϩγϐ6 Ϩγϐ9 ˛ ˒ Ϩγϐ10 ڭࢣ͋Γֶश ڭࢣͳֶ͠श
  5. ػցֶशͷྲྀΕ  ܇࿅༻σʔλΛूΊΔ  ΫϨϯδϯάͳͲͷલॲཧΛ͢Δ  ಛ௃ʢૉੑʣͷઃܭΛ͢Δ ‣ χϡʔϥϧωοτϫʔΫͷ৔߹͸ӅΕ૚ͷઃܭΛ͢Δ 

    ϞσϧΛֶश͠ɺݕূ͢Δ ‣ ݁Ռ͕ྑ͘ͳ͍৔߹͸PSʹ໭ͬͯ΍Γ௚͠  ӡ༻͢Δ ໰୊ͷੑ࣭ʹ େ͖͘ґଘ͢Δ ໰୊ͷੑ࣭ • λεΫͷछྨ • ֶशσʔλͷྔ • ֶशσʔλͷ౷ܭతੑ࣭ • ͳͲ ໰୊ͷੑ࣭ʹґଘ ͢Δ෦෼͕͋Δ
  6. ػցֶशͷྲྀΕ  ܇࿅༻σʔλΛूΊΔ  ΫϨϯδϯάͳͲͷલॲཧΛ͢Δ  ಛ௃ʢૉੑʣͷઃܭΛ͢Δ ‣ χϡʔϥϧωοτϫʔΫͷ৔߹͸ӅΕ૚ͷઃܭΛ͢Δ 

    ϞσϧΛֶश͠ɺݕূ͢Δ ‣ ݁Ռ͕ྑ͘ͳ͍৔߹͸PSʹ໭ͬͯ΍Γ௚͠  ӡ༻͢Δ ໰୊ͷੑ࣭ʹ͸
 ґଘ͠ͳ͍ ໰୊ͷੑ࣭ • λεΫͷछྨ • ֶशσʔλͷྔ • ֶशσʔλͷ౷ܭతੑ࣭ • ͳͲ
  7. τϚτ 1 φε 0 ਫࡊ 0 ιό 1 ྫྷ΍͠ 1

    : : Ϩγϐ ಛ௃ϕΫτϧ ෼ྨث : : 0.13 0.89 0.62 : ෼ྨ֬཰ϕΫτϧ ໙ྉཧ ओ৯ ೑ྉཧ : ڭࢣσʔλ Ϩγϐ΁ͷࣗಈϥϕϧ෇͚༻෼ྨثͷֶश 0 1 1 : ޡࠩ ෼ྨύϥϝʔλͷमਖ਼
  8. ෼ྨثͷ࠷దԽޯ഑߱Լ๏ ݱࡏͷग़ྗ E(y) ޡࠩ y ग़ྗ ݱࡏͷޡࠩ : ޡࠩΛগ͠ݮগͤ͞ΔͨΊʹ
 ඞཁͳग़ྗͷඍখมԽྔ

    y ग़ྗΛมԽͤ͞ΔͨΊʹඞཁͳ
 ෼ྨύϥϝʔλͷमਖ਼ྔ y = f ( x ; ⇥) ͷͱ͖ y ⇥ : ෼ྨύϥϝʔλ ⇥ ⇥ = @E @⇥ = @E @y @f @⇥
  9. ࠞ߹ߦྻconfusion m tri- ཅੑ ӄੑ ཅ
 ੑ ਅཅੑ 5SVF1PTJUJWF ِӄੑ

    'BMTF/FHBUJWF ӄ
 ੑ ِཅੑ 'BMTF1PTJUJWF ਅӄੑ 5SVF/FHBUJWF ༧ଌͷ݁Ռ ਖ਼ղσʔλ ntp nfp nfn ntn ਖ਼ղ཰ accuracy ਅཅੑ཰ true positive rate ࠶ݱ཰ recall ਫ਼౓ʢద߹཰ʣ precision ntp ntp + nfn ntp + ntn ntp + nfp + ntn + nfn ntp ntp + nfp F-score 2 1 precision + 1 recall = n tp n tp + nfp+ nfn 2
  10. ࠞ߹ߦྻconfusion m tri- ཅੑ ӄੑ ཅ
 ੑ ਅཅੑ 5SVF1PTJUJWF ِӄੑ

    'BMTF/FHBUJWF ӄ
 ੑ ِཅੑ 'BMTF1PTJUJWF ਅӄੑ 5SVF/FHBUJWF ༧ଌͷ݁Ռ ਖ਼ղσʔλ ntp nfp nfn ntn ਖ਼ղ཰ accuracy ਅཅੑ཰ true positive rate ࠶ݱ཰ recall ਫ਼౓ʢద߹཰ʣ precision ntp ntp + nfn ntp + ntn ntp + nfp + ntn + nfn ntp ntp + nfp F-score 2 1 precision + 1 recall = n tp n tp + nfp+ nfn 2
  11. ࠞ߹ߦྻconfusion m tri- ཅੑ ӄੑ ཅ
 ੑ ਅཅੑ 5SVF1PTJUJWF ِӄੑ

    'BMTF/FHBUJWF ӄ
 ੑ ِཅੑ 'BMTF1PTJUJWF ਅӄੑ 5SVF/FHBUJWF ༧ଌͷ݁Ռ ਖ਼ղσʔλ ntp nfp nfn ntn ਖ਼ղ཰ accuracy ਅཅੑ཰ true positive rate ࠶ݱ཰ recall ਫ਼౓ʢద߹཰ʣ precision ntp ntp + nfn ntp + ntn ntp + nfp + ntn + nfn ntp ntp + nfp F-score 2 1 precision + 1 recall = n tp n tp + nfp+ nfn 2
  12. ࠞ߹ߦྻconfusion m tri- ཅੑ ӄੑ ཅ
 ੑ ਅཅੑ 5SVF1PTJUJWF ِӄੑ

    'BMTF/FHBUJWF ӄ
 ੑ ِཅੑ 'BMTF1PTJUJWF ਅӄੑ 5SVF/FHBUJWF ༧ଌͷ݁Ռ ਖ਼ղσʔλ ntp nfp nfn ntn ਖ਼ղ཰ accuracy ਅཅੑ཰ true positive rate ࠶ݱ཰ recall ਫ਼౓ʢద߹཰ʣ precision ntp ntp + nfn ntp + ntn ntp + nfp + ntn + nfn ntp ntp + nfp F-score 2 1 precision + 1 recall = n tp n tp + nfp+ nfn 2
  13. Precision Recall F-score = 2 1 precision + 1 recall

    = n tp n tp + nfp+ nfn 2 Precision ͱ Recall ͷௐ࿨ฏۉ ͲͪΒ͔͕௿͍ͱ F-score ͸௿͍
  14. ࠞ߹ߦྻconfusion m tri- ཅੑ ӄੑ ཅ
 ੑ ਅཅੑ 5SVF1PTJUJWF ِӄੑ

    'BMTF/FHBUJWF ӄ
 ੑ ِཅੑ 'BMTF1PTJUJWF ਅӄੑ 5SVF/FHBUJWF ༧ଌͷ݁Ռ ਖ਼ղσʔλ ntp nfp nfn ntn ਖ਼ղ཰ accuracy ਅཅੑ཰ true positive rate ࠶ݱ཰ recall ਫ਼౓ʢద߹཰ʣ precision ntp ntp + nfn ntp + ntn ntp + nfp + ntn + nfn ntp ntp + nfp F-score 2 1 precision + 1 recall = n tp n tp + nfp+ nfn 2 F-score ͕ߴ͚Ε͹ྑ͍ͷʁ → ໰୊ʹґଘ͢Δ
  15. ྫɿҩྍσʔλͷ෼ྨ BMI ˔ ˔ ˔ ˔ ˔ ˔ ʷ ʷ

    ʷ ʷ ʷ ʷ ʷ ˔ ˔ʜ݈߁ମ ӄੑ  ʷʜ৺ଁප ཅੑ (ՍۭͷσʔλͰ͢) ِӄੑ ِཅੑ ҩྍσʔλͷ෼ྨͰ͸ِӄੑΛ0݅ʹ͍ͨ͠ → ࠶ݱ཰Λ100%ʹ͢Δ͜ͱ͕ॏཁ
  16. ྫɿҩྍσʔλͷ෼ྨ BMI ˔ ˔ ˔ ˔ ˔ ˔ ʷ ʷ

    ʷ ʷ ʷ ʷ ʷ ˔ ˔ʜ݈߁ମ ӄੑ  ʷʜ৺ଁප ཅੑ (ՍۭͷσʔλͰ͢) ِӄੑ ِཅੑ ҩྍσʔλͷ෼ྨͰ͸ِӄੑΛ0݅ʹ͍ͨ͠ → ࠶ݱ཰Λ100%ʹ͢Δ͜ͱ͕ॏཁ
  17. Ϋϥεͷ৔߹ ཅੑ ӄੑ ཅੑ ӄੑ ༧ଌͷ݁Ռ ਖ਼ղσʔλ ཅੑ ӄੑ ཅੑ

    ӄੑ ਖ਼ղσʔλ ཅੑ ӄੑ ཅੑ ӄੑ ਖ਼ղσʔλ n(1) tp n(2) tp n(3) tp n(1) tn n(2) tn n(3) tn n(3) fp n(2) fp n(1) fp n(1) fn n(2) fn n(3) fn Ϋϥε1 Ϋϥε2 Ϋϥε3 ֤Ϋϥεʹଐ͢Δ ֤Ϋϥεʹଐ͞͵ ༧ଌͷ݁Ռ ਖ਼ղσʔλ ֤Ϋϥεʹ
 ଐ͢Δ ֤Ϋϥεʹ
 ଐ͞͵ n(1) fn + n(2) fn + n(3) fn n(1) tp + n(2) tp + n(3) tp n(1) fp + n(2) fp + n(3) fp n(1) tn + n(2) tn + n(3) tn
  18. ,෼ׂަࠩݕূ 1 2 3 4 … K N ݸͷֶशσʔλΛ K

    ϒϩοΫʹ෼ׂ ݕূʹ࢖͏ϒϩοΫΛ ॱ൪ʹ੾Γସ͑ͯ K ύλʔϯͷݕূΛߦ͏ ֶश༻ϒϩοΫ ݕূ༻ϒϩοΫ (K=N ͷͱ͖ LOOCV ʹͳΔ)