テキストマイニングによるプロ野球の順位予想 / Baseball Play Study 2020 Winter

Baseball Play Study 2020 冬 シーズン振返りスペシャル (BPStudy#160) の資料です。

Transcript

1. ςΩετϚΠχϯάʹΑΔ ϓϩ໺ٿͷॱҐ༧૝ ௕୩৔ ५໵ / 2020-12-17 Baseball Play Study 2020ౙ (BPStudy#160)
2. ౰ͨΓোΓͷͳ͍ࣗݾ঺հ • ௕୩৔ ५໵ (͸ͤ͹ ͡ΎΜ΍) • Twitter / GitHubͰ͸ 7pairs Ͱ׆ಈத • ࣗশAndroidΤϯδχΞ • Apple༷ͷؾ·͙ΕʹৼΓճ͞Εͯࠓ೥͸iOS͔͠৮͍ͬͯͳ͍ • ޷͖ͳϓϩάϥϛϯάݴޠ • PythonɼClojure • ৯΂ΔͨΊͷϓϩάϥϛϯάݴޠ • JavaɼObjective-CɼC#ɼJavaScript...
3. ౰ͨΓোΓͷ͋Δࣗݾ঺հ • ޷͖ͳ໺ٿ༻ޠ • FAݖΛߦ࢖ͯ͠࢒ཹɼੜ֔ϥΠΦϯζ • ޷͖ͩͬͨνϟϯς4 • ळࢁͷલ૗͔ΒྲྀΕΔΑ͏ʹҠߦ͢Δνϟϯς4 • ޷͖ͳελδΞϜάϧϝ • ࢰࢠϦΞϯϥΠεɼ3݄4݄10݄11݄ͷڱࢁ஡௮͚ɼ6݄7݄8݄ͷྫྷౚΈ͔Μ • ޷͖ͳ҉ࠇΫϦʔϯΞοϓτϦΦ • 3൪ϥΠτখؔɼ4൪ϑΝʔετླ໦ɼ5൪αʔυγΞϯϑϩοί (1999೥։ນઓ)
4. ຊ೔ͷΰʔϧ • ʮࣗ෼΋Կ͔ͷ෼ੳΛ͍ͨ͠ʂʯͱ͍͏ؾ࣋ͪʹͳ͍ͬͯͨͩ͘ • ࡛ۄ੢෢ϥΠΦϯζͷެࣜΏΔΩϟϥͰ͋Δ 
 Β͍ʹΐΜ͘Μͷ͔Θ͍͞Λཧղ͍ͯͨͩ͘͠
5. Β͍ʹΐΜ͘Μ͸͔Θ͍͍ʂ
6. ʹ΄Μ͠Γʔͣͬͯͳʹʁ
7. ͘͞Β͖Ε͍ʔ
8. ΊΖΜͺʔΜ
9. ͋ͬ΀ΔͺʔΜͪ
10. BPStudyͬΆ͍ٕज़ͷ࿩
11. ςΩετϚΠχϯάͰॱҐΛ༧૝͢Δ • εϙʔπ৽ฉͷهࣄσʔλΛίʔύεͱ͠ɺword2vecͰ୯ޠΛϕΫτϧԽ • શࠃࢴࡿԼͷ4ࢴ͕ର৅ (Ϧʔά༏উܾఆཌ೔ʹD΍T͕Ұ໘ʹདྷΔͷ͸ࢴ໘ͷެฏੑʹ͚ܽΔͨΊ) • αϯέΠεϙʔπ • εϙʔπχοϙϯ • εϙʔπใ஌ • ೔ץεϙʔπ • 2019೥10݄24೔ (೔ຊγϦʔζऴྃཌ೔) ͔Β2020೥6݄18೔ (։ນલ೔) ͷهࣄ͕ର৅ • νʔϜ໊Λ୯ޠͱͯ͠ͱΒ͑ɺʮ༏উʯͱͷྨࣅ౓͕ߴ͍ॱʹॱҐ෇͚
12. هࣄͷऩूํ๏ (2020೥1݄͝Ζ·Ͱ) • εϙʔπ৽ฉͷαΠτΛఆظతʹΫϩʔϦϯά / εΫϨΠϐϯά • ScrapyΛར༻ • ݁Ռ͸ςΩετϑΝΠϧͱͯ͠Amazon S3ʹอଘ • هࣄͷݕࡧͷͨΊʹElasticsearchʹ΋σʔλΛొ࿥ • ੲͷهࣄ͕ඞཁʹͳͬͨ৔߹͸༗ྉαʔϏεͰߪೖ
13. ೥2ճ͔͠෼ੳ͠ͳ͍ͷʹ ͓ۚΛ͔͚͗͢Ͱ͸ʁ
14. ίετ࡟ݮʹ޲͚ͯ • ຊ౰ʹϦΞϧλΠϜͰ࣮ߦ͢Δඞཁ͕͋Δͷ͸ΫϩʔϦϯά͚ͩ • ͕࣌ؒܦա͢ΔͱهࣄΛτοϓϖʔδ͔ΒḷΕͳ͘ͳΔͨΊ • εΫϨΠϐϯάҎ߱͸෼ੳͷલॲཧͱͯ͠खݩͰ࣮ࢪ͢Δ • ͜͜·ͰػೳΛߜΕ͹αʔόʔϨεԽ΋Մೳ • Amazon S3Ҏ֎͸ແྉ࿮Ͱे෼ߦ͚ͦ͏
15. هࣄͷऩूํ๏ (2020೥2݄͝Ζ͔Β) • εϙʔπࢴͷαΠτΛఆظతʹΫϩʔϦϯά • AWS Lambda (Python) Λར༻ • هࣄҰཡϖʔδΛղੳ͠ɺ֤هࣄϖʔδͷURLΛऔಘ • هࣄϖʔδ͸ੜHTMLͷ··S3ʹอଘ • ΫϩʔϦϯά࣮ࢪ೔࣌ͳͲɺ؅ཧ༻ͷ৘ใΛDynamoDBʹొ࿥
16. ऩूج൫Λஔ͖׵͑ͨ݁Ռ͆͆͆͆͆
17. Ұ෦ͷσʔλΛ͏͔ͬΓ S3 GlacierʹҠಈ͍ͯͨͨ͠Ί Ή͠Ζ߹ܭίετ͕૿Ճ͠·ͨ͠
18. ͓ͷΕGlacierΊ (ٯ࠘Έ)
19. άϥγΞϧ͡Όͳ͍Ͱ͢
20. ݁Ռൃද
21. ηɾϦʔάॱҐ༧૝ / ݁Ռ ॱҐ ༧૝ ݁Ռ  ಡച ಡച
    উഊ෼  ࡕਆ ࡕਆ
    উഊ෼  ԣ඿%F/" த೔
    উഊ෼
     ޿ౡ౦༸ ԣ඿%F/"
    উഊ෼
     த೔ ޿ౡ౦༸
    উഊ෼  ౦ژϠΫϧτ ౦ژϠΫϧτ
    উഊ෼
22. ύɾϦʔάॱҐ༧૝ / ݁Ռ ॱҐ ༧૝ ݁Ռ  ෱ԬιϑτόϯΫ ෱ԬιϑτόϯΫ
    উഊ෼  ౦๺ָఱ ઍ༿ϩος
    উഊ෼  ઍ༿ϩος ࡛ۄ੢෢
    উഊ෼
     ๺ւಓ೔ຊϋϜ ౦๺ָఱ
    উഊ෼
     ΦϦοΫε ๺ւಓ೔ຊϋϜ
    উഊ෼  ࡛ۄ੢෢ ΦϦοΫε
    উഊ෼
23. (ΞΧϯ)
24. Ͱ΋͜ͷॱ൪ΛͲ͔͜ͰݟͨΑ͏ͳ
25. ผͷϥϯΩϯάͱൺֱͯ͠Έͨ
26. ηɾϦʔάಘࣦ఺ࠩ ॱҐ ॱҐ༧૝ ݁Ռ  ಡച ಡച
      ࡕਆ ԣ඿%F/"
      ԣ඿%F/" ࡕਆ
      ޿ౡ౦༸ ޿ౡ౦༸
      த೔ த೔
      ౦ژϠΫϧτ ౦ژϠΫϧτ
    
27. ύɾϦʔάಘࣦ఺ࠩ ॱҐ ॱҐ༧૝ ݁Ռ  ෱ԬιϑτόϯΫ ෱ԬιϑτόϯΫ
      ౦๺ָఱ ౦๺ָఱ
      ઍ༿ϩος ઍ༿ϩος
    
     ๺ւಓ೔ຊϋϜ ๺ւಓ೔ຊϋϜ
    
     ΦϦοΫε ΦϦοΫε
      ࡛ۄ੢෢ ࡛ۄ੢෢
    
28. ߦ͚Δ΍Μʂ (΋ͱ΋ͱ͸ॱҐ༧૝ͩͬͨͱ͍͏ࣄ࣮͔Β໨ΛͦΒ͠ͳ͕Β)
29. ·ͱΊ
30. ໌೔͔Βऩू / ෼ੳΛ͢ΔͨΊʹ • Ճ౻ߞଠ (2019) 
 PythonΫϩʔϦϯάˍεΫϨΠϐϯά [૿ิվగ൛] — σʔλऩूɾղੳͷͨΊͷ࣮ફ։ൃΨΠυ 
 ٕज़ධ࿦ࣾ • ຊڮஐޫ (2018) 
 લॲཧେશ — σʔλ෼ੳͷͨΊͷSQL/R/Python࣮ફςΫχοΫ 
 ٕज़ධ࿦ࣾ • ੢ඌହ࿨ (2014) 
 word2vecʹΑΔࣗવݴޠॲཧ 
 ΦϥΠϦʔɾδϟύϯ
31. ໌೔͔ΒσʔλͷऩूΛ࢝ΊΕ͹ 1೥ޙʹ͸1೥෼ͷσʔλ͕஝ੵ͞Ε·͢
32. ·ͱΊ • word2vecʹΑΔ෼ੳͰཌγʔζϯͷಘࣦ఺ࠩॱҐΛ 
 ͋Δఔ౓ͷਫ਼౓ͰٻΊΔ͜ͱ͕Ͱ͖ͨ • Amazon S3ͷBucketͷઃఆʹ͸ࡉ৺ͷ஫ҙΛ෷͓͏ • কདྷͷࣗ෼ͷͨΊʹσʔλΛऩू͠Α͏ • Β͍ʹΐΜ͘Μ͸͔Θ͍͍ʂ
33. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ དྷγʔζϯ΋ΑΖ͓͘͠ئ͍͠·͢