Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
テキストマイニングによるプロ野球の順位予想 / Baseball Play Study 202...
Search
7pairs
December 17, 2020
Technology
0
530
テキストマイニングによるプロ野球の順位予想 / Baseball Play Study 2020 Winter
Baseball Play Study 2020 冬 シーズン振返りスペシャル (BPStudy#160)
の資料です。
7pairs
December 17, 2020
Tweet
Share
More Decks by 7pairs
See All by 7pairs
Pythonによる契約プログラミング入門 / PyCon JP 2025
7pairs
6
2.5k
Privacy Sandbox on Android / DroidKaigi 2024
7pairs
1
940
2020年の振り返りとBaseball Play Studyの振り返り / Jisyupy 29
7pairs
0
340
Because Python is there. / Jisyupy 27
7pairs
0
490
野球好きのための快適なプレゼンテーション環境の構築 / Baseball Play Study 2019 Winter
7pairs
0
1.1k
ちゃんと実装してちゃんとテストしよう / PyCon mini Hiroshima 2019
7pairs
2
1k
Pie Meets Py / PyCon JP 2019
7pairs
3
5.6k
テキストマイニングによる新外国人選手の分析 / Baseball Play Study 2019 Spring
7pairs
0
2.9k
テキストマイニングによる応援歌の分析 / Baseball Play Study 2018 Winter
7pairs
0
2.3k
Other Decks in Technology
See All in Technology
AI駆動開発を推進するためにサービス開発チームで 取り組んでいること
noayaoshiro
0
170
許しとアジャイル
jnuank
1
130
BirdCLEF+2025 Noir 5位解法紹介
myso
0
190
英語は話せません!それでも海外チームと信頼関係を作るため、対話を重ねた2ヶ月間のまなび
niioka_97
0
120
フルカイテン株式会社 エンジニア向け採用資料
fullkaiten
0
9k
SREとソフトウェア開発者の合同チームはどのようにS3のコストを削減したか?
muziyoshiz
1
100
AI ReadyなData PlatformとしてのAutonomous Databaseアップデート
oracle4engineer
PRO
0
180
実装で解き明かす並行処理の歴史
zozotech
PRO
1
340
Why Governance Matters: The Key to Reducing Risk Without Slowing Down
sarahjwells
0
110
AIが書いたコードをAIが検証する!自律的なモバイルアプリ開発の実現
henteko
1
340
生成AI_その前_に_マルチクラウド時代の信頼できるデータを支えるSnowflakeメタデータ活用術.pdf
cm_mikami
0
120
LLM時代にデータエンジニアの役割はどう変わるか?
ikkimiyazaki
0
180
Featured
See All Featured
Raft: Consensus for Rubyists
vanstee
139
7.1k
Embracing the Ebb and Flow
colly
88
4.8k
Imperfection Machines: The Place of Print at Facebook
scottboms
269
13k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
188
55k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.5k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
890
Building a Scalable Design System with Sketch
lauravandoore
462
33k
The Pragmatic Product Professional
lauravandoore
36
6.9k
For a Future-Friendly Web
brad_frost
180
9.9k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3.1k
A better future with KSS
kneath
239
17k
Transcript
ςΩετϚΠχϯάʹΑΔ ϓϩٿͷॱҐ༧ ୩ ५ / 2020-12-17 Baseball Play Study 2020ౙ
(BPStudy#160)
ͨΓোΓͷͳ͍ࣗݾհ • ୩ ५ (ͤ ͡ΎΜ) • Twitter / GitHubͰ
7pairs Ͱ׆ಈத • ࣗশAndroidΤϯδχΞ • Apple༷ͷؾ·͙ΕʹৼΓճ͞ΕͯࠓiOS͔͠৮͍ͬͯͳ͍ • ͖ͳϓϩάϥϛϯάݴޠ • PythonɼClojure • ৯ΔͨΊͷϓϩάϥϛϯάݴޠ • JavaɼObjective-CɼC#ɼJavaScript...
ͨΓোΓͷ͋Δࣗݾհ • ͖ͳٿ༻ޠ • FAݖΛߦͯ͠ཹɼੜ֔ϥΠΦϯζ • ͖ͩͬͨνϟϯς4 • ळࢁͷલ͔ΒྲྀΕΔΑ͏ʹҠߦ͢Δνϟϯς4 •
͖ͳελδΞϜάϧϝ • ࢰࢠϦΞϯϥΠεɼ3݄4݄10݄11݄ͷڱࢁ௮͚ɼ6݄7݄8݄ͷྫྷౚΈ͔Μ • ͖ͳ҉ࠇΫϦʔϯΞοϓτϦΦ • 3൪ϥΠτখؔɼ4൪ϑΝʔετླɼ5൪αʔυγΞϯϑϩοί (1999։ນઓ)
ຊͷΰʔϧ • ʮࣗԿ͔ͷੳΛ͍ͨ͠ʂʯͱ͍͏ؾ࣋ͪʹͳ͍ͬͯͨͩ͘ • ࡛ۄϥΠΦϯζͷެࣜΏΔΩϟϥͰ͋Δ Β͍ʹΐΜ͘Μͷ͔Θ͍͞Λཧղ͍ͯͨͩ͘͠
Β͍ʹΐΜ͘Μ͔Θ͍͍ʂ
ʹ΄Μ͠Γʔͣͬͯͳʹʁ
͘͞Β͖Ε͍ʔ
ΊΖΜͺʔΜ
͋ͬΔͺʔΜͪ
BPStudyͬΆ͍ٕज़ͷ
ςΩετϚΠχϯάͰॱҐΛ༧͢Δ • εϙʔπ৽ฉͷهࣄσʔλΛίʔύεͱ͠ɺword2vecͰ୯ޠΛϕΫτϧԽ • શࠃࢴࡿԼͷ4ࢴ͕ର (Ϧʔά༏উܾఆཌʹDT͕Ұ໘ʹདྷΔͷࢴ໘ͷެฏੑʹ͚ܽΔͨΊ) • αϯέΠεϙʔπ • εϙʔπχοϙϯ
• εϙʔπใ • ץεϙʔπ • 201910݄24 (ຊγϦʔζऴྃཌ) ͔Β20206݄18 (։ນલ) ͷهࣄ͕ର • νʔϜ໊Λ୯ޠͱͯ͠ͱΒ͑ɺʮ༏উʯͱͷྨࣅ͕ߴ͍ॱʹॱҐ͚
هࣄͷऩूํ๏ (20201݄͝Ζ·Ͱ) • εϙʔπ৽ฉͷαΠτΛఆظతʹΫϩʔϦϯά / εΫϨΠϐϯά • ScrapyΛར༻ • ݁ՌςΩετϑΝΠϧͱͯ͠Amazon
S3ʹอଘ • هࣄͷݕࡧͷͨΊʹElasticsearchʹσʔλΛొ • ੲͷهࣄ͕ඞཁʹͳͬͨ߹༗ྉαʔϏεͰߪೖ
2ճ͔͠ੳ͠ͳ͍ͷʹ ͓ۚΛ͔͚͗͢Ͱʁ
ίετݮʹ͚ͯ • ຊʹϦΞϧλΠϜͰ࣮ߦ͢Δඞཁ͕͋ΔͷΫϩʔϦϯά͚ͩ • ͕࣌ؒܦա͢ΔͱهࣄΛτοϓϖʔδ͔ΒḷΕͳ͘ͳΔͨΊ • εΫϨΠϐϯάҎ߱ੳͷલॲཧͱͯ͠खݩͰ࣮ࢪ͢Δ • ͜͜·ͰػೳΛߜΕαʔόʔϨεԽՄೳ •
Amazon S3Ҏ֎ແྉͰेߦ͚ͦ͏
هࣄͷऩूํ๏ (20202݄͝Ζ͔Β) • εϙʔπࢴͷαΠτΛఆظతʹΫϩʔϦϯά • AWS Lambda (Python) Λར༻ •
هࣄҰཡϖʔδΛղੳ͠ɺ֤هࣄϖʔδͷURLΛऔಘ • هࣄϖʔδੜHTMLͷ··S3ʹอଘ • ΫϩʔϦϯά࣮ࢪ࣌ͳͲɺཧ༻ͷใΛDynamoDBʹొ
ऩूج൫Λஔ͖͑ͨ݁Ռ͆͆͆͆͆
Ұ෦ͷσʔλΛ͏͔ͬΓ S3 GlacierʹҠಈ͍ͯͨͨ͠Ί Ή͠Ζ߹ܭίετ͕૿Ճ͠·ͨ͠
͓ͷΕGlacierΊ (ٯ࠘Έ)
άϥγΞϧ͡Όͳ͍Ͱ͢
݁Ռൃද
ηɾϦʔάॱҐ༧ / ݁Ռ ॱҐ ༧ ݁Ռ ಡച ಡച উഊ
ࡕਆ ࡕਆ উഊ ԣ%F/" த উഊ ౡ౦༸ ԣ%F/" উഊ த ౡ౦༸ উഊ ౦ژϠΫϧτ ౦ژϠΫϧτ উഊ
ύɾϦʔάॱҐ༧ / ݁Ռ ॱҐ ༧ ݁Ռ ԬιϑτόϯΫ ԬιϑτόϯΫ উഊ
౦ָఱ ઍ༿ϩος উഊ ઍ༿ϩος ࡛ۄ উഊ ւಓຊϋϜ ౦ָఱ উഊ ΦϦοΫε ւಓຊϋϜ উഊ ࡛ۄ ΦϦοΫε উഊ
(ΞΧϯ)
Ͱ͜ͷॱ൪ΛͲ͔͜ͰݟͨΑ͏ͳ
ผͷϥϯΩϯάͱൺֱͯ͠Έͨ
ηɾϦʔάಘࣦࠩ ॱҐ ॱҐ༧ ݁Ռ ಡച ಡച ࡕਆ
ԣ%F/" ԣ%F/" ࡕਆ ౡ౦༸ ౡ౦༸ த த ౦ژϠΫϧτ ౦ژϠΫϧτ
ύɾϦʔάಘࣦࠩ ॱҐ ॱҐ༧ ݁Ռ ԬιϑτόϯΫ ԬιϑτόϯΫ ౦ָఱ
౦ָఱ ઍ༿ϩος ઍ༿ϩος ւಓຊϋϜ ւಓຊϋϜ ΦϦοΫε ΦϦοΫε ࡛ۄ ࡛ۄ
ߦ͚ΔΜʂ (ͱͱॱҐ༧ͩͬͨͱ͍͏ࣄ࣮͔ΒΛͦΒ͠ͳ͕Β)
·ͱΊ
໌͔Βऩू / ੳΛ͢ΔͨΊʹ • Ճ౻ߞଠ (2019) PythonΫϩʔϦϯάˍεΫϨΠϐϯά [૿ิվగ൛] —
σʔλऩूɾղੳͷͨΊͷ࣮ફ։ൃΨΠυ ٕज़ධࣾ • ຊڮஐޫ (2018) લॲཧେશ — σʔλੳͷͨΊͷSQL/R/Python࣮ફςΫχοΫ ٕज़ධࣾ • ඌହ (2014) word2vecʹΑΔࣗવݴޠॲཧ ΦϥΠϦʔɾδϟύϯ
໌͔ΒσʔλͷऩूΛ࢝ΊΕ 1ޙʹ1ͷσʔλ͕ੵ͞Ε·͢
·ͱΊ • word2vecʹΑΔੳͰཌγʔζϯͷಘࣦࠩॱҐΛ ͋Δఔͷਫ਼ͰٻΊΔ͜ͱ͕Ͱ͖ͨ • Amazon S3ͷBucketͷઃఆʹࡉ৺ͷҙΛ͓͏ • কདྷͷࣗͷͨΊʹσʔλΛऩू͠Α͏
• Β͍ʹΐΜ͘Μ͔Θ͍͍ʂ
͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ དྷγʔζϯΑΖ͓͘͠ئ͍͠·͢