Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWSとGCPのいいとこどりでつくる分析基盤のきほん
Search
chie8842
October 09, 2017
Technology
5
1.7k
AWSとGCPのいいとこどりでつくる分析基盤のきほん
DevfestTokyo2017の登壇資料です。 #DevfestTokyo #DevfestTokyo2017 #GDG #DevFest17
chie8842
October 09, 2017
Tweet
Share
More Decks by chie8842
See All by chie8842
MongoDB Atlas:モダンなアプリ開発を支えるデータプラットフォームのご紹介
chie8842
0
9
MongoDB Vectorsearchではじめるカスタマイズ可能な生成AIアプリ開発
chie8842
0
10
MongoDB Atlas Search のご紹介
chie8842
2
1.7k
MongoDB Atlas Vectorsearchではじめる生成AIアプリ開発
chie8842
3
1.7k
AWS GlueとAWS Lake Formationではじめるデータマネジメント
chie8842
0
1.1k
Distributed Processing in Python
chie8842
2
730
クックパッドにおける推薦(と検索)の取り組み
chie8842
20
8.1k
Understanding distributed processing in Python
chie8842
2
2k
Performance Tuning Tips of TensorFlow Inference
chie8842
1
750
Other Decks in Technology
See All in Technology
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
26k
「Chatwork」の認証基盤の移行とログ活用によるプロダクト改善
kubell_hr
1
240
マーケットプレイス版Oracle WebCenter Content For OCI
oracle4engineer
PRO
3
940
高速なプロダクト開発を実現、創業期から掲げるエンタープライズアーキテクチャ
kawauso
2
2.9k
ビギナーであり続ける/beginning
ikuodanaka
3
510
論文紹介:LLMDet (CVPR2025 Highlight)
tattaka
0
250
開発生産性を組織全体の「生産性」へ! 部門間連携の壁を越える実践的ステップ
sudo5in5k
1
2.1k
KubeCon + CloudNativeCon Japan 2025 Recap by CA
ponkio_o
PRO
0
260
Tokyo_reInforce_2025_recap_iam_access_analyzer
hiashisan
0
150
Model Mondays S2E03: SLMs & Reasoning
nitya
0
240
生成AI開発案件におけるClineの業務活用事例とTips
shinya337
0
190
AWS テクニカルサポートとエンドカスタマーの中間地点から見えるより良いサポートの活用方法
kazzpapa3
3
620
Featured
See All Featured
Visualization
eitanlees
146
16k
Gamification - CAS2011
davidbonilla
81
5.3k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
Code Reviewing Like a Champion
maltzj
524
40k
Into the Great Unknown - MozCon
thekraken
39
1.9k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
5
240
A Tale of Four Properties
chriscoyier
160
23k
Done Done
chrislema
184
16k
Rebuilding a faster, lazier Slack
samanthasiow
82
9.1k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
500
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
KATA
mclloyd
30
14k
Transcript
"84ͱ($1ͷ͍͍ͱ͜ͲΓͰͭ͘Δ ੳج൫ͷ͖΄Μ !DIJF DIJFIBZBTIJEB 1
ࣗݾհ $IJF)BZBTIJEB 5XJUUFS!DIJF (JU)VCDIJF 3FUUZ*OD 4PGUXBSF&OHJOFFS
($1"84ػցֶश1ZUIPO4DBMB$MPKVSF%#WJN মϐΞϊςχεεϊϘ 2
Ϋϥυϑϧ׆༻Ͱ େنੳج൫ΛظؒͰ ߏஙͨ͠ࣄྫΛڞ༗͠·͢ɻ 3
ࠓ͢ൣғ ج൫ϨΠϠͷ ΞϓϦϨΠϠͷ ਐΊํ ͦͷͷͷ ͜͜ͷΛ͠·͢ɻ 4
ੳج൫ߏஙͷഎܠ • 3FUUZೖࣾॳ マネージャ わたし(⼊社初⽇、 肩書き:データ サイエンティスト) ͱΓ͋͑ͣɺੳج൫ͭͬͯ͘ɻ ϲ݄Ͱʂ ͑ɺੳج൫ʁ
5
ͦͦੳج൫ͱʁ • σʔλΛੵɾ׆༻͢ΔͨΊͷج൫ ੳج൫ ! ࢪࡦͷධՁ ΞυςΫ Ϩίϝϯυ 6
ͱͱ͋ͬͨੳج൫ͷ՝ᶃ ˙%8)ͷςʔϒϧઃܭͷ ྫ ΫΤϦ࣮ߦ࣌ʹաେͳαʔό Ϧιʔε͕ඞཁ ετϨʔδ༰ྔඡഭ ੳͮ͠Β͍ ʢΞυϗοΫੳͷʹ ෳࡶͳਖ਼نදݱநग़ʣ •
ෆཁͳϩά͕ϩάશମͷׂ • దͳσʔλܕ͕ΘΕ͍ͯͳ͍ • KTPOΦϒδΣΫτ͕ςΩετܗࣜͰೖ͍ͬͯΔ 7
ͱͱ͋ͬͨੳج൫ͷ՝ᶄ ˙Ϛελσʔλผͷ%#ʹ͋Δ • Ϛελσʔλͱಥ߹ͯ͠ੳ͍ͨ͠߹ ผͷڥʹσʔλΛҠ͢ඞཁ͕͋Δ • KPJO͍ͨ͠ΧϥϜಉ࢜Ͱσʔλܕ͕ҟͳΔ ੳऀ͝ͱʹڥߏங σʔλసૹίετ
8
ͱͱ͋ͬͨੳج൫ͷ՝ᶅ ˙ϩά૿େʹ͏ύϑΥʔϚϯεϘτϧωοΫ • ࣍όον͕ऴΘΒͳ͍ • ؾܰʹΞυϗοΫੳͰ͖ͳ͍ ˠΫΤϦΛ͛Δࡍ4MBDLʹใࠂ͢Δӡ༻ 9
ݱঢ়ཧ • ϩάαΠζɿʹे(#ʢH[KTPOঢ়ଶʣ ˠ͚ͬ͜͏Ͱ͔͍ɻ͜Ε͔Β૿͑Δ • ਖ਼نԽ͞Ε͍ͯͳ͍ϩά – ୯७ͳσʔλసૹਖ਼نදݱநग़Ͱ͢·ͳ͍ – 4FTTJPOJ[F&5-ͰΔ
• αʔϏεଆͷػೳՃʹ͏ཁ݅มߋ͕༧͞ΕΔ 10
৽͍͠ੳج൫ʹٻΊΒΕΔͷ • ੳऀʹͱ͍͍ͬͯ͢ – 42-ͦΕʹ४ͣΔΫΤϦݴޠ͕ར༻Ͱ͖Δ – Ϩεϙϯεεϧʔϓοτ • Ճ։ൃɾӡ༻͕͍͢͠ –
ྻมߋ͕ॊೈʹͰ͖Δ – ෳࡶͳ&5-ॲཧʹॊೈʹରԠͰ͖Δ • ίετʢΠχγϟϧϥϯχϯάʣ͕ݱ࣮తͰ͋Δ • εέʔϥϒϧͰ͋Δ – ੳରσʔλͷछྨαΠζ͕૿͑ͯରԠͰ͖Δ "84ͱ($1ͷ͍͍ͱ͜ͲΓͨ͠ੳج൫ 11
ͭͬͨ͘ੳج൫ 3FUUZαʔϏεج൫ 3FUUZੳج൫ʢ"84ʣ 3FUUZੳج൫ʢ($1ʣ Kinesis S3 EMR (Spark) S3 EC2
EC2 RDS(MySQL) 分析者 プランナ 12
ͭͬͨ͘ੳج൫ 3FUUZαʔϏεج൫ 3FUUZੳج൫ʢ"84ʣ 3FUUZੳج൫ʢ($1ʣ Kinesis S3 EMR (Spark) S3 EC2
EC2 RDS(MySQL) 分析者 プランナ σʔλϨΠΫ σʔλՃ πʔϧ %8)ɾ%. 13
σʔλϨΠΫɿ4 • ඇߏԽσʔλͷอଘ • αʔϏεͷಈ͍͍ͯΔڥʢ"84ʣʹ͍ۙॴʹσʔλ Λอ࣋͢Δ΄͏͕߹͕Α͍ – ωοτϫʔΫసૹίετ – ཧ͢͠͞
• ಉ͡όέοτͰϓϨϑΟοΫελάΛར༻ͨ͠ॊ ೈͳϥΠϑαΠΫϧͷӡ༻ • ,JOFTJT'JSFIPTFΛར༻͢Δ͜ͱͰ͔ΜͨΜʹ࣌͝ͱʹ σΟϨΫτϦΛ͚ͯอଘͰ͖Δ 14
%8)ɾ%.ɿ#JH2VFSZ • ੳऀʹͱ͍͍ͬͯ͢ – 4UBOEBSE42-͕ར༻Ͱ͖Δ – 6%'8JOEPXؔ͑Δ – εϓϨουγʔτQBOEBTEBUBGSBNFͱͷ࿈ܞ •
ޙͷςʔϒϧઃܭมߋ͕͍͢͠ – ςʔϒϧͷྻՃ͕Ͱ͖Δ • ҆ఆͨ͠ϨΠςϯγͱεϧʔϓοτ • ϝϯςφϯεϑϦʔ • ࣌ؒ՝ۚͰͳ͘ΫΤϦ՝ۚ • 3FE4IJGU"UIFOBΛ͏߹ͱൺͯɺ"84͔Β ($1ͷσʔλసૹ͕ൃੜ͢Δ͕ɺ ӡ༻ίετͷݮͰ૬ࡴͰ͖Δൣғͩͬͨ 15
%8)ൺֱ 3FE4IJGU "UIFOB #JH2VFSZ /8సૹίετ Ϧʔδϣϯ Ϧʔδϣϯؒసૹ ౦ژˠόʔδχ Ξ
Πϯλʔωοτ ӽ͠ͷసૹ ՝ۚํࣜ Քಇ࣌ؒ՝ۚ ΫΤϦ՝ۚ ΫΤϦ՝ۚ 6%' ˓ ✗ ˓ ΧϥϜมߋ ˓ ✗ ˚ ج൫ӡ༻ ඞཁ ඞཁ ΄ͱΜͲͳ͠ ΫΤϦ νϡʔχϯά ඞཁ ඞཁ ΄ͱΜͲͳ͠ ΫΤϦݴޠ TUBOEBSE42- QSFTUP TUBOEBSE42- ࣌ ੨จࣈࠓճͷཁ݅ʹద͍ͯ͠Δ͜ͱΛࣔ͢ 16
&.3 4QBSL σʔλՃ • αʔϏεଆͷϩάઃܭͷؔͰɺҎԼ͕ඞཁͩͬͨɻ – ෆཁͳϩάग़ྗ͕શମͷׂΛΊΔͨΊɺ#JH2VFSZసૹ͢ ΔલʹϑΟϧλॲཧ – 42-ͰදݱͰ͖ͳ͍ඇߏԽσʔλʹର͢Δෳࡶͳ&5-ॲཧ
• ϩά͕૿େͯ͠ΫϥελΛ૿͢͜ͱͰεέʔϧ Ͱ͖Δ • 42-Ͱࡁ·ͤΒΕΔͷ#JH2VFSZ্ͰՃ σʔλՃᶃʢ4QBSLʣ σʔλՃ ᶄʢ42-ʣ 17
ΘΕΔੳج൫ߏஙͷίπ • ૣ͘࡞ͬͯ͑͘ͳ͍ͷΛ࡞ͬͯҙຯ͕ͳ͍ • %8)ͷ߹ɺج൫෦ʮ࡞ͬͯյͯ͠ʯ͕؆୯ʹ ͢·ͳ͍ɻ • ج൫෦৻ॏʹܾΊͨ 5⽉ 6⽉
ཁ݅ώΞϦϯάɺɾٕज़બఆɺ1P$ &5-εΫϦϓτ࡞ɾ ڥߏங ͬͪ͜ʹ͔͚࣌ؒͨɻ ͪΌΜͱΘΕΔੳج൫͕Ͱ͖ͨʂ 18
͍͞͝ʹ • Ϋϥυϑϧ׆༻Ͱੳج൫ΛظؒͰ࡞ΕΔʂ – Ͱ̍ਓͰΔͷͭΒ͔ͬͨɻ৭ΜͳҙຯͰɻ • Ϋϥυଞͷٕज़ɺҰͭʹͩ͜ΘΒͣॊೈʹ׆༻͢Δ ͷେࣄʂ • ࠓճ৮Εͳ͔ٕͬͨज़બఆͷৄ͍͠෦ΞϓϦέʔγϣ
ϯϨΠϠʔͷͱ͔Λͷ95FDI+"84Ͱൃද͢Δ ༧ఆͳͷͰɺڵຯ͋Δํੋඇɻ 19
༻ޠ • σʔλϨΠΫ – ՃલͷੜϩάΛอଘ͢Δॴ • %8) – ੳ͍͢͠Α͏ʹՃ͞ΕͨσʔλΛ֨ೲ͢Δσʔλϕʔε •
%. – ੳ༻్ʹԠͯ͡ूܭޙͷσʔλͳͲΛ֨ೲ͢ΔͳͲɺαϯυ ϘοΫεతʹ͔ͭ͏ͨΊͷσʔλϕʔε • σʔλՃπʔϧ – ϩάΛੳ͍͢͠ܗʹܗ͢Δπʔϧ • ϫʔΫϑϩʔΤϯδϯ – Ұ࿈ͷσʔλॲཧͷϑϩʔΛཧ͢Δπʔϧ 20