Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWSとGCPのいいとこどりでつくる分析基盤のきほん
Search
chie8842
October 09, 2017
Technology
5
1.6k
AWSとGCPのいいとこどりでつくる分析基盤のきほん
DevfestTokyo2017の登壇資料です。 #DevfestTokyo #DevfestTokyo2017 #GDG #DevFest17
chie8842
October 09, 2017
Tweet
Share
More Decks by chie8842
See All by chie8842
MongoDB Atlas Search のご紹介
chie8842
3
1.3k
MongoDB Atlas Vectorsearchではじめる生成AIアプリ開発
chie8842
3
1.3k
AWS GlueとAWS Lake Formationではじめるデータマネジメント
chie8842
0
920
Distributed Processing in Python
chie8842
2
640
クックパッドにおける推薦(と検索)の取り組み
chie8842
21
7.9k
Understanding distributed processing in Python
chie8842
2
1.9k
Performance Tuning Tips of TensorFlow Inference
chie8842
1
720
クックパッドにおけるCloud AutoML事例
chie8842
9
7.7k
Cookpad_Internship_MLOps_Lecture_2018
chie8842
35
16k
Other Decks in Technology
See All in Technology
マネジメント視点でのre:Invent参加 ~もしCEOがre:Inventに行ったら~
kojiasai
0
470
わたしとトラックポイント / TrackPoint tips
masahirokawahara
1
240
AWSコンテナ本出版から3年経った今、もし改めて執筆し直すなら / If I revise our container book
iselegant
15
4k
IaC運用を楽にするためにCDK Pipelinesを導入したけど、思い通りにいかなかった話
smt7174
1
110
【若手エンジニア応援LT会】AWS Security Hubの活用に苦労した話
kazushi_ohata
0
170
独自ツール開発でスタジオ撮影をDX!「VLS(Virtual LED Studio)」 / dx-studio-vls
cyberagentdevelopers
PRO
1
180
Commitment vs Harrisonism - Keynote for Scrum Niseko 2024
miholovesq
6
1.1k
生成AIとAWS CDKで実現! 自社ブログレビューの効率化
ymae
2
330
Amazon FSx for NetApp ONTAPを利用するにあたっての要件整理と設計のポイント
non97
1
160
WINTICKETアプリで実現した高可用性と高速リリースを支えるエコシステム / winticket-eco-system
cyberagentdevelopers
PRO
1
190
「 SharePoint 難しい」ってよく聞くけど、そんなに言うなら8歳の息子に試してもらった
taichinakamura
1
630
スプリントゴールにチームの状態も設定する背景とその効果 / Team state in sprint goals why and impact
kakehashi
2
100
Featured
See All Featured
Building Better People: How to give real-time feedback that sticks.
wjessup
363
19k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
14
1.9k
Code Reviewing Like a Champion
maltzj
519
39k
Build The Right Thing And Hit Your Dates
maggiecrowley
32
2.4k
Happy Clients
brianwarren
97
6.7k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
41
2.1k
Large-scale JavaScript Application Architecture
addyosmani
510
110k
Bootstrapping a Software Product
garrettdimon
PRO
305
110k
Product Roadmaps are Hard
iamctodd
PRO
48
10k
The Art of Programming - Codeland 2020
erikaheidi
51
13k
Rails Girls Zürich Keynote
gr2m
93
13k
Making Projects Easy
brettharned
115
5.9k
Transcript
"84ͱ($1ͷ͍͍ͱ͜ͲΓͰͭ͘Δ ੳج൫ͷ͖΄Μ !DIJF DIJFIBZBTIJEB 1
ࣗݾհ $IJF)BZBTIJEB 5XJUUFS!DIJF (JU)VCDIJF 3FUUZ*OD 4PGUXBSF&OHJOFFS
($1"84ػցֶश1ZUIPO4DBMB$MPKVSF%#WJN মϐΞϊςχεεϊϘ 2
Ϋϥυϑϧ׆༻Ͱ େنੳج൫ΛظؒͰ ߏஙͨ͠ࣄྫΛڞ༗͠·͢ɻ 3
ࠓ͢ൣғ ج൫ϨΠϠͷ ΞϓϦϨΠϠͷ ਐΊํ ͦͷͷͷ ͜͜ͷΛ͠·͢ɻ 4
ੳج൫ߏஙͷഎܠ • 3FUUZೖࣾॳ マネージャ わたし(⼊社初⽇、 肩書き:データ サイエンティスト) ͱΓ͋͑ͣɺੳج൫ͭͬͯ͘ɻ ϲ݄Ͱʂ ͑ɺੳج൫ʁ
5
ͦͦੳج൫ͱʁ • σʔλΛੵɾ׆༻͢ΔͨΊͷج൫ ੳج൫ ! ࢪࡦͷධՁ ΞυςΫ Ϩίϝϯυ 6
ͱͱ͋ͬͨੳج൫ͷ՝ᶃ ˙%8)ͷςʔϒϧઃܭͷ ྫ ΫΤϦ࣮ߦ࣌ʹաେͳαʔό Ϧιʔε͕ඞཁ ετϨʔδ༰ྔඡഭ ੳͮ͠Β͍ ʢΞυϗοΫੳͷʹ ෳࡶͳਖ਼نදݱநग़ʣ •
ෆཁͳϩά͕ϩάશମͷׂ • దͳσʔλܕ͕ΘΕ͍ͯͳ͍ • KTPOΦϒδΣΫτ͕ςΩετܗࣜͰೖ͍ͬͯΔ 7
ͱͱ͋ͬͨੳج൫ͷ՝ᶄ ˙Ϛελσʔλผͷ%#ʹ͋Δ • Ϛελσʔλͱಥ߹ͯ͠ੳ͍ͨ͠߹ ผͷڥʹσʔλΛҠ͢ඞཁ͕͋Δ • KPJO͍ͨ͠ΧϥϜಉ࢜Ͱσʔλܕ͕ҟͳΔ ੳऀ͝ͱʹڥߏங σʔλసૹίετ
8
ͱͱ͋ͬͨੳج൫ͷ՝ᶅ ˙ϩά૿େʹ͏ύϑΥʔϚϯεϘτϧωοΫ • ࣍όον͕ऴΘΒͳ͍ • ؾܰʹΞυϗοΫੳͰ͖ͳ͍ ˠΫΤϦΛ͛Δࡍ4MBDLʹใࠂ͢Δӡ༻ 9
ݱঢ়ཧ • ϩάαΠζɿʹे(#ʢH[KTPOঢ়ଶʣ ˠ͚ͬ͜͏Ͱ͔͍ɻ͜Ε͔Β૿͑Δ • ਖ਼نԽ͞Ε͍ͯͳ͍ϩά – ୯७ͳσʔλసૹਖ਼نදݱநग़Ͱ͢·ͳ͍ – 4FTTJPOJ[F&5-ͰΔ
• αʔϏεଆͷػೳՃʹ͏ཁ݅มߋ͕༧͞ΕΔ 10
৽͍͠ੳج൫ʹٻΊΒΕΔͷ • ੳऀʹͱ͍͍ͬͯ͢ – 42-ͦΕʹ४ͣΔΫΤϦݴޠ͕ར༻Ͱ͖Δ – Ϩεϙϯεεϧʔϓοτ • Ճ։ൃɾӡ༻͕͍͢͠ –
ྻมߋ͕ॊೈʹͰ͖Δ – ෳࡶͳ&5-ॲཧʹॊೈʹରԠͰ͖Δ • ίετʢΠχγϟϧϥϯχϯάʣ͕ݱ࣮తͰ͋Δ • εέʔϥϒϧͰ͋Δ – ੳରσʔλͷछྨαΠζ͕૿͑ͯରԠͰ͖Δ "84ͱ($1ͷ͍͍ͱ͜ͲΓͨ͠ੳج൫ 11
ͭͬͨ͘ੳج൫ 3FUUZαʔϏεج൫ 3FUUZੳج൫ʢ"84ʣ 3FUUZੳج൫ʢ($1ʣ Kinesis S3 EMR (Spark) S3 EC2
EC2 RDS(MySQL) 分析者 プランナ 12
ͭͬͨ͘ੳج൫ 3FUUZαʔϏεج൫ 3FUUZੳج൫ʢ"84ʣ 3FUUZੳج൫ʢ($1ʣ Kinesis S3 EMR (Spark) S3 EC2
EC2 RDS(MySQL) 分析者 プランナ σʔλϨΠΫ σʔλՃ πʔϧ %8)ɾ%. 13
σʔλϨΠΫɿ4 • ඇߏԽσʔλͷอଘ • αʔϏεͷಈ͍͍ͯΔڥʢ"84ʣʹ͍ۙॴʹσʔλ Λอ࣋͢Δ΄͏͕߹͕Α͍ – ωοτϫʔΫసૹίετ – ཧ͢͠͞
• ಉ͡όέοτͰϓϨϑΟοΫελάΛར༻ͨ͠ॊ ೈͳϥΠϑαΠΫϧͷӡ༻ • ,JOFTJT'JSFIPTFΛར༻͢Δ͜ͱͰ͔ΜͨΜʹ࣌͝ͱʹ σΟϨΫτϦΛ͚ͯอଘͰ͖Δ 14
%8)ɾ%.ɿ#JH2VFSZ • ੳऀʹͱ͍͍ͬͯ͢ – 4UBOEBSE42-͕ར༻Ͱ͖Δ – 6%'8JOEPXؔ͑Δ – εϓϨουγʔτQBOEBTEBUBGSBNFͱͷ࿈ܞ •
ޙͷςʔϒϧઃܭมߋ͕͍͢͠ – ςʔϒϧͷྻՃ͕Ͱ͖Δ • ҆ఆͨ͠ϨΠςϯγͱεϧʔϓοτ • ϝϯςφϯεϑϦʔ • ࣌ؒ՝ۚͰͳ͘ΫΤϦ՝ۚ • 3FE4IJGU"UIFOBΛ͏߹ͱൺͯɺ"84͔Β ($1ͷσʔλసૹ͕ൃੜ͢Δ͕ɺ ӡ༻ίετͷݮͰ૬ࡴͰ͖Δൣғͩͬͨ 15
%8)ൺֱ 3FE4IJGU "UIFOB #JH2VFSZ /8సૹίετ Ϧʔδϣϯ Ϧʔδϣϯؒసૹ ౦ژˠόʔδχ Ξ
Πϯλʔωοτ ӽ͠ͷసૹ ՝ۚํࣜ Քಇ࣌ؒ՝ۚ ΫΤϦ՝ۚ ΫΤϦ՝ۚ 6%' ˓ ✗ ˓ ΧϥϜมߋ ˓ ✗ ˚ ج൫ӡ༻ ඞཁ ඞཁ ΄ͱΜͲͳ͠ ΫΤϦ νϡʔχϯά ඞཁ ඞཁ ΄ͱΜͲͳ͠ ΫΤϦݴޠ TUBOEBSE42- QSFTUP TUBOEBSE42- ࣌ ੨จࣈࠓճͷཁ݅ʹద͍ͯ͠Δ͜ͱΛࣔ͢ 16
&.3 4QBSL σʔλՃ • αʔϏεଆͷϩάઃܭͷؔͰɺҎԼ͕ඞཁͩͬͨɻ – ෆཁͳϩάग़ྗ͕શମͷׂΛΊΔͨΊɺ#JH2VFSZసૹ͢ ΔલʹϑΟϧλॲཧ – 42-ͰදݱͰ͖ͳ͍ඇߏԽσʔλʹର͢Δෳࡶͳ&5-ॲཧ
• ϩά͕૿େͯ͠ΫϥελΛ૿͢͜ͱͰεέʔϧ Ͱ͖Δ • 42-Ͱࡁ·ͤΒΕΔͷ#JH2VFSZ্ͰՃ σʔλՃᶃʢ4QBSLʣ σʔλՃ ᶄʢ42-ʣ 17
ΘΕΔੳج൫ߏஙͷίπ • ૣ͘࡞ͬͯ͑͘ͳ͍ͷΛ࡞ͬͯҙຯ͕ͳ͍ • %8)ͷ߹ɺج൫෦ʮ࡞ͬͯյͯ͠ʯ͕؆୯ʹ ͢·ͳ͍ɻ • ج൫෦৻ॏʹܾΊͨ 5⽉ 6⽉
ཁ݅ώΞϦϯάɺɾٕज़બఆɺ1P$ &5-εΫϦϓτ࡞ɾ ڥߏங ͬͪ͜ʹ͔͚࣌ؒͨɻ ͪΌΜͱΘΕΔੳج൫͕Ͱ͖ͨʂ 18
͍͞͝ʹ • Ϋϥυϑϧ׆༻Ͱੳج൫ΛظؒͰ࡞ΕΔʂ – Ͱ̍ਓͰΔͷͭΒ͔ͬͨɻ৭ΜͳҙຯͰɻ • Ϋϥυଞͷٕज़ɺҰͭʹͩ͜ΘΒͣॊೈʹ׆༻͢Δ ͷେࣄʂ • ࠓճ৮Εͳ͔ٕͬͨज़બఆͷৄ͍͠෦ΞϓϦέʔγϣ
ϯϨΠϠʔͷͱ͔Λͷ95FDI+"84Ͱൃද͢Δ ༧ఆͳͷͰɺڵຯ͋Δํੋඇɻ 19
༻ޠ • σʔλϨΠΫ – ՃલͷੜϩάΛอଘ͢Δॴ • %8) – ੳ͍͢͠Α͏ʹՃ͞ΕͨσʔλΛ֨ೲ͢Δσʔλϕʔε •
%. – ੳ༻్ʹԠͯ͡ूܭޙͷσʔλͳͲΛ֨ೲ͢ΔͳͲɺαϯυ ϘοΫεతʹ͔ͭ͏ͨΊͷσʔλϕʔε • σʔλՃπʔϧ – ϩάΛੳ͍͢͠ܗʹܗ͢Δπʔϧ • ϫʔΫϑϩʔΤϯδϯ – Ұ࿈ͷσʔλॲཧͷϑϩʔΛཧ͢Δπʔϧ 20