Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWSとGCPのいいとこどりでつくる分析基盤のきほん
Search
chie8842
October 09, 2017
Technology
5
1.7k
AWSとGCPのいいとこどりでつくる分析基盤のきほん
DevfestTokyo2017の登壇資料です。 #DevfestTokyo #DevfestTokyo2017 #GDG #DevFest17
chie8842
October 09, 2017
Tweet
Share
More Decks by chie8842
See All by chie8842
MongoDB Atlas:モダンなアプリ開発を支えるデータプラットフォームのご紹介
chie8842
0
12
MongoDB Vectorsearchではじめるカスタマイズ可能な生成AIアプリ開発
chie8842
0
11
MongoDB Atlas Search のご紹介
chie8842
2
1.7k
MongoDB Atlas Vectorsearchではじめる生成AIアプリ開発
chie8842
3
1.7k
AWS GlueとAWS Lake Formationではじめるデータマネジメント
chie8842
0
1.1k
Distributed Processing in Python
chie8842
2
730
クックパッドにおける推薦(と検索)の取り組み
chie8842
20
8.1k
Understanding distributed processing in Python
chie8842
2
2.1k
Performance Tuning Tips of TensorFlow Inference
chie8842
1
750
Other Decks in Technology
See All in Technology
Introduction to Bill One Development Engineer
sansan33
PRO
0
260
United™️ Airlines®️ Customer®️ USA Contact Numbers: Complete 2025 Support Guide
flyunitedguide
0
800
Rethinking Incident Response: Context-Aware AI in Practice
rrreeeyyy
2
940
Copilot coding agentにベットしたいCTOが開発組織で取り組んだこと / GitHub Copilot coding agent in Team
tnir
0
190
データ戦略部門 紹介資料
sansan33
PRO
1
3.3k
ソフトウェアテストのAI活用_ver1.25
fumisuke
1
610
[SRE NEXT] ARR150億円_エンジニア140名_27チーム_17プロダクトから始めるSLO.pdf
satos
5
3k
SRE with AI:実践から学ぶ、運用課題解決と未来への展望
yoshiiryo1
0
300
ロールが細分化された組織でSREは何をするか?
tgidgd
1
420
AI Ready API ─ AI時代に求められるAPI設計とは?/ AI-Ready API - Designing MCP and APIs in the AI Era
yokawasa
6
1.7k
振り返りTransit Gateway ~VPCをいい感じでつなげるために~
masakiokuda
3
210
モニタリング統一への道のり - 分散モニタリングツール統合のためのオブザーバビリティプロジェクト
niftycorp
PRO
1
520
Featured
See All Featured
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
Music & Morning Musume
bryan
46
6.7k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
Become a Pro
speakerdeck
PRO
29
5.4k
Building an army of robots
kneath
306
45k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
5.9k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
830
Transcript
"84ͱ($1ͷ͍͍ͱ͜ͲΓͰͭ͘Δ ੳج൫ͷ͖΄Μ !DIJF DIJFIBZBTIJEB 1
ࣗݾհ $IJF)BZBTIJEB 5XJUUFS!DIJF (JU)VCDIJF 3FUUZ*OD 4PGUXBSF&OHJOFFS
($1"84ػցֶश1ZUIPO4DBMB$MPKVSF%#WJN মϐΞϊςχεεϊϘ 2
Ϋϥυϑϧ׆༻Ͱ େنੳج൫ΛظؒͰ ߏஙͨ͠ࣄྫΛڞ༗͠·͢ɻ 3
ࠓ͢ൣғ ج൫ϨΠϠͷ ΞϓϦϨΠϠͷ ਐΊํ ͦͷͷͷ ͜͜ͷΛ͠·͢ɻ 4
ੳج൫ߏஙͷഎܠ • 3FUUZೖࣾॳ マネージャ わたし(⼊社初⽇、 肩書き:データ サイエンティスト) ͱΓ͋͑ͣɺੳج൫ͭͬͯ͘ɻ ϲ݄Ͱʂ ͑ɺੳج൫ʁ
5
ͦͦੳج൫ͱʁ • σʔλΛੵɾ׆༻͢ΔͨΊͷج൫ ੳج൫ ! ࢪࡦͷධՁ ΞυςΫ Ϩίϝϯυ 6
ͱͱ͋ͬͨੳج൫ͷ՝ᶃ ˙%8)ͷςʔϒϧઃܭͷ ྫ ΫΤϦ࣮ߦ࣌ʹաେͳαʔό Ϧιʔε͕ඞཁ ετϨʔδ༰ྔඡഭ ੳͮ͠Β͍ ʢΞυϗοΫੳͷʹ ෳࡶͳਖ਼نදݱநग़ʣ •
ෆཁͳϩά͕ϩάશମͷׂ • దͳσʔλܕ͕ΘΕ͍ͯͳ͍ • KTPOΦϒδΣΫτ͕ςΩετܗࣜͰೖ͍ͬͯΔ 7
ͱͱ͋ͬͨੳج൫ͷ՝ᶄ ˙Ϛελσʔλผͷ%#ʹ͋Δ • Ϛελσʔλͱಥ߹ͯ͠ੳ͍ͨ͠߹ ผͷڥʹσʔλΛҠ͢ඞཁ͕͋Δ • KPJO͍ͨ͠ΧϥϜಉ࢜Ͱσʔλܕ͕ҟͳΔ ੳऀ͝ͱʹڥߏங σʔλసૹίετ
8
ͱͱ͋ͬͨੳج൫ͷ՝ᶅ ˙ϩά૿େʹ͏ύϑΥʔϚϯεϘτϧωοΫ • ࣍όον͕ऴΘΒͳ͍ • ؾܰʹΞυϗοΫੳͰ͖ͳ͍ ˠΫΤϦΛ͛Δࡍ4MBDLʹใࠂ͢Δӡ༻ 9
ݱঢ়ཧ • ϩάαΠζɿʹे(#ʢH[KTPOঢ়ଶʣ ˠ͚ͬ͜͏Ͱ͔͍ɻ͜Ε͔Β૿͑Δ • ਖ਼نԽ͞Ε͍ͯͳ͍ϩά – ୯७ͳσʔλసૹਖ਼نදݱநग़Ͱ͢·ͳ͍ – 4FTTJPOJ[F&5-ͰΔ
• αʔϏεଆͷػೳՃʹ͏ཁ݅มߋ͕༧͞ΕΔ 10
৽͍͠ੳج൫ʹٻΊΒΕΔͷ • ੳऀʹͱ͍͍ͬͯ͢ – 42-ͦΕʹ४ͣΔΫΤϦݴޠ͕ར༻Ͱ͖Δ – Ϩεϙϯεεϧʔϓοτ • Ճ։ൃɾӡ༻͕͍͢͠ –
ྻมߋ͕ॊೈʹͰ͖Δ – ෳࡶͳ&5-ॲཧʹॊೈʹରԠͰ͖Δ • ίετʢΠχγϟϧϥϯχϯάʣ͕ݱ࣮తͰ͋Δ • εέʔϥϒϧͰ͋Δ – ੳରσʔλͷछྨαΠζ͕૿͑ͯରԠͰ͖Δ "84ͱ($1ͷ͍͍ͱ͜ͲΓͨ͠ੳج൫ 11
ͭͬͨ͘ੳج൫ 3FUUZαʔϏεج൫ 3FUUZੳج൫ʢ"84ʣ 3FUUZੳج൫ʢ($1ʣ Kinesis S3 EMR (Spark) S3 EC2
EC2 RDS(MySQL) 分析者 プランナ 12
ͭͬͨ͘ੳج൫ 3FUUZαʔϏεج൫ 3FUUZੳج൫ʢ"84ʣ 3FUUZੳج൫ʢ($1ʣ Kinesis S3 EMR (Spark) S3 EC2
EC2 RDS(MySQL) 分析者 プランナ σʔλϨΠΫ σʔλՃ πʔϧ %8)ɾ%. 13
σʔλϨΠΫɿ4 • ඇߏԽσʔλͷอଘ • αʔϏεͷಈ͍͍ͯΔڥʢ"84ʣʹ͍ۙॴʹσʔλ Λอ࣋͢Δ΄͏͕߹͕Α͍ – ωοτϫʔΫసૹίετ – ཧ͢͠͞
• ಉ͡όέοτͰϓϨϑΟοΫελάΛར༻ͨ͠ॊ ೈͳϥΠϑαΠΫϧͷӡ༻ • ,JOFTJT'JSFIPTFΛར༻͢Δ͜ͱͰ͔ΜͨΜʹ࣌͝ͱʹ σΟϨΫτϦΛ͚ͯอଘͰ͖Δ 14
%8)ɾ%.ɿ#JH2VFSZ • ੳऀʹͱ͍͍ͬͯ͢ – 4UBOEBSE42-͕ར༻Ͱ͖Δ – 6%'8JOEPXؔ͑Δ – εϓϨουγʔτQBOEBTEBUBGSBNFͱͷ࿈ܞ •
ޙͷςʔϒϧઃܭมߋ͕͍͢͠ – ςʔϒϧͷྻՃ͕Ͱ͖Δ • ҆ఆͨ͠ϨΠςϯγͱεϧʔϓοτ • ϝϯςφϯεϑϦʔ • ࣌ؒ՝ۚͰͳ͘ΫΤϦ՝ۚ • 3FE4IJGU"UIFOBΛ͏߹ͱൺͯɺ"84͔Β ($1ͷσʔλసૹ͕ൃੜ͢Δ͕ɺ ӡ༻ίετͷݮͰ૬ࡴͰ͖Δൣғͩͬͨ 15
%8)ൺֱ 3FE4IJGU "UIFOB #JH2VFSZ /8సૹίετ Ϧʔδϣϯ Ϧʔδϣϯؒసૹ ౦ژˠόʔδχ Ξ
Πϯλʔωοτ ӽ͠ͷసૹ ՝ۚํࣜ Քಇ࣌ؒ՝ۚ ΫΤϦ՝ۚ ΫΤϦ՝ۚ 6%' ˓ ✗ ˓ ΧϥϜมߋ ˓ ✗ ˚ ج൫ӡ༻ ඞཁ ඞཁ ΄ͱΜͲͳ͠ ΫΤϦ νϡʔχϯά ඞཁ ඞཁ ΄ͱΜͲͳ͠ ΫΤϦݴޠ TUBOEBSE42- QSFTUP TUBOEBSE42- ࣌ ੨จࣈࠓճͷཁ݅ʹద͍ͯ͠Δ͜ͱΛࣔ͢ 16
&.3 4QBSL σʔλՃ • αʔϏεଆͷϩάઃܭͷؔͰɺҎԼ͕ඞཁͩͬͨɻ – ෆཁͳϩάग़ྗ͕શମͷׂΛΊΔͨΊɺ#JH2VFSZసૹ͢ ΔલʹϑΟϧλॲཧ – 42-ͰදݱͰ͖ͳ͍ඇߏԽσʔλʹର͢Δෳࡶͳ&5-ॲཧ
• ϩά͕૿େͯ͠ΫϥελΛ૿͢͜ͱͰεέʔϧ Ͱ͖Δ • 42-Ͱࡁ·ͤΒΕΔͷ#JH2VFSZ্ͰՃ σʔλՃᶃʢ4QBSLʣ σʔλՃ ᶄʢ42-ʣ 17
ΘΕΔੳج൫ߏஙͷίπ • ૣ͘࡞ͬͯ͑͘ͳ͍ͷΛ࡞ͬͯҙຯ͕ͳ͍ • %8)ͷ߹ɺج൫෦ʮ࡞ͬͯյͯ͠ʯ͕؆୯ʹ ͢·ͳ͍ɻ • ج൫෦৻ॏʹܾΊͨ 5⽉ 6⽉
ཁ݅ώΞϦϯάɺɾٕज़બఆɺ1P$ &5-εΫϦϓτ࡞ɾ ڥߏங ͬͪ͜ʹ͔͚࣌ؒͨɻ ͪΌΜͱΘΕΔੳج൫͕Ͱ͖ͨʂ 18
͍͞͝ʹ • Ϋϥυϑϧ׆༻Ͱੳج൫ΛظؒͰ࡞ΕΔʂ – Ͱ̍ਓͰΔͷͭΒ͔ͬͨɻ৭ΜͳҙຯͰɻ • Ϋϥυଞͷٕज़ɺҰͭʹͩ͜ΘΒͣॊೈʹ׆༻͢Δ ͷେࣄʂ • ࠓճ৮Εͳ͔ٕͬͨज़બఆͷৄ͍͠෦ΞϓϦέʔγϣ
ϯϨΠϠʔͷͱ͔Λͷ95FDI+"84Ͱൃද͢Δ ༧ఆͳͷͰɺڵຯ͋Δํੋඇɻ 19
༻ޠ • σʔλϨΠΫ – ՃલͷੜϩάΛอଘ͢Δॴ • %8) – ੳ͍͢͠Α͏ʹՃ͞ΕͨσʔλΛ֨ೲ͢Δσʔλϕʔε •
%. – ੳ༻్ʹԠͯ͡ूܭޙͷσʔλͳͲΛ֨ೲ͢ΔͳͲɺαϯυ ϘοΫεతʹ͔ͭ͏ͨΊͷσʔλϕʔε • σʔλՃπʔϧ – ϩάΛੳ͍͢͠ܗʹܗ͢Δπʔϧ • ϫʔΫϑϩʔΤϯδϯ – Ұ࿈ͷσʔλॲཧͷϑϩʔΛཧ͢Δπʔϧ 20