Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
1日100個以上のHadoopクラスターを使い捨てる方法 / How to throw awa...
Search
Hiroyuki Nakazato / 中里 浩之
March 14, 2019
Technology
0
4.6k
1日100個以上のHadoopクラスターを使い捨てる方法 / How to throw away 100 Hadoop clusters a day
Hiroyuki Nakazato / 中里 浩之
March 14, 2019
Tweet
Share
More Decks by Hiroyuki Nakazato / 中里 浩之
See All by Hiroyuki Nakazato / 中里 浩之
Data Engineering Study 21 - Microsoft Fabric
nakazax
0
810
Azure Databricks Learning Series #3 - Network Design
nakazax
1
1.3k
Azure Databricks Learning Series #2 - Databricks SQL
nakazax
0
650
Microsoft Build 2022 Recap Party!! Azure のデータ & 分析サービス 注目アップデート / microsoft-build-2022-recap-azure-data-and-analytics
nakazax
0
690
Microsoft Build 2022 - Azure のデータ & 分析サービス 最新アップデート / Microsoft Build 2022 Updates on Azure Data and Analytics Services
nakazax
1
920
Architecture patterns of Azure Cosmos DB & Azure Synapse Analytics
nakazax
1
510
CY2021 Updates for ADF & Synapse & Cosmos
nakazax
0
110
Ignite 2020 Update Azure Synapse Analytics
nakazax
0
1.2k
Ignite 2020 Update - Azure DB for MySQL and Postgres - Azure Arc - and more
nakazax
2
430
Other Decks in Technology
See All in Technology
いま注目しているデータエンジニアリングの論点
ikkimiyazaki
0
540
そのグラフに「魂」は宿っているか? ~生成AI全盛期におけるデータ可視化手法とライブラリ比較~
negi111111
2
840
GC25 Recap+: Advancing Go Garbage Collection with Green Tea
logica0419
1
310
Goを使ってTDDを体験しよう!
chiroruxx
1
230
OCI Network Firewall 概要
oracle4engineer
PRO
1
7.7k
PLaMoの事後学習を支える技術 / PFN LLMセミナー
pfn
PRO
9
3.3k
Trust as Infrastructure
bcantrill
0
180
5年間のFintech × Rails実践に学ぶ - 基本に忠実な運用で築く高信頼性システム / 5 Years Fintech Rails Retrospective
ohbarye
9
3.4k
kaigi_on_rails_2025_設計.pdf
nay3
8
4k
Azure SynapseからAzure Databricksへ 移行してわかった新時代のコスト問題!?
databricksjapan
0
110
サプライチェーン攻撃に学ぶModuleの仕組みと セキュリティ対策
kuro_kurorrr
3
790
2重リクエスト完全攻略HANDBOOK / Double Request Handbook
shoheimitani
5
7.2k
Featured
See All Featured
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3.1k
How GitHub (no longer) Works
holman
315
140k
Scaling GitHub
holman
463
140k
How to Think Like a Performance Engineer
csswizardry
27
2k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
114
20k
Imperfection Machines: The Place of Print at Facebook
scottboms
269
13k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Fireside Chat
paigeccino
40
3.7k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
950
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
How to train your dragon (web standard)
notwaldorf
96
6.2k
Transcript
݄ ιϑτόϯΫגࣜձࣾதཬߒ೭ ݸҎ্ͷ )BEPPQΫϥελʔΛ ͍ࣺͯΔํ๏ )BEPPQ4QBSL$POGFSFODF+BQBO
ࣗݾհ தཬߒ೭ φΧβτώϩϢΩ ॴଐ ιϑτόϯΫגࣜձࣾ גࣜձࣾ"HPPQ ϙδγϣϯ όοΫΤϯυνʔϜϦʔμʔ
"845FDIOJDBM.FJTUFS
͜ΜͳهࣄΛॻ͍͍ͯ·͢ IUUQTRJJUBDPNOBLB[BYJUFNTFEEGBB
Ґஔใऩू ղੳ ਓͷྲྀΕ
.VTUͷϩάΛؒόον։࢝·Ͱʹ%8)ʹೖ 8BOU%8)ͷೖૣ͚Εૣ͍΄Ͳϕλʔ ػೳ໘ ඇػೳ໘ ϩάͷϘϦϡʔϜԯ݅5#Φʔμʔ ࠓޙϩάྔ͕૿͑ଓ͚ΔͨΊεέʔϥϏϦςΟ͕ඞཁ ίετޮٴͼ҆ఆੑ͕ߴ͍͜ͱ &5-ॲཧͷཁ݅
ϩάऩू γεςϜ 4 3FETIJGU ,JOFTJT +FOLJOTPO&$ %FWFMPQFST %BUB"OBMZTUT
&-# &$ ऩूɾੵ &5- ղੳ &$ &$ ':ΞʔΩςΫνϟʔ
ϩάऩू γεςϜ 4 3FETIJGU ,JOFTJT +FOLJOTPO&$ %FWFMPQFST %BUB"OBMZTUT
&-# &$ ऩूɾੵ &5- ղੳ &$ &$ ':ΞʔΩςΫνϟʔ εέʔϥϏϦςΟ ͳͲʹ՝
࣌ؒͷϩάΛೖྗɺ1ZUIPONVMUJQSPDFTTJOHͰ $16Λͬͯ%8)ʹϩʔυՄೳͳܗࣜʹม ͋Δͷରͷϩά͕एׯҟͳΔͨΊ ૿͑ଓ͚Δϩάʹରͯ͠ &$ͷεέʔϧΞοϓͰରԠ ࣌ͷ&5-ॲཧͷ࣮
DYMBSHF ϦϦʔε W$16(J#.FN ֹ݄ສԁ DYMBSHF Լ०ϦϦʔε W$16(J#.FN ֹ݄ສԁ
εέʔϧΞοϓ ಄ଧͪϦεΫ ίϯϐϡʔςΟϯά࠷దԽΠϯελϯελΠϓ
࣌&5-ॲཧ ࣌&5-ॲཧ ͋Δ࣌ؒͷॲཧ͕Ҿ͘ͱޙଓ͕٧·Δ
&$ 4 ࣌&5-ॲཧ &5-ॲཧΠϝʔδ
ϩάऩू γεςϜ 4 3FETIJGU ,JOFTJT +FOLJOTPO&$ %FWFMPQFST %BUB"OBMZTUT
&-# &$ ऩूɾੵ &5- ղੳ &$ &$ ':ΞʔΩςΫνϟʔ ՝ͷղܾʹணख
৽ΞʔΩςΫνϟʔߏ εέʔϧΞτϞσϧ 4QBSLPO&.3Λ࠾༻ ॲཧͷಠཱੑ ࣌ؒͷ&5-ॲཧΛ Ϋϥελʔ͕୲ ͍ࣺͯՄೳͳ &.3όονॲཧج൫
ϩάऩू γεςϜ 4 3FETIJGU +FOLJOTPO&$ %FWFMPQFST %BUB"OBMZTUT &5-
ղੳ ऩूɾੵ ʜ ʜ 4QBSLPO&.3 )JWFPO&.3 ʜ 4 -BNCEB ,JOFTJT &-# &$ ৽ΞʔΩςΫνϟʔ (MVF
৽ΞʔΩςΫνϟʔͷϙΠϯτ &.3ͷεςοϓػೳͷ׆༻ -BNCEBʹΑΔ&.3Ϋϥελʔͷ੍ޚ ϑϧϚωʔδυ)JWFϝλετΞͷ׆༻
ΞυϗοΫੳ༻&.3Ϋϥελʔͷఏڙ
&.3ͷεςοϓػೳͷ׆༻ 1 2 3 4 εςοϓҙͷॲཧΛॱ൪ʹ࣮ߦ͢ΔΈ શεςοϓྃޙʹΫϥελʔΛऴྃ͢Δͷ੍ޚ͕ ؆୯ʹߦ͑Δ
݅ذ܁Γฦ͕͠ͳ͍γϯϓϧͳόονॲཧϑϩʔ Ͱ͋ΕεςοϓػೳͰेΧόʔՄೳ
&5-ॲཧͷεςοϓ &.3 ຊ൪ࢿࡐ +BS 4IFMM ςετࢿࡐ 4IFMM +BS
ੜϩά 1BSRVFU &5-ॲཧ༻ͷࢿࡐΛ4͔Βμϯϩʔυ TEJTUDQͰॲཧରͷϩάΛू TQBSLTVCNJUͰσʔλՃͱ1BSRVFUมΛ࣮ࢪ 1 2 3
-BNCEBʹΑΔΫϥελʔ੍ޚ 1 2 3 4 &.3Ϋϥελʔىಈ༻ͷ-BNCEBؔΛ࣮ 1ZUIPOͰ3VO+PC'MPXΛίʔϧ 3VO+PC'MPXύϥϝʔλʔ͕ඇৗʹଟ͍
ઃఆϑΝΠϧϥΠϒϥϦ)0$0/Ͱཧ͠࠶ར༻ੑΛ্ 1MBZ'SBNFXPSLͳͲͰ༗໊ͳ-JHIUCFOE͕ࣾ։ൃ ϩάऩूγεςϜͳͲͰ1MBZ'SBNFXPSLΛ׆༻ͯ͠ ͓Γ)0$0/ʹ׳Ε͍ͯͨͷ͕࠾༻ཧ༝
&5-༻Ϋϥελʔىಈϑϩʔ 1 2 3 4 Name = hourly-etl
ReleaseLabel = emr-5.20.0 Steps = [ { spark-submit hourly-etl.jar ${YYYYMMDD}/${HH} } ... IPVSMZDPOG IPVSMZDPOG )0$0/ύʔε 3VO+PC'MPX࣮ߦ
&5-ॲཧͷϦΧόϦʔ ޭ ޭ ࣦഊ ͕ҟৗऴྃ 1 2 3
4 ϦΧόϦ༻ ىಈ༻ Ϋϥελʔͷঢ়ଶΛ ఆظతʹνΣοΫ ىಈ༻-BNCEBΛ ݺͼग़͠ ࣦഊͨ࣌ؒ͠ͷ ΫϥελʔΛىಈ
ϑϧϚωʔδυ)JWFϝλετΞ 1 2 3 4 "84(MVF%BUB$BUBMPH <&.3 ରԠ>
Ҏલ.Z42-PO3%4Λ)JWFϝλετΞͱͯ͠ར༻ 3%4͕410'ʹͳΒͳ͍Α͏ʹؾΛݣ͏ඞཁ͕͋ͬͨ ΫϥελʔΛେྔʹىಈ͢ΔͱଓͰ͖ͳ͍FUD (MVF%BUB$BUBMPHϑϧϚωʔδυ͔ͭಉ࣌ଓ੍ݶͳ͠
ΞυϗοΫੳ༻Ϋϥελʔ ΤϯδχΞΞφϦετ͕ ؆୯ʹ&.3ΫϥελʔΛىಈՄೳʹ 1 2 3 4
Ϋϥελʔͷམͱ͠Εࢭ 1 2 3 4 I I I
ࢹ༻ Ϋϥελʔͷ Քಇ࣌ؒΛνΣοΫ 4MBDL௨ BEIPDDMVTUFS
ίετͷ ຖ࣌ͷ&5-ॲཧҎલΑΓ҆Ձʹ εϙοτΠϯελϯεΛੵۃతʹ׆༻͍ͯ͠ΔͨΊ 4શମͷίετ૿Ճ ΞυϗοΫੳ͕ؾܰʹͰ͖ΔͨΊੳ݁Ռͷσʔλ͕ 4ʹੵ͍͍ͯͬͯ͠Δ ෆཁͳσʔλΛఆظతʹআ͢ΔΑ͏ͳΈ͕ඞཁ
ϩάऩू γεςϜ 4 3FETIJGU +FOLJOTPO&$ %FWFMPQFST %BUB"OBMZTUT &5-
ղੳ ऩूɾੵ ʜ ʜ 4QBSLPO&.3 )JWFPO&.3 ʜ 4 -BNCEB ,JOFTJT &-# &$ ࠶ܝ৽ΞʔΩςΫνϟʔ (MVF
THANK YOU! ANY QUESTIONS?