Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon EMR でのバッチ処理 Spark アプリケーション運用で気をつけたいこと
Search
soonraah
March 29, 2015
Technology
1
630
Amazon EMR でのバッチ処理 Spark アプリケーション運用で 気をつけたいこと
2015-03-29 第2回 “Learning Spark” 読書会 LT
soonraah
March 29, 2015
Tweet
Share
More Decks by soonraah
See All by soonraah
MLCT #5 Pipeline Jungles とたたかう話
soonraah
0
1.9k
Apache Spark による推薦システム案件例
soonraah
11
8k
Spark MLlib でやってみる協調フィルタリング
soonraah
8
7.6k
Other Decks in Technology
See All in Technology
20250929_QaaS_vol20
mura_shin
0
110
タスクって今どうなってるの?3.14の新機能 asyncio ps と pstree でasyncioのデバッグを (PyCon JP 2025)
jrfk
1
220
extension 現場で使えるXcodeショートカット一覧
ktombow
0
190
SwiftUIのGeometryReaderとScrollViewを基礎から応用まで学び直す:設計と活用事例
fumiyasac0921
0
120
Railsアプリケーション開発者のためのブックガイド
takahashim
14
5.9k
データエンジニアがこの先生きのこるには...?
10xinc
0
430
リーダーになったら未来を語れるようになろう/Speak the Future
sanogemaru
0
230
Function calling機能をPLaMo2に実装するには / PFN LLMセミナー
pfn
PRO
0
820
Green Tea Garbage Collector の今
zchee
PRO
2
380
Go Conference 2025: GoのinterfaceとGenericsの内部構造と進化 / Go type system internals
ryokotmng
3
590
AI Agentと MCP Serverで実現する iOSアプリの 自動テスト作成の効率化
spiderplus_cb
0
400
Tomorrow graphlib, Let us use everybody
hayaosuzuki
0
160
Featured
See All Featured
How to Think Like a Performance Engineer
csswizardry
27
2k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.7k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
36
2.5k
The Cult of Friendly URLs
andyhume
79
6.6k
Gamification - CAS2011
davidbonilla
81
5.5k
Site-Speed That Sticks
csswizardry
11
870
Designing Experiences People Love
moore
142
24k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.1k
Art, The Web, and Tiny UX
lynnandtonic
303
21k
The World Runs on Bad Software
bkeepers
PRO
71
11k
Building Applications with DynamoDB
mza
96
6.6k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6.1k
Transcript
"NB[PO&.3Ͱͷόονॲཧ 4QBSLΞϓϦέʔγϣϯӡ༻Ͱ ؾΛ͚͍ͭͨ͜ͱ ୈճl-FBSOJOH4QBSLzಡॻձ-5 !TPPOSBBI
"(&/%" • "NB[PO&.3 • ΠϯελϯεੑೳWTίετ • +PCqPXΛ։࢝Ͱ͖ͳ͍߹ͷอݥ • XFC6*ͷݟํ •
·ͱΊ 2
"NB[PO&.3 &MBTUJD.BQ3FEVDF • )BEPPQϑϨʔϜϫʔΫΛΫϥυఏڙ • )%'4Λར༻Մೳ • 4QBSL1SFTUPΛ࣮ߦՄೳ •
ॳظඅ༻Λ͑ͯࢄॲཧΛࢼͤΔ • όονॲཧ͖ʁ 3
ΠϯελϯεੑೳWTίετ • ҎԼͷཁૉΛߟྀܾͯ͠ఆ • ඞཁͳϝϞϦྔʁ • ϩʔΧϧͰͷ࣮ݧ4QBSLXFC6*͔Βݟੵ • ཁٻ͞ΕΔॲཧ࣌ؒʁ •
ϩʔΧϧͰͷ࣮ݧͰݟੵ • ༧ࢉʹऩ·Δ͔ʁ • εϙοτΠϯελϯεͷ߹࣌Ձ • ೖࡳՁ֨ͷࢦఆ 4
ΠϯελϯεՁ֨มಈେ͖͍ʜ 5
+PCqPXΛ։࢝Ͱ͖ͳ͍߹ͷอݥ • +PCΛ։࢝Ͱ͖ͳ͍ • #PPUTUSBQ"DUJPOͰͷࣦഊ • ೖࡳՁ͕֨࣌ՁΑΓ͍ • ΘΓͱى͜Δ •
&.3KPCqPXϦΫΤετଆʹอݥͷॲཧΛ • +PCqPXΛࢹ • ࣦഊͨ͠ΒΠϯελϯελΠϓೖࡳՁ֨Λ ม͑ͯϦτϥΠ͢ΔΈ 6
8FC6* • ࣮ߦதͷϝτϦΫε͕ݟΕΔ • εςʔδ͝ͱͷλεΫ࣮ߦঢ়گ • ֤3%%ͷ༻ϝϞϦྔ • ϊʔυใ •
ϦιʔεௐνϡʔχϯάͷͨΊʹ 7
8FC6* 8
8FC6*ͷݟํʢʣ 9
8FC6*ͷݟํʢʣ 10
8FC6*ͷݟํʢʣ 11
8FC6*ͷݟํʢʣ 12
8FC6*ͷݟํʢʣ 13
·ͱΊ • ඞཁͳΠϯελϯεੑೳΛݟੵͬͯίετΛ ܭࢉ͠Α͏ • +PCqPXͷ։࢝ʹࣦഊͨ͠ͱ͖ͷอݥ͕͋Δͱ ӡ༻Λָʹ͠Α͏ • 8FC6*ΛݟΑ͏ 14