Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ECSにおける バッチ運用について
Search
hatappi
June 02, 2017
Technology
4
1.4k
ECSにおける バッチ運用について
ECS + Hako + Digdagによるバッチ運用
AWS SUMMIT TOKYO 2017 JAWS-UG ナイトイベント
hatappi
June 02, 2017
Tweet
Share
More Decks by hatappi
See All by hatappi
Cloudflare を活用して変わったメルカリの開発体験 / How Cloudflare Changed Mercari's Development Experience
hatappi
1
660
RubyではじめるGraphQL
hatappi
0
860
RubyでChainerつくってます!!
hatappi
2
1.4k
TDDな個人開発
hatappi
0
310
できるだけ楽して楽しくRails開発しよう
hatappi
2
330
EKSにRailsをのせた
hatappi
1
1.2k
RubyとApache Arrow
hatappi
0
2.4k
Red Chainerを なぜ作って今後どうするのか
hatappi
2
2.4k
Fargateで夢は見られるのか
hatappi
1
2.2k
Other Decks in Technology
See All in Technology
Preferred Networks (PFN) とLLM Post-Training チームの紹介 / 第4回 関東Kaggler会 スポンサーセッション
pfn
PRO
1
250
ゆるふわエンジニアでもAIフローにチャレンジしたい!!~Zapierのすゝめ~
masakiokuda
2
100
mruby(PicoRuby)で ファミコン音楽を奏でる
kishima
1
290
Yahoo!広告ビジネス基盤におけるバックエンド開発
lycorptech_jp
PRO
1
280
Goss: Faiss向けの新しい本番環境対応 Goバインディング #coefl_go_jp
bengo4com
0
1.4k
現場が抱える様々な問題は “組織設計上” の問題によって生じていることがある / Team-oriented Organization Design 20250827
mtx2s
6
1.5k
実践AIガバナンス
asei
2
110
Goでマークダウンの独自記法を実装する
lag129
0
220
AIとTDDによるNext.js「隙間ツール」開発の実践
makotot
6
720
つくって納得、つかって実感! 大規模言語モデルことはじめ
recruitengineers
PRO
25
6.8k
実践アプリケーション設計 ①データモデルとドメインモデル
recruitengineers
PRO
4
500
LLMエージェント時代に適応した開発フロー
hiragram
1
420
Featured
See All Featured
Statistics for Hackers
jakevdp
799
220k
Making the Leap to Tech Lead
cromwellryan
134
9.5k
Rails Girls Zürich Keynote
gr2m
95
14k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Testing 201, or: Great Expectations
jmmastey
45
7.6k
A designer walks into a library…
pauljervisheath
207
24k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Faster Mobile Websites
deanohume
309
31k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.5k
Transcript
ECSʹ͓͚Δ όονӡ༻ʹ͍ͭͯ by hatappi JAWS-UGษڧձʲAWS Summit Tokyo 2017ʳ 1
ࣗݾհ • ໊લ: ാத ༔࡞ • hatappi: hatappi1225: • ձࣾ:
גࣜձࣾSpeee 2
3
Γ͔ͨͬͨ͜ͱ • όονΛฒྻͰΒ͍ͤͨ • εΫϦϓτͷ࣮ߦॱ൪Λཧ్ͯ͠தͰམͪͯམ ͪͨͱ͜Ζ͔Β։͍࢝ͨ͠ 4
Γ͔ͨͬͨ͜ͱ • όονΛฒྻͰΒ͍ͤͨ => ECS + Hako • εΫϦϓτͷ࣮ߦॱ൪Λཧ్ͯ͠தͰམͪͯམ ͪͨͱ͜Ζ͔Β։͍࢝ͨ͠
=> Digdag 5
࡞ͬͨͷ 6
࡞ͬͨͷ 7 &$4 )BLP %JHEBHͰ࡞͢Δ ڧݻͳόονγεςϜͷ࡞
࡞ͬͨͷ 8 &$4 )BLP %JHEBHͰ࡞͢Δ ڧݻͳόονγεςϜͷ࡞
࡞ͬͨͷ 9 ڧݻͳ cc λεΫ͕མͪͯ ࠶࣮ߦ͢ΕԿͰોΔ
࡞ͬͨͷ 10
• Docker Imageͷ࡞HashiCorpͷPackerΛ༻ • MItamaeͰϓϩϏδϣχϯά • ItamaeࣾͰଟ͘ΘΕ͓ͯΓMItamaeItamaeͷmruby൛ • ࡞ͨ͠ΠϝʔδECRʹPush •
AMIʹ͍ͭͯPacker͔Β࡞͍ͯ͠Δ 11
• Jenkins͔ΒΩοΫͯ͠όον։࢝ • https://github.com/eagletmt/hako • YAMLͰهࡌ • DockerίϯςφΛσϓϩΠ͢ΔͨΊͷπʔϧ • RunTask
APIΛΩοΫ͢Δhako oneshot 12
hako oneshot • RunTask APIΛ͍ͨͨͯϙʔϦϯά͠ͳ͕ΒऴྃΛ ·ͭ • Ϧιʔε͕Γͳ͍࣌AutoScalingάϧʔϓ͔Β εέʔϧΞτͯ͘͠ΕΔ •
λεΫఆٛͷཧ 13
• DigdagTreasureDataͷϫʔΫϑϩʔΤϯδϯ • ηογϣϯใΛDataVolumeʹୀආ͠λεΫ͕ࣦ ഊͯ͠ίϯςφ͕ഁغ͞Εͯ࠶ཱͯͨ࣌͠ʹ ଓ͖͔Β࣮ߦͰ͖Δ 14
• Digdag͔ΒύϥϨϧ࣮ߦͰhako oneshotͰඞཁͳ ͚ͩΠϯελϯεΛਵ࣌Ճͭͭ͠λεΫΛ࣮ߦ • ࠷େͰ60͘Β͍ͷλεΫ͕ฒྻͰΔ • ֤λεΫͰ͕ࣗऴΘͬͨͷ͔ΛECSͷAPIΛͨͨ ͖ͭͭϙʔϦϯά͢ΔͷͰAPI੍ݶʹ͔͔Δ 15
• CloudWatch EventͰECSͷλεΫͷঢ়ଶมԽΛݕ ͯ͠LambdaؔΛݺͼग़ͯ͠S3ʹஔ • HakoλεΫͷऴ͔ྃͨ͠Ͳ͏͔ΛECS APIͰ ͳ͘S3ʹ͓͔ΕͨϑΝΠϧ͔ΒऔಘͰ͖ΔͷͰͦ ͪΒΛ༻ 16
·ͱΊ • ඞཁͳϩάCloudWatchඞཁͳ͍ͷίϯς φͱͱʹഁغͰ͖Δ • DigdagʹΑͬͯεςʔτཧ͞ΕΔͷͰ0͔Β͔͠ ελʔτͰ͖ͳ͍ढറ͔Βͷղ์ • ͦΕͧΕ͕ίϯςφͰִ͞Ε͍ͯΔͷͰଞʹґଘ ͤͣඞཁ͕͋ΕϦιʔεΛՃͰ͖Δ
17