Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ECSにおける バッチ運用について
Search
Sponsored
·
SiteGround - Reliable hosting with speed, security, and support you can count on.
→
hatappi
June 02, 2017
Technology
4
1.4k
ECSにおける バッチ運用について
ECS + Hako + Digdagによるバッチ運用
AWS SUMMIT TOKYO 2017 JAWS-UG ナイトイベント
hatappi
June 02, 2017
Tweet
Share
More Decks by hatappi
See All by hatappi
Cloudflare を活用して変わったメルカリの開発体験 / How Cloudflare Changed Mercari's Development Experience
hatappi
1
740
RubyではじめるGraphQL
hatappi
0
900
RubyでChainerつくってます!!
hatappi
2
1.5k
TDDな個人開発
hatappi
0
340
できるだけ楽して楽しくRails開発しよう
hatappi
2
350
EKSにRailsをのせた
hatappi
1
1.2k
RubyとApache Arrow
hatappi
0
2.5k
Red Chainerを なぜ作って今後どうするのか
hatappi
2
2.4k
Fargateで夢は見られるのか
hatappi
1
2.3k
Other Decks in Technology
See All in Technology
セキュリティ はじめの一歩
nikinusu
0
1.4k
usermode linux without MMU - fosdem2026 kernel devroom
thehajime
0
190
日本語テキストと音楽の対照学習の技術とその応用
lycorptech_jp
PRO
1
400
Azure SRE Agent x PagerDutyによる近未来インシデント対応への期待 / The Future of Incident Response: Azure SRE Agent x PagerDuty
aeonpeople
0
270
最速で価値を出すための プロダクトエンジニアのツッコミ術
kaacun
1
510
IaaS/SaaS管理における SREの実践 - SRE Kaigi 2026
bbqallstars
4
1.3k
CDKで始めるTypeScript開発のススメ
tsukuboshi
1
240
Vitest Highlights in Angular
rainerhahnekamp
0
130
M&A 後の統合をどう進めるか ─ ナレッジワーク × Poetics が実践した組織とシステムの融合
kworkdev
PRO
1
280
変化するコーディングエージェントとの現実的な付き合い方 〜Cursor安定択説と、ツールに依存しない「資産」〜
empitsu
4
1.1k
~Everything as Codeを諦めない~ 後からCDK
mu7889yoon
3
200
データ民主化のための LLM 活用状況と課題紹介(IVRy の場合)
wxyzzz
2
600
Featured
See All Featured
The Mindset for Success: Future Career Progression
greggifford
PRO
0
230
First, design no harm
axbom
PRO
2
1.1k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
A brief & incomplete history of UX Design for the World Wide Web: 1989–2019
jct
1
290
Dominate Local Search Results - an insider guide to GBP, reviews, and Local SEO
greggifford
PRO
0
52
Tell your own story through comics
letsgokoyo
1
800
How to Grow Your eCommerce with AI & Automation
katarinadahlin
PRO
0
100
Highjacked: Video Game Concept Design
rkendrick25
PRO
1
280
Optimizing for Happiness
mojombo
379
71k
Jess Joyce - The Pitfalls of Following Frameworks
techseoconnect
PRO
1
62
Agile that works and the tools we love
rasmusluckow
331
21k
Bioeconomy Workshop: Dr. Julius Ecuru, Opportunities for a Bioeconomy in West Africa
akademiya2063
PRO
1
54
Transcript
ECSʹ͓͚Δ όονӡ༻ʹ͍ͭͯ by hatappi JAWS-UGษڧձʲAWS Summit Tokyo 2017ʳ 1
ࣗݾհ • ໊લ: ാத ༔࡞ • hatappi: hatappi1225: • ձࣾ:
גࣜձࣾSpeee 2
3
Γ͔ͨͬͨ͜ͱ • όονΛฒྻͰΒ͍ͤͨ • εΫϦϓτͷ࣮ߦॱ൪Λཧ్ͯ͠தͰམͪͯམ ͪͨͱ͜Ζ͔Β։͍࢝ͨ͠ 4
Γ͔ͨͬͨ͜ͱ • όονΛฒྻͰΒ͍ͤͨ => ECS + Hako • εΫϦϓτͷ࣮ߦॱ൪Λཧ్ͯ͠தͰམͪͯམ ͪͨͱ͜Ζ͔Β։͍࢝ͨ͠
=> Digdag 5
࡞ͬͨͷ 6
࡞ͬͨͷ 7 &$4 )BLP %JHEBHͰ࡞͢Δ ڧݻͳόονγεςϜͷ࡞
࡞ͬͨͷ 8 &$4 )BLP %JHEBHͰ࡞͢Δ ڧݻͳόονγεςϜͷ࡞
࡞ͬͨͷ 9 ڧݻͳ cc λεΫ͕མͪͯ ࠶࣮ߦ͢ΕԿͰોΔ
࡞ͬͨͷ 10
• Docker Imageͷ࡞HashiCorpͷPackerΛ༻ • MItamaeͰϓϩϏδϣχϯά • ItamaeࣾͰଟ͘ΘΕ͓ͯΓMItamaeItamaeͷmruby൛ • ࡞ͨ͠ΠϝʔδECRʹPush •
AMIʹ͍ͭͯPacker͔Β࡞͍ͯ͠Δ 11
• Jenkins͔ΒΩοΫͯ͠όον։࢝ • https://github.com/eagletmt/hako • YAMLͰهࡌ • DockerίϯςφΛσϓϩΠ͢ΔͨΊͷπʔϧ • RunTask
APIΛΩοΫ͢Δhako oneshot 12
hako oneshot • RunTask APIΛ͍ͨͨͯϙʔϦϯά͠ͳ͕ΒऴྃΛ ·ͭ • Ϧιʔε͕Γͳ͍࣌AutoScalingάϧʔϓ͔Β εέʔϧΞτͯ͘͠ΕΔ •
λεΫఆٛͷཧ 13
• DigdagTreasureDataͷϫʔΫϑϩʔΤϯδϯ • ηογϣϯใΛDataVolumeʹୀආ͠λεΫ͕ࣦ ഊͯ͠ίϯςφ͕ഁغ͞Εͯ࠶ཱͯͨ࣌͠ʹ ଓ͖͔Β࣮ߦͰ͖Δ 14
• Digdag͔ΒύϥϨϧ࣮ߦͰhako oneshotͰඞཁͳ ͚ͩΠϯελϯεΛਵ࣌Ճͭͭ͠λεΫΛ࣮ߦ • ࠷େͰ60͘Β͍ͷλεΫ͕ฒྻͰΔ • ֤λεΫͰ͕ࣗऴΘͬͨͷ͔ΛECSͷAPIΛͨͨ ͖ͭͭϙʔϦϯά͢ΔͷͰAPI੍ݶʹ͔͔Δ 15
• CloudWatch EventͰECSͷλεΫͷঢ়ଶมԽΛݕ ͯ͠LambdaؔΛݺͼग़ͯ͠S3ʹஔ • HakoλεΫͷऴ͔ྃͨ͠Ͳ͏͔ΛECS APIͰ ͳ͘S3ʹ͓͔ΕͨϑΝΠϧ͔ΒऔಘͰ͖ΔͷͰͦ ͪΒΛ༻ 16
·ͱΊ • ඞཁͳϩάCloudWatchඞཁͳ͍ͷίϯς φͱͱʹഁغͰ͖Δ • DigdagʹΑͬͯεςʔτཧ͞ΕΔͷͰ0͔Β͔͠ ελʔτͰ͖ͳ͍ढറ͔Βͷղ์ • ͦΕͧΕ͕ίϯςφͰִ͞Ε͍ͯΔͷͰଞʹґଘ ͤͣඞཁ͕͋ΕϦιʔεΛՃͰ͖Δ
17