Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
「Datadog入れてみたらAWSの料金が爆発した話」@ゆるSRE勉強会 #1
Search
Ryunosuke Iwai
August 29, 2023
Technology
12
11k
「Datadog入れてみたらAWSの料金が爆発した話」@ゆるSRE勉強会 #1
ゆるSRE勉強会 #1 でお話しさせて頂いたLTの資料です!
https://yuru-sre.connpass.com/event/292063/
Ryunosuke Iwai
August 29, 2023
Tweet
Share
More Decks by Ryunosuke Iwai
See All by Ryunosuke Iwai
2024/08/19 PEK Recap | データで振り返るPEK2024
rynsuke
2
250
バッチ処理のSLOをどう設計するか
rynsuke
10
1.6k
スタートアップにおける、チーム拡大を見据えたコンポーネント分割の取り組み
rynsuke
3
3.6k
Error Tracking for Logsを用いたバッチ処理のエラー監視
rynsuke
3
1.7k
Notionではじめるライフハックのススメ
rynsuke
24
1.5k
LLM Meetup Tokyo #2 手続きを記憶するコマンド型エージェントの実装
rynsuke
3
3.2k
Other Decks in Technology
See All in Technology
IAMのマニアックな話 2025を執筆して、 見えてきたAWSアカウント管理の現在
nrinetcom
PRO
4
590
宇宙パトロール ルル子から考える LT設計のコツ
masakiokuda
2
100
從四件事帶你見識見識 事件驅動架構設計 (EDA)
line_developers_tw
PRO
0
110
DB 醬,嗨!哪泥嘎斯基?
line_developers_tw
PRO
0
220
評価の納得感を2段階高める「構造化フィードバック」
aloerina
1
210
技術職じゃない私がVibe Codingで感じた、AGIが身近になる未来
blueb
0
130
脅威をモデリングしてMCPのセキュリティ対策を考えよう
flatt_security
4
1.7k
DenoとJSRで実現する最速MCPサーバー開発記 / Building MCP Servers at Lightning Speed with Deno and JSR
yamanoku
1
100
kotlin-lsp を Emacs で使えるようにしてみた / use kotlin-lsp in Emacs
nabeo
0
160
Amazon Q Developer for GitHubとAmplify Hosting でサクッとデジタル名刺を作ってみた
kmiya84377
0
3.5k
「規約、知識、オペレーション」から考える中規模以上の開発組織のCursorルールの 考え方・育て方 / Cursor Rules for Coding Styles, Domain Knowledges and Operations
yuitosato
6
1.8k
白金鉱業Meetup_Vol.19_PoCはデモで語れ!顧客の本音とインサイトを引き出すソリューション構築
brainpadpr
2
410
Featured
See All Featured
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.5k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.3k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
We Have a Design System, Now What?
morganepeng
52
7.6k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Six Lessons from altMBA
skipperchong
28
3.8k
RailsConf 2023
tenderlove
30
1.1k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
43
2.4k
Transcript
Datadog⼊れてみたらAWSの料⾦ が爆発した話 @ゆるSRE勉強会 #1 Cloudbase 株式会社 @ryuke
株式会社メルカリ Microservices Platform CI/CD @ryuke 岩井 ⿓之介 Cloudbase株式会社 Platform /
SRE チーム (2人) Go / terraform / Datadog 趣味 前職 現在 SNS https://twitter.com/i_ryuke Pokemon Sleep 6645-5328-5408
None
システム構成
システム構成
スキャンワークフローをStep Functionsで実現 +
品質の問題が⽬⽴つように →監視を強化しよう!
を導⼊した
の導入 サイドカーコンテナとしてDatadog Agentを設定 Lambdaレイヤーとして既存の関数に追加
の導入
😊
が、
ところが...
ところが... ん?
ところが...
🤯
原因:Datadog AgentのイメージのプルがNAT Gatewayを経由していた 100MB 500MB $0.062/GB
$0.01/GB $0.062/GB 対応策:プルスルーキャッシュリポジトリ+VPC Endpoint
その後
その後
😊
まとめ - 今回の学び • Datadog Agentのコンテナイメージは意外と⼤きいので注意 ◦ サーバーが少なくワーカーが多いような環境でハマる可能性あり ◦ プルスルーキャッシュリポジトリなどの⽅法で通信量を抑えられる
▪ GCPでは mirror.gcr.io, Azureでは Cache for ACR などが使える
まとめ - 料⾦の監視について • 監視まわりの開発は気を抜くとお⾦が吹っ⾶ぶ即死系の罠が多いがち ◦ ログやメトリクスの従量課⾦など ◦ 予算、料⾦の監視をちゃんと設定しておく •
が、難しい... ◦ 粒度:チームごとなのか、サービス(EC2 etc…)なのか ◦ 感度:粒度を下げすぎると、ノイズが増える • 「料⾦の監視」に有⽤な知⾒をお持ちの⽅、ぜひ教えてください!!
ク ラ ウ ド 運 ⽤ を 安 全 に