Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Cookpad Lounge #4 SRE 座談会 AWS コスト最適化の取り組み
Search
mozamimy
June 16, 2021
Programming
0
860
Cookpad Lounge #4 SRE 座談会 AWS コスト最適化の取り組み
mozamimy
June 16, 2021
Tweet
Share
More Decks by mozamimy
See All by mozamimy
AWS コストを可視化して「説明」 できるようにするための取り組み
mozamimy
2
4k
Ruby DSL × SSH config = Nymphia!!
mozamimy
0
430
Other Decks in Programming
See All in Programming
Agentic Applications with Symfony
el_stoffel
2
310
Defying Front-End Inertia: Inertia.js on Rails
skryukov
0
490
Golangci-lint v2爆誕: 君たちはどうすべきか
logica0419
1
130
Vibe Coding の話をしよう
schroneko
8
2.3k
ComposeでWebアプリを作る技術
tbsten
0
110
Unlock the Potential of Swift Code Generation
rockname
0
260
リアルタイムレイトレーシング + ニューラルレンダリング簡単紹介 / Real-Time Ray Tracing & Neural Rendering: A Quick Introduction (2025)
shocker_0x15
1
310
Deoptimization: How YJIT Speeds Up Ruby by Slowing Down / RubyKaigi 2025
k0kubun
0
850
設計の本質:コード、システム、そして組織へ / The Essence of Design: To Code, Systems, and Organizations
nrslib
4
590
Chrome Extension Techniques from Hell
moznion
1
160
「”誤った使い方をすることが困難”な設計」で良いコードの基礎を固めよう / phpcon-odawara-2025
taniguhey
0
160
gen_statem - OTP's Unsung Hero
whatyouhide
1
210
Featured
See All Featured
Intergalactic Javascript Robots from Outer Space
tanoku
270
27k
Visualization
eitanlees
146
16k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
52
2.4k
KATA
mclloyd
29
14k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
135
33k
Typedesign – Prime Four
hannesfritz
41
2.6k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.3k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Building Applications with DynamoDB
mza
94
6.3k
4 Signs Your Business is Dying
shpigford
183
22k
Transcript
AWS コスト最適化の取り組み mozamimy @ Cookpad Lounge #4
はじめに • 以下の記事の内容がベースに最近の事情も含めてお話します ◦ https://techlife.cookpad.com/entry/cost-and-ri-optimization-in-cookpad ◦ https://techlife.cookpad.com/entry/how-to-describe-infra-cost
コストそのものや、その変化を 「説明」できることが 求められる
「説明」できるようになって得られるもの • 購入決裁 (稟議) の資料を作りやすくなる • 予算をクリアできるかどうか予測できるようになる • オーバーしそうなときの打ち手を考える助けになる •
問題をお金で解決するかどうかの判断材料になる • 事業のコストパフォーマンスを測れる
クックパッドにおける AWS コスト管理術
全体観 • 年間の予算を決める • 月次コストレポートをまとめて部長や本部長に共有 • 週次の SRE 定例ミーティングで共有 •
まずそうであれば具体的なコスト最適化の作業に移る • AWS の機能の Cost Explorer と内製ツールの Costco の二本柱
Costco (内製 AWS コスト管理ツール)
全体観 • 年間の予算を決める • 月次コストレポートをまとめて部長や本部長に共有 • 週次の SRE 定例ミーティングで共有 •
まずそうであれば具体的なコスト最適化の作業に移る • AWS の機能の Cost Explorer と内製ツールの Costco の二本柱
予算の設定
全体観 • 年間の予算を決める • 月次コストレポートをまとめて部長や本部長に共有 • 週次の SRE 定例ミーティングで共有 •
まずそうであれば具体的なコスト最適化の作業に移る • AWS の機能の Cost Explorer と内製ツールの Costco の二本柱
月次レポート
AWS コストを分類して 現状を知る方法
Cost allocation tags / Cost Explorer • これに始まりこれに終わるといっても過言ではない (?) •
AWS の機能のひとつ ◦ https://docs.aws.amazon.com/awsaccountbilling/latest/aboutv2/cost-alloc-tags.html ◦ https://console.aws.amazon.com/billing/home?#/preferences/tags • 特定のキーのタグの値をもつリソースに絞ってコストを集計できる ◦ Cost Explorer を使って可視化できる
Project タグ • 社内ルールとして AWS リソースに Project タグを付与することを強制している • コストがどのプロジェクトにかかっているのかを把握できる
• もちろん必要に応じて他の cost allocation tags を設定しても OK ◦ Environment や Owner など ◦ ともかく Project タグがあれば最低限の分類はできる
Project タグによるコスト分類と可視化
Project タグをめぐる問題点 • 😩 そもそも付け忘れる • 😩 表記ゆれする ◦ e.g.
cookpad_all vs cookpad (現在は cookpad で統一) ◦ 好き勝手に値の種類を増やすと治安が崩壊 • 😩 typo する • 😩 コンテキストが失われて値の意味がわからなくなる • 😩 値が非推奨になっていることに気づけない
Project タグを管理する仕組み • Project タグのないリソースを検知するツール ◦ infra-compliance ▪ AWS Config
& auto remediation & SSM Automation のあわせ技 ◦ Tagcop ▪ 定期的にリソースをクロールして検知したらアラートをあげる素朴なバッチ • Project タグの値のバリエーションをホワイトリスト管理にする ◦ tech/terraform の project_tag_whitelist.txt • Costco では複数のタグをまとめて カテゴリとして管理
infra-compliance によるタグ監視 • Config rule で AWS リソースがルールを満たしているかをチェックできる ◦ https://docs.aws.amazon.com/config/latest/developerguide/managed-rules-by-aws-config.html
◦ DynamoDB テーブルを監視する rule • タグなしリソースが生じて noncompliant 状態になると Lambda function や SSM Automation を実行できる • SSM Automation を利用している ◦ SSM document (手続きを YAML で書いたもの) を実行 ◦ 自動でタグ付け、できない場合はアラートに
YAML DE PUROGURAMINGU • コード ◦ Project タグがない EBS volume
の親となっている EC2 インスタンスの Project タグを自動でセットしてく れる SSM document ◦ もし detach されていて宙ぶらりんならアラートをあげる ◦ 雰囲気だけ感じてくれ!! • AWS API を適当にコールするだけの処理を書くなら Lambda より楽 • if が出てきたあたりで警戒、 10 ステップを超えたりネストまでしたら もうやめたほうがいいと思う
Terraform 管理リポジトリでホワイトリスト管理 • ホワイトリスト (プレーンテキスト) • 既存のプロジェクトではリストに含まれている値を使う • リストにない値を追加するときは pull
request で SRE にレビューをもらう ◦ リソースの追加と一緒にやると natural ◦ 表記ゆれ・typo・みだりな値のバリエーションの増加・治安の悪化を防ぐ
Costco でコスト管理の世界が 広がります
ここまで紹介してなかった Costco の機能 • Project タグを管理 • AWS 予算・進捗を管理 •
AWS の決裁と消化状況を管理 ◦ Workday と連携 • Route 53 で購入したドメインの請求一覧 • 月次レポート管理 • コストアノマリ管理
コストアノマリトラッカー
ツールたち • Costco ◦ 内製 AWS コストコンソール • infra-compliance /
Tagcop ◦ Project タグの監視 • Burimuon ◦ RI の状況を管理 • Lunala ◦ AWS 開発者アカウントのリソースを自動削除するツール
Burimuon
Lunala
None
アウトライン • なぜ AWS コストの最適化をやるのか • クックパッドにおける AWS コスト管理術 ◦
全体観 ◦ コスト管理のための内製のコンソールアプリケーション • まとめ・これからについて
なぜ AWS コストの最適化を やるのか
なぜ AWS コストの最適化をやるのか • 表面的 ◦ 組織運用の仕組みとして「予算」が決まっているから ◦ お金は有限のリソースだから •
もうちょっとつっこんで ◦ 直接利益を生んでいるわけではない ◦ 利益率を上げるためにインフラコストは減れば減るほど良い ◦ より価値ある投資ができるようになる ◦ 持続可能かつチャレンジができる組織になるために必要
• 現状のコスト状況の把握 • それをもとにした予測 AWS コスト最適化に必要なこと
まとめ・これからについて
まとめ・これからについて • 高いレベルでコスト状況を把握 /改善できるようになった • とはいえ未分類となっているコストも少なくない • 継続して見ていくことが重要 ◦ ノウハウが失われないようにする
• さらに細やかなコスト状況の把握がしたい場面もある ◦ e.g. ECS クラスタ内での各アプリケーションの利用状況