Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
メタップスでのAWSコストダウン
Search
h-nago
September 19, 2024
Technology
0
130
メタップスでのAWSコストダウン
第3木曜LT会で話した内容です。
https://metaps.connpass.com/event/327083/
メタップスで実施したコストダウンプロジェクトについて可視化の点から話しました。
h-nago
September 19, 2024
Tweet
Share
More Decks by h-nago
See All by h-nago
SREの仕事とは
nago
0
700
Other Decks in Technology
See All in Technology
LLMの効率化を支えるアルゴリズム
taturabe
16
4k
Classmethod AI Talks(CATs) #1 司会進行スライド(2024.09.19) / classmethod-ai-talks-aka-cats_moderator-slides_vol1_2024-09-19
shinyaa31
0
350
QAに対する超個人的な解釈 / Personal Take on QA
toma_sm
1
180
GraphQLでの型渡しとデータフェッチの最適化
hayashikengo
1
130
脆弱性を管理して、ビジネスリスクに備えよう 〜駆け出しエンジニアがCVEとSBOMを可視化してみた〜
ktgrryt
0
150
Extending kotlin-inject for fun & profit
vrallev
0
120
【虎の穴ラボ Tech Talk #1】虎の穴ラボの利用技術紹介
toranoana
0
170
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
5
46k
横断組織として考える共通DBの課題解決 〜 桃園の誓いアーキテクチャ 〜 / Addressing Shared Database Challenges as Cross-Team: “Peach Garden Oath” Architecture
4geru
1
480
Passkey Autofill に賭けるマネーフォワード ID - Money Forward Tech Day 2024
nov
1
830
低コストで実現する社内文書RAG機能を搭載したAIチャットボット開発
takapy
2
140
k6を活用した再現性・拡張性の高い負荷試験基盤の構築
biwashi
8
2.3k
Featured
See All Featured
Ruby is Unlike a Banana
tanoku
96
11k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
Thoughts on Productivity
jonyablonski
67
4.2k
A better future with KSS
kneath
235
17k
Making the Leap to Tech Lead
cromwellryan
129
8.8k
Atom: Resistance is Futile
akmur
261
25k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
663
120k
YesSQL, Process and Tooling at Scale
rocio
167
14k
The Power of CSS Pseudo Elements
geoffreycrofte
71
5.3k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
36
2.1k
Product Roadmaps are Hard
iamctodd
PRO
48
10k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
23
1.7k
Transcript
©2024 Metaps Holdings, Inc. 株式会社メタップスホールディングス SREリードエンジニア 名古 ⽞天 メタップスでのAWSコストダウン
©2024 Metaps Holdings, Inc. MISSION テクノロジーでお金と経済のあり方を変える 世界を解き放つ
VISION 会社概要 社名 株式会社メタップスホールディングス (Metaps Holdings, Inc.) 設立 2023年1月26日 資本金 100百万円(資本準備金を含む) ※2024年6月末時点 所在地 東京都渋谷区渋谷二丁目24番12号 渋谷スクランブルスクエア 従業員数 75名 ※2024年6月末時点 経営陣 代表取締役 山﨑 祐一郎 取締役 原 大輔 取締役 青沼 克典 社外取締役 大谷 仁人 監査役 萩野矢 宏樹 事業内容 クラウドとAIを中心にしたインキュベーション テクノロジー企業への投資
©2024 Metaps Holdings, Inc. ⾃⼰紹介 肩書き:SREリードエンジニアですが、srest ではDeveloperです。コード書いたりレビュー したりしてます。 主にインフラ、たまに開発 名古
⽞天 株式会社メタップスホールディングス SREリードエンジニア Nago Harutaka @nago_harutaka
©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. はじめに 社内サービスのコストダウンプロジェクトに参加した時の話
コストダウンプロジェクトの⽬標⾦額 現在の半分
©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. はじめに 実際にコストダウンのために⼿を加えたのは
• Redshift • EC2 • RDS • ELB • S3 ですが、実際に削減した⽅法はこちらでお話ししてますので興味があればご覧ください https://www.youtube.com/live/ZmVn1ZSRAXA?si=cAQvT4ZOa-DebAR5 今回は主に、⼿を加える⼀歩⼿前「コストの可視化」について話したいと思います。
©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. コストダウンと聞いてまず思いつくこと •
RI‧Savings Planの購⼊ • S3 Glacierの活⽤ • Spotインスタンスの活⽤ • オートスケーリング
©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. コストダウンと聞いてまず思いつくこと •
RI‧Savings Planの購⼊ • S3 Glacierの活⽤ • Spotインスタンスの活⽤ • オートスケーリング でもその前に
©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. コストダウンと聞いてまず思いつくこと •
RI‧Savings Planの購⼊ • S3 Glacierの活⽤ • Spotインスタンスの活⽤ • オートスケーリング まず現状のコストの把握
©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. 現状を理解して⽅針を決める、そのための可視化 •
コストダウンには⽬標がある ◦ なんでも最適化すればいいわけではない ◦ ⽬標額に向かって効率よく動きたい • ⽬標によっては容易には達成できない ◦ インフラちょちょいでは削減できない ◦ アプリケーションへ⼿を加える必要が出てくる可能性も ◦ 顧客へ提供するサービスに制限を加えないといけない可能性も ◦ 調整にも実装にも時間がかかることも想定される 状況がわからないと想像以上に時間がかかることになる
©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. 主に使った値、グラフ •
AWSサービス毎のコスト • そのUsage Type毎のコスト • 削減前後の⽐較 たいそうな出だしでしたがこれだけです
©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. コスト可視化で難しいことをする必要は必ずしもない すごい 集計を うおーっと 回して、すごい モデルで がちがち 推論して
すごい データを ぎょろぎょろ 合わせて、すごい グラフを 映し出す 必要はない モーリス‧センダック かいじゅうたちのいるところ
©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. AWSサービス別コスト
©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. サービス別コストからわかったこと •
Redshiftのコストが50%を超えている ◦ つまりここに切り込まなければ⽬標達成は不可能 • コストの⼤半は上位5サービスで構成されている ◦ まずは上位サービスだけ考える ◦ 下位はあとちょっと、、、、!!の状況になるまで考えない(考える時間もコスト) どこに切り込むべきか⽬安がわかった
©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. サービス別コストからわかったこと •
Redshift‧S3は運営しているサービス的に⼩さくすることが難しい ◦ 顧客への影響がでるような変更になる可能性も ◦ 調整に時間がかかることが想定される • EC2もSavingPlanだけでは⾜りなそう ◦ インスタンス数を減らすにはパフォーマンスをあげる必要あるかも ◦ パフォーマンスの分析やコードの改善は時間がかかりそう 早めに動いた⽅がいいところもわかった
©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. UsageType別コスト 〜Redshift〜
©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. RedshiftのUsageType別コストからわかったこと •
やっぱComputeInstanceの料⾦が⾼い(RI使っていても) ◦ サイズを⼩さくするかノード数を減らすしかない ◦ ストレージとコンピュートリソースが⼀体になっているので、データを削減する ▪ つまり参照できるデータが減る→調整は⼤変 • 意外とStorage SnapShot が⾼い ◦ バックアップの取り⽅に無駄があるかも? ▪ 実際サービス規模の成⻑やAWSの課⾦体系の変更で無駄なコストが発⽣していた UsageType別コストとサービスの状況を⽐べたことで 切り込む⽅法のヒントになった
©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. UsageType別コスト 〜ELB〜
©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. • DataTransfer
◦ サービス的に外部にそんなにデータを送るはずがない ▪ 無駄なレスポンスが存在するかも? ◦ AthenaでELBのログを分析 ▪ 転送量は特定のエンドポイントに集中 ◦ レスポンスサイズの削減を開発チームと協議 ▪ レスポンスがそんなに⼤きい必要がないことが判明 ▪ 返す情報の精査と圧縮 ELBのUsageType別コストからわかったこと UsageType別コストとサービスの状況を⽐べて 無駄が⾒つかった
©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. • モチベーションを維持に役⽴った
◦ 新機能開発と違って達成感が乏しいので、やってやった!が⾒えるといい • コミュニケーションに使える ◦ 今後どれだけ削減される予定なのか伝えやすい ◦ ビジネス上の決断を下すには説得⼒も必要 他にも可視化しておいて良かったこと
©2024 Metaps Holdings, Inc. ここで宣伝
©2024 Metaps Holdings, Inc. srestはAWSファンデーショナルテクニカルレビュー (FTR)認証を取得しています
©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. 無料トライアル実施中!詳しくはお声がけください。
©2024 Metaps Holdings, Inc. ご清聴ありがとうございました • もっと細かい話はこちらの動画で説明してます ◦ https://www.youtube.com/live/ZmVn1ZSRAXA?si=cAQvT4ZOa-DebAR5 •
やろうとしたけど壁にぶつかったこと、NGになったアイディアも紹介されているのでみて みてね。