Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MySQLテーブル毎のデータサイズ集計をDatadog × Prometheus Export...
Search
VTRyo
January 19, 2024
Technology
0
280
MySQLテーブル毎のデータサイズ集計をDatadog × Prometheus Exporter × Kubernetesを使って自動化する / Automate data size aggregation for each MySQL table using Datadog, Prometheus Exporter and Kubernetes
2024/1/19 成長を続けるfreeeとマネーフォワードはサービスの信頼性をどう担保しているのか?
https://freee.connpass.com/event/304624/
VTRyo
January 19, 2024
Tweet
Share
More Decks by VTRyo
See All by VTRyo
2ヶ月かかるDBアップグレード検証を最大2週間に短縮した自作Go製CLIツール「Platinum」を紹介する / Introducing Go CLI tool "Platinum" for shortened DB upgrade validation
vtryo
3
460
自分だけの、誰も想像できないキャリアの育て方 ~懇親会で実践できる!偶然から始めるキャリアプラン~ / Career planning starting by luckly
vtryo
2
1.1k
なぜSREをはじめるのは難しいのか / Why is it hard to start SRE?
vtryo
1
480
Datadogでシステムとアプリケーション情報を民主化をはじめよう / System and Application information democratize with datadog
vtryo
2
2.7k
サービスと開発者に最も近いProduct SREsとして 取り組んでいるコト / Work as Product SREs closest to services and developers
vtryo
0
2.5k
一人から始めるプロダクトSRE / How to start SRE in a product team, all by yourself
vtryo
5
12k
へんなSlackスタンプMeetup
vtryo
0
340
Kubernetes × CircleCIで実現する安心安全Deploy / Safe Deploy with Kubernetes and CircleCI
vtryo
1
3.1k
【社内勉強会用】SQLアンチパターン / SQL Antipatterns study
vtryo
0
2.1k
Other Decks in Technology
See All in Technology
マルチプロダクトな開発組織で 「開発生産性」に向き合うために試みたこと / Improving Multi-Product Dev Productivity
sugamasao
1
310
開発生産性を上げながらビジネスも30倍成長させてきたチームの姿
kamina_zzz
2
1.7k
誰も全体を知らない ~ ロールの垣根を超えて引き上げる開発生産性 / Boosting Development Productivity Across Roles
kakehashi
1
230
EventHub Startup CTO of the year 2024 ピッチ資料
eventhub
0
120
【Startup CTO of the Year 2024 / Audience Award】アセンド取締役CTO 丹羽健
niwatakeru
0
1.3k
Python(PYNQ)がテーマのAMD主催のFPGAコンテストに参加してきた
iotengineer22
0
500
iOS/Androidで同じUI体験をネ イティブで作成する際に気をつ けたい落とし穴
fumiyasac0921
1
110
DynamoDB でスロットリングが発生したとき_大盛りver/when_throttling_occurs_in_dynamodb_long
emiki
1
420
障害対応指揮の意思決定と情報共有における価値観 / Waroom Meetup #2
arthur1
5
480
SSMRunbook作成の勘所_20241120
koichiotomo
3
160
組織成長を加速させるオンボーディングの取り組み
sudoakiy
2
190
いざ、BSC討伐の旅
nikinusu
2
780
Featured
See All Featured
Bash Introduction
62gerente
608
210k
Why Our Code Smells
bkeepers
PRO
334
57k
Code Reviewing Like a Champion
maltzj
520
39k
Teambox: Starting and Learning
jrom
133
8.8k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
665
120k
Optimizing for Happiness
mojombo
376
70k
GitHub's CSS Performance
jonrohan
1030
460k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
159
15k
Into the Great Unknown - MozCon
thekraken
32
1.5k
How STYLIGHT went responsive
nonsquared
95
5.2k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
16
2.1k
Scaling GitHub
holman
458
140k
Transcript
None
- 人事労務SaaSのSRE - SRE NEXT 2022 「一人から始めるプロダクトSRE」 - Developers boost
2023 ベストスピーカー賞 - 同人・商業で作家活動 etc… 趣味は🍺と🍛とSAUNAです (🍺もSAUNAも資格有) 気になったら懇親会で…! • Money Forward, Inc 2021~ • SREチームの立ち上げ & Lead • 現在はIndividual Contributorに
SNSハッシュタグ #sre_fxm
信頼性って言われすぎて 段々よくわからなくなってくることない? #sre_fxm
信頼できるサービス = ? #sre_fxm
信頼できるサービスの特徴 3選 ユーザは利用目的を 達成できる 安心して 利用できる どんどん 進化する さまざまなメトリクスを使って 我々は日々モニタリングして守っている
#sre_fxm
お金を生み出しているシステムが 常に健全であることは ビジネス的にも価値がある #sre_fxm
マネーフォワード クラウド給与は 9年 目 #sre_fxm
常に約10年後を考えて システム開発している人 ✋ #sre_fxm
10年後どうなっているか予想できない #sre_fxm
しかし、想定せずに 運用するフェーズではなくなる瞬間がくる #sre_fxm
信頼できるサービスの特徴 3選 ユーザは利用目的を 達成できる 安心して 利用できる どんどん 進化する 成長とともに重要視する メトリクスは変わる
#sre_fxm
着実にユーザとデータ量が増えた先 #sre_fxm
運用作業限界への恐怖 #sre_fxm
"テーブルサイズ限界"のXデー #sre_fxm
Amazon Aurora 1AWS公式によると128TiBのサイ ズをサポートしている *1 MySQL 8.0のInstant DDLを使 えばある程度の規模までは運用に 問題がない
*1 https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/AuroraUserGuide/Aurora.Overview.StorageReliability.html #sre_fxm
弊チームトップエンジニアよる 検証により 限界サイズしきい値が判明する #sre_fxm
もともとSREチームではDBのサイズ推移を (思い出したときに) SQLで取ってGSSで分析していた メトリクス化して 継続的にモニタリングしよう (タイトル回収) #sre_fxm
MySQLテーブル毎のデータサイズ集計を Datadog × Prometheus Exporter × Kubernetes を使って自動化する #sre_fxm
Overview #sre_fxm
1. k8s manifest 2. MySQL settings 3. Datadog Dashboard view
#sre_fxm
k8s Manifest 公式はDockerでの使用方法のみ k8s用にごにょごにょする #sre_fxm
k8s Manifest - annotation Datadogでopenmetricsを使う 部分 init_config: {}を書き忘れて ハマった #sre_fxm
MySQL settings UserとGRANTが必要 information_schemaを取得できる最低限のもの - PROCESS - SELECT #sre_fxm
MySQL settings Q. すべてのテーブルに対してGRANTする必要がある? A. 「ユーザが適切なアクセス権限を持っているオブジェクトに対するテーブル行 だけ見れる」ということなので、付与しないと取得できない https://dev.mysql.com/doc/refman/5.7/en/information-schema-introduction.html#information-schema-privileges #sre_fxm
Datadog Dashboard view メトリクスとして取得さえできれば Dashboardであらゆる形式にして 表示できる しきい値Alertも可能に! #sre_fxm
Toil 解消! #sre_fxm
急成長サービスには地道な取り組みがつきもの 1. きたるべき未来に備えるためにモニタリングが必要だった 2. 手動で情報を取りに行っていた 3. しきい値が明確になったので自動化に踏み切った #sre_fxm
ご清聴 ありがとうございました