Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MySQLテーブル毎のデータサイズ集計をDatadog × Prometheus Export...
Search
VTRyo
January 19, 2024
Technology
0
370
MySQLテーブル毎のデータサイズ集計をDatadog × Prometheus Exporter × Kubernetesを使って自動化する / Automate data size aggregation for each MySQL table using Datadog, Prometheus Exporter and Kubernetes
2024/1/19 成長を続けるfreeeとマネーフォワードはサービスの信頼性をどう担保しているのか?
https://freee.connpass.com/event/304624/
VTRyo
January 19, 2024
Tweet
Share
More Decks by VTRyo
See All by VTRyo
一体いつからSRE NEXTがSREだけのカンファレンスだと錯覚していた? / When did you ever get the idea that SRE NEXT was a conference just for SREs?
vtryo
0
20
一人から始めたSREチーム3年の歩み - 求められるスキルの変化とチームのあり方 - / The three-year journey of the SRE team, which started all by myself
vtryo
9
10k
2ヶ月かかるDBアップグレード検証を最大2週間に短縮した自作Go製CLIツール「Platinum」を紹介する / Introducing Go CLI tool "Platinum" for shortened DB upgrade validation
vtryo
3
1.4k
自分だけの、誰も想像できないキャリアの育て方 ~懇親会で実践できる!偶然から始めるキャリアプラン~ / Career planning starting by luckly
vtryo
2
1.3k
なぜSREをはじめるのは難しいのか / Why is it hard to start SRE?
vtryo
1
590
Datadogでシステムとアプリケーション情報を民主化をはじめよう / System and Application information democratize with datadog
vtryo
2
3.5k
サービスと開発者に最も近いProduct SREsとして 取り組んでいるコト / Work as Product SREs closest to services and developers
vtryo
0
3k
一人から始めるプロダクトSRE / How to start SRE in a product team, all by yourself
vtryo
5
13k
へんなSlackスタンプMeetup
vtryo
0
410
Other Decks in Technology
See All in Technology
Абьюзим random_bytes(). Фёдор Кулаков, разработчик Lamoda Tech
lamodatech
0
260
Clineを含めたAIエージェントを 大規模組織に導入し、投資対効果を考える / Introducing AI agents into your organization
i35_267
4
1.3k
Perk アプリの技術選定とリリースから1年弱経ってのふりかえり
stomk
0
120
ローカルLLMでファインチューニング
knishioka
0
120
Oracle Audit Vault and Database Firewall 20 概要
oracle4engineer
PRO
2
1.6k
CIでのgolangci-lintの実行を約90%削減した話
kazukihayase
0
340
AIのAIによるAIのための出力評価と改善
chocoyama
0
470
新規プロダクト開発、AIでどう変わった? #デザインエンジニアMeetup
bengo4com
0
500
IIWレポートからみるID業界で話題のMCP
fujie
0
700
kubellが挑むBPaaSにおける、人とAIエージェントによるサービス開発の最前線と技術展望
kubell_hr
1
390
Navigation3でViewModelにデータを渡す方法
mikanichinose
0
200
[TechNight #90-1] 本当に使える?ZDMの新機能を実践検証してみた
oracle4engineer
PRO
3
140
Featured
See All Featured
Six Lessons from altMBA
skipperchong
28
3.8k
Git: the NoSQL Database
bkeepers
PRO
430
65k
Raft: Consensus for Rubyists
vanstee
140
7k
Building a Modern Day E-commerce SEO Strategy
aleyda
41
7.3k
Adopting Sorbet at Scale
ufuk
77
9.4k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
4
200
Facilitating Awesome Meetings
lara
54
6.4k
The Language of Interfaces
destraynor
158
25k
Code Reviewing Like a Champion
maltzj
524
40k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.3k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
137
34k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.3k
Transcript
None
- 人事労務SaaSのSRE - SRE NEXT 2022 「一人から始めるプロダクトSRE」 - Developers boost
2023 ベストスピーカー賞 - 同人・商業で作家活動 etc… 趣味は🍺と🍛とSAUNAです (🍺もSAUNAも資格有) 気になったら懇親会で…! • Money Forward, Inc 2021~ • SREチームの立ち上げ & Lead • 現在はIndividual Contributorに
SNSハッシュタグ #sre_fxm
信頼性って言われすぎて 段々よくわからなくなってくることない? #sre_fxm
信頼できるサービス = ? #sre_fxm
信頼できるサービスの特徴 3選 ユーザは利用目的を 達成できる 安心して 利用できる どんどん 進化する さまざまなメトリクスを使って 我々は日々モニタリングして守っている
#sre_fxm
お金を生み出しているシステムが 常に健全であることは ビジネス的にも価値がある #sre_fxm
マネーフォワード クラウド給与は 9年 目 #sre_fxm
常に約10年後を考えて システム開発している人 ✋ #sre_fxm
10年後どうなっているか予想できない #sre_fxm
しかし、想定せずに 運用するフェーズではなくなる瞬間がくる #sre_fxm
信頼できるサービスの特徴 3選 ユーザは利用目的を 達成できる 安心して 利用できる どんどん 進化する 成長とともに重要視する メトリクスは変わる
#sre_fxm
着実にユーザとデータ量が増えた先 #sre_fxm
運用作業限界への恐怖 #sre_fxm
"テーブルサイズ限界"のXデー #sre_fxm
Amazon Aurora 1AWS公式によると128TiBのサイ ズをサポートしている *1 MySQL 8.0のInstant DDLを使 えばある程度の規模までは運用に 問題がない
*1 https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/AuroraUserGuide/Aurora.Overview.StorageReliability.html #sre_fxm
弊チームトップエンジニアよる 検証により 限界サイズしきい値が判明する #sre_fxm
もともとSREチームではDBのサイズ推移を (思い出したときに) SQLで取ってGSSで分析していた メトリクス化して 継続的にモニタリングしよう (タイトル回収) #sre_fxm
MySQLテーブル毎のデータサイズ集計を Datadog × Prometheus Exporter × Kubernetes を使って自動化する #sre_fxm
Overview #sre_fxm
1. k8s manifest 2. MySQL settings 3. Datadog Dashboard view
#sre_fxm
k8s Manifest 公式はDockerでの使用方法のみ k8s用にごにょごにょする #sre_fxm
k8s Manifest - annotation Datadogでopenmetricsを使う 部分 init_config: {}を書き忘れて ハマった #sre_fxm
MySQL settings UserとGRANTが必要 information_schemaを取得できる最低限のもの - PROCESS - SELECT #sre_fxm
MySQL settings Q. すべてのテーブルに対してGRANTする必要がある? A. 「ユーザが適切なアクセス権限を持っているオブジェクトに対するテーブル行 だけ見れる」ということなので、付与しないと取得できない https://dev.mysql.com/doc/refman/5.7/en/information-schema-introduction.html#information-schema-privileges #sre_fxm
Datadog Dashboard view メトリクスとして取得さえできれば Dashboardであらゆる形式にして 表示できる しきい値Alertも可能に! #sre_fxm
Toil 解消! #sre_fxm
急成長サービスには地道な取り組みがつきもの 1. きたるべき未来に備えるためにモニタリングが必要だった 2. 手動で情報を取りに行っていた 3. しきい値が明確になったので自動化に踏み切った #sre_fxm
ご清聴 ありがとうございました