Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MySQLテーブル毎のデータサイズ集計をDatadog × Prometheus Export...
Search
VTRyo
January 19, 2024
Technology
0
250
MySQLテーブル毎のデータサイズ集計をDatadog × Prometheus Exporter × Kubernetesを使って自動化する / Automate data size aggregation for each MySQL table using Datadog, Prometheus Exporter and Kubernetes
2024/1/19 成長を続けるfreeeとマネーフォワードはサービスの信頼性をどう担保しているのか?
https://freee.connpass.com/event/304624/
VTRyo
January 19, 2024
Tweet
Share
More Decks by VTRyo
See All by VTRyo
自分だけの、誰も想像できないキャリアの育て方 ~懇親会で実践できる!偶然から始めるキャリアプラン~ / Career planning starting by luckly
vtryo
2
1k
なぜSREをはじめるのは難しいのか / Why is it hard to start SRE?
vtryo
1
420
Datadogでシステムとアプリケーション情報を民主化をはじめよう / System and Application information democratize with datadog
vtryo
2
2.5k
サービスと開発者に最も近いProduct SREsとして 取り組んでいるコト / Work as Product SREs closest to services and developers
vtryo
0
2.5k
一人から始めるプロダクトSRE / How to start SRE in a product team, all by yourself
vtryo
4
12k
へんなSlackスタンプMeetup
vtryo
0
320
Kubernetes × CircleCIで実現する安心安全Deploy / Safe Deploy with Kubernetes and CircleCI
vtryo
1
3k
【社内勉強会用】SQLアンチパターン / SQL Antipatterns study
vtryo
0
2k
これからエンジニアになる人に知ってほしい失敗や不安との向き合い方 / A way of life for beginner engineers
vtryo
3
400
Other Decks in Technology
See All in Technology
自社サービスのための独自リリース版Redmine「RedMica」の取り組み
vividtone
0
1.1k
Oracle Cloud Infrastructure IaaS 新機能アップデート 2024/6 - 2024/8
oracle4engineer
PRO
0
110
Agile in Automotive Industry, puzzles and lights.
hiranabe
2
580
突撃! 隣のAmazon Bedrockユーザー 〜YouはどうしてAWSで?〜
minorun365
PRO
3
330
PdMはどのように全てのスピードを上げられるか ~ 非連続進化のための具体的な取り組み ~
sansantech
PRO
2
510
スタッフエンジニアの道: The Staff Engineer’s Path
snoozer05
PRO
41
13k
Fediverse Discovery Providers overview
andypiper
0
150
ロボットアームを遠隔制御の話 & LLMをつかったIoTの話もしたい
soracom
PRO
1
270
ナレッジグラフとLLMの相互利用
koujikozaki
0
340
効果的なオンコール対応と障害対応
ryuichi1208
5
2.7k
OR学会2024秋_短期収益と将来のオフ方策評価性能を考慮したクーポン割当方策混合比の決定
recruitengineers
PRO
4
430
音声AIエージェントの世界とRetell AI入門 / Introduction to the World of Voice AI Agents and Retell AI
rkaga
5
920
Featured
See All Featured
4 Signs Your Business is Dying
shpigford
179
21k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
28
1.6k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
246
1.3M
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
How STYLIGHT went responsive
nonsquared
93
5.1k
GraphQLの誤解/rethinking-graphql
sonatard
65
9.8k
Learning to Love Humans: Emotional Interface Design
aarron
270
40k
A Philosophy of Restraint
colly
202
16k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
26
2k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
89
16k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
23
1.7k
Product Roadmaps are Hard
iamctodd
PRO
48
10k
Transcript
None
- 人事労務SaaSのSRE - SRE NEXT 2022 「一人から始めるプロダクトSRE」 - Developers boost
2023 ベストスピーカー賞 - 同人・商業で作家活動 etc… 趣味は🍺と🍛とSAUNAです (🍺もSAUNAも資格有) 気になったら懇親会で…! • Money Forward, Inc 2021~ • SREチームの立ち上げ & Lead • 現在はIndividual Contributorに
SNSハッシュタグ #sre_fxm
信頼性って言われすぎて 段々よくわからなくなってくることない? #sre_fxm
信頼できるサービス = ? #sre_fxm
信頼できるサービスの特徴 3選 ユーザは利用目的を 達成できる 安心して 利用できる どんどん 進化する さまざまなメトリクスを使って 我々は日々モニタリングして守っている
#sre_fxm
お金を生み出しているシステムが 常に健全であることは ビジネス的にも価値がある #sre_fxm
マネーフォワード クラウド給与は 9年 目 #sre_fxm
常に約10年後を考えて システム開発している人 ✋ #sre_fxm
10年後どうなっているか予想できない #sre_fxm
しかし、想定せずに 運用するフェーズではなくなる瞬間がくる #sre_fxm
信頼できるサービスの特徴 3選 ユーザは利用目的を 達成できる 安心して 利用できる どんどん 進化する 成長とともに重要視する メトリクスは変わる
#sre_fxm
着実にユーザとデータ量が増えた先 #sre_fxm
運用作業限界への恐怖 #sre_fxm
"テーブルサイズ限界"のXデー #sre_fxm
Amazon Aurora 1AWS公式によると128TiBのサイ ズをサポートしている *1 MySQL 8.0のInstant DDLを使 えばある程度の規模までは運用に 問題がない
*1 https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/AuroraUserGuide/Aurora.Overview.StorageReliability.html #sre_fxm
弊チームトップエンジニアよる 検証により 限界サイズしきい値が判明する #sre_fxm
もともとSREチームではDBのサイズ推移を (思い出したときに) SQLで取ってGSSで分析していた メトリクス化して 継続的にモニタリングしよう (タイトル回収) #sre_fxm
MySQLテーブル毎のデータサイズ集計を Datadog × Prometheus Exporter × Kubernetes を使って自動化する #sre_fxm
Overview #sre_fxm
1. k8s manifest 2. MySQL settings 3. Datadog Dashboard view
#sre_fxm
k8s Manifest 公式はDockerでの使用方法のみ k8s用にごにょごにょする #sre_fxm
k8s Manifest - annotation Datadogでopenmetricsを使う 部分 init_config: {}を書き忘れて ハマった #sre_fxm
MySQL settings UserとGRANTが必要 information_schemaを取得できる最低限のもの - PROCESS - SELECT #sre_fxm
MySQL settings Q. すべてのテーブルに対してGRANTする必要がある? A. 「ユーザが適切なアクセス権限を持っているオブジェクトに対するテーブル行 だけ見れる」ということなので、付与しないと取得できない https://dev.mysql.com/doc/refman/5.7/en/information-schema-introduction.html#information-schema-privileges #sre_fxm
Datadog Dashboard view メトリクスとして取得さえできれば Dashboardであらゆる形式にして 表示できる しきい値Alertも可能に! #sre_fxm
Toil 解消! #sre_fxm
急成長サービスには地道な取り組みがつきもの 1. きたるべき未来に備えるためにモニタリングが必要だった 2. 手動で情報を取りに行っていた 3. しきい値が明確になったので自動化に踏み切った #sre_fxm
ご清聴 ありがとうございました