MySQLテーブル毎のデータサイズ集計をDatadog × Prometheus Exporter × Kubernetesを使って自動化する / Automate data size aggregation for each MySQL table using Datadog, Prometheus Exporter and Kubernetes

- 人事労務SaaSのSRE - SRE NEXT 2022 「一人から始めるプロダクトSRE」 - Developers boost
2023 ベストスピーカー賞 - 同人・商業で作家活動 etc… 趣味は🍺と󰏶🍛とSAUNAです（🍺もSAUNAも資格有）気になったら懇親会で…！ • Money Forward, Inc 2021~   • SREチームの立ち上げ & Lead   • 現在はIndividual Contributorに  

SNSハッシュタグ #sre_fxm

信頼性って言われすぎて段々よくわからなくなってくることない？ #sre_fxm

信頼できるサービス = ？ #sre_fxm

信頼できるサービスの特徴 3選ユーザは利用目的を達成できる安心して利用できるどんどん進化するさまざまなメトリクスを使って我々は日々モニタリングして守っている
#sre_fxm

お金を生み出しているシステムが常に健全であることはビジネス的にも価値がある #sre_fxm

マネーフォワードクラウド給与は 9年目 #sre_fxm

常に約10年後を考えてシステム開発している人 ✋ #sre_fxm

10年後どうなっているか予想できない #sre_fxm

しかし、想定せずに運用するフェーズではなくなる瞬間がくる #sre_fxm

信頼できるサービスの特徴 3選ユーザは利用目的を達成できる安心して利用できるどんどん進化する成長とともに重要視するメトリクスは変わる
#sre_fxm

着実にユーザとデータ量が増えた先 #sre_fxm

運用作業限界への恐怖 #sre_fxm

"テーブルサイズ限界"のXデー #sre_fxm

Amazon Aurora 1AWS公式によると128TiBのサイズをサポートしている *1 MySQL 8.0のInstant DDLを使えばある程度の規模までは運用に問題がない
*1 https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/AuroraUserGuide/Aurora.Overview.StorageReliability.html #sre_fxm

弊チームトップエンジニアよる検証により限界サイズしきい値が判明する #sre_fxm

もともとSREチームではDBのサイズ推移を（思い出したときに） SQLで取ってGSSで分析していたメトリクス化して継続的にモニタリングしよう（タイトル回収） #sre_fxm

MySQLテーブル毎のデータサイズ集計を Datadog × Prometheus Exporter × Kubernetes を使って自動化する #sre_fxm

Overview #sre_fxm

1. k8s manifest 2. MySQL settings 3. Datadog Dashboard view
#sre_fxm

k8s Manifest 公式はDockerでの使用方法のみ k8s用にごにょごにょする #sre_fxm

k8s Manifest - annotation Datadogでopenmetricsを使う部分 init_conﬁg: {}を書き忘れてハマった #sre_fxm

MySQL settings UserとGRANTが必要 information_schemaを取得できる最低限のもの - PROCESS - SELECT #sre_fxm

MySQL settings Q. すべてのテーブルに対してGRANTする必要がある？ A. 「ユーザが適切なアクセス権限を持っているオブジェクトに対するテーブル行だけ見れる」ということなので、付与しないと取得できない https://dev.mysql.com/doc/refman/5.7/en/information-schema-introduction.html#information-schema-privileges #sre_fxm

Datadog Dashboard view メトリクスとして取得さえできれば Dashboardであらゆる形式にして表示できるしきい値Alertも可能に！ #sre_fxm

Toil 解消！ #sre_fxm

急成長サービスには地道な取り組みがつきもの 1. きたるべき未来に備えるためにモニタリングが必要だった 2. 手動で情報を取りに行っていた 3. しきい値が明確になったので自動化に踏み切った #sre_fxm

ご清聴ありがとうございました

MySQLテーブル毎のデータサイズ集計をDatadog × Prometheus Export...

MySQLテーブル毎のデータサイズ集計をDatadog × Prometheus Exporter × Kubernetesを使って自動化する / Automate data size aggregation for each MySQL table using Datadog, Prometheus Exporter and Kubernetes

VTRyo

More Decks by VTRyo

Other Decks in Technology

Featured

Transcript

- 人事労務SaaSのSRE - SRE NEXT 2022 「一人から始めるプロダクトSRE」 - Developers boost