Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
KubeCon___CNCon_でみた最近のPrometheus.pdf
Search
yosshi_
December 27, 2018
Technology
1
200
KubeCon___CNCon_でみた最近のPrometheus.pdf
yosshi_
December 27, 2018
Tweet
Share
More Decks by yosshi_
See All by yosshi_
Getting Started with Kubernetes Observability
yosshi_
8
2.4k
PromQL_Compatibility_Testing_Recap
yosshi_
0
1k
プロダクト誕生の背景から学ぶ PrometheusとGrafana Loki
yosshi_
11
3.3k
これから学ぶKubernetesのReconciliation Loop
yosshi_
11
3.8k
伝統的なエンプラ企業で取り組むインフラの設計書のモダナイゼーション.pdf
yosshi_
12
5.7k
KubeCon2019_NA_Recap__NATS_.pdf
yosshi_
0
150
“Running Apache Samza on Kubernetes” Recap : KubeCon2019@NA
yosshi_
3
1.1k
Kuberntes_Monitoring_入門.pdf
yosshi_
17
3k
Kubernetes_Logging入門.pdf
yosshi_
18
7.5k
Other Decks in Technology
See All in Technology
オプトインカメラ:UWB測位を応用したオプトイン型のカメラ計測
matthewlujp
0
180
KubeCon NA 2024 Recap: How to Move from Ingress to Gateway API with Minimal Hassle
ysakotch
0
200
スタートアップで取り組んでいるAzureとMicrosoft 365のセキュリティ対策/How to Improve Azure and Microsoft 365 Security at Startup
yuj1osm
0
220
Google Cloud で始める Cloud Run 〜AWSとの比較と実例デモで解説〜
risatube
PRO
0
110
あの日俺達が夢見たサーバレスアーキテクチャ/the-serverless-architecture-we-dreamed-of
tomoki10
0
460
C++26 エラー性動作
faithandbrave
2
750
マルチプロダクト開発の現場でAWS Security Hubを1年以上運用して得た教訓
muziyoshiz
3
2.4k
PHPerのための計算量入門/Complexity101 for PHPer
hanhan1978
5
150
私なりのAIのご紹介 [2024年版]
qt_luigi
1
120
組織に自動テストを書く文化を根付かせる戦略(2024冬版) / Building Automated Test Culture 2024 Winter Edition
twada
PRO
17
4.5k
DevFest 2024 Incheon / Songdo - Compose UI 조합 심화
wisemuji
0
110
Amazon Kendra GenAI Index 登場でどう変わる? 評価から学ぶ最適なRAG構成
naoki_0531
0
110
Featured
See All Featured
Building Adaptive Systems
keathley
38
2.3k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
29
2k
Building Applications with DynamoDB
mza
91
6.1k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Measuring & Analyzing Core Web Vitals
bluesmoon
4
170
KATA
mclloyd
29
14k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
28
2.1k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
111
49k
The Cost Of JavaScript in 2023
addyosmani
45
7k
Rails Girls Zürich Keynote
gr2m
94
13k
VelocityConf: Rendering Performance Case Studies
addyosmani
326
24k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Transcript
ç KubeCon + CNCon でみた 最近のPrometheus KubeCon+CNCon NA 2018 Recap!!@Cybozu
@yosshi_
⾃⼰紹介 n 吉村 翔太(@yosshi_) n NTTコミュニケーションズ所属 n データサイエンスチーム n インフラエンジニア/データエンジニアリング
n Kurbernetes、Kafka etc n コミュニティ活動 “Cloud Native Developers JP”
What is Prometheus? 参考< https://prometheus.io/docs/introduction/overview/ > Googleで使⽤していた監視ツール「Borgmon」を参考にしたらしい 所感:メトリクスを取り扱うのが得意
Architecture 参考< https://prometheus.io/docs/introduction/overview/ >
Kubeconの参加前に気になってたこと n 可⽤性/拡張性 n 冗⻑化構成 n 監視対象が増加した際の性能の維持 n ログの⻑期保管
Prometheusだけで出来そうなこと - 信頼性 n SPOFを無くしたい LB Act-Act LBでヘルスチェック Prometheus Grafana
Target 2個作ってもいいよね
Prometheusだけで出来そうなこと - 拡張性 n監視対象が増えても通知のレスポンスは落としたくない Prometheus 1 Grafana 1 Target 1
2系統作ればいいじゃないか Target 2 Prometheus 2 Grafana 2
Prometheusだけで出来そうなこと - ⻑期保管 n キャパシティプランニング⽤に欲しい 外部ストレージに書き出せば 参考< https://prometheus.io/docs/prometheus/latest/storage/#remote-storage-integrations >
Prometheusだけで出来そうなこと - ⻑期保管 多段にしても何とかなるか? Target Grafana 監視⽤ Prometheus ⻑期保管⽤ (保管期間1年)
Grafana ⻑期保管⽤ Prometheus 監視⽤ (保管期間14⽇) 特定のメトリクスだけ収集
Kubeconでの収穫 n Cortex - Infinitely Scalable Prometheus n URL(https://sched.co/GrXL) n
Adopting Prometheus the Hard Way n URL(https://sched.co/GrXX) n Large Scale Automated Storage with Kubernetes n URL(https://sched.co/Gsxn) n Intro: Prometheus nURL(https://sched.co/GrXX)
Friends of Prometheus Thanos/Cortex/M3 参考< https://kccna18.sched.com/event/GrXX>
Prometheusで最初に⽬指した世界 参考< https://improbable.io/games/blog/thanos-prometheus-at-scale > n Target毎にPrometheusを配置 n フェデーレションを使って、横断してみれるPrometheus ダメでした 構成は複雑だし
遅くなる
What is Thanos 参考< https://improbable.io/games/blog/thanos-prometheus-at-scale > n Sidecarを使って、複数のPrometheusを1個⾒せてるふう VitessとMySQLの 関係に似てるな
Thanosの分散処理 n Querierが神様になって処理を分散してくれる よく⾒る “神”&”Sidecar”パターンですね 既存のプロダクトを“神”&”Sidecar”でスケールするのってKube界に多いですね。
Thanosの⻑期保管 n SidecarさんがS3 or GCSに書いてくれる
What is Cortex ? LogoのURL < https://github.com/cortexproject/cortex > n CNCF
sandbox project n 特徴 n Horizontally scalable n Highly Available n Long-term storage n Multi-tenant 参考< https://sched.co/GrXL>
Architecture 参考< https://github.com/cortexproject/cortex/blob/master/docs/architecture.md> Prometheusの Remote write API Prometheusそのものを スケールさせようとはしていない 書き出し先の外部ストレージに
Queryの実⾏エンジンが付いてるふう
What is M3 参考< https://github.com/m3db/m3> nUberが開発 n分散型の時系列DB
参考< https://sched.co/Gsxn> UberでのM3の利⽤状況
参考< https://sched.co/Gsxn> UberでのM3の利⽤状況
Architecture 参考< https://eng.uber.com/m3/ > これもPrometheusのSidecar
Architecture 参考< https://eng.uber.com/m3/ > n etcdに書いてあるルールに応じて集計、圧縮して書き込んでくれる
【参考】盛り上がったKeynote Julia Evans(Stripe) Melanie Cebula(Airbnb) Matt Schallert(Uber) Celina Ward(Uber) 2⽇⽬朝(https://sched.co/GsxY)
1⽇⽬夜(https://sched.co/GsxA) 3⽇⽬朝(https://sched.co/Gsxn) 1⽇⽬朝(https://www.cncf.io/phippy/) Phippy(Simple PHP app) & Fiends
【参考】Phippy & Friendsの画像の⼊⼿先 参考< https://github.com/cncf/artwork/tree/master/other/phippy-and-friends >