Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
KubeCon___CNCon_でみた最近のPrometheus.pdf
Search
yosshi_
December 27, 2018
Technology
1
210
KubeCon___CNCon_でみた最近のPrometheus.pdf
yosshi_
December 27, 2018
Tweet
Share
More Decks by yosshi_
See All by yosshi_
Getting Started with Kubernetes Observability
yosshi_
8
2.6k
PromQL_Compatibility_Testing_Recap
yosshi_
0
1.1k
プロダクト誕生の背景から学ぶ PrometheusとGrafana Loki
yosshi_
11
3.6k
これから学ぶKubernetesのReconciliation Loop
yosshi_
14
4.6k
伝統的なエンプラ企業で取り組むインフラの設計書のモダナイゼーション.pdf
yosshi_
13
6k
KubeCon2019_NA_Recap__NATS_.pdf
yosshi_
0
180
“Running Apache Samza on Kubernetes” Recap : KubeCon2019@NA
yosshi_
3
1.2k
Kuberntes_Monitoring_入門.pdf
yosshi_
17
3.2k
Kubernetes_Logging入門.pdf
yosshi_
18
7.7k
Other Decks in Technology
See All in Technology
名刺メーカーDevグループ 紹介資料
sansan33
PRO
0
930
コンテキストエンジニアリング入門〜AI Coding Agent作りで学ぶ文脈設計〜
kworkdev
PRO
3
1.8k
FinOps について (ちょっと) 本気出して考えてみた
skmkzyk
0
140
Railsの話をしよう
yahonda
0
160
AI時代におけるデータの重要性 ~データマネジメントの第一歩~
ryoichi_ota
0
700
[Codex Meetup Japan #1] Codex-Powered Mobile Apps Development
korodroid
2
990
AWS Control Tower に学ぶ! IAM Identity Center 権限設計の第一歩 / IAM Identity Center with Control Tower
y___u
1
200
能登半島地震において デジタルができたこと・できなかったこと
ditccsugii
0
250
Sansan Engineering Unit 紹介資料
sansan33
PRO
1
3k
業務効率化をさらに加速させる、ノーコードツールとStep Functionsのハイブリッド化
smt7174
2
150
Click A, Buy B: Rethinking Conversion Attribution in ECommerce Recommendations
lycorptech_jp
PRO
0
100
HR Force における DWH の併用事例 ~ サービス基盤としての BigQuery / 分析基盤としての Snowflake ~@Cross Data Platforms Meetup #2「BigQueryと愉快な仲間たち」
ryo_suzuki
0
240
Featured
See All Featured
Designing Experiences People Love
moore
142
24k
Keith and Marios Guide to Fast Websites
keithpitt
411
23k
Code Review Best Practice
trishagee
72
19k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
RailsConf 2023
tenderlove
30
1.3k
Bash Introduction
62gerente
615
210k
Building a Modern Day E-commerce SEO Strategy
aleyda
44
7.8k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
115
20k
What's in a price? How to price your products and services
michaelherold
246
12k
Visualization
eitanlees
149
16k
Build your cross-platform service in a week with App Engine
jlugia
232
18k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
620
Transcript
ç KubeCon + CNCon でみた 最近のPrometheus KubeCon+CNCon NA 2018 Recap!!@Cybozu
@yosshi_
⾃⼰紹介 n 吉村 翔太(@yosshi_) n NTTコミュニケーションズ所属 n データサイエンスチーム n インフラエンジニア/データエンジニアリング
n Kurbernetes、Kafka etc n コミュニティ活動 “Cloud Native Developers JP”
What is Prometheus? 参考< https://prometheus.io/docs/introduction/overview/ > Googleで使⽤していた監視ツール「Borgmon」を参考にしたらしい 所感:メトリクスを取り扱うのが得意
Architecture 参考< https://prometheus.io/docs/introduction/overview/ >
Kubeconの参加前に気になってたこと n 可⽤性/拡張性 n 冗⻑化構成 n 監視対象が増加した際の性能の維持 n ログの⻑期保管
Prometheusだけで出来そうなこと - 信頼性 n SPOFを無くしたい LB Act-Act LBでヘルスチェック Prometheus Grafana
Target 2個作ってもいいよね
Prometheusだけで出来そうなこと - 拡張性 n監視対象が増えても通知のレスポンスは落としたくない Prometheus 1 Grafana 1 Target 1
2系統作ればいいじゃないか Target 2 Prometheus 2 Grafana 2
Prometheusだけで出来そうなこと - ⻑期保管 n キャパシティプランニング⽤に欲しい 外部ストレージに書き出せば 参考< https://prometheus.io/docs/prometheus/latest/storage/#remote-storage-integrations >
Prometheusだけで出来そうなこと - ⻑期保管 多段にしても何とかなるか? Target Grafana 監視⽤ Prometheus ⻑期保管⽤ (保管期間1年)
Grafana ⻑期保管⽤ Prometheus 監視⽤ (保管期間14⽇) 特定のメトリクスだけ収集
Kubeconでの収穫 n Cortex - Infinitely Scalable Prometheus n URL(https://sched.co/GrXL) n
Adopting Prometheus the Hard Way n URL(https://sched.co/GrXX) n Large Scale Automated Storage with Kubernetes n URL(https://sched.co/Gsxn) n Intro: Prometheus nURL(https://sched.co/GrXX)
Friends of Prometheus Thanos/Cortex/M3 参考< https://kccna18.sched.com/event/GrXX>
Prometheusで最初に⽬指した世界 参考< https://improbable.io/games/blog/thanos-prometheus-at-scale > n Target毎にPrometheusを配置 n フェデーレションを使って、横断してみれるPrometheus ダメでした 構成は複雑だし
遅くなる
What is Thanos 参考< https://improbable.io/games/blog/thanos-prometheus-at-scale > n Sidecarを使って、複数のPrometheusを1個⾒せてるふう VitessとMySQLの 関係に似てるな
Thanosの分散処理 n Querierが神様になって処理を分散してくれる よく⾒る “神”&”Sidecar”パターンですね 既存のプロダクトを“神”&”Sidecar”でスケールするのってKube界に多いですね。
Thanosの⻑期保管 n SidecarさんがS3 or GCSに書いてくれる
What is Cortex ? LogoのURL < https://github.com/cortexproject/cortex > n CNCF
sandbox project n 特徴 n Horizontally scalable n Highly Available n Long-term storage n Multi-tenant 参考< https://sched.co/GrXL>
Architecture 参考< https://github.com/cortexproject/cortex/blob/master/docs/architecture.md> Prometheusの Remote write API Prometheusそのものを スケールさせようとはしていない 書き出し先の外部ストレージに
Queryの実⾏エンジンが付いてるふう
What is M3 参考< https://github.com/m3db/m3> nUberが開発 n分散型の時系列DB
参考< https://sched.co/Gsxn> UberでのM3の利⽤状況
参考< https://sched.co/Gsxn> UberでのM3の利⽤状況
Architecture 参考< https://eng.uber.com/m3/ > これもPrometheusのSidecar
Architecture 参考< https://eng.uber.com/m3/ > n etcdに書いてあるルールに応じて集計、圧縮して書き込んでくれる
【参考】盛り上がったKeynote Julia Evans(Stripe) Melanie Cebula(Airbnb) Matt Schallert(Uber) Celina Ward(Uber) 2⽇⽬朝(https://sched.co/GsxY)
1⽇⽬夜(https://sched.co/GsxA) 3⽇⽬朝(https://sched.co/Gsxn) 1⽇⽬朝(https://www.cncf.io/phippy/) Phippy(Simple PHP app) & Fiends
【参考】Phippy & Friendsの画像の⼊⼿先 参考< https://github.com/cncf/artwork/tree/master/other/phippy-and-friends >