Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Monitoramento de Aplicações com Prometheus, Gra...

Monitoramento de Aplicações com Prometheus, Grafana, AlertManager e VictoriaMetrics

Palestra apresentada por Aécio Pires aos alunos da disciplina sobre Monitoramento de Aplicações e Infraestrutura no IFPB.

Obrigado aos professores Pedro Carvalho Filho e Ruan Gomes pelo convite.

A palestra aborda o tema Observabilidade com enfoque no monitoramento de métricas de aplicações e infraestrutura de rede de computadores utilizando as ferramentas: Prometheus, Grafana, AlertManager, VictoriaMetrics e Kubernetes.

Aecio Pires

May 25, 2021

Transcript

33 slides
  1. Cloud Architect na Mestre em Tecnologia da Informação pelo Colaborador

    em projetos open source: ◦ Zabbix-BR ◦ VictoriaMetrics (Helm Charts) ◦ Sensedia-OpenTools ◦ Descomplicando o Kubernetes ◦ Cetic/Helm-Zabbix Sobre mim... aeciopires.com @aeciopires linkedin.com/in/aeciopires github.com/aeciopires
  2. • A observabilidade permite que você entenda por que algo

    está errado, enquanto o monitoramento apenas avisa quando algo está errado. Não é um conceito novo e tem sua origem na teoria de engenharia e controle, onde foi introduzida pelo engenheiro húngaro-americano Rudolf E. Kálmán. • Yuri Shkuro, explica a diferença da seguinte maneira: ◦ O monitoramento mede o que você decide que é importante com antecedência; ◦ A observabilidade é a habilidade de fazer perguntas que você não sabe de antemão sobre seu sistema. • A observabilidade engloba a coleta, visualização e análise de métricas, eventos, logs e traces (ou M.E.L.T.) Fonte: https://newrelic.com/resources/ebooks/what-is-observability-pt https://www.infoq.com/presentations/uber-microservices-distributed-tracing Observabilidade
  3. • https://openapm.io/landscape • https://awesomeopensource.com/projects/observability • https://github.com/dukelion/awesome-observability • https://github.com/adriannovegil/awesome-observability • https://github.com/crazy-canux/awesome-monitoring

    • https://project-awesome.org/n1trux/awesome-sysadmin • https://github.com/Enapiuz/awesome-monitoring • http://canuxcheng.com/awesome-monitoring/ Bônus: Ferramentas de Observabilidade
  4. • É um kit de ferramentas de monitoramento e alerta

    open source criado em 2012 na SoundCloud. • Desde 2016, o Prometheus faz parte da CNCF- Cloud Native Computing Foundation. • Raspa (scraping) as métricas exportadas por uma ou mais aplicações. • Possui integrações com vários sistemas para visualização das métricas coletadas, envio de alertas, armazenamento de métricas a longo prazo. • Arquitetura modular e escrito em Go. Site: https://prometheus.io Github: https://github.com/prometheus/prometheus Exporters: https://prometheus.io/docs/instrumenting/exporters Fonte: https://prometheus.io/docs/introduction/overview Prometheus
  5. • Kubernetes é uma plataforma portável, extensível e de código

    fonte aberto que gerencia cargas de trabalho e aplicações executadas em contêineres, além de facilitar a configuração declarativa e a automação. • O Kubernetes automatiza o ciclo de vida de aplicações sem estados (stateless). • “Operators são uma forma de empacotar, implantar e administrar aplicações no Kubernetes. Eles automatizam o ciclo de vida de aplicações complexas, com estados (stateful), permitindo que um cluster Kubernetes tenha capacidades específicas de uma aplicação.” • Os Operators conhecem o estado interno de suas aplicações, de modo que podem coordenar a instalação e os upgrades, atuar na reparação de falhas e automatizar trabalhos de manutenção repetitivos. Kubernetes: Operator Hub: Site: https://kubernetes.io Site: https://operatorhub.io Código fonte: https://github.com/kubernetes/kubernetes Código fonte: https://bit.ly/30w9N7f Fonte: https://kubernetes.io/docs/concepts/overview/what-is-kubernetes https://novatec.com.br/livros/operadores-kubernetes Kubernetes & Operators
  6. • https://kubernetes.io/docs • https://github.com/badtuxx/DescomplicandoKubernetes • http://blog.aeciopires.com/primeiros-passos-com-docker • https://speakerdeck.com/mrbobbytables/introduction-to-kubernetes-workshop • https://www.digitalocean.com/community/books/digitalocean-ebook-kubernetes-for-full-stack-developers

    • https://codelabs.developers.google.com/codelabs/k8s-kickstart • https://twitter.com/learnk8s • https://learnk8s.io/kubernetes-resources • https://learnk8s.io/blog • https://kubernetes.io/docs/reference/kubectl/cheatsheet • https://tinyurl.com/y52rm9wf • https://github.com/dennyzhang/cheatsheet-kubernetes-A4 • https://tinyurl.com/y56rsegg • https://github.com/RehanSaeed/Kubernetes-Cheat-Sheet Bônus: Docs sobre Kubernetes
  7. • Realiza o deploy e gerenciamento nativo do Prometheus em

    clusters Kubernetes, bem como de outros componentes de monitoramento relacionados, tais como: Grafana, AlertManager, VictoriaMetrics, entre outros. • O objetivo é simplificar e automatizar a configuração de uma stack de monitoramento baseada no Prometheus para clusters Kubernetes. • Instalação: Helm + Shell Script https://github.com/Sensedia/open-tools/tree/master/prometheus/install_prometheus-operator_k8s Código fonte: https://github.com/prometheus-operator/prometheus-operator Helm repo: https://prometheus-community.github.io/helm-charts Docs: https://prometheus-operator.dev/docs/prologue/introduction https://github.com/prometheus-operator/prometheus-operator/tree/master/Documentation Prometheus Operator
  8. • Funciona de forma integrada com o Prometheus para avaliar

    regras de alerta e enviar notificações por e-mail, Jira, Slack e outros sistemas suportados. Site: https://prometheus.io/docs/alerting/latest/alertmanager/ Github: https://github.com/prometheus/alertmanager AlertManager
  9. • Uma solução de análise e observabilidade que suporta vários

    sistemas de coleta de log e métricas. Quando está integrado ao Prometheus, o Grafana exibe métricas em painéis elegantes e úteis para diferentes áreas de uma organização. • Desde 2014 por Torkel Ödegaard. • É desenvolvido pela Grafana Labs e por pessoas da comunidade. • Possui integrações com vários sistemas de coleta de métricas e logs. • Arquitetura modular e escrito em Go. Site: https://grafana.com Github: https://github.com/grafana/grafana Loki: https://github.com/grafana/loki Tempo: https://github.com/grafana/tempo Tanka: https://github.com/grafana/tanka Agent: https://github.com/grafana/agent Grafana
  10. • Uma solução de monitoramento e banco de dados de

    série temporal rápida, econômica e escalonável. Mas, em nosso caso, ele é usado para armazenamento de longo prazo e centralizado das métricas coletadas por diferentes servidores Prometheis (o plural de Prometheus). • Desde 2018, criado por Aliaksandr Valialkin. • É mantido pela empresa de mesmo nome e também pela comunidade de desenvolvedores. • Possui integrações com vários sistemas para visualização das métricas e envio de alertas. • Arquitetura modular e escrito em Go. Site: https://victoriametrics.com Github: https://github.com/VictoriaMetrics/VictoriaMetrics VictoriaMetrics
  11. • https://docs.victoriametrics.com • https://smarketshq.com/monitoring-kubernetes-clusters-41a4b24c19e3 • https://medium.com/faun/comparing-thanos-to-victoriametrics-cluster-b193bea1683 • https://medium.com/@valyala/billy-how-victoriametrics-deals-with-more-than-500-billion-rows-e82ff8f725da • https://medium.com/@valyala/evaluating-performance-and-correctness-victoriametrics-response-e27315627e87

    • https://medium.com/faun/victoriametrics-achieving-better-compression-for-time-series-data-than-gorilla-317bc1f95932 • https://blog.usejournal.com/open-sourcing-victoriametrics-f31e34485c2b • https://medium.com/@valyala/analyzing-prometheus-data-with-external-tools-5f3e5e147639 • https://medium.com/@valyala/insert-benchmarks-with-inch-influxdb-vs-victoriametrics-e31a41ae2893 • https://medium.com/@valyala/how-victoriametrics-makes-instant-snapshots-for-multi-terabyte-time-series-data-e1f3fb0e0282 • https://medium.com/@valyala/high-cardinality-tsdb-benchmarks-victoriametrics-vs-timescaledb-vs-influxdb-13e6ee64dd6b • https://medium.com/@valyala/when-size-matters-benchmarking-victoriametrics-vs-timescale-and-influxdb-6035811952d4 • https://medium.com/faun/victoriametrics-creating-the-best-remote-storage-for-prometheus-5d92d66787ac • https://medium.com/miro-engineering/prometheus-high-availability-and-fault-tolerance-strategy-long-term-storage-with-victoria metrics-82f6f3f0409e • https://medium.com/@romanhavronenko/victoriametrics-how-to-migrate-data-from-prometheus-filtering-and-modifying-time-s eries-6d40cea4bf21 Bônus: Docs sobre VictoriaMetrics
  12. • A Era da Observabilidade - New Relic • Desenvolvimento

    orientado pela observabilidade - Jennifer Riggins • DevOps measurement: Monitoring and observability - Google • Google’s Approach to Observability - Jaana Dogan • Medição de DevOps: monitoramento e observabilidade - Google • Observabilidade e microservices: por que precisamos de tracing e métricas eficazes - Mark Little • Observabilidade em escala: construindo o ecossistema de alerta da Uber - Shreyas Srivatsan • Observabilidade já ouviu falar? Use esse conceito em suas aplicações em .Net Core - Parte 1 - Fernando Mendes • O que é observabilidade e qual a diferença para a monitoração? - Pedro César Tebaldi Gomes Referências Observabilidade
  13. • Awesome Prometheus • Book: Monitoring with Prometheus - James

    Turnbull • Book: Prometheus: Up & Running - Brian Brazil • Book: ands-On Infrastructure Monitoring with Prometheus - Joel Bastos e Pedro Araújo • Instalando o Prometheus via Docker - Aécio Pires • Manual do Prometheus • Monitoring Kubernetes with Prometheus - Tobias Schmidt • Monitoring Kubernetes with Prometheus - Henri Dubois-Ferriere • Monitoring Kubernetes with Prometheus - Tom Wilkie • Monitoring in Kubernetes with Prometheus and Grafana - Josh Wood • Monitoring in Kubernetes with Prometheus and Grafana - Bastian Hofmann • Monitoring Applications with Prometheus and Grafana - Nancy Chauhan • Monitorando aplicações distribuídas nativas em cloud com Prometheus - Edilson Azevedo • Primeiros Passos com Prometheus - Aécio Pires • Prometheus 101 - Getting you started - Alexander Schwartz Referências Prometheus
  14. • Criando operators para Kubernetes usando Go - Matheus Moraes

    • Extending Kubernetes 101 - Michael Hausenblas • Implementing Microservices as Kubernetes Operators - Naveen Malik • Kubernetes Operators: Managing complex software with software - Josh Wood • Livro: Operadores de Kubernetes - Jason Dobies e Joshua Wood • Primeiros passos com Docker, Kubernetes, Helm e Istio - Aécio Pires • Writing a Custom Kubernetes Operator - Aaron Levy Referências Kubernetes & Operator
  15. • End to-end monitoring with the prometheus operator - Max

    Inden • Monitorando aplicações Spring Boot no Kubernetes com Prometheus Operator e Grafana - Jean Morais • Prometheus Operator, a tale about container monitoring at iFood (volume I) - Daniel Requena • Kube-prometheus • Kube-prometheus-stack • Prometheus-Operator Referências Prometheus Operator

More Decks by Aecio Pires

Other Decks in Technology