Кто возьмет метрик пачку, тот получит ресурсов недостачку... (Владимир Гурьянов, DevOpsConf 2024)

Сложно представить себе современный проект без эффективной системы мониторинга, и в этом контексте Prometheus выделяется как стандарт де-факто.

В своем докладе я проанализирую, почему Prometheus потребляет столько ресурсов и расскажу, как можно этого избежать. Начнем анализ с изучения механизмов хранения серий данных в Time Series Database (TSDB) Prometheus. Особое внимание уделим тому, как выбор метрик, отправляемых в Prometheus, влияет на потребление ресурсов системы.

Затем перейдем к обсуждению различных подходов и инструментов, которые могут помочь оптимизировать работу Prometheus. Основной задачей будет найти баланс между сокращением потребления ресурсов и сохранением информативности и полезности данных, хранящихся в системе.

Эти аспекты являются ключевыми для обеспечения эффективного и экономичного мониторинга в современных проектах.

Transcript

1. Кто возьмет метрик пачку, тот получит ресурсов недостачку... Владимир Гурьянов Solution Architect системы мониторинга Okmeter
2. Владимир Гурьянов Solution Architect системы мониторинга Okmeter vladimir.guryanov@flant.com Чем занимаюсь Инженер, тимлид и архитектор с 10-летним стажем. Опыт С 2010 г. занимаюсь разработкой. С 2021 г. работаю в компании «Флант». С 2022 г. руковожу разработкой «хранилища мониторинга». С чем работаю больше всего Обо мне
3. хостов Статистика по Okmeter зрелый продукт, сотни проектов 12 лет эксплуатации >250 компаний >5К метрик/мин >100 млн уникальных метрик 24/7 поддержка >10К используют Okmeter в качестве системы мониторинга по фактическим значениям круглосуточная помощь в любой ситуации в production с каждого хоста
4. Опыт «Фланта» За 15 лет более тысячи компаний построили инфраструктуру с нашей поддержкой 1 000+ компаний доверяют нам свой production > 250 компаний под нашим управлением > 9 000 серверов работает на наших решениях > 50 000 приложений Количество заказчиков 2008 1 2010 11 2012 25 2014 52 2016 52 2018 107 2020 131 2022 202 Прямо сейчас: 2023 250
7. Prometheus потребляет много ресурсов
8. Это преступление!
9. Кто был на месте преступления?
10. Кто вы, мистер Prometheus? Prometheus
11. Кто вы, мистер Prometheus? Prometheus Service Discovering
12. Кто вы, мистер Prometheus? Prometheus Service Discovering EC2, Consul, K8s… Prometheus взаимодействует с различными API для получения списка источников данных. 1. Service Discovering
13. Кто вы, мистер Prometheus? Prometheus Service Discovering Scraping EC2, Consul, K8s… Prometheus взаимодействует с различными API для получения списка источников данных. 1. Service Discovering 2. Scraping Собирает данные с источников по pull- модели и протоколу HTTP.
14. Кто вы, мистер Prometheus? Prometheus Service Discovering Scraping EC2, Consul, K8s… exporter 3rd Party Application Источники данных: • exporter — приложение, которое само собирает метрики и отдает их в формате Prometheus Prometheus взаимодействует с различными API для получения списка источников данных. 1. Service Discovering 2. Scraping Собирает данные с источников по pull- модели и протоколу HTTP.
15. Кто вы, мистер Prometheus? Prometheus Service Discovering Scraping EC2, Consul, K8s… exporter client library 3rd Party Application Application Источники данных: • exporter — приложение, которое само собирает метрики и отдает их в формате Prometheus • приложения Prometheus взаимодействует с различными API для получения списка источников данных. 1. Service Discovering 2. Scraping Собирает данные с источников по pull- модели и протоколу HTTP.
16. Кто вы, мистер Prometheus? Prometheus Service Discovering Scraping Storage EC2, Consul, K8s… exporter client library 3rd Party Application Application Prometheus взаимодействует с различными API для получения списка источников данных. 1. Service Discovering 2. Scraping Собирает данные с источников по pull- модели и протоколу HTTP. 3. Storage Полученные данные сохраняются в Time Series Database (TSDB).
17. Кто вы, мистер Prometheus? Prometheus Service Discovering Scraping Storage EC2, Consul, K8s… exporter client library 3rd Party Application Grafana Application Prometheus взаимодействует с различными API для получения списка источников данных. 1. Service Discovering 2. Scraping Собирает данные с источников по pull- модели и протоколу HTTP. 3. Storage Полученные данные сохраняются в Time Series Database (TSDB). 4. Визуализация данных Для получения данных используется PromQL. Для визуализации, как правило, используется Grafana.
18. Кто вы, мистер Prometheus? Prometheus Service Discovering Scraping Storage Rules and Alerts EC2, Consul, K8s… exporter client library 3rd Party Application Grafana Application Prometheus взаимодействует с различными API для получения списка источников данных. 1. Service Discovering 2. Scraping Собирает данные с источников по pull- модели и протоколу HTTP. 3. Storage Полученные данные сохраняются в Time Series Database (TSDB). 4. Визуализация данных Для получения данных используется PromQL. Для визуализации, как правило, используется Grafana. 5. Prometheus Rules Создание новых метрик. Проверка «триггеров».
19. Кто вы, мистер Prometheus? Prometheus Service Discovering Scraping Storage Rules and Alerts EC2, Consul, K8s… exporter client library 3rd Party Application Alertmanager Email, Slack, Telegram, etc. Grafana Application Prometheus взаимодействует с различными API для получения списка источников данных. 1. Service Discovering 2. Scraping Собирает данные с источников по pull- модели и протоколу HTTP. 3. Storage Полученные данные сохраняются в Time Series Database (TSDB). 6. Alertmanager Постобработка уведомлений и отправка их по каналам доставки. 4. Визуализация данных Для получения данных используется PromQL. Для визуализации, как правило, используется Grafana. 5. Prometheus Rules Создание новых метрик. Проверка «триггеров».
20. Кто вы, мистер Prometheus? Prometheus Service Discovering Scraping Storage Rules and Alerts UI
21. Pprof Prometheus
22. Кто вы, мистер Prometheus? Prometheus Service Discovering Scraping Storage Rules and Alerts UI ~0%
23. Кто вы, мистер Prometheus? Prometheus Service Discovering Scraping Storage Rules and Alerts UI ~0% ~5%
24. Кто вы, мистер Prometheus? Prometheus Service Discovering Scraping Storage Rules and Alerts UI ~0% ~5% ~10%
25. Кто вы, мистер Prometheus? Prometheus Service Discovering Scraping Storage Rules and Alerts UI ~0% ~30% ~5% ~10%
26. Кто вы, мистер Prometheus? Prometheus Service Discovering Scraping Storage Rules and Alerts UI ~0% ~30% ~55% ~5% ~10%
27. Подозреваемый №1: Storage. Досье
28. Storage, как храним?
29. Storage, как храним? ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10
30. Storage, как храним? ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 LabelSet
31. Storage, как храним? { ключ: значение, ключ: значение, … } LabelSet
32. Storage, как храним? { ключ: значение, ключ: значение, … } { name: cpu_usage, node: curiosity, core: 4 } LabelSet
33. Storage, как храним? ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 LabelSet
34. { name: cpu_usage, node: curiosity, core: 0 } Storage, как храним? ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 { name: cpu_usage, node: curiosity, core: 1 } { name: cpu_usage, node: curiosity, core: 999999 } LabelSet
35. { name: cpu_usage, node: curiosity, core: 0 } Storage, как храним? ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 {ls} { name: cpu_usage, node: curiosity, core: 1 } { name: cpu_usage, node: curiosity, core: 999999 }
36. { name: cpu_usage, node: curiosity, core: 0 } Storage, как храним? ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 { name: cpu_usage, node: curiosity, core: 1 } { name: cpu_usage, node: curiosity, core: 999999 } #t_id {ls}
37. { name: cpu_usage, node: curiosity, core: 0 } Storage, как храним? ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 { name: cpu_usage, node: curiosity, core: 1 } { name: cpu_usage, node: curiosity, core: 999999 } Временной ряд #t_id {ls}
38. Storage, как храним? 1 000 000 {ls} {ls} {ls}
39. Storage, как храним? 1 000 000 {ls} {ls} {ls} map
40. Storage, как храним? {ls}➞#id map {ls} {ls} {ls} 1 000 000
41. {ls}➞#id Storage, как храним? {ls}➞#id map {ls} {ls} {ls} 1 000 000
42. {ls}➞#id ts 10 #id Storage, как храним? {ls}➞#id map {ls} {ls} {ls} 1 000 000
43. {ls}➞#id ts 10 #id Storage, как храним? {ls}➞#id map ts 10 #id {ls} {ls} {ls} 1 000 000
44. Storage, как храним? {ls}➞#id {ls}➞#id map ts 10 #id {ls}➞#id ts 10 #id {ls} 1 000 000 {ls} {ls}
45. {ls} 1 000 000 {ls} {ls} Storage, как храним? {ls}➞#id map ts 10 #id {ls}➞#id ts 10 #id {ls}➞#id
46. {ls} 1 000 000 {ls} {ls} Storage, как храним? {ls}➞#id map ts 10 #id {ls}➞#id ts 10 #id {ls}➞#id {ls}➞#id ts 10 #id
47. {ls} 1 000 000 {ls} {ls} Storage, как храним? {ls}➞#id map ts 10 #id {ls}➞#id {ls}➞#id ts 10 #id {ls}➞#id ts 10 #id ts 10 #id ts 10 #id
48. {ls} 1 000 000 {ls} {ls} Storage, как храним? {ls}➞#id map ts 10 #id {ls}➞#id {ls}➞#id ts 10 #id {ls}➞#id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 ts 10 ts 10
49. {ls} 1 000 000 {ls} {ls} Storage, как храним? {ls}➞#id map ts 10 #id {ls}➞#id {ls}➞#id ts 10 #id {ls}➞#id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 ts 10 ts 10
50. {ls} 1 000 000 {ls} {ls} {ls}➞#id map ts 10 #id {ls}➞#id {ls}➞#id ts 10 #id {ls}➞#id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 ts 10 ts 10 {ls}➞#id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id map Storage, как храним?
51. Мистер Storage, а что вы делали с 21:00 до 6:00?
52. {ls} 1 000 000 {ls} {ls} Storage, как храним? {ls}➞#id map ts 10 #id {ls}➞#id {ls}➞#id ts 10 #id {ls}➞#id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 ts 10 ts 10 {ls}➞#id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id map
53. {ls} 1 000 000 {ls} {ls} Chunks {ls}➞#id map ts 10 #id {ls}➞#id {ls}➞#id ts 10 #id {ls}➞#id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 ts 10 ts 10 {ls}➞#id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id map
54. Мистер Storage, а что это у вас там — данные?
55. Chunks
56. ts 10 Chunks
57. ts 10 ts 10 ts 10 Chunks
58. Чтение одной точки = чтение всех данных ts 10 ts 10 ts 10 Gorilla кодирование Chunks
59. ts 10 Чтение одной точки = чтение всех данных Timestamp занимает 1 бит ts 10 ts 10 Delta-Delta кодирование Chunks
60. ts 10 ts 10 ts 10 Delta-Delta кодирование Gorilla кодирование Чтение одной точки = чтение всех данных Timestamp занимает 1 бит Chunks
61. ts 10 ts 10 ts 10 Chunks
62. ts 10 Chunk Chunks
63. ts 10 Chunk 2 ч. Chunks
64. ts 10 Chunk Chunk 2 ч. Chunks
65. ts 10 Chunk … Chunks
66. А если 1 миллион источников?
67. ts 10 Chunk ts 10 Chunk 2 часа 1 млн 2 ч. 2 ч. Chunks
68. ts 10 Chunk ts 10 Chunk Chunk Chunk 2 часа 1 млн 2 ч. 2 ч. Chunks
69. ts 10 … ts 10 … Chunk Chunk 2 часа 1 млн 1 млн файлов Chunks
70. А спустя 24 часа?
71. ts 10 … ts 10 … Chunk Chunk 24 часа 12 млн 12 млн файлов Chunk Chunk Chunks
72. ts 10 … ts 10 … Chunk Chunk 24 часа 12 млн 12 млн файлов Chunk Chunk Chunks Много файлов
73. ts 10 … ts 10 … Chunk Chunk 24 часа 12 млн 12 млн файлов Chunk Chunk Chunks Данные хранятся непоследовательно Много файлов
74. ts 10 … ts 10 … Chunk Chunk 24 часа 12 млн 12 млн файлов Chunk Chunk Много файлов Данные хранятся непоследовательно Chunks
75. Ваше алиби не подтвердилось. Есть другое?
76. ts 10 ts 10 ts 10 Chunk-1 Chunk-1 Chunk-1 Chunks
77. ts 10 ts 10 ts 10 Chunk-2 Chunk-2 Chunk-2 Chunk-1 Chunk-1 Chunk-1 Chunks
78. ts 10 ts 10 Мало файлов ts 10 Chunk-2 Chunk-2 Chunk-2 Chunk-1 Chunk-1 Chunk-1 Chunk-1 Chunk-1 Chunk-1 Chunks
79. ts 10 ts 10 Мало файлов Данные хранятся последовательно ts 10 Chunk-2 Chunk-2 Chunk-2 Chunk-1 Chunk-1 Chunk-1 Chunk-1 Chunk-1 Chunk-1 Chunks
80. ts 10 ts 10 ts 10 Chunk-2 Chunk-2 Chunk-2 Chunk-1 Chunk-1 Chunk-1 Chunk-1 Chunk-1 Chunk-1 Chunks Мало файлов Данные хранятся последовательно Мы знаем смешение и можем быстро прочитать нужный chunk
81. ts 10 ts 10 ts 10 Chunk-2 Chunk-2 Chunk-2 Chunk-1 Chunk-1 Chunk-1 Chunk-1 Chunk-1 Chunk-1 128 МБ Chunks Мало файлов Данные хранятся последовательно Мы знаем смешение и можем быстро прочитать нужный chunk Размер файла 128 МБ
82. ts 10 ts 10 ts 10 Chunk-2 Chunk-2 Chunk-2 Chunk-1 Chunk-1 Chunk-1 128 МБ Chunks Мало файлов Данные хранятся последовательно Мы знаем смещение и можем быстро прочитать нужный chunk Размер файла 128 МБ
83. ts 10 ts 10 ts 10 Chunk-3 Chunk-3 Chunk-3 Chunk-2 Chunk-2 Chunk-2 Chunk-1 Chunk-1 Chunk-1 128 МБ Chunks Мало файлов Данные хранятся последовательно Мы знаем смещение и можем быстро прочитать нужный chunk Размер файла 128 МБ
84. ts 10 ts 10 ts 10 Chunk-3 Chunk-3 Chunk-3 Chunk-2 Chunk-2 Chunk-1 Chunk-1 Chunk-1 128 МБ Chunk-2 Chunk-2 Chunks Мало файлов Данные хранятся последовательно Мы знаем смещение и можем быстро прочитать нужный chunk Размер файла 128 МБ
85. ts 10 ts 10 ts 10 Chunk-3 Chunk-3 Chunk-3 Chunk-2 Chunk-2 Chunk-1 Chunk-1 Chunk-1 128 МБ Chunk-2 Chunk-2 Chunks Мало файлов Данные хранятся последовательно Мы знаем смещение и можем быстро прочитать нужный chunk Размер файла 128 МБ
86. ts 10 ts 10 ts 10 Chunk-3 Chunk-3 Chunk-3 Chunk-2 Chunk-2 Chunk-1 Chunk-1 Chunk-1 128 МБ Chunk-2 Chunk-2 128 МБ Chunk-2 Chunk-2 Chunk-2
87. ts 10 ts 10 Мало файлов Данные хранятся последовательно Мы знаем смещение и можем быстро прочитать нужный chunk ts 10 Chunk-3 Chunk-3 Chunk-3 Chunk-2 Chunk-2 Chunk-1 Chunk-1 Chunk-1 128 МБ Chunk-2 Chunk-2 128 МБ Chunk-2 Chunk-2 Chunk-2 Размер файла 128 МБ Chunks
88. И снова вы что-то скрываете!
89. ts 10 Chunk 2 ч. Chunks
90. ts 10 Chunk 2 ч. 60 секунд Chunks
91. ts 10 Chunk 2 ч. 60 секунд Chunks 120
92. ts 10 Chunk 2 ч. 15 секунд Chunks
93. ts 10 Chunk 2 ч. 15 секунд Chunks 480
94. ts 10 Chunk 2 ч. 2-часовой chunk: занимает непредсказуемый объем памяти при записи 15 секунд Chunks
95. ts 10 Chunk 2 ч. 2-часовой chunk: занимает непредсказуемый объем памяти при записи занимает непредсказуемое место в памяти при чтении 15 секунд Chunks
96. Что можно сделать?
97. ts 10 Chunk-2 Chunk-1 120 точек 15 секунд Chunks Chunk фиксированного размера
98. ts 10 Chunk-2 Chunk-1 120 точек Chunk-1 15 секунд Chunks Chunk фиксированного размера Завершенные chunks не храним в памяти
99. ts 10 Chunk-2 M-map chunks Chunk-1 15 секунд Chunks Chunk фиксированного размера Завершенные chunks не храним в памяти M-map завершенных chunks для быстрого доступа к данным
100. ts 10 Chunk-7 M-map chunks Chunk-1 Chunk-2 Chunk-3 Chunk-4 Chunk-5 Chunk-6 15 секунд Chunks Chunk фиксированного размера Завершенные chunks не храним в памяти M-map завершенных chunks для быстрого доступа к данным При достижении размера блока 2 часа + ½ блока (3 часа) блок финализируется
101. ts 10 Chunk-7 M-map chunks Chunk-1 Chunk-2 Chunk-3 Chunk-4 Chunk-5 Chunk-6 15 секунд Chunks Chunk фиксированного размера Завершенные chunks не храним в памяти M-map завершенных chunks для быстрого доступа к данным При достижении размера блока 2 часа + ½ блока (3 часа) блок финализируется
102. ts 10 Chunk-7 M-map chunks Chunk-1 Chunk-2 Chunk-3 Chunk-4 block Chunks Chunk-5 Chunk-6 15 секунд Chunks Chunk фиксированного размера Завершенные chunks не храним в памяти M-map завершенных chunks для быстрого доступа к данным При достижении размера блока 2 часа + ½ блока (3 часа) блок финализируется
103. ts 10 Chunk-7 M-map chunks Chunk-1 Chunk-2 Chunk-3 Chunk-4 block Chunks Chunk-5 Chunk-6 15 секунд Chunks Chunk фиксированного размера Завершенные chunks не храним в памяти M-map завершенных chunks для быстрого доступа к данным При достижении размера блока 2 часа + ½ блока (3 часа) блок финализируется
104. ts 10 Chunk-7 M-map chunks Chunk-1 Chunk-2 Chunk-3 Chunk-4 block Chunks Index Chunk-5 Chunk-6 15 секунд Chunks Chunk фиксированного размера Завершенные chunks не храним в памяти M-map завершенных chunks для быстрого доступа к данным При достижении размера блока 2 часа + ½ блока (3 часа) блок финализируется
105. ts 10 Chunk-7 M-map chunks Chunk-5 Chunk-6 block Chunks Index Chunks Chunk фиксированного размера Завершенные chunks не храним в памяти M-map завершенных chunks для быстрого доступа к данным При достижении размера блока 2 часа + ½ блока (3 часа) блок финализируется
106. Chunks — собираем все вместе Данные по сериям хранятся в chunk • Для каждой серии данные пишутся в отдельный chunk
107. Данные по сериям хранятся в chunk • Для каждой серии данные пишутся в отдельный chunk • В каждый chunk пишется не более 120 точек Chunks — собираем все вместе
108. Данные по сериям хранятся в chunk • Для каждой серии данные пишутся в отдельный chunk • В каждый chunk пишется не более 120 точек • При достижении 120 точек chunk сохраняется на диск Chunks — собираем все вместе
109. Данные по сериям хранятся в chunk • Для каждой серии данные пишутся в отдельный chunk • В каждый chunk пишется не более 120 точек • При достижении 120 точек chunk сохраняется на диск • Все chunks пишутся в файл последовательно Chunks — собираем все вместе
110. Данные по сериям хранятся в chunk • Для каждой серии данные пишутся в отдельный chunk • В каждый chunk пишется не более 120 точек • При достижении 120 точек chunk сохраняется на диск • Все chunks пишутся в файл последовательно • При достижении 3 часов чанки «отрезаются» и сохраняются в блок Chunks — собираем все вместе
111. Данные хранятся в закодированном виде • Для чтения одной точки надо прочитать весь chunk Данные по сериям хранятся в chunk • Для каждой серии данные пишутся в отдельный chunk • В каждый chunk пишется не более 120 точек • При достижении 120 точек chunk сохраняется на диск • Все chunks пишутся в файл последовательно • При достижении 3 часов чанки «отрезаются» и сохраняются в блок Chunks — собираем все вместе
112. Данные по сериям хранятся в chunk • Для каждой серии данные пишутся в отдельный chunk • В каждый chunk пишется не более 120 точек • При достижении 120 точек chunk сохраняется на диск • Все chunks пишутся в файл последовательно • При достижении 3 часов чанки «отрезаются» и сохраняются в блок Данные хранятся в закодированном виде • Для чтения одной точки надо прочитать весь chunk • При равных промежутках между сборами данных timestamp занимает 1 бит Chunks — собираем все вместе
113. Мистер Storage, а что это у вас там – index?
114. Index {_name_=”http_requests_total”, job=”ingress”, method=”GET”}
115. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index Index
116. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index Symbols Index Symbols содержит все labels и values
117. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index SymbolID=1, _name_ Symbols Index Symbols содержит все labels и values
118. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total Index Symbols содержит все labels и values
119. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job Index Symbols содержит все labels и values
120. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress Index Symbols содержит все labels и values
121. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method Index Symbols содержит все labels и values
122. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET Index Symbols содержит все labels и values
123. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET Index Symbols содержит все labels и values
124. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET Postings Index Symbols содержит все labels и values Posting содержит пары label name и label value и массив серий, в которых они есть
125. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET Postings Index Symbols содержит все labels и values Posting содержит пары label name и label value и массив серий, в которых они есть
126. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET Postings Index Symbols содержит все labels и values Posting содержит пары label name и label value и массив серий, в которых они есть
127. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET 1,2 Postings Index Symbols содержит все labels и values Posting содержит пары label name и label value и массив серий, в которых они есть
128. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET 1,2=[SeriesID-1] Postings Index Symbols содержит все labels и values Posting содержит пары label name и label value и массив серий, в которых они есть
129. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET 1,2=[SeriesID-1] Postings 3,4=[SeriesID-1] Index Symbols содержит все labels и values Posting содержит пары label name и label value и массив серий, в которых они есть
130. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET 1,2=[SeriesID-1] Postings 3,4=[SeriesID-1] 5,6=[SeriesID-1] Index Symbols содержит все labels и values Posting содержит пары label name и label value и массив серий, в которых они есть
131. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET 1,2=[SeriesID-1] Postings 3,4=[SeriesID-1] 5,6=[SeriesID-1] Series Index Symbols содержит все labels и values Posting содержит пары label name и label value и массив серий, в которых они есть Series содержит ID серий, массив label name и label value для этой серии и ссылки на chunks
132. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET 1,2=[SeriesID-1] Postings 3,4=[SeriesID-1] 5,6=[SeriesID-1] seriesID=1 Series Index Symbols содержит все labels и values Posting содержит пары label name и label value и массив серий, в которых они есть Series содержит ID серий, массив label name и label value для этой серии и ссылки на chunks
133. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET 1,2=[SeriesID-1] Postings 3,4=[SeriesID-1] 5,6=[SeriesID-1] seriesID=1, [1,2,3,4,5,6] Series Index Symbols содержит все labels и values Posting содержит пары label name и label value и массив серий, в которых они есть Series содержит ID серий, массив label name и label value для этой серии и ссылки на chunks
134. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET 1,2=[SeriesID-1] Postings 3,4=[SeriesID-1] 5,6=[SeriesID-1] seriesID=1, [1,2,3,4,5,6], chunk_refs Series Index Symbols содержит все labels и values Posting содержит пары label name и label value и массив серий, в которых они есть Series содержит ID серий, массив label name и label value для этой серии и ссылки на chunks
135. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET 1,2=[SeriesID-1] Postings 3,4=[SeriesID-1] 5,6=[SeriesID-1] seriesID=1, [1,2,3,4,5,6], chunk_refs Series Index Symbols содержит все labels и values Posting содержит пары label name и label value и массив серий, в которых они есть Series содержит ID серий, массив label name и label value для этой серии и ссылки на chunks
136. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index Chunk-1 SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET 1,2=[SeriesID-1] Postings 3,4=[SeriesID-1] 5,6=[SeriesID-1] seriesID=1, [1,2,3,4,5,6], chunk_refs Series Index Symbols содержит все labels и values Posting содержит пары label name и label value и массив серий, в которых они есть Series содержит ID серий, массив label name и label value для этой серии и ссылки на chunks
137. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index Chunk-1 SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET 1,2=[SeriesID-1] Postings 3,4=[SeriesID-1] 5,6=[SeriesID-1] seriesID=1, [1,2,3,4,5,6], chunk_refs Series Chunk-2 Index Symbols содержит все labels и values Posting содержит пары label name и label value и массив серий, в которых они есть Series содержит ID серий, массив label name и label value для этой серии и ссылки на chunks
138. {_name_=”http_requests_total”, job=”ingress”, method=”GET”} Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET 1,2=[SeriesID-1] Postings 3,4=[SeriesID-1] 5,6=[SeriesID-1] seriesID=1, [1,2,3,4,5,6], chunk_refs Series Chunk-1 Chunk-2 Index Symbols содержит все labels и values Posting содержит пары label name и label value и массив серий, в которых они есть Series содержит ID серий, массив label name и label value для этой серии и ссылки на chunks
139. А если добавить еще одну серию?
140. {_name_=”http_requests_total”, job=”ingress”, method=”POST”} Index SymbolID=1, _name_ Symbols Chunk-1 Chunk-2 SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET 1,2=[SeriesID-1] Postings 3,4=[SeriesID-1] 5,6=[SeriesID-1] seriesID=1, [1,2,3,4,5,6], chunk_refs Series Index
141. Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET 1,2=[SeriesID-1] Postings 3,4=[SeriesID-1] 5,6=[SeriesID-1] seriesID=1, [1,2,3,4,5,6], chunk_refs Series {_name_=”http_requests_total”, job=”ingress”, method=”POST”} SymbolID=7, POST Chunk-1 Chunk-2 Index Обновляем Symbols
142. Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET Postings 5,6=[SeriesID-1] seriesID=1, [1,2,3,4,5,6], chunk_refs Series {_name_=”http_requests_total”, job=”ingress”, method=”POST”} SymbolID=7, POST 1,2=[SeriesID-1,SeriesID-2] 3,4=[SeriesID-1,SeriesID-2] 5,7=[SeriesID-2] Chunk-1 Chunk-2 Index Обновляем Symbols Обновляем Postings
143. Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET Postings 5,6=[SeriesID-1] seriesID=1, [1,2,3,4,5,6], chunk_refs Series {_name_=”http_requests_total”, job=”ingress”, method=”POST”} SymbolID=7, POST 1,2=[SeriesID-1,SeriesID-2] 3,4=[SeriesID-1,SeriesID-2] 5,7=[SeriesID-2] Chunk-1 Chunk-2 Index Обновляем Symbols Обновляем Postings
144. {_name_=”http_requests_total”, job=”ingress”, method=”POST”} Chunks Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET Postings seriesID=1, [1,2,3,4,5,6], chunk_refs Series seriesID=2, [1,2,3,4,5,7], chunk_refs 5,6=[SeriesID-1] SymbolID=7, POST 1,2=[SeriesID-1,SeriesID-2] 3,4=[SeriesID-1,SeriesID-2] 5,7=[SeriesID-2] Chunk-1 Chunk-2 Chunk-1 Chunk-2 Index Обновляем Symbols Обновляем Postings Обновляем Series
145. {_name_=”http_requests_total”, job=”ingress”, method=”POST”} Chunks Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET Postings seriesID=1, [1,2,3,4,5,6], chunk_refs Series seriesID=2, [1,2,3,4,5,7], chunk_refs 5,6=[SeriesID-1] SymbolID=7, POST 1,2=[SeriesID-1,SeriesID-2] 3,4=[SeriesID-1,SeriesID-2] 5,7=[SeriesID-2] Chunk-1 Chunk-2 Chunk-1 Chunk-2 Index Symbols содержит все labels и values Posting содержит пары label name и label value и массив серий, в которых они есть Series содержит ID серий, массив label name и label value для этой серии и ссылки на chunks
146. Что же приводит к потреблению ресурсов?
147. Сужаем круг подозреваемых Cardinality — это количество уникальных наборов лейблов для метрики
148. Cardinality {_name_=”http_requests_total”, instance=”10.101.10.1:8090”, job=”ingress”} 10.101.10.2:8090 10.101.10.3:8090
149. Cardinality {_name_=”http_requests_total”, instance=”10.101.10.1:8090”, job=”ingress”} 10.101.10.2:8090 10.101.10.3:8090 1
150. Cardinality {_name_=”http_requests_total”, instance=”10.101.10.1:8090”, job=”ingress”} 10.101.10.2:8090 10.101.10.3:8090 1 3
151. Cardinality {_name_=”http_requests_total”, instance=”10.101.10.1:8090”, job=”ingress”} 10.101.10.2:8090 10.101.10.3:8090 1 3 1
152. Количество серий: 1 x 3 x 1 Cardinality {_name_=”http_requests_total”, instance=”10.101.10.1:8090”, job=”ingress”} 10.101.10.2:8090 10.101.10.3:8090 1 3 1
153. Количество серий: 1 x 3 x 1 = 3 Cardinality {_name_=”http_requests_total”, instance=”10.101.10.1:8090”, job=”ingress”} 10.101.10.2:8090 10.101.10.3:8090 1 3 1
154. Chunks
155. ts 10 ts 10 ts 10 Chunk Chunk Chunk Влияние cardinality на chunks
156. Влияние cardinality на chunks {_name_=”http_requests_total”, instance=”10.101.10.1:8090”, job=”ingress”, method=”GET”} 10.101.10.2:8090 10.101.10.3:8090 PUT DELL POST 1 3 1 HEAD
157. Влияние cardinality на chunks {_name_=”http_requests_total”, instance=”10.101.10.1:8090”, job=”ingress”, method=”GET”} 10.101.10.2:8090 10.101.10.3:8090 PUT DELL POST 1 3 1 5 HEAD
158. Количество серий: 1 x 3 x 1 x 5 = 15 Влияние cardinality на chunks {_name_=”http_requests_total”, instance=”10.101.10.1:8090”, job=”ingress”, method=”GET”} 10.101.10.2:8090 10.101.10.3:8090 PUT DELL POST 1 3 1 5 HEAD
159. ts 10 ts 10 ts 10 Chunk Chunk Chunk ts 10 Chunk Увеличение количества chunks в памяти Влияние cardinality на chunks 15
160. {_name_=”http_requests_total”, instance=”10.101.10.1:8090”, job=”ingress”, method=”GET”, uri=”YYY”} 10.101.10.2:8090 10.101.10.3:8090 PUT DELL POST 1 3 1 5 HEAD Влияние cardinality на chunks
161. {_name_=”http_requests_total”, instance=”10.101.10.1:8090”, job=”ingress”, method=”GET”, uri=”YYY”} 10.101.10.2:8090 10.101.10.3:8090 PUT DELL POST 1 3 1 5 HEAD 1000 Влияние cardinality на chunks
162. {_name_=”http_requests_total”, instance=”10.101.10.1:8090”, job=”ingress”, method=”GET”, uri=”YYY”} 10.101.10.2:8090 10.101.10.3:8090 PUT DELL POST 1 3 1 5 Количество серий: 1 x 3 x 1 x 5 x 1000 = 15 000 HEAD 1000 Влияние cardinality на chunks
163. ts 10 ts 10 ts 10 Chunk Chunk Chunk ts 10 Chunk Увеличение количества chunks в памяти Увеличение количества chunks, которые надо прочитать в память при запросах на чтение Влияние cardinality на chunks 15 000
164. Index
165. Растет размер индекса Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET Postings seriesID=1, [1,2,3,4,5,6], chunk_refs Series seriesID=2, [1,2,3,4,5,7], chunk_refs SymbolID=7, POST Chunks SymbolID=n, … 1,2=[SeriesID-1,SeriesID-2] 3,4=[SeriesID-1,SeriesID-2] 5,7=[SeriesID-2] 5,6=[SeriesID-1] Влияние cardinality на index
166. Растет размер индекса Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET seriesID=1, [1,2,3,4,5,6], chunk_refs Series seriesID=2, [1,2,3,4,5,7], chunk_refs SymbolID=7, POST Chunks SymbolID=n, … 1,2=[SeriesID-1,SeriesID-2,SeriesID-X] 3,4=[SeriesID-1,SeriesID-2] 5,7=[SeriesID-2] x,y=[SeriesID-X] 5,6=[SeriesID-1, SeriesID-X] Влияние cardinality на index Postings
167. Растет размер индекса Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET seriesID=1, [1,2,3,4,5,6], chunk_refs Series seriesID=2, [1,2,3,4,5,7], chunk_refs SymbolID=7, POST Chunks SymbolID=n, … seriesID=X, [n], chunk_refs 1,2=[SeriesID-1,SeriesID-2,SeriesID-X] 3,4=[SeriesID-1,SeriesID-2] 5,7=[SeriesID-2] x,y=[SeriesID-X] 5,6=[SeriesID-1, SeriesID-X] Влияние cardinality на index Postings
168. Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET seriesID=1, [1,2,3,4,5,6], chunk_refs Series seriesID=2, [1,2,3,4,5,7], chunk_refs SymbolID=7, POST Chunks SymbolID=n, … seriesID=X, [n], chunk_refs 1,2=[SeriesID-1,SeriesID-2,SeriesID-X] 3,4=[SeriesID-1,SeriesID-2] 5,7=[SeriesID-2] x,y=[SeriesID-X] 5,6=[SeriesID-1, SeriesID-X] Влияние cardinality на index Растет размер индекса Postings
169. Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET seriesID=1, [1,2,3,4,5,6], chunk_refs Series seriesID=2, [1,2,3,4,5,7], chunk_refs SymbolID=7, POST Chunks SymbolID=n, … seriesID=X, [n], chunk_refs 1,2=[SeriesID-1,SeriesID-2,SeriesID-X] 3,4=[SeriesID-1,SeriesID-2] 5,7=[SeriesID-2] x,y=[SeriesID-X] 5,6=[SeriesID-1, SeriesID-X] Влияние cardinality на index Растет размер индекса Увеличивается количество операций (ресурсов) для записи одного sample Postings
170. Растет размер индекса Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET seriesID=1, [1,2,3,4,5,6], chunk_refs Series seriesID=2, [1,2,3,4,5,7], chunk_refs SymbolID=7, POST Chunks Увеличивается количество операций (ресурсов) для записи одного sample SymbolID=n, … seriesID=X, [n], chunk_refs 1,2=[SeriesID-1,SeriesID-2,SeriesID-X] 3,4=[SeriesID-1,SeriesID-2] 5,7=[SeriesID-2] x,y=[SeriesID-X] 5,6=[SeriesID-1, SeriesID-X] Увеличивается количество операций (ресурсов) для чтения одного sample Влияние cardinality на index Postings
171. Сужаем круг подозреваемых Cardinality — это количество уникальных наборов лейблов для метрики.
172. Сужаем круг подозреваемых Cardinality — это количество уникальных наборов лейблов для метрики. Churn — это мера, показывающая скорость, с которой временные ряды добавляются или удаляются из системы мониторинга, отражая динамику изменений в метриках.
173. Chunks
174. ts 10 Влияние churn на chunks
175. ts 10 ts 10 ts 10 Влияние churn на chunks
176. ts 10 ts 10 ts 10 ts 10 Влияние churn на chunks
177. ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Влияние churn на chunks
178. ts 10 ts 10 ts 10 ts 10 ts 10 Chunk-t4 ts 10 ts 10 120 samples Влияние churn на chunks
179. Незавершённые chunks хранятся в памяти ts 10 ts 10 ts 10 ts 10 ts 10 Chunk-t4 Влияние churn на chunks
180. Спустя 3 часа
181. Незавершённые chunks хранятся в памяти Неоптимальное кодирование ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Block Index Chunks Влияние churn на chunks
182. Index
183. Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET Postings seriesID=1, [1,2,3,4,5,6], chunk_refs Series seriesID=2, [1,2,3,4,5,7], chunk_refs SymbolID=7, POST Chunks SymbolID=n, … seriesID=X, [n], chunk_refs 1,2=[SeriesID-1,SeriesID-2,SeriesID-X] 3,4=[SeriesID-1,SeriesID-2] 5,7=[SeriesID-2] x,y=[SeriesID-X] 5,6=[SeriesID-1, SeriesID-X] Влияние churn на index Растет размер индекса
184. Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET Postings seriesID=1, [1,2,3,4,5,6], chunk_refs Series seriesID=2, [1,2,3,4,5,7], chunk_refs SymbolID=7, POST Chunks SymbolID=n, … seriesID=X, [n], chunk_refs 1,2=[SeriesID-1,SeriesID-2,SeriesID-X] 3,4=[SeriesID-1,SeriesID-2] 5,7=[SeriesID-2] x,y=[SeriesID-X] 5,6=[SeriesID-1, SeriesID-X] Влияние churn на index Растет размер индекса Увеличивается количество операций (ресурсов) для записи одного sample
185. Растет размер индекса Index SymbolID=1, _name_ Symbols SymbolID=2, http_requests_total SymbolID=3, job SymbolID=4, ingress SymbolID=5, method SymbolID=6, GET Postings seriesID=1, [1,2,3,4,5,6], chunk_refs Series seriesID=2, [1,2,3,4,5,7], chunk_refs SymbolID=7, POST Chunks Увеличивается количество операций (ресурсов) для записи одного sample SymbolID=n, … seriesID=X, [n], chunk_refs 1,2=[SeriesID-1,SeriesID-2,SeriesID-X] 3,4=[SeriesID-1,SeriesID-2] 5,7=[SeriesID-2] x,y=[SeriesID-X] 5,6=[SeriesID-1, SeriesID-X] Увеличивается количество операций (ресурсов) для чтения Влияние churn на index
186. Виновны! Cardinality — это количество уникальных наборов лейблов для метрики. Churn — это мера, показывающая скорость, с которой временные ряды добавляются или удаляются из системы мониторинга, отражая динамику изменений в метриках.
187. А что лежит в чемоданчике детектива?
188. Churn
189. Churn Label pairs most involved in churning: 17 job=node 11 __name__=node_systemd_unit_state 6 instance=foo:9100 4 instance=bar:9100 3 instance=baz:9100 ./tsdb analyze
190. Churn ./tsdb analyze topk(10, sum without(instance)(sum_over_time(scrape_series_added[1h])))
191. Cardinality
192. Cardinality ./tsdb analyze
193. Cardinality ./tsdb analyze Prometheus Status
194. Cardinality ./tsdb analyze Prometheus Status mimirtool analyze
195. mimirtool Cardinality
196. mimirtool Cardinality Grafana Метрики в Dashboards
197. mimirtool Cardinality Grafana Prometheus Rules Метрики в Dashboards Метрики в Rules
198. Prometheus mimirtool Cardinality Grafana Prometheus Rules Метрики Метрики в Dashboards Метрики в Rules
199. Prometheus mimirtool Cardinality Grafana Prometheus Rules Метрики Метрики в Dashboards Метрики в Rules
200. Prometheus mimirtool Cardinality Grafana Prometheus Rules Метрики Метрики в Dashboards Метрики в Rules Неиспользуемые метрики
201. Нашли кто виноват. Что дальше?
202. Избавляемся от лишнего Стараемся не добавлять лишние labels к метрикам
203. Стараемся не добавлять лишние labels к метрикам • Большинство библиотек для инструментирования имеют гибкие настройки Избавляемся от лишнего
204. Стараемся не добавлять лишние labels к метрикам • Большинство библиотек для инструментирования имеют гибкие настройки • Некоторые экспортеры имеют дополнительные настройки Избавляемся от лишнего
205. Стараемся не добавлять лишние labels к метрикам Если нет возможности на это повлиять, можно удалить лишние labels • relabel_configs позволяет как добавлять, так и удалять labels - source_labels: [requestID] action: labeldrop Избавляемся от лишнего
206. Стараемся не добавлять лишние labels к метрикам Если нет возможности на это повлиять, можно удалить лишние labels или всю метрику целиком - source_labels: [__name__] regexp: not_important_metric action: drop Избавляемся от лишнего
207. Стараемся не добавлять лишние labels к метрикам Если нет возможности на это повлиять, можно удалить лишние labels или всю метрику целиком Выставляем лимиты на sample на targets Избавляемся от лишнего
208. Стараемся не добавлять лишние labels к метрикам Если нет возможности на это повлиять, можно удалить лишние labels или всю метрику целиком Выставляем лимиты на sample на targets Выставляем лимиты на количество targets Избавляемся от лишнего
209. Мы все удалили, как теперь расследовать инциденты?
210. Как было? • Уведомление на 500-е ошибки
211. {__name__=”http_requests_total”, code=”500”, user_agent=”google Chrome 17”, uri=”/books/buy/17”, method=”POST”, request_id=”XXXX-XX-XX”, backend=”backend-32”, user_id=”17”} Как было? • Уведомление на 500-е ошибки • Метрика
212. {__name__=”http_requests_total”, code=”500”, user_agent=”google Chrome 17”, uri=”/books/buy/17”, method=”POST”, request_id=”XXXX-XX-XX”, backend=”backend-32”, user_id=”17”} Как можно? • Уведомление на 500-е ошибки • Метрика
213. {__name__=”http_requests_total”, code=”500”, user_agent=”google Chrome 17”, uri=”/books/buy/17”, method=”POST”, request_id=”XXXX-XX-XX”, backend=”backend-32”, user_id=”17”} Как можно? • Уведомление на 500-е ошибки • Метрика • Для остального есть логи и трейсы
214. Стоп, логи, метрики, трейсы — как это все связать вместе?
215. http_requests_total{method="POST", code="500"} 3 Exemplars Как выглядит обычная метрика
216. http_requests_total{method="POST", code="500"} 3 Exemplars Как выглядит обычная метрика http_requests_total{method="GET", code="500"} 3 # {trace_id="abc123"} Как выглядит метрика с exemplar
217. Exemplars • Exemplars хранятся отдельно
218. Exemplars • Exemplars хранятся отдельно • Это не бесплатно
219. Exemplars • Exemplars хранятся отдельно • Это не бесплатно • Так же, как с метриками, добавляйте их по необходимости
220. Вместо вывода
221. Это преступление!
222. Было Активных серий: 9 351 464
223. Стало Активных серий: 877 526
224. Бонус!
225. Что еще потребляет память?
226. Что еще потребляет память? prometheus remote_write
227. Что еще потребляет память? prometheus remote_write • особенно когда не получается отправить данные
228. Тимур Тукаев Head of technical marketing Спасибо! Владимир Водяницкий Куратор доклада Proofreader Иван Богданов Куратор доклада George Gaál Алёна Лунина Оформление презентации Владимир Куценко Оформление презентации Евгений Бастрыков Teamlead Observability
229. Владимир Гурьянов Флант DevOps и Kubernetes, обслуживание 24/7 habr.com/ru/company/flant youtube.com/c/Флант flant.ru t.me/flant_ru t.me/Magvai69 vladimir.guryanov@flant.com Еще один доклад Оценить доклад Solution Architect системы мониторинга Okmeter
230. Да!
231. {ls} 1 000 000 {ls} {ls} {ls}➞#id map ts 10 #id {ls}➞#id {ls}➞#id ts 10 #id {ls}➞#id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 ts 10 ts 10 {ls}➞#id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id map TSDB