Lakehouse в Лемана Тех. От архитектуры до оптимизации

Transcript

1. Петр Гуринов Сергей Куприков Lakehouse в Лемана Тех: от архитектуры до оптимизации
2. 2 Что расскажем Архитектуру платформы данных в Лемана Тех Инсталляцию кластеров DLH Мониторинг DLH
3. 3 Петр Гуринов ▪ Руководитель практики инженерии данных в Лемана Тех ▪ Работаю с хранилищами данных более 5 лет ▪ Выпускник Мехмат МГУ и Бизнес-Информатики НИУ ВШЭ petr.gurinov@lemanapro.ru t.me/vonirug
4. Масштабы бизнеса Сотрудников 40 000 + Дарксторов 11 РЦ 6 Магазинов 112 object storage > 1,5 PB DWH > 600 TB > 1 200 (~2 TB) ETL Jobs / День 4
5. Архитектура в Лемана Тех
6. Ландшафт платформы данных
7. Архитектура Data Platform 7
12. Greenplum MPP Shared Nothing СУБД на основе PostgreSQL, подходит для хранения и обработки больших объемов данных 12
15. Greenplum у нас CPU 1 760 RAM 16.5 TB Primary Segments Server Segments 22 SSD 924 TB 396 15 ▪ Развиваем 6 лет ▪ Единое хранилище данных ▪ > 300 интеграций ▪ ~ 1 300 витрин с ~ 500 000 строками бизнес логики ▪ Ad-hoc для всех сотрудников компании
17. Как мы искали “жертву” для эксперимента
19. 19 ограниченное кол-во потребителей
20. 20 ограниченное кол-во потребителей МНОГО ДАННЫХ
21. Кто был первым? 21 ▪ Clickstream - события с сайта и мобильного приложения
22. Кто был первым? 22 ▪ Clickstream - события с сайта и мобильного приложения ▪ Занимали более 100 Тб только в GP ▪ 3 интеграции ▪ 9 актуальных витрин ▪ 2 домена, 5 продуктовых команды
23. Развитие платформы данных
25. Требования к новой системе 25 ▪ Вписывается в текущий ландшафт платформы данных ▪ Cloud Ready / Cloud Agnostic ▪ Open source ▪ Разделение слоев хранения и обработки
26. Требования к новой системе 26 ▪ Вписывается в текущий ландшафт платформы данных ▪ Cloud Ready / Cloud Agnostic ▪ Open source ▪ Разделение слоев хранения и обработки ▪ Низкий порог входа для пользователей платформы данных
27. SQL над S3 Impala Dremio Trino Лицензирование ✓ ✗ ✓ Активность сообщества ? ✓ ✓ ANSI SQL ✗ ? ✓* Гетерогенность источников ✗ ✓ ✓ Поддержка табличных форматов ? ? ? Кеширование ✗ ✓ ✗ * https://trino.io/docs/current/overview/concepts.html#statement 27
28. Табличные форматы 28 Iceberg Hudi Delta Lake Лицензирование ✓ ✓ ? Активность сообщества ✓ ? ✓ Trino - read / write ✓/✓ ✓/✗ ✓/? Schema Evolution ✓ ? ✓ Point-in-Time ✓ ✓ ✓
29. Data Lakehouse – DLH 29 Компоненты независимы Trino - вычисления HMS - хранение метаданных Iceberg - табличный формат S3 - хранение данных
30. Проблемы и Ограничения DLH ▪ Старые источники из DWH не имеют данных на S3 30
31. Проблемы и Ограничения DLH ▪ Старые источники из DWH не имеют данных на S3 ▪ Trino не имеет оптимизированного коннектора к GP ▪ GP не читает Iceberg 31
32. Проблемы и Ограничения DLH ▪ Старые источники из DWH не имеют данных на S3 ▪ Trino не имеет оптимизированного коннектора к GP ▪ GP не читает Iceberg ▪ Отсутствие временных таблиц в Trino ▪ Отсутствие мультитранзакций в Iceberg ▪ Научиться управлять типами данных 32
33. Проблемы и Ограничения DLH ▪ Старые источники из DWH не имеют данных на S3 ▪ Trino не имеет оптимизированного коннектора к GP ▪ GP не читает Iceberg ▪ Отсутствие временных таблиц в Trino ▪ Отсутствие мультитранзакций в Iceberg ▪ Научиться управлять типами данных ▪ Научиться жить без SPILL-ов 33
38. Что мы получили 38 ▪ Эволюционно развиваем технологии ▪ Вся инфраструктура в k8s ▪ Разные вычислительные движки могут использовать одни и те же данные ▪ Скалируем независимо Storage и Compute
39. Текущее состояние DLH
40. 40 Сергей Куприков ▪ Техлид продукта DLH ▪ Фанат DataOps подходов ▪ Платформенный инженер данных sergei.kuprikov@lemanapro.ru t.me/kuprikovsergey
41. Текущее состояние DLH 41
42. Текущее состояние DLH 42
43. Текущее состояние DLH 43
44. Текущее состояние DLH 44
45. Текущее состояние DLH 45
46. Текущее состояние DLH 46
47. Управление инфраструктурой
48. Текущее состояние DLH 48
49. Текущее состояние DLH 49
50. Управление инфраструктурой ▪ Состояние хранится в репозитории ▪ Удобное управление версиями ▪ Возможность отката изменений ▪ Секреты приложения подтягиваются из Vault 50
51. Мониторинг
52. Мониторинг производительности
53. Мониторинг производительности 53
54. Мониторинг производительности 54
55. Мониторинг производительности 55
56. Мониторинг производительности 56
57. Мониторинг производительности 57
58. Мониторинг производительности 58
59. Мониторинг пользовательских запросов
60. Мониторинг запросов 60
61. Мониторинг запросов 61
62. Мониторинг запросов 62
63. Мониторинг запросов 63
64. Мониторинг запросов 64
65. Мониторинг запросов 65
66. Мониторинг запросов 66
67. Мониторинг запросов 67
68. Мониторинг запросов 68
69. Мониторинг запросов 69
70. Мониторинг запросов 70
72. Выводы
73. Выводы ▪ Расчеты в DLH выполняются стабильно ▪ Cократили лаг расчета витрин ▪ Экономим только на хранении данных более чем в 10х 73
74. Выводы ▪ Расчеты в DLH выполняются стабильно ▪ Cократили лаг расчета витрин ▪ Экономим только на хранении данных более чем в 10х ▪ Счастливые аналитики в продуктовых командах 74
75. Куда дальше ▪ Замена Hive Metastore ▪ Продуктивизация SCD2 таблиц ▪ Обслуживание(maintenance) Iceberg таблиц ▪ Автоскейлинг кластеров Trino ▪ Копирование Iceberg таблиц в greenplum ▪ Резервирование Iceberg у разных s3 провайдеров 75
76. Спасибо Сергей Куприков t.me/kuprikovsergey Петр Гуринов t.me/vonirug lemanaprotech grafana-trino-overview-preset