Опыт использования Nessie в Азбуке Вкуса

Transcript

1. Опыт использования Nessie в Азбуке Вкуса Алексей Крюков Руководитель направления проверки гипотез в Азбуке Вкуса
2. План доклада • О Азбуке Вкуса • Как выбирали каталог • Чем хорош Nessie • Кейсы Азбуки Вкуса • Работа связки Trino + Nessie • О проблемах • Планы на будущее 2
3. О Азбуке Вкуса 3 сеть 171 магазин 3 региона 5 форматов хранилище объем данных: 8 тб кол-во таблиц: 420 шт compute 24vCPU 256Gb RAM 512GB SSD люди 3 дата-инженера ~30 аналитиков
4. Текущий ландшафт 4
5. Первый каталог 5
6. Требования к каталогу • Реализация Iceberg REST API • Легко развернуть • Open Source • Поддержка View • Оптимальный для начала 6
7. Каталог от Tabular • REST API обертка над JDBС-каталогом • Хорошо показал себя во время пилота • Минимум настроек 7
8. Почему сменили? 8
9. Мотивация смены каталога Сложность чистки и оптимизации данных 1 2 3 Необходимость тестового стенда Копирование данных для проверок гипотез 4 5 Отсутствие контроля доступа к хранилищу S3 Упрощение разработки 6 9 Прекращение поддержки каталога Tabular
10. Новые требования • Реализация Iceberg REST API • Легко развернуть • Open Source • Поддержка View • Поддержка Zero-Copy Cloning • Аутентификация и авторизация • Упрощение обслуживания 10
11. Project Nessie все это может! 11
12. Что такое Project Nessie? • Мульти-табличные транзакции • Работа с данными, как с кодом в git (branch, merge, tagging, rollback) • Zero-Copy Cloning • Поддержка Iceberg REST API и View • Автоматическая очистка данных • Официальный Docker и Kubernetes Helm Chart • Контроль доступа через OpenID • Open Source 12
13. Коммиты, ветки, тэги • Коммит – консистентный слепок всех таблиц на определенный момент времени • Тэг – именованная ссылка на определенный коммит • Ветка – именованная ссылка к которой можно добавлять коммиты • Слияние – Комбинирование двух коммитов 13
14. Мульти-табличные транзакции 14
15. Аутентификация 15
16. Автоматическая очистка 16 Для очистки используется отдельная утилита Nessie GC
17. Другие утилиты Nessie Server Admin Tool • Создание/восстановление бакапов • Очистка базы 17 Nessie CLI • Создание/удаление веток/тэгов • Слияние веток • Откат изменений • Просмотр содержания каталога
18. Авторизация Настройка при помощи Common Expression Language 18
19. Кейсы 19
20. Кейс 1. Песочницы Дата-инженер/data scientist использует слепок хранилища для разработки новой фичи/исследований • Экономия времени на настройку среды • Экономия объема бакета 20
21. Кейс 1. Песочницы 21
22. Кейс 2. Тестовый стенд Перед релизом функционала можно проводить полноценное end-to-end тестирование • Уменьшение кол-ва ошибок на проде • Интеграция с CI/CD • Подключение BI-инструментов 22
23. Кейс 2. Тестовый стенд 23
24. Кейс 2. Тестовый стенд 24
25. Кейс 3. Консистентные данные 25 Пользователи всегда работают с качественными консистентными данными • Повышение качества отчетности • Доверие пользователей
26. Кейс 3. Консистентные данные 26
27. Работа Trino с Nessie 27
28. Создание/удаление веток 28
29. Синхронизация веток 29
30. Единственная ветка Trino видит только последний коммит 30
31. А как же проблемы? 31
32. Кэширование 32 Без включения кэша скорость заметно ниже, чем в каталоге Tabular
33. Очистка данных https://github.com/projectnessie/nessie/issues/10013 33
34. Будущее Nessie 34
35. Apache Polaris ü Контроль доступа RBAC ü Федеративный каталог ü Полноценное обслуживание таблиц ü Вэб-интерфейс ü И многое другое… 35
36. Спасибо за внимание! 36 Остались вопросы? Алексей Крюков Азбука Вкуса https://t.me/alekhed @alekhed