Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Как устроена разработка Kubernetes-платформы De...

flant
March 15, 2023

Как устроена разработка Kubernetes-платформы Deckhouse

Доклад руководителя разработки Deckhouse (https://deckhouse.ru/) Константина Аксенова на конференции HighLoad++ 2022.

flant

March 15, 2023
Tweet

More Decks by flant

Other Decks in Technology

Transcript

  1. Обо мне Константин Аксёнов Руководитель разработки Deckhouse Kubernetes Platform konstantin.aksenov@flant.com

    Чем занимаюсь Больше 5 лет засыпаю и просыпаюсь с мыслями о Kubernetes. Опыт С 2011 занимаюсь разработкой. С 2017 работаю в компании «Флант». С 2020 руководитель разработки Deckhouse Kubernetes Platform. С чем работаю больше всего github.com/konstantin-axenov
  2. Доклад будет интересен тем, кто Использует Kubernetes в production Только

    присматривается к Kubernetes Задумывается над разработкой своего «аналога OpenShift»
  3. Доклад будет интересен тем, кто Использует Kubernetes в production Только

    присматривается к Kubernetes Задумывается над разработкой своего «аналога OpenShift» Просто любит Open Source
  4. Что вы, вообще, сделали? Взяли Kubernetes и засунули в него

    разные Open Source-компоненты? «Работать с Kubernetes умеет каждый»
  5. Что вы, вообще, сделали? Взяли Kubernetes и засунули в него

    разные Open Source-компоненты? «Работать с Kubernetes умеет каждый»
  6. Требования к Kubernetes-платформе Надежность Небольшая команда эксплуатации Идентичные Kubernetes-кластеры в

    любой инфраструктуре Снижение нагрузки на пользователей платформы — NoOps Безопасность
  7. Управляет конфигурацией кластера и всех компонентов Устанавливает компоненты в кластер

    Разворачивает Kubernetes кластер Подготавливает инфраструктуру или работает поверх bare-metal
  8. Управляет конфигурацией кластера и всех компонентов Устанавливает компоненты в кластер

    Разворачивает Kubernetes-кластер Подготавливает инфраструктуру или работает поверх bare-metal
  9. Управляет конфигурацией кластера и всех компонентов Устанавливает компоненты в кластер

    Разворачивает Kubernetes-кластер Подготавливает инфраструктуру или работает поверх bare-metal
  10. Управляет конфигурацией кластера и всех компонентов Устанавливает компоненты в кластер

    Разворачивает Kubernetes-кластер Подготавливает инфраструктуру или работает поверх Bare metal
  11. Команда Product Manager Tech Lead/Architect Engineering Manager Account Manager Release

    Engineer Dev Team Teamlead Developers Teamlead Developers Flant DevOps Engineers Community Dev Team Teamlead Developers Teamlead Developers
  12. Планирование: источники задач Product owner Команда Deckhouse Фиксы багов, работа

    над стабильностью CI и тесты Технический долг (переписали с Bash на Go) Обновления Kubernetes и компонентов Сформирован roadmap до 2025 года
  13. Планирование: источники задач Product owner Команда Deckhouse Фиксы багов, работа

    над стабильностью CI и тесты Технический долг (переписали с Bash на Go) Обновления Kubernetes и компонентов Сформирован roadmap до 2025 года Пользователи Managed K8s и Enterprise-версии Баги Новая функциональность Улучшения документации DevOps Engineers
  14. Планирование: сортировка задач Периодичность Обработка Источник Тип Раздел Deckhouse Приоритет

    Один раз в неделю Планирование: релиз Минорные релизы Патч релизы По мере необходимости Один раз в две недели
  15. Планирование: release flow main feature_1 feature_2 2 недели 2 недели

    2 недели release-1.36 release-1.37 release-1.35 bugfix_1
  16. Планирование: release flow main feature_1 feature_2 2 недели 2 недели

    2 недели bugfix_1 release-1.36 release-1.37 release-1.35
  17. Разработка: GitHub Переезжали из standalone GitLab Настрадались от GitHub Actions

    Но GitHub по-прежнему остаётся самым популярным https://insights.stackoverflow.com/survey/2020#technology-collaboration-tools
  18. Разработка: Open Source Публичные issue и changelog — доверие и

    уверенность Открытые исходники — прозрачность
  19. Разработка: идеология Deckhouse Минимум «крутилок» Собственные интерфейсы, чтобы скрыть реализацию

    NoOps — безболезненные обновления платформы Cохраняем «ванильность» K8s, никаких форков
  20. Разработка: идеология Deckhouse Минимум «крутилок» Собственные интерфейсы, чтобы скрыть реализацию

    NoOps — безболезненные обновления платформы Cохраняем «ванильность» K8s, никаких форков
  21. Разработка: идеология Deckhouse Минимум «крутилок» Собственные интерфейсы, чтобы скрыть реализацию

    NoOps — безболезненные обновления платформы Cохраняем «ванильность» K8s, никаких форков
  22. Разработка: идеология Deckhouse Минимум «крутилок» Собственные интерфейсы, чтобы скрыть реализацию

    NoOps — безболезненные обновления платформы Cохраняем «ванильность» K8s, никаких форков
  23. Разработка: наш вклад в Open Source Все патчи должны быть

    донесены в upstream Если изменения приняли в upstream — это гарантия, что они будут работать Влияем на развитие важных для нас компонентов Дополнительная оценка наших изменений
  24. Разработка: наш вклад в Open Source Все патчи должны быть

    донесены в upstream Если изменения приняли в upstream — это гарантия, что они будут работать Влияем на развитие важных для нас компонентов Дополнительная оценка наших изменений Наш пример с containerd
  25. Тестирование Модульные тесты Helm, hook’ов, OpenAPI Модульные матричные тесты E2E-тесты

    для каждого провайдера и конфигурации E2E-тесты обновления минорной версии Deckhouse Линтеры кода, линтеры шаблонов, валидаторы и прочее
  26. Тестирование: множество вариантов ОС и версий Kubernetes РЕД ОС Версии:

    7.1 AlterOS Версии: 7 Astra Linux Special Edition Версии: 1.7 CentOS Версии: 7, 8, 9 Debian Версии: 9, 10, 11 Ubuntu Версии: 16.04, 18.04, 20.04, 22.04 Kubernetes Версии: 1.20, 1.21, 1.22, 1.23, 1.24
  27. Тестирование: множество вариантов всего Поддержка 2-х CRI: Docker и сontainerd

    Поддержка 2-х CNI: flannel и Cilium Несколько десятков модулей
  28. Тестирование: множество вариантов всего Поддержка 2-х CRI: Docker и containerd

    Поддержка 2-х CNI: flannel и Cilium Несколько десятков модулей
  29. Разработка и тестирование: важные моменты Публичная разработка дала нам только

    плюсы Следует приносить изменения во все используемые Open Source-проекты У продукта должна быть идеология и правила Тесты — это хорошо, но всё протестировать невозможно
  30. Разработка и тестирование: важные моменты Публичная разработка дала нам только

    плюсы Следует приносить изменения во все используемые Open Source-проекты У продукта должна быть идеология и правила Тесты — это хорошо, но всё протестировать невозможно И как же мы решили проблему с тестами?
  31. Разработка и тестирование: важные моменты И как же мы решили

    проблему с тестами? Нужен правильно выстроенный релизный процесс! Публичная разработка дала нам только плюсы Следует приносить изменения во все используемые Open Source-проекты У продукта должна быть идеология и правила Тесты — это хорошо, но всё протестировать невозможно
  32. Релиз: уверенность Каналы обновлений Очередность выката Окна обновлений Ручные обновления

    Your Deckhouse is waiting for the v1.36.5 update approval $ kubectl patch deckhouserelease v1-36-5 \ --type=merge -p='{"approved": true}'
  33. Релиз: люди Релиз-инженер Оповещение пользователей Отслеживание процесса релиза (телеметрия и

    логи) Первичная обработка входящих ошибок по проблемам во время обновления
  34. Релиз: люди Релиз-инженер Оповещение пользователей Отслеживание процесса релиза (телеметрия и

    логи) Первичная обработка входящих ошибок по проблемам во время обновления Ответственный за релиз Своевременная «заморозка» кодовой базы Проверка changelog’а Проверка E2E по обновлению релиза Финальное согласование выката Поддержка релиз-инженера
  35. Релиз: отслеживание Логи deckhouse-controller Аудит-логи с kube-apiserver Телеметрия с информацией

    о кластере Всё это собирается только с кластеров под нашим управлением
  36. Релиз: интересные случаи Observed a panic Проблема: Помогли каналы обновлений

    и FE-редакция Сделали E2E для проверки обновлений релизов Cломался механизм обновления Deckhouse controller Решение:
  37. Старый Docker Релиз: интересные случаи Проблема: Остановили канареечный релиз на

    Early Access Прекратили поддержку Docker 18.09 При обновлении kubelet зависали узлы с Docker 18.09 Решение:
  38. Deprecated API Релиз: интересные случаи Проблема: 10 ударов плетью для

    тимлида команды разработки Надо обязательно ставить себя на место пользователя Пользователям пришлось дважды править устаревшие API в одном репозитории Решение:
  39. Эксплуатация Большая сервисная история Дежурный инженер, дежурный по установке кластеров

    Целая команда разработчиков on-call для решения клиентских проблем А ещё есть постоянные демо, пилоты и внедрения
  40. Итоги У продукта должна быть идеология и правила Протестировать всё

    невозможно, но правильные процессы закрывают проблему Релизы нужно обязательно катать часто, но безопасно и незаметно Клиенты ценят сервис Обязательно нужно проводить ретроспективу и анализировать ошибки
  41. Что вы, вообще, сделали? Взяли Kubernetes и засунули в него

    разные Open Source-компоненты? «Работать с Kubernetes умеет каждый»
  42. Что вы, вообще, сделали? Взяли Kubernetes и засунули в него

    разные Open Source-компоненты? «Работать с Kubernetes умеет каждый»