Share
Embed
Как устроена разработка Kubernetes-платформы Deckhouse
Доклад руководителя разработки Deckhouse (https://deckhouse.ru/) Константина Аксенова на конференции HighLoad++ 2022.
flant
March 15, 2023
Transcript
101 slides
-
Обо мне Константин Аксёнов Руководитель разработки Deckhouse Kubernetes Platform konstantin.aksenov@flant.com
Чем занимаюсь Больше 5 лет засыпаю и просыпаюсь с мыслями о Kubernetes. Опыт С 2011 занимаюсь разработкой. С 2017 работаю в компании «Флант». С 2020 руководитель разработки Deckhouse Kubernetes Platform. С чем работаю больше всего github.com/konstantin-axenov -
Доклад будет интересен тем, кто Использует Kubernetes в production Только
присматривается к Kubernetes -
Доклад будет интересен тем, кто Использует Kubernetes в production Только
присматривается к Kubernetes Задумывается над разработкой своего «аналога OpenShift» -
Доклад будет интересен тем, кто Использует Kubernetes в production Только
присматривается к Kubernetes Задумывается над разработкой своего «аналога OpenShift» Просто любит Open Source -
Что вы, вообще, сделали? Взяли Kubernetes и засунули в него
разные Open Source-компоненты? «Работать с Kubernetes умеет каждый» -
Что вы, вообще, сделали? Взяли Kubernetes и засунули в него
разные Open Source-компоненты? «Работать с Kubernetes умеет каждый» -
Требования к Kubernetes-платформе Надежность Небольшая команда эксплуатации Идентичные Kubernetes-кластеры в
любой инфраструктуре Снижение нагрузки на пользователей платформы — NoOps Безопасность -
Управляет конфигурацией кластера и всех компонентов Устанавливает компоненты в кластер
Разворачивает Kubernetes кластер Подготавливает инфраструктуру или работает поверх bare-metal -
Управляет конфигурацией кластера и всех компонентов Устанавливает компоненты в кластер
Разворачивает Kubernetes-кластер Подготавливает инфраструктуру или работает поверх bare-metal -
Управляет конфигурацией кластера и всех компонентов Устанавливает компоненты в кластер
Разворачивает Kubernetes-кластер Подготавливает инфраструктуру или работает поверх bare-metal -
Управляет конфигурацией кластера и всех компонентов Устанавливает компоненты в кластер
Разворачивает Kubernetes-кластер Подготавливает инфраструктуру или работает поверх Bare metal -
Продукт с историей Первый коммит Enterprise Edition (EE) Community Edition
(CE) 28 июля 2021 Июль 2020 29 сентября 2017 -
Команда Product Manager Tech Lead/Architect Engineering Manager Account Manager Release
Engineer Dev Team Teamlead Developers Teamlead Developers Flant DevOps Engineers Community Dev Team Teamlead Developers Teamlead Developers -
Планирование: источники задач Product owner Сформирован roadmap до 2025 года
Q4 2022 Виртуализация Q1 2023 Web UI Q3 2023 Managed Databases -
Планирование: источники задач Product owner Команда Deckhouse Фиксы багов, работа
над стабильностью CI и тесты Технический долг (переписали с Bash на Go) Обновления Kubernetes и компонентов Сформирован roadmap до 2025 года -
Планирование: источники задач Product owner Команда Deckhouse Фиксы багов, работа
над стабильностью CI и тесты Технический долг (переписали с Bash на Go) Обновления Kubernetes и компонентов Сформирован roadmap до 2025 года Пользователи Managed K8s и Enterprise-версии Баги Новая функциональность Улучшения документации DevOps Engineers -
Планирование: источники задач Community-пользователи и большие запросы Поддержка всех возможных
провайдеров Поддержка всех возможных ОС Community -
Планирование: сортировка задач Периодичность Обработка Источник Тип Раздел Deckhouse Приоритет
Один раз в неделю Планирование: релиз Минорные релизы Патч релизы По мере необходимости Один раз в две недели -
Планирование: release flow main feature_1 feature_2 2 недели 2 недели
2 недели release-1.35 release-1.36 release-1.37 -
Планирование: release flow main feature_1 feature_2 2 недели 2 недели
2 недели release-1.36 release-1.37 release-1.35 bugfix_1 -
Планирование: release flow main feature_1 feature_2 2 недели 2 недели
2 недели bugfix_1 release-1.36 release-1.37 release-1.35 -
Разработка: GitHub Переезжали из standalone GitLab Настрадались от GitHub Actions
Но GitHub по-прежнему остаётся самым популярным https://insights.stackoverflow.com/survey/2020#technology-collaboration-tools -
Разработка: Open Source Публичные issue и changelog — доверие и
уверенность Открытые исходники — прозрачность -
Разработка: идеология Deckhouse Минимум «крутилок» Собственные интерфейсы, чтобы скрыть реализацию
NoOps — безболезненные обновления платформы Cохраняем «ванильность» K8s, никаких форков -
Разработка: идеология Deckhouse Минимум «крутилок» Собственные интерфейсы, чтобы скрыть реализацию
NoOps — безболезненные обновления платформы Cохраняем «ванильность» K8s, никаких форков -
Разработка: идеология Deckhouse Минимум «крутилок» Собственные интерфейсы, чтобы скрыть реализацию
NoOps — безболезненные обновления платформы Cохраняем «ванильность» K8s, никаких форков -
Разработка: идеология Deckhouse Минимум «крутилок» Собственные интерфейсы, чтобы скрыть реализацию
NoOps — безболезненные обновления платформы Cохраняем «ванильность» K8s, никаких форков -
Разработка: наш вклад в Kubernetes Топ-1 в России Входим в
топ-150 в мире -
Разработка: наш вклад в Open Source Все патчи должны быть
донесены в upstream Если изменения приняли в upstream — это гарантия, что они будут работать Влияем на развитие важных для нас компонентов Дополнительная оценка наших изменений -
Разработка: наш вклад в Open Source Все патчи должны быть
донесены в upstream Если изменения приняли в upstream — это гарантия, что они будут работать Влияем на развитие важных для нас компонентов Дополнительная оценка наших изменений Наш пример с containerd -
Тестирование Модульные тесты Helm, hook’ов, OpenAPI Модульные матричные тесты E2E-тесты
для каждого провайдера и конфигурации E2E-тесты обновления минорной версии Deckhouse Линтеры кода, линтеры шаблонов, валидаторы и прочее -
Тестирование: множество вариантов ОС и версий Kubernetes РЕД ОС Версии:
7.1 AlterOS Версии: 7 Astra Linux Special Edition Версии: 1.7 CentOS Версии: 7, 8, 9 Debian Версии: 9, 10, 11 Ubuntu Версии: 16.04, 18.04, 20.04, 22.04 Kubernetes Версии: 1.20, 1.21, 1.22, 1.23, 1.24 -
Тестирование: множество вариантов всего Поддержка 2-х CRI: Docker и сontainerd
Поддержка 2-х CNI: flannel и Cilium Несколько десятков модулей -
Тестирование: множество вариантов всего Поддержка 2-х CRI: Docker и containerd
Поддержка 2-х CNI: flannel и Cilium Несколько десятков модулей -
Разработка и тестирование: важные моменты Публичная разработка дала нам только
плюсы Следует приносить изменения во все используемые Open Source-проекты У продукта должна быть идеология и правила Тесты — это хорошо, но всё протестировать невозможно -
Разработка и тестирование: важные моменты Публичная разработка дала нам только
плюсы Следует приносить изменения во все используемые Open Source-проекты У продукта должна быть идеология и правила Тесты — это хорошо, но всё протестировать невозможно И как же мы решили проблему с тестами? -
Разработка и тестирование: важные моменты И как же мы решили
проблему с тестами? Нужен правильно выстроенный релизный процесс! Публичная разработка дала нам только плюсы Следует приносить изменения во все используемые Open Source-проекты У продукта должна быть идеология и правила Тесты — это хорошо, но всё протестировать невозможно -
Релиз: уверенность Каналы обновлений Очередность выката Окна обновлений Ручные обновления
Менее стабильные Более стабильные Alpha Beta Early Access Stable Rock Solid -
Релиз: уверенность Каналы обновлений Очередность выката Окна обновлений Ручные обновления
Your Deckhouse is waiting for the v1.36.5 update approval $ kubectl patch deckhouserelease v1-36-5 \ --type=merge -p='{"approved": true}' -
Релиз: люди Релиз-инженер Оповещение пользователей Отслеживание процесса релиза (телеметрия и
логи) Первичная обработка входящих ошибок по проблемам во время обновления -
Релиз: люди Релиз-инженер Оповещение пользователей Отслеживание процесса релиза (телеметрия и
логи) Первичная обработка входящих ошибок по проблемам во время обновления Ответственный за релиз Своевременная «заморозка» кодовой базы Проверка changelog’а Проверка E2E по обновлению релиза Финальное согласование выката Поддержка релиз-инженера -
Релиз: отслеживание Логи deckhouse-controller Аудит-логи с kube-apiserver Телеметрия с информацией
о кластере Всё это собирается только с кластеров под нашим управлением -
Релиз: процесс обновления Deckhouse Release v1.36.3 stable v1.36.3 v1.36.4 registry.deckhouse.io
tag: v1.35.9 Проверка требований -
Релиз: процесс обновления Deckhouse Release v1.36.3 tag: v1.36.3 stable v1.36.3
v1.36.4 registry.deckhouse.io -
Релиз: процесс обновления Deckhouse Release v1.36.3 tag: v1.36.3 stable v1.36.3
v1.36.4 registry.deckhouse.io -
Релиз: процесс обновления Deckhouse Release v1.36.3 Deckhouse Release v1.36.4 tag:
v1.36.3 stable v1.36.3 v1.36.4 registry.deckhouse.io -
Релиз: процесс обновления Deckhouse Release v1.36.3 Deckhouse Release v1.36.4 tag:
v1.36.4 stable v1.36.3 v1.36.4 registry.deckhouse.io -
Релиз: процесс обновления Deckhouse Release v1.36.3 Deckhouse Release v1.36.4 tag:
v1.36.4 stable v1.36.3 v1.36.4 registry.deckhouse.io -
Релиз: интересные случаи Observed a panic Проблема: Помогли каналы обновлений
и FE-редакция Сделали E2E для проверки обновлений релизов Cломался механизм обновления Deckhouse controller Решение: -
Старый Docker Релиз: интересные случаи Проблема: Остановили канареечный релиз на
Early Access Прекратили поддержку Docker 18.09 При обновлении kubelet зависали узлы с Docker 18.09 Решение: -
Deprecated API Релиз: интересные случаи Проблема: 10 ударов плетью для
тимлида команды разработки Надо обязательно ставить себя на место пользователя Пользователям пришлось дважды править устаревшие API в одном репозитории Решение: -
Релиз: важные моменты Ретроспектива релиза Главное — делать выводы из
ошибок Нельзя катать по ночам :) -
Эксплуатация Большая сервисная история Дежурный инженер, дежурный по установке кластеров
Целая команда разработчиков on-call для решения клиентских проблем А ещё есть постоянные демо, пилоты и внедрения -
Итоги У продукта должна быть идеология и правила Протестировать всё
невозможно, но правильные процессы закрывают проблему Релизы нужно обязательно катать часто, но безопасно и незаметно Клиенты ценят сервис Обязательно нужно проводить ретроспективу и анализировать ошибки -
Что вы, вообще, сделали? Взяли Kubernetes и засунули в него
разные Open Source-компоненты? «Работать с Kubernetes умеет каждый» -
Что вы, вообще, сделали? Взяли Kubernetes и засунули в него
разные Open Source-компоненты? «Работать с Kubernetes умеет каждый» -
Флант flant.ru GitHub github.com/deckhouse Блог habr.com/company/flant Вакансии job.flant.ru deckhouse.io Константин
Аксёнов konstantin.aksenov@flant.com