Как мы меняли прописку сервисов с Mesos на Kubernetes

Смена технических решений — это всегда больно. Ещё больнее, когда это решение является краеугольным камнем вашей архитектуры, на который завязано если и не всё, то многое. В какой-то момент мы столкнулись с тем, что испытываем неудобства, нам не хватает фич при использовании связки Mesos-Marathon-Chronos и у нас возникло желание перейти на другое решение, которым был выбран Kubernetes.

В докладе расскажем про опыт миграции тестовых и продакшн-сред с одной платформы на другую, а именно:
- как мы мигрировали 40+ сервисов с одной платформы на другую;
- какие технические и организационные решения были применены;
- какие проблемы мы видели сразу, а о каких узнали только в процессе перехода;
- как мы решили проблему влияния на процессы разработки и доставки ПО на период миграции;
- почему организационных проблем при переезде оказалось не меньше, чем технических.

Transcript

1. Меняем прописку сервисов Или путешествие с Mesos’a на Kubernetes Тарасов Александр Director of Engineering @ ANNA Money
2. @aatarasoff @aatarasoff @aatarasoff 2 @aatarasoff
3. Меняем прописку сервисов Или путешествие с Mesos’a на Kubernetes 3
4. Минздрав предупреждает Мнение докладчика может не совпадать с официальной позицией его работодателя, начальника, коллег или других специалистов. Все представленные в докладе сведения, примеры, выводы и другую информацию вы можете использовать на свой страх и риск. За все ваши действия ответственность несёте только вы сами. 4
5. Минздрав предупреждает II Этот доклад не про Mesos Этот доклад не про Kubernetes Модных и хайповых инструментов не будет 5
6. 0. Нахуа? 6
7. Что такое ANNA? 7
8. • Стартап • Банк для бизнеса • Mobile-Only • AI Assistant 8
9. Немного фактов • 40+ сервисов • 10+ интеграций с партнерами • 6 независимых команд • 10+ тестовых сред 9
10. Mesos + Marathon + Chronos 10
11. Почему Mesos? 11
12. Причина #1: экспертиза 12
13. Причина #2: ??? 13
14. Почему Kubernetes? 14
15. Причина #1: экспертиза 15
16. Причина #2: фичи 16
17. Причина #3: перспектива 17
18. Принципы миграции 18
19. Принцип #1: незаметно для пользователя 19
20. Принцип #2: не мешать командам 20
21. Принцип #3: не менять процесс 21
22. 1. Сила абстракции 22
23. Как обычно представляют деплой? 23
24. Наивный деплоймент ./smth_paas apply app.yml 24
25. Деплоймент как процесс • Миграции на БД • Пост-контроль • Откат (и если надо то и миграцию откатить) • Оповещения • Тестирование 25
26. Как мы деплоим? 26
27. Типовые шаги деплоймента • Проверить/создать пользователя/схему в БД • Накатить миграцию данных • Накатить новую версию сервиса • Накатить сопутствующие крон-джобы • Запускать тесты на разных этапах • По пути кидать сообщения и алерты 27
28. Принципиальная схема деплоя 28
29. Деплоймент в терминах Mesos’a • Миграция = одноразовый таск в Chronos • Сервис = long-running task в Marathon • Cron-Job = периодический таск в Chronos 29
30. Сервис как набор артефактов 30
31. Проблема #1: много бойлерплейта 31
32. Проблема #2: жесткий формат манифестов 32
33. Проблема #3: не только Mesos 33
34. Не только Mesos • Миграция = одноразовый таск в Chronos • Сервис = long-running task в Marathon • Cron-Job = периодический таск в Chronos • Тесты != Mesos • Сообщения и алерты != Mesos 34
35. А что если сделать свой манифест? 35
36. Схема процессинга манифеста 36
37. Пишем свой манифест деплоя application: app_name: hcn test: cpu: 0.5 mem: 512.0 instances: 2 prod: cpu: 0.5 mem: 512.0 instances: 4 rmq: True mongo: True 37
38. Пишем свой манифест деплоя application: app_name: hcn test: cpu: 0.5 mem: 512.0 instances: 2 prod: cpu: 0.5 mem: 512.0 instances: 4 rmq: True mongo: True 38
39. Пишем свой манифест деплоя application: app_name: hcn test: cpu: 0.5 mem: 512.0 instances: 2 prod: cpu: 0.5 mem: 512.0 instances: 4 rmq: True mongo: True 39
40. Фичи в одну строку application: app_name: hcn test: cpu: 0.5 mem: 512.0 instances: 2 prod: cpu: 0.5 mem: 512.0 instances: 4 rmq: True //RMQ feature mongo: True //Mongo feature 40
41. Фичи в одну строку application: app_name: hcn test: cpu: 0.5 mem: 512.0 instances: 2 prod: cpu: 0.5 mem: 512.0 instances: 4 rmq: True ---> подключение к очереди mongo: True ---> подключение к MongoDB и миграции 41
42. Добавим связанные батч-таски application: app_name: account ... chronos: True chronos_tasks: - name: "ACCOUNT_SYNC_CUSTOMERS_TO_XXX" schedule: R//PT30M command: python /app/account/sync.py - name: "ONE_ANOTHER_BATCH_TASK" schedule: R//PT10M command: python /app/account/oabt.py 42
43. Добавим связанные батч-таски application: app_name: account ... chronos: True chronos_tasks: - name: "ACCOUNT_SYNC_CUSTOMERS_TO_XXX" schedule: R//PT30M command: python /app/account/sync.py - name: "ONE_ANOTHER_BATCH_TASK" schedule: R//PT10M command: python /app/account/oabt.py 43
44. Convention Over Configuration application: app_name: hcn test: cpu: 0.5 mem: 512.0 instances: 2 prod: cpu: 0.5 mem: 512.0 instances: 4 ... "id": "/hcn", "cmd": "python /app/hcn/main.py", "cpus": 0.5, "mem": 512, "instances": 4, "env": { "LOGSTASH_TAG": "hcn-prod", }, "container": { "docker": { "image": "anna-repo/hcn:1.0.0" } 44
45. Схема процессинга манифеста 45
46. ./deploy-app.sh -e test hcn:1.0.0 46
47. ./deploy-app.sh -e test hcn:1.0.0 47
48. ./deploy-app.sh -e test hcn:1.0.0 48
49. sh (yml + ctx) -> ansible -> mesos 49
50. sh (yml + ctx) -> ansible -> mesos 50
51. sh (yml + ctx) -> ansible -> mesos 51
52. sh (yml + ctx) -> ansible -> (?) 52
53. Добавляем ещё одну реализацию 53
54. Имплементация для K8S metadata: name: "hcn-deployment" spec: replicas: 4 template: spec: containers: - name: "hcn" image: "anna-repo/hcn:1.0.0" resources: ... env: - name: LOGSTASH_TAG value: "hcn-prod" command: ["/bin/sh"] args: ["-c", "python /app/hcn/main.py"] 54 application: app_name: hcn test: cpu: 0.5 mem: 512.0 instances: 2 prod: cpu: 0.5 mem: 512.0 instances: 4 ...
55. Что мы генерируем • Deployment • Service • Ingress • Cron Jobs • Jobs (миграции) 55
56. ./deploy-k8s-app.sh -e test hcn:1.0.0 56
57. Выводы • Добавили уровень абстракции • Скрыли за ней реализацию на мезосе • Добавили альтернативную реализацию на K8S 57
58. 2. Good Parts 58
59. Помните принципы? • Незаметно для клиентов • Не мешая командам • Не меняя процесс 59
60. Помните принципы? • Незаметно для клиентов • Не мешая командам • Не меняя процесс 60
61. Схема миграции (тест) 61
62. ./sync.sh -e testX.k8s -t testX 62
63. Схема миграции (тест) 63
64. Схема миграции (тест) 64
65. Схема миграции (тест) 65
66. Влияние на процесс разработки • Существующие сервисы дорабатывались • Добавилось более 10 новых сервисов • Скорость разработки не уменьшилась 66
67. Помните принципы? • Незаметно для клиентов • Не мешая командам • Не меняя процесс 67
68. Схема миграции (прод) 68
69. Схема миграции (прод) 69
70. Схема миграции (прод) 70
71. Схема миграции (прод) 71
72. Схема миграции (прод) 72
73. Схема миграции (прод) 73
74. Схема миграции (прод) 74
75. Помните принципы? • Незаметно для клиентов • Не мешая командам • Не меняя процесс 75
76. Изменения в процессе • Принципы и подходы остались неизменными • Скрипты практически не изменились • Поменялись ссылки на инфраструктурные сервисы 76
77. Дополнительные бонусы 77
78. Дополнительные бонусы • Namespaces • Ingress (nginx) показался проще чем Marathon-LB • Закрыли часть технического долга 78
79. Выводы • Смогли переехать незаметно для клиентов • Влияние на скорость разработки минимальна • Процесс деплоймента принципиально не поменялся 79
80. 3. Bad Parts 80
81. Дублирование в манифесте 81
82. Дублирование в кронах application: ... chronos: True chronos_tasks: - name: "{{ 'sync-customers' if k8s else 'ACCOUNT_SYNC_CUSTOMERS_TO_XXX' }}" cron: "30 0/1 * * *" schedule: R//PT30M command: python /app/account/sync.py 82
83. То что общее application: ... chronos: True chronos_tasks: - name: "{{ 'sync-customers' if k8s else 'ACCOUNT_SYNC_CUSTOMERS_TO_XXX' }}" cron: "30 0/1 * * *" schedule: R//PT30M command: python /app/account/sync.py 83
84. Ограничения K8S application: ... chronos: True chronos_tasks: - name: "{{ 'sync-customers' if k8s else 'ACCOUNT_SYNC_CUSTOMERS_TO_XXX' }}" cron: "30 0/1 * * *" schedule: R//PT30M command: python /app/account/sync.py 84
85. Разный формат шедулинга application: ... chronos: True chronos_tasks: - name: "{{ 'sync-customers' if k8s else 'ACCOUNT_SYNC_CUSTOMERS_TO_XXX' }}" cron: "30 0/1 * * *" schedule: R//PT30M command: python /app/account/sync.py 85
86. Marathon-LB vs Ingress application: ... haproxy_group: external haproxy_0_path: "-i /api" ... ingress: True ingress_path: "/api" whitelist_enabled: False 86
87. Разные опции включения application: ... haproxy_group: external haproxy_0_path: "-i /api" ... ingress: True ingress_path: "/api" whitelist_enabled: False 87
88. Разный формат для path application: ... haproxy_group: external haproxy_0_path: "-i /api" ... ingress: True ingress_path: "/api" whitelist_enabled: False 88
89. Уникальные фичи application: ... haproxy_group: external haproxy_0_path: "-i /api" ... ingress: True ingress_path: "/api" whitelist_enabled: False 89
90. Временные трудности • Более громоздкая конфигурация • Необходимость тестировать и на мезосе и на кубе • Дополнительная боль для девелоперов 90
91. Инфраструктурные истории 91
92. История #1: перегрузка Let’s Encrypt 92
93. Суть проблемы kind: Ingress metadata: name: "document-ingress" annotations: kubernetes.io/tls-acme: "true" spec: tls: - hosts: - "document.env.anna.money" secretName: "document-ingress-tls" 93
94. Суть проблемы kind: Ingress metadata: name: "document-ingress" annotations: kubernetes.io/tls-acme: "true" spec: tls: - hosts: - "document.env.anna.money" secretName: "document-ingress-tls" 15 сервисов 10 тестовых сред = 150 сертификатов RATE LIMIT EXCEEDED 94
95. Перешли на wildcard-сертификаты 95
96. История #2: лимиты ресурсов 96
97. Коварность лимитов application: app_name: hcn test: cpu: 0.5 mem: 512.0 Marathon "cpus": 0.5, "mem": 512 K8S resources: requests: memory: "512.0Mi" cpu: "0.5" limits: memory: "512.0Mi" cpu: "0.5" 97
98. Выставили корректные лимиты 98
99. История #3: очень много кронов 99
100. Коварность кронов application: ... chronos: True chronos_tasks: - name: name cron: "30 0/1 * * *" schedule: R//PT30M Chronos "concurrent": false K8S concurrencyPolicy: Allow 100
101. Выставили concurrencyPolicy: Forbid 101
102. Дьявол в деталях! 102
103. Организационные истории 103
104. История #1: DevOps-инженер 104
105. Суть проблемы • Пробелы в знаниях как работают сервисы • Отдельная команда системных администраторов 105
106. Организация командной работы 106
107. Погружение в предмет 107
108. История #2: тестовая недостаточность 108
109. Суть проблемы • Не все сервисы и кейсы покрыты тестами • Нет тестов на продакшен • Отсутствие нагрузочных тестов 109
110. Логи, дашборды, алерты 110
111. Blue-Green Deployment 111
112. История #3: обучение и документация 112
113. Презентации, документация, терпение 113
114. Выводы • Преодолели временные трудности • Победили “дьявола в деталях” 114
115. N. Framework 115
116. Наш фреймворк для миграций 1. Ввели новый уровень абстракции 116
117. Наш фреймворк для миграций 1. Ввели новый уровень абстракции 2. Перешли на работу с абстракцией, а не реализацией 117
118. Наш фреймворк для миграций 1. Ввели новый уровень абстракции 2. Перешли на работу с абстракцией, а не реализацией 3. Добавили новую реализацию 118
119. Наш фреймворк для миграций 1. Ввели новый уровень абстракции 2. Перешли на работу с абстракцией, а не реализацией 3. Добавили новую реализацию 4. Протестировали новую реализацию против старой 119
120. Наш фреймворк для миграций 1. Ввели новый уровень абстракции 2. Перешли на работу с абстракцией, а не реализацией 3. Добавили новую реализацию 4. Протестировали новую реализацию против старой 5. Выпилили старую реализацию 120
121. Можем повторить при необходимости ;) 121
122. @aatarasoff @aatarasoff @aatarasoff Ваши вопросы? @aatarasoff