Инфраструктура как код @OTUS

Инфраструктура как код.
Слайды с лекции Игоря Курочкина для курса DevOps практики и инструменты на Отусе.
https://www.youtube.com/watch?v=ciA4Cezw0AE

Transcript

1. Инфраструктура как код Игорь Курочкин Express 42
2. Введение 2 Infrastructure as a Service Platform as a Service Culture Continuous Delivery Infrastructure as Code Applications Production/SRE Monitoring and Observability
3. Инфраструктура как код 3 Infrastructure as a Service Platform as a Service Culture Continuous Delivery Infrastructure as Code Applications Production/SRE Monitoring and Observability
4. План • Проблемы, история и цели • Определение, принципы и подходы • Практики из разработки • Инструменты Надежные решения для сложной инфраструктуры 4
5. План • Проблемы, история и цели • Определение, принципы и подходы • Практики из разработки • Инструменты Надежные решения для сложной инфраструктуры 5
6. Проблемы • Server Sprawl (рост числа серверов) • Con fi guration drift (неконсистентное состояние) • Snow fl ake servers (сервера снежинки) • Fragile infrastructure (хрупкая инфраструктра) • Erosion (эрозия) • Automation Fear (страх автоматизации) Надежные решения для сложной инфраструктуры 6
7. История • … • CFEngine (1993), Puppet (2005) • AWS (2006), Chef/Opscode (2009) • DevOps (2009) • Vagrant (2010), CloudFormation (2011) • Salt (2011), Ansible (2012), HashiCorp (2012) • Docker (2013), Terraform (2014), Kubernetes (2014) • Vespene (2018), OpsMop (2018) Надежные решения для сложной инфраструктуры 7
8. Книги • 2011 Managing Infrastructure with Puppet • 2011 Test-Driven Infrastructure with Chef • 2014 Customizing Chef • 2015 Ansible: Up and Running • 2015 Salt Essentials • 2016 Infrastructure as Code • 2017 Terraform: Up and Running • 2018 Puppet Best practices Надежные решения для сложной инфраструктуры 8
9. Индустрия • Технологический радар: • 2012 Manual infrastructure management HOLD • 2012 Infrastructure as code ADOPT • 2013 Immutable servers ADOPT • 2016 Docker ADOPT • 2017 Pipelines as Code ADOPT • 2018 Pipelines for Infrastructure as Code TRIAL Надежные решения для сложной инфраструктуры 9
10. Цели • Ускорение процесса поставки • Снижение количества ошибок • Улучшение взаимодействия команд Надежные решения для сложной инфраструктуры 10
11. Инфраструктура как код 11 Infrastructure as a Service Platform as a Service Culture Continuous Delivery Infrastructure as Code Applications Production/SRE Monitoring and Observability
12. План • Проблемы, история и цели • Определение, принципы и подходы • Практики из разработки • Инструменты Надежные решения для сложной инфраструктуры 12
13. Инфраструктура как код Надежные решения для сложной инфраструктуры 13 • Автоматизация инфраструктуры с использованием практик из разработки
14. Общие принципы • Воспроизводимая инфраструктура • Повторяемые процессы • Изменяемая инфраструктура и процессы Надежные решения для сложной инфраструктуры 14
15. Подходы Надежные решения для сложной инфраструктуры 15 • Модели управления инфраструктурой • Инфраструктурный код • Инфраструктурный репозиторий • Инфраструктурные слои (stack/layers) • Общий язык общения
16. Модели управления инфраструктурой Надежные решения для сложной инфраструктуры 16 • Ad Hoc • Con fi guration synchronisation • Immutable Infrastructure • Immutable Delivery (Containerized Services)
17. Инфраструктурный код Надежные решения для сложной инфраструктуры 17 • Код, шаблоны, конфигурация: • YAML, JSON, HCL • DSL (Chef, Puppet, RSpec*) • Erb, Epp, j2, tpl • Ruby, Python, Go, PowerShell, …
18. Инфраструктурный репозиторий • Репозиторий с инфраструктурным кодом • Иерархия и слои - окружения, роли, модули • Внешние зависимости • Переменные • Инструменты и конфигурация для инструментов • Тесты и документация Надежные решения для сложной инфраструктуры 18
19. Инфраструктурные слои Надежные решения для сложной инфраструктуры 19 Base Service Culture Continuous Delivery Infrastructure as Code Application Production/SRE Monitoring and Observability
20. Общий язык общения • Инфраструктурный код • Общие инструменты и модули • Практики из разработки: • Pull requests и diff изменений • API и development kit (Среда разработки) Надежные решения для сложной инфраструктуры 20
21. План • Проблемы, история и цели • Определение, принципы и подходы • Практики из разработки • Инструменты Надежные решения для сложной инфраструктуры 21
22. Практики из разработки 22 • Организация кода • Политики версионирования и ветвления • Управление артефактами и внешние зависимости • Тестирование и ревью изменений • CI/CD для инфраструктурного кода • Среда разработки
23. Практики из разработки 23 • Организация кода • Политики версионирования и ветвления • Управление артефактами и внешние зависимости • Тестирование и ревью изменений • CI/CD для инфраструктурного кода • Среда разработки
24. Структура репозиториев • Моно репозиторий • Мульти репозиторий • Инфраструктурный код: • вместе с кодом приложений • отдельно Надежные решения для сложной инфраструктуры 24
25. Иерархия • На уровне практик: • Отдельные репозитории • На уровне инструментов: • Environments, Roles, Pro fi les, Groups, ENC Надежные решения для сложной инфраструктуры 25
26. Chef Надежные решения для сложной инфраструктуры 26
27. Puppet Надежные решения для сложной инфраструктуры 27
28. Практики из разработки 28 • Организация кода • Политики версионирования и ветвления • Управление артефактами и внешние зависимости • Тестирование и ревью изменений • CI/CD для инфраструктурного кода • Среда разработки
29. Версионирование • Semantic Versioning 2.0.0 https://semver.org • Tom Preston-Werner (GitHub) • X.X.X: • MAJOR - несовместимые изменения • MINOR - новый функционал • PATCH - исправления Надежные решения для сложной инфраструктуры 29
30. Ветвление 30 • Trunk Based Development • https://trunkbaseddevelopment.com • GitHub Flow • Git fl ow
31. Практики из разработки 31 • Организация кода • Политики версионирования и ветвления • Управление артефактами и внешние зависимости • Тестирование и ревью изменений • CI/CD для инфраструктурного кода • Среда разработки
32. Управление артефактами и внешние зависимости Надежные решения для сложной инфраструктуры 32 • Инфраструктурный модуль как артефакт • Сборка, публикация и хранение модулей • Маркетплейс инфраструктурных модулей • Управление внешними зависимостями
33. Практики из разработки 33 • Организация кода • Политики версионирования и ветвления • Управление артефактами и внешние зависимости • Тестирование и ревью изменений • CI/CD для инфраструктурного кода • Среда разработки
34. Тестирование Надежные решения для сложной инфраструктуры 34 • Стиль языка и инфраструктурного кода • Валидацию шаблонов и кода • Функционал • Интеграцию и результат
35. Стиль языка Надежные решения для сложной инфраструктуры 35 • Линтеры для языка: • Rubocop (Ruby) • Pylint, fl ake8 (Python) • Надстройки для Chef, Puppet, Salt, Ansible: • Cookstyle
36. Стиль кода Надежные решения для сложной инфраструктуры 36 • Проверяем соответствие Style Guides • Линтеры для кода: • Chef Foodcritic • Puppet-lint • Ansible-lint • Salt-lint
37. Валидация Надежные решения для сложной инфраструктуры 37 • Валидация ERB, JSON, YAML • puppet parser validate, puppet-syntax, metadata-json- lint • ansible-playbook --syntax-check • salt-call
38. Функциональные тесты Надежные решения для сложной инфраструктуры 38 • Тестируем функционал: • ChefSpec • rspec-puppet, rspec-puppet-facts, puppet-retrospec • Ansible script, stat, uri, assert
39. Интеграционные тесты Надежные решения для сложной инфраструктуры 39 • Проверяем результат: • Serverspec (Ruby) • InSpec (Ruby) • Testinfra (Python) • Goss (Go)
40. Интеграционные тесты Надежные решения для сложной инфраструктуры 40 • Проверяем результат: • Serverspec (Ruby) • InSpec (Ruby) • Testinfra (Python) • Goss (Go)
41. Практики из разработки 41 • Организация кода • Политики версионирования и ветвления • Управление артефактами и внешние зависимости • Тестирование и ревью изменений • CI/CD для инфраструктурного кода • Среда разработки
42. CI/CD для инфраструктрного кода • Pipeline для модуля • Pipeline для инфраструктурного репозитория • Pipeline для внешних зависимостей • Pipeline для сборки образов • Pipeline для создания окружений • … Надежные решения для сложной инфраструктуры 42
43. CI/CD для инфраструктрного кода Надежные решения для сложной инфраструктуры 43 • Инструменты: • Vagrant • Test Kitchen (Chef, …) • Molecule (Ansible) • Beaker (Puppet)
44. Практики из разработки 44 • Организация кода • Политики версионирования и ветвления • Управление артефактами и внешние зависимости • Тестирование и ревью изменений • CI/CD для инфраструктурного кода • Среда разработки
45. Проблемы Надежные решения для сложной инфраструктуры 45 • Разные версии инструментов • Разные практики из разработки
46. Development Kit • Локальная разработка и тестирование • Одно окружение для Linux, OS X, Windows • Набор CLI инструментов, библиотек и API • Work fl ows и best practices • Часть CI Надежные решения для сложной инфраструктуры 46
47. Chef DK Надежные решения для сложной инфраструктуры 47
48. Puppet DK Надежные решения для сложной инфраструктуры 48
49. Puppet DK Надежные решения для сложной инфраструктуры 49
50. План • Проблемы, история и цели • Определение, принципы и подходы • Практики из разработки • Инструменты Надежные решения для сложной инфраструктуры 50
51. Проблемы с инструментами Надежные решения для сложной инфраструктуры 51 • Какие инструменты выбрать? • Как их сравнить? • Какие границы применимости? • Как их использовать совместно?
52. Инструменты Надежные решения для сложной инфраструктуры 52 • Dynamic Infrastructure Platforms • Infrastructure de fi nition • Server con fi guration • Infrastructure services
53. Инструменты Надежные решения для сложной инфраструктуры 53 • Dynamic Infrastructure Platforms (Cloud) • Infrastructure de fi nition (Terraform, CloudFormation) • Server con fi guration (Chef, Puppet, Ansible, Salt) • Infrastructure services (…)
54. Система управления конфигурацией • DSL, декларативное или императивное описание • Push или Pull модель • Встроенные модули и ресурсы • Иерархия, изоляция, сбор фактов • Шаблонизаторы • Идемпотентность Надежные решения для сложной инфраструктуры 54
55. Жизненный цикл Надежные решения для сложной инфраструктуры 55
56. Как выбрать? • Посмотреть на индустрию • Оценить самостоятельно • Сделать MVP Надежные решения для сложной инфраструктуры 56
57. Индустрия Надежные решения для сложной инфраструктуры 57
58. Оценка Надежные решения для сложной инфраструктуры 58 • Язык программирования и DSL • Опыт работы • Модель управления • Иерархия и изоляция • Безопасность • Масштабирование • Интеграция в текущий стек • Наличие инструментария • Поддержка community • Поддержка практик из разработки • Командная работа • Примеры из индустрии и сложные кейсы • …
59. Границы применимости Надежные решения для сложной инфраструктуры 59 • Уровни Base, Service, Application • Service Discovery и Failover • Управление секретами • Деплой • Cloud, Database, Security, Containers
60. Современный стек Надежные решения для сложной инфраструктуры 60 • Chef 14 • Puppet 6 • Ansible 2.7 • Salt 2018 • Terraform 0.12
61. Кейсы • Смена стека или передача сервиса • Новый дата-центр • Синхронизация окружений • Тестовые окружения по требованию • API инфраструктурной платформы и командная работа • Мониторинг в виде кода • … Надежные решения для сложной инфраструктуры 61
62. Итого • Автоматизация инфраструктуры с использованием практик из разработки • Помогает: • Ускорить процесс поставки • Снизить количество ошибок • Улучшить взаимодействие команд Надежные решения для сложной инфраструктуры 62
63. Онлайн курс OTUS Надежные решения для сложной инфраструктуры 63 • DevOps практики и инструменты: • 20 ноября - День открытых дверей • 27 ноября - Начало занятий • 5 месяцев - Длительность курса
64. Вакансия 64 • Мы ищем людей, которым это интересно • Пишите на dontpanic@express42.com
65. Ссылки 65 • Митапы DevOps Meetup Moscow • Подкаст и телеграм канал DevOps De fl ope • Конференции по DevOps • Книги из презентации • Рассылка DevOps Weekly
66. Вопросы?