Ansible playbooks — это код: проверяем, тестируем, непрерывно интегрируем

Митап на тему "Infrastructure as Code", 26-09-2018
Иван Пономарёв, КУРС

Я расскажу, как, используя доступные open source инструменты, построить конвейер проверки и тестирования для Ansible, побороть растущую сложность конфигурационных скриптов, ускорить доработку и отладку и убрать страх изменений. Многое из этого — просто и нестрашно и может быть добавлено в ваш проект прямо сейчас.

Transcript

1. Ansible playbooks — это код: проверяем, тестируем, непрерывно интегрируем Иван Пономарёв, МФТИ / КУРС ponomarev@corchestra.ru @inponomarev 1
2. Сейчас в других залах: • Зал №1 Виктор Гамов. Kafka на Kubernetes • Зал №3 Андрей Ермаков. AntiYAML: DSL is the new black
3. Ansible playbooks — это код: проверяем, тестируем, непрерывно интегрируем Иван Пономарёв, МФТИ / КУРС ponomarev@corchestra.ru @inponomarev 3
4. С чем приходится иметь дело: • Самые простые проекты — классическая «трёхзвенка» (1–2 сервера) • Самый сложный проект — около 40 серверов (DigitalOcean) • Terraform + Ansible 4
5. Десятки ролей… 5 …бэк, фронт, прокси, базы данных, мониторинг, сбор логов, etc, etc…
6. Как всё было: Проект 1 group_vars/ inventory/ roles/ roleA/ roleB/ roleC/ webservers.yml database.yml logs.yml Проект 2 group_vars/ inventory/ roles/ roleA/ roleB/ roleD/ webservers.yml database.yml logs.yml 6 copy-paste-modify
7. Много кода — знакомые проблемы: • Страх поломать – Код не переиспользуется, а копируется в проекты – Нет рефакторинга • Нет уверенности, что эта куча кода вообще сработает • Отладка в процессе деплоя 7
8. Знакомые проблемы — знакомое решение 8 — Но как?! — Автоматическое тестирование и CI!
9. Что мы можем проверить сразу? 9 Код в гите вообще синтаксически валидный?? 1. YAMLLint 2. AnsibleLint 3. ansible-playbook \ --syntax-check
10. 1. синтаксис YAML 2. лишние пробелы 3. переносы строк UNIX-style 4. одинаковость отступов, три дефиса в начале файла… строже, чем сам Ansible! 10 adrienverge/yamllint
11. yamllint -c yamllint.yml . 11 настройка правил
12. 1. command vs shell module 2. command vs standard modules (wget, curl, git etc) 3. command/shell idempotence… строже, чем сам Ansible! 4. легкий фреймворк для создания своих правил на Python 12 willthames/ansible-lint
13. ansible-lint \ --exclude=/var/lib/jenkins/.ansible/roles \ -v *.yml 13 Ansible-lint обходит роли, но стандартные роли содержат критические ворнинги willthames/ansible-lint
14. ansible-lint –v *.yml 14
15. Syntax check ansible-galaxy install -r requirements.yml ansible-playbook \ playbook.yml --syntax-check 15 Установите стандартные роли — иначе проверка синтаксиса свалится при упоминании неизвестной роли
16. Все три инструмента — в CI- скрипт node { stage ('Clone') { checkout scm } stage('YAML lint') { sh 'yamllint -c yamllint.yml .' } 16
17. 17 — Возможности статического анализа ограничены. Что насчёт реального тестирования?
18. История вопроса 18
19. Два года спустя… 19
20. Meet Molecule 20
21. Зависимости Molecule от других проектов 21 . . . adrienverge/yamllint willthames/ansible-lint pycqa/flake8 philpep/testinfra
22. Установка Prerequisites (Ubuntu): gcc, python-dev • pip install ansible • pip install molecule • pip install docker-py 22
23. Role Структура проекта molecule 23 Scenario 1 Scenario 1/ Instance 1 Scenario 1/ Instance 2 playbook.yml tests Scenario 2 Scenario 2/ Instance 1 Scenario 2/ Instance 2 playbook.yml tests
24. Инициализация Новая роль: molecule init role -r newrole 24
25. Инициализация Существующая роль: molecule init scenario -r <your_role_name> 25 (Ключом --scenario-name можно задать имя сценария, по умолчанию — default)
26. Запуск molecule test 26
27. Запуск molecule --debug test 27
28. “Test matrix” 28
29. Настройка instances 29 platforms: - name: ubuntuinstance image: solita/ubuntu-systemd:latest command: /sbin/init privileged: True volumes: - "/sys/fs/cgroup:/sys/fs/cgroup:rw" - name: centosinstance image: solita/centos-systemd:latest command: /sbin/init privileged: True volumes: - "/sys/fs/cgroup:/sys/fs/cgroup:rw" . driver: name: docker molecule/default/molecule.ym l
30. Кроме docker, есть драйверы • Azure (via Ansible’s azure_module) • EC2 (via Ansible’s ec2_module) • GCE (via Ansible’s gce_module) • Delegated (самостоятельное определение create/destroy/ssh params) • Vagrant • …and more 30
31. Подключение зависимостей 31 molecule/default/molecule.yml dependency: name: galaxy options: role-file: requirements.yml --- - src: ansiblebit.oracle-java version: "5.14.14" requirements.ym l
32. Этап статического анализа (lint) • yamllint • ansible-lint • ansible-playbook --syntax-check 32
33. Converge 33 --- - name: Converge hosts: all roles: - role: ansiblebit.oracle-java - role: fluteansible tasks: … molecule/default/playbook.yml
34. Подключение к тестовой ноде для отладки результатов выполнения molecule test --destroy=never docker exec -it instance /bin/bash 34
35. Проверка идемпотентности Раньше (из статьи Jeff Geerling): ansible-playbook -i tests/inventory tests/test.yml --connection=local --sudo | grep -q 'changed=0.*failed=0' && (echo 'Idempotence test: pass' && exit 0) || (echo 'Idempotence test: fail' && exit 1) 35
36. Проверка идемпотентности Теперь (в Molecule): ansible-playbook --diff playbook.yml 36
37. Инфраструктурные тесты Molecule поддерживает: • Testinfra (Python, default) • Serverspec (Ruby) • Goss (written in Go, tests in YAML) 37
38. Testinfra bootstrap # default/test/test_default.py import os import testinfra.utils.ansible_runner testinfra_hosts = testinfra.utils.ansible_runner.AnsibleRunner( os.environ['MOLECULE_INVENTORY_FILE']).get_hosts('all') 38
39. Результат запуска команды def test_jython_installed(host): cmd = host.run('jython --version') assert cmd.rc == 0 assert cmd.stderr.find(u'Jython 2') > -1 39
40. «Умный» assert 40
41. Быстрый перезапуск тестов 41 molecule test --destroy=never <дописываем тест…> molecule verify <дописываем тест…> molecule verify
42. ‘Keep the bar green to keep your infrastructure clean’ 42
43. Веб-сервисы def test_service_greeting(host): cmd = 'curl -o -I -L -s -w "%{http_code}\n" http://localhost:8080/service' assert host.check_output(cmd) == '200' cmd = "curl -L 'http://localhost:8080/service'" assert host.check_output(cmd).find(u'Hello!') > -1 43 (Предварительно установив curl в playbook.yml)
44. Процессы def test_jsvc_process(host): procs = host.process.filter(comm="jsvc") assert len(procs) > 0 for proc in procs: assert proc.user == 'flute3' assert proc.args.find('-Xmx1024M') > -1 44
45. Сервисы def test_service_is_running(host): assert host.service('flute').is_running 45
46. Файлы и их содержимое def test_log_files(host): stdout = host.file('/var/log/flute/std.out') stderr = host.file('/var/log/flute/std.err') assert stdout.exists assert stderr.exists assert stderr.contains('Flute started') assert stdout.contains('Flute started. 0 taskSources are being processed') 46
47. Test fails Test pass Refactor 47 — TDD for Ansible? — Ну, если хотите — да!
48. 48 - name: call for jython version command: jython --version register: cmd_result - name: check Jython assert: that: "'Jython 2' in cmd_result.stderr" — Но и в самом Ansible есть модуль assert! ERROR: Idempotence test failed
50. Проверки в хэндлерах 50 - name: call for jython version command: jython --version register: cmd_result listen: "validate Jython" - name: check Jython assert: that: "'Jython 2' in cmd_result.stderr" listen: "validate Jython" handlers/main.ym l - name: download jython ... notify: "validate Jython" - name: install jython ... notify: "validate Jython" tasks/main.ym l
51. Ещё можно проверить в хэндлерах: 51 - stat: path: /path/to/something register: p - assert: that: - "p.stat.exists and p.stat.isdir" - uri: url: http://www.example.com return_content: yes register: webpage - assert: that: - "'AWESOME' in webpage.content" файлы: веб- сервисы:
52. Role development process 52 master feature branch CI system check
53. CI: Jenkins Multibranch Pipeline node { stage ("Get Latest Code") { checkout scm } stage ("Molecule test") { sh 'mkdir -p molecule/default/roles' sh 'ln -sf `pwd` molecule/default/roles/fluteansible' sh 'molecule test' } } 53
54. Разделение по стадиям 54 stage ("Executing Molecule lint") { sh 'molecule lint' } stage ("Executing Molecule create") { sh 'molecule create' (код из статьи Werner Dijkerman, “Continuous deployment of Ansible Roles”)
55. Разделение по стадиям 55 (Image from: https://werner-dijkerman.nl/2017/09/17/continuous-deployment-of-ansible-roles/)
56. Travis-CI --- language: python python: "2.7" sudo: required services: - docker before_install: - sudo apt-get update -qq 56 install: - pip install ansible==2.5.0 - pip install molecule - pip install docker-py script: - molecule test notifications: webhooks: https:// galaxy.ansible.com/api/v1/notifications/
58. Было… Проект 1 group_vars/ inventory/ roles/ roleA/ roleB/ roleC/ webservers.yml database.yml logs.yml Проект 2 group_vars/ inventory/ roles/ roleA/ roleB/ roleD/ webservers.yml database.yml logs.yml 58 copy-paste-modify
59. …стало: Проект 1 group_vars/ inventory/ roles/ roleC/ webservers.yml database.yml logs.yml Проект 2 group_vars/ inventory/ roles/ roleD/ webservers.yml database.yml logs.yml 59 Ansible Galaxy roleA/ roleB/ Molecule Linting
60. Можно ещё что-то улучшить? Проект 1 group_vars/ inventory/ roles/ roleC/ webservers.yml database.yml logs.yml Проект 2 group_vars/ inventory/ roles/ roleD/ webservers.yml database.yml logs.yml 60 Ansible Galaxy roleA/ roleB/
61. Как быть с конфигурацией? • Плохие новости: – Molecule — только для ролей. – Проверить развёртывание на прод можно только развернув на прод. )) • Хорошая новость: – Мы можем проверить проект, не запуская его! 61
62. 62 Андрей Сатарин «Как проверить систему, не запуская её» Heisenbug 2017, Москва Руслан Черемин «Тестирование конфигурации для Java-разработчиков: практический опыт» Heisenbug 2018, Санкт-Петербург JUG.MSK, июнь 2018, Москва
63. Тесты конфигурации • Формат значений переменных: – порты — числа в допустимом диапазоне, – хосты — доменные имена или IP, – URL’ы — валидные и т. п. • Паролей нет в явном виде. • Порты сервисов, поднимаемых в пределах хоста, уникальны. • И более специфические вещи. 63
64. Проверяем валидность портов 64 @pytest.mark.parametrize("k,v", port_var_values(BASEDIR)) def test_port(k, v): port = int(v) assert port > 0 assert port < 32000
65. Обходим нужные нам переменные… 65 def port_var_values(path): key_pattern = re.compile('port$') for (k, v) in var_values(path): if key_pattern.search(k): yield (k, v)
66. Проверяем уникальность портов 66 @pytest.mark.parametrize("path", [BASEDIR]) def test_port_uniqueness(path): ports = set() for (k, v) in port_var_values(path): port = int(v) assert not(port in ports) ports.add(port)
67. ‘Keep the bar green to keep the configuration clean’ 67
68. Ловим «утекающие» пароли def password_var_values(path): key_pattern = re.compile('p(ass(word)?|wd)$') for (k, v) in var_values(path): if key_pattern.search(k): yield (k, v) @pytest.mark.parametrize("k,v", password_var_values(BASEDIR)) def test_password(k, v): var_pattern = re.compile('\{\{([^}]|\}[^}])+\}\}') print '%s: %s' % (k, v) assert var_pattern.search(v) 68
69. Ай-яй-яй! 69
70. Выводы 70
71. Тестируйте ваш Ansible! • YAMLLint + AnsibleLint + syntax check прямо сегодня! • Проверяйте роли на Molecule • Вставляйте проверки в хэндлеры • Тестируйте конфигурацию 71
72. Molecule is ‘must have’ при разработке ролей • Создайте тесты на ваши Ansible-роли прямо сегодня — это просто • Лень разбираться? Без тестов, проверка converge и idempotence • Совсем лень разбираться? lint /syntax 72
73. Назвался кодом — полезай в CI! 73
74. CI/CD для Ansible-ролей • «Штатный» набор инструментов — GitHub+Travis+Galaxy, это если роли в OpenSource • Jenkins Multibranch тоже работает отлично 74
75. Ссылки • Иван Пономарёв Тестирование и непрерывная интеграция для Ansible-ролей при помощи Molecule и Jenkins https://habr.com/post/351974/ • Jeff Geerling Testing Ansible Roles with Travis CI on GitHub https://www.jeffgeerling.com/blog/testing-ansible-roles-travis-ci- github • Werner Dijkerman Continuous deployment of Ansible Roles https://werner-dijkerman.nl/2017/09/17/continuous-deployment-of-a nsible-roles/ • Андрей Сатарин: Как проверить систему, не запуская её https://asatarin.github.io/talks/how-to-check-a-system-with75
76. Задавайте вопросы :-) ponomarev@corchestra.ru @inponomarev 76 Тестировать Ansible-код — просто и приятно!