Фёдор Жирков – «Как устроено тестирование склада (WMS) в Ozon»

Transcript

1. Ozon Tech 2023 Как устроено тестирование склада (WMS) в Ozon Фёдор Жирков, руководитель группы тестирования
2. Введение 2 WMS управляет операциями и процессами складов (Warehouse Management System) —
3. Топология команды Мобильная разработка 3 Домен 1 Разработка Backend Домен 2 Разработка Backend Домен 3 Разработка Backend Разработка Frontend Разработка Frontend Разработка Frontend Аналитики Аналитики Аналитики QA QA QA Мобильная разработка Разработка QA
4. Backend-тестирование 1 4
5. Backend-разработка 5 K8s Мониторинг 1. HTTP 2. gRPC Kafka
6. Backend-тестирование 6 Ручные тесты • Их нет Автотесты • Python 3.10 • PyTest • Максимум автоматизации • Свои собственные микросервисы и утилиты • Allure TestOps • GitLab CI
7. Backend-тестирование 7 Процесс Команда получает задачу Груминг Тест- дизайн Разработка Написание автотестов Запуск автотестов
8. Фреймворк Backend-тестирование 8
11. Пирамида тестирования Backend-тестирование • Целиком флоу процесса • Фокус на проверке фронтовой части • Целиком флоу процесса (happy path + если есть отдельный негативный флоу) • Фокус на проверке взаимодействия с внешними сервисами • Все основные бизнес-сценарии процесса • Тестируются все слои сервиса, начиная клиента, на моках внешних сервисов • Интеграция с БД, Redis и пр. • Все методы репозитория, query handlers • По необходимости command handlers • Обязательно вся доменная логика • Любой нетривиальный код (command handlers, providers и т.д.) Юниты Интеграционные BDD сценарии (компонентные) UI E2E
12. Разработчики тоже пишут тесты Backend-тестирование 12
13. Наши микросервисы Backend-тестирование 13 • Генерирует необходимые товары • Сделан на FastAPI • Есть графана для мониторинга • Есть логи 2. Билдер товаров • Создает любые процессы и сущности • Сделан на Flask • Пользуются мобильные и фронт QA • Пользуются сторонние отделы 3. QA API • Создает виртуальные склады • Сделан на Flask • Есть графана для мониторинга • Есть логи 1. Билдер топологии
14. Билдер топологии Backend-тестирование 14
15. Билдер топологии Backend-тестирование 15
16. Моки Backend-тестирование 16 • gRPC мок • Сделан на Python 2. Marotte • Сделан разработчиками • .NET 3. Kafka мок • HTTP мок • Сделан JS • Open Source 1. Mountebank
17. Генерация gRPC-клиентов Backend-тестирование 17 • Генерирует gRPC- клиенты • Написан на Python • Об этом следующий доклад 1. Monro
18. Запуски тестов Backend-тестиование 18 • Каждую ночь • В ручном режиме • При MR в мастер у разработчиков • Все через Gitlab CI
19. Тестовый контур Backend-тестирование 19 Каждые выходные Prod2stg Каждый понедельник Restore- скрипт Каждый день Дежурства
20. Тестовый контур. Меши Backend-тестирование 20 V2 Master V2
21. Merge request’s Backend-тестирование 21
22. Frontend-тестирование 2 22
23. Frontend-разработка 23 TypeScript React
24. Frontend-тестирование 24 Ручные тесты • Только на новые фичи Автотесты • Typescript • Playwright • Подготовка данных через Flasger • Data-test атрибуты • Allure TestOps
25. Локатор по data-test 25
26. 26 Иерархия для Allure
27. 27 Тестовый набор Тест-кейс из предыдущего примера Для того, чтобы автотесты попадали в Allure, мы явно указываем в коде, где мы хотим их видеть
29. Отображение прогонов тестов в задаче 29
30. Отслеживание посещения ручек во время сценариев 30
31. Отслеживание посещения ручек во время сценариев 31 Ручка не использовалась
32. Мобильное тестирование 3 32
33. Мобильное тестирование 33 Android-приложение • RxJava • Retro fi t • Clean Architecture Железо • Сканер штрихкодов • Принтер штихкодов
34. Мобильное тестирование 34 Ручные тесты • Эмулятор Автотесты • Реальное устройство • Подготовка данных через Flasger • Kotlin • UIAutomator • Kaspresso • Marathon Test Runner • Allure TestOps
35. Мобильное тестирование 35
36. Нагрузочное тестирование 4 36
37. Стреляем по production 37
38. Виды нагрузки 38 Читающая • GET-методы • Чтение данных Пишущая • POST-методы • Создание/изменение данных
39. Тестовый контур Backend-тестирование 39 Python Генерация данных Pandora gun Сценарий нагрузки Yandex.Tank Запуск
40. Пишущая нагрузка Виды нагрузки 40 Генерация данных Backend API-запросы Хранилище
41. Пишущая нагрузка Виды нагрузки 41 Запуск стрельбы Tank-Service Yandex.Tank
42. Пишущая нагрузка Виды нагрузки 42
44. 44 Пишущая нагрузка Виды нагрузки
45. Результаты нагрузочного теста 45
46. Пишущая нагрузка Виды нагрузки 46 Очистка данных Backend API-запросы
48. Топология команды нагрузочного тестирования 48 Кто пишет сценарии • Выделенный Load QA • Backend QA Кто следит за результатами • Выделенный Load QA • Backend QA • Команды Backend-разработки
49. t.me/Fedyazh Спасибо за внимание Фёдор Жирков, руководитель группы тестирования