On a mis du Chaos en production

Transcript

1. On a mis du Chaos 🧨 en production à Carrefour François Berthault
2. Qui suis-je ? François Berthault Les Filles et les Garçons de la Tech “capitaine devops” ★ Dev&Ops ★ Architecte ★ Coach DevOps ★ SRE ★ Platform Engineer ★ Kubernetes et Observabilité ★ Chaos 💚 https://github.com/gelstudios/gitfiti
3. ★ C’est quoi le Chaos ? ★ Pourquoi le Chaos ? ★ Le Chaos chez Carrefour Sommaire: $ Chaos_
4. La théorie du chaos expliquée par Iann Malcolm purement et simplement, l'imprévisibilité dans le système complexe… L’exemple type est “l’effet papillon”, un papillon qui bat des ailes à pékin peut amener la pluie à la place du soleil à NYC - çà ne se reproduit jamais - çà a une forte influence sur le résultat final Jurassic Park C’est quoi la “Théorie du Chaos” ?
5. Ces expériences suivent quatre étapes : 1. Définir un « état stable » comme une sortie mesurable d’un système qui indique un comportement normal. 2. Faire l’hypothèse que cet état d’équilibre se poursuivra dans le groupe témoin et dans le groupe expérimental. 3. Introduire des variations qui reflètent des événements réels, tels que les serveurs en panne, les disques durs défectueux, les connexions réseau coupées, etc. 4. Tenter de réfuter l’hypothèse en recherchant une différence d’état d’équilibre entre le groupe témoin et le groupe expérimental. La science du Chaos Engineering
6. Ce que le Chaos est et ce qu’il n’est pas …
7. Pourquoi le chaos ?
8. Recherches Google pour Chaos Engineering https://www.gremlin.com/state-of-chaos-engineering/2021/
9. 2008>Netflix
10. 2017>voyages-sncf
11. https://coggle.it/diagram/WiKceGDAwgABrmyv/t/chaos-engineeringcompanies%2C-people%2C-tools-practices/ Aujourd’hui
12. Mais “Pourquoi” ?
13. DORA metrics Image Source: 2021 State of DevOps – Software Delivery Performance Metric
14. Chaos : une question de maturité
15. https://www.lineaires.com/la-distribution/carrefour-teste-une-tournee-en-camion-autonome-une-premiere-en-france https://fr.m.wikipedia.org/wiki/Fichier:Scannettes-Carrefour_-_Villab%C3%A9_-_2018-09-15_-_IMG_8859.jpg https://www.lsa-conso.fr/e-commerce-le-groupe-carrefour-signe-un-nouveau-partenariat-tech-avec-food-x-technologie,358193 Chaos + Carrefour
16. LogM
17. Chaos Night - (chez OneCloud) LogM : Observabilité OneCaas : Kubernetes VPod : Socle Cloud Azure/GCP
18. Chaos Night : Modalités - Qui ? Toute l’équipe, composée de 7 personnes (des Dev et des Ops) - Où ? En présentiel et dans la même pièce ! - Quand ? De 18h à minuit - Périodicité ? 3 fois par an (Objectif)
19. Chaos Night : Objectifs Casser intentionnellement des choses, Comparer les impacts mesurés avec les impacts attendus Corriger tout problèmes découverts ★ Apprendre ★ Partager ★ S’améliorer
20. Chaos Night #1: Mode Opératoire
21. Chaos Night #1: Bilan ★ Manques de connaissances et de documentations ★ Des scénarios très typés “Ops” (le narrateur est un Ops) ★ Quelques petites sueurs froides ★ Prendre conscience d’un défaut d’alerting (trop d’alerte, pas assez précise, …) ★ Tout le monde a manipulé sur toutes les technologies de la plateforme ★ Une très bonne soirée de “Team Building” et des pizzas 🍕 ★ le récap de la soirée sur une feuille “excel” 🫣
22. Chaos Night #2: On tourne et en prod
23. (template partagé par le paris chaos engineering user group ® ) Chaos Night #2: Préparer les scénarios
24. Chaos Night #2: Bilan ★ Une très bonne soirée de “Team Building” et des pizzas 🍕 ★ Des scénarios pointus sur tous les domaines Dev et Ops. ★ Des fiches scénarios “stylés” ★ On a rempli notre backlog d’actions à mener
25. ★ Corrompre les certificats https ★ Saturer les disques, cpu, mem ★ DNS ★ Perte de services kubernetes ★ Corrompre les fichiers de configuration ★ Saturation des indexes/shards elasticsearch ★ Perte de noeuds ★ Service account expiré ★ Configuration des Load-Balancer ★ Latence réseau ★ Destruction d’un cluster kubernetes de non prod (onecaas) Chaos Night - Expérimenter quoi ?
26. ★ Scénarios de “Re-build” de la plateforme et de PRA plutôt que troubleshooting. ★ Expérimenter encore plus de scénario en Production ★ Expérimenter en journée ★ Automatiser des scénarios pour la partie Docker Chaos Night - La suite
27. Chaos as a Service
28. ChaosKube
29. ChaosKube : Bilan ✅ • Simple • Kubernetes natif • Metrics • Trouver les faiblesses • Autonomie des équipes • Moins de pods bloqués ⛔ • Scope limité • Pas de centralisation
30. LitmusChaos
31. Litmus : Hub
32. Pour conclure ★ Comprendre le comportement normal du système. ★ Simuler des scénarios réalistes. ★ Testez en conditions réelles. ★ Minimiser la zone de l'explosion.
33. ERCI