Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Alerte, tout brûle ! Maîtrisez les incidents te...

Avatar for Horgix Horgix
April 17, 2025

Alerte, tout brûle ! Maîtrisez les incidents techniques — Devoxx France 2025 (2025-04-17)

🇫🇷 version below / version 🇫🇷 plus loin

This is the slide deck of a talk (3-hours long "Deep Dive") presented at the Devoxx France conference in April 2025 in Paris by Alexis "Horgix" Chotard, Luc Chmielowski and Laurent Leca about incident management. Pitch in French below.

Ceci est le deck de slides d'un talk ("Deep Dive" de 3 heures) présenté à la conférence Devoxx France en avril 2025 à Paris par Alexis "Horgix" Chotard, Luc Chmielowski et Laurent Leca2 sur le sujet de la gestion d'incident. Pitch ci-dessous.

💬 Pitch/astract:
Chez PayFit, même en tant que "licorne scale-up", nous avons géré en moyenne 1,25 incidents techniques par jour l’année passée. Dans cette session, nous explorerons comment transformer les situations de crise en opportunités d’amélioration continue et de réduction de la dette technique, tout en abordant les défis techniques et produit qu’elles soulèvent.

Au programme :
- Définir et évaluer un incident
- Les bonnes pratiques de communication, interne et externe
- Résolution technique : mitigation et troubleshooting
- Démarche produit : minimiser les effets sur les utilisateurs
- Automatisation et résilience organisationnelle
- Gestion de l’astreinte : modèles et équilibre
- Post-mortems : transformer les crises en apprentissages

À travers un exemple concret, nous détaillerons les concepts, outils et stratégies pour gérer les incidents complexes et en sortir renforcés. En 18 mois, nous avons évolué d’une culture où les incidents étaient cachés, à une gestion saine et constructive. Découvrez comment faire ce chemin vous aussi !
Cette session interactive alternera théorie, démos, retours d’expérience et scénettes pour rendre l'apprentissage aussi concret que possible et digeste, même en 3 heures.

Avatar for Horgix

Horgix

April 17, 2025
Tweet

More Decks by Horgix

Other Decks in Technology

Transcript

  1. ALERTE, TOUT BRÛLE ! 17 avril 2025 Alexis “Horgix” Chotard

    Laurent Leca Luc Chmielowski Maîtrisez vos incidents techniques
  2. 2 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Petite quiz d’introduction…
  3. 3 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Petite quiz d’introduction…
  4. 4 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Hier, à 9h47 : le planning de Devoxx France
  5. 5 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit LE PLAN DE 3 LONGUES HEURES ENSEMBLE 13:30 – 13:40 Introduction 13:40 – 15:10 From Zero to Hero 15:10 – 15:20 Pause 15:20 – 15:30 15:30 – 16:15 16:15 – 16:30 Démo Résumé de l’essentiel + REX PayFit Q&A
  6. 6 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 6 DEVOXX FRANCE 2025 / Alerte tout brûle ! Meet the speakers “Staff” SRE & Platform Engineering Product management depuis 2002 “Senior” SRE & Software Engineering Alexis “Horgix” CHOTARD Luc CHMIELOWSKI @Horgix.fr Horgix Horgix @luski.bsky.social lucchmielowski Laurent LECA
  7. 7 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Simplifier la paie pour les TPE et PME et permettre à l’employeur et à ses employés de grandir ensemble.
  8. 8 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Pourquoi on vous parle de ce sujet ? 2021 Partagé entre toutes les équipes. Avec un peu de chance… ça finit par être résolu. Simple board Jira “Debug Tech” 2022 454 incidents 13 pannes critiques 1.87 incident par jour ouvré Prémices de gestion d’incident 2023 Peu efficace, mais on commence à prendre le sujet au sérieux. Améliorations significatives 2024 Provoquées par de gros incidents en mars 2023. Un outil (Incident.io) nous aide énormément dans la démarche. Une réelle expérience de terrain
  9. 9 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Exemple d'interaction avec le support en 2021 Client adoré REDACTED CUSTOMER SUPPORT Client adoré
  10. ZooRank 🗳 Votez en live pour votre animal préféré du

    jour 📈 Leaderboard des animaux favoris du moment ! Notre entreprise imaginaire

  11. 11 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 11 DEVOXX FRANCE 2025 / Alerte tout brûle ! Les employés de ZooRank - N’a plus peur de rien depuis l’“Incident du Lama Fantôme™”. - "Répare" temporairement en redémarrant un truc au pif, en se disant que « ça suffira pour l'instant ». Horgix – Infra Ours Luc – Code Castor Laurent – Chat-vision - Envoie 14 DM Slack, une capture d’écran envoyée par sa tante, et deux mails clients marqués URGENT. - Publie un tweet de transparence qui promet un fix “asap” aux utilisateurs - Fait un fix à 2h du matin qui fait tomber tout le classement. - Commit directement sur main avec « fix » en seul message. “Attends… c’était pas la préprod ?” “C’est pas un bug, c’est une expérience” “C’est pas down si on ne refresh pas !”
  12. 12 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 30+ Niveaux, avec pour chacuns … Organisation Capacité à répondre aux incidents 󰼠
 TECH Capacité à détecter / mitiger les incidents 🛠
 UX Expérience des utilisateurs finaux 󰳕
 Une situation réaliste Une solution apportée Une progression de la maturité sur 3 axes:
  13. 13 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Les niveaux 1ère pause (finalement probablement pas) 2nd pause
  14. 14 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 14 Tout est cassé… Aucune visibilité pour nos utilisateurs 1
  15. 15 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit C’est la panique !
  16. 16 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Un peu d’information Et on l’apprend via nos utilisateurs pour les utilisateurs, et de la charge pour le support client de manière transparente et reflétant la réalité Quelque chose s’est mal passé Génère de la frustration Communiquer ⁉
 🧂
 📢

  17. 17 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Calmons le jeu ! La base : une status page C’est cassé, désolé :( Status Page
  18. 18 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit La vraie FAQ pendant les pannes 🎟
 📻
 🌐
 📌
 Moins de tickets CS Les utilisateurs peuvent confirmer si oui ou non il y a un problème Mettez la en évidence ! Mettez le lien dans le footer de votre application, à minima. Rester informé Les utilisateurs peuvent savoir qu’un problème est résolu, sans avoir besoin de vous demander. Attention à la langue ! Vous avez potentiellement des utilisateurs non-anglophones
  19. 19 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH UX - LEVEL UP ! Unlocked: Communication avec les clients via une status page UX
  20. 20 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 20 Ce sont les clients qui nous alertent en cas de problèmes … 2
  21. 21 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Comment savoir que quelque chose va mal ? On a déjà des logs applicatifs Les logs nous donnent révèlent les erreurs ! Utilisons les donc pour alerter !
  22. 22 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Mauvais Logs vs Bon Logs VS
  23. 23 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH TECH - LEVEL UP ! Unlocked: Alerting basique UX
  24. 24 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 24 Investigations et synchro inefficaces 3
  25. 25 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Les poulets sans tête 🐤 Investigation inefficace Vous avez déjà essayé de troubleshoot ET de communiquer avec tout le monde en même temps ? Multiples investigations similaires Par des personnes différentes qui ne se parlent pas Luc en a MARRE L’incident aurait pu être résolu plus vite mais tout le monde lui demandait des news… 🐌
 ✖
 󰞵 Casquette “meta” (Non, pas Facebook) 🧢
  26. 26 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Le rôle d’incident commander 🧢 🐌
 🔀
 🤔
 🩹
 Communiquer Activement, aussi bien publiquement qu’en interne, avec le bon niveau de détails Se concentrer sur l’impact Et éviter l’effet tunnel de l’investigation Orchestrer l’investigation Ne pas tout faire soi-même S’assurer de l’avancement Prendre du recul Pendant et après l’incident
  27. 27 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH ORGA - LEVEL UP ! Unlocked: Un “incident commander” par incident pour orchestrer le tout UX
  28. 28 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 28 Status Page très “binaire” 4
  29. 29 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit La status page est quand même super limitée non ? … sur une feature paumée de l’app : le formulaire de contact Pour pas grand chose Ne plus avoir le statut de “l’app” en entier, mais de ses fonctionnalités Luc a (encore) déployé un bug Beaucoup de bruit sur la status page Approche davantage “métier” ? 󰞵
 🔊
 💡

  30. 30 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Définition de “composants” d’un point de vue utilisateur 🏅
 💬
 🧮
 🔍
 Golden Paths / Key User Experiences Demander à ses utilisateurs Demander à ses interlocuteurs clés D’un point de vue métier. Fonctionnalités. Sales, Support client, etc. Attention à avoir la bonne granularité ! Pas “un bouton = un composant” Pas “Login” / “Le reste” non plus ou mieux, observer et mesurer leur usage
  31. 31 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit “Composants” de status page avec dimension métier Status Page Vote Leaderboard Historique d’incidents Formulaire de contact
  32. 32 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Pour référence… : GitHub ❤ https://www.githubstatus.com
  33. 33 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Pour référence… : Netflix https://help.netflix.com/en/is-netflix-down
  34. 34 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Pour référence… : Scaleway https://status.scaleway.com
  35. 35 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Pour référence… : GCP & AWS https://health.aws.amazon.com/health/status https://status.cloud.google.com
  36. 36 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Pour référence… : Spotify https://community.spotify.com/t5/Ongoing-Issues/idb-p/ongoing_issues
  37. 37 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Pour référence… : Spotify, le twist https://spotify.statuspage.io/
  38. 38 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Pour référence… : Cloudflare ❤ https://www.cloudflarestatus.com
  39. 39 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH UX - LEVEL UP ! Unlocked: Une status page orientée autour des fonctionnalités métier UX
  40. 40 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 40 L’alerting sur les logs est bruyant 5
  41. 41 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Nouvelle approche: les métriques “Ce qui compte, c’est la tendance” Moins d’alertes, mais plus significatives Vue agrégée
  42. 42
 LATENCE Temps de réponse moyen ou perçu par nos

    utilisateurs QUANTITÉ DE TRAFIC Volume de requêtes / évènements TAUX D’ERREUR Proportion de requêtes échouées (ex: 5xx) SATURATION Resources proches de leurs limites (CPU, Mémoire, I/O, threads, …) Les golden signals 🐌
 📈
 💥
 🔋

  43. 43 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit VS moyenne 99e percentile
  44. 44 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH TECH - LEVEL UP ! Unlocked: On a moins de bruit, on a réduit l’alert-fatigue grâce à des agrégations de métriques UX
  45. 45 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 45 Sentiment d’urgence permanente 6
  46. 46 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Tous les incidents ne se valent pas Malgré leur nombre Et traitement potentiellement inadapté Pour les traiter avec l’attention appropriée Incidents traités de la même manière Sentiment d’urgence permanente Et si on priorisait ? 🟰
 󰝋
 🎚

  47. 47 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Roue de la sévérité SEV-1 – 😱🚨 SEV-2 – ⚠ SEV-3 – 😕 SEV-4 – 🙄 4 niveaux de sévérité
  48. 48 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Niveaux de sévérité/criticité → moins de sentiment de “c’est tout cassé” Meilleure priorisation en interne 🗂
 Communication plus appropriée pour les utilisateurs 👌
 Allège le sentiment d’urgence permanente 😌
 Comment sont-ils choisis ? Au doigt mouillé ! C’est mieux que rien pour le moment :)
  49. 49 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH ORGA & UX - LEVEL UP ! Unlocked: Unlocked: Différents niveaux de sévérité pour une meilleure adaptation UX
  50. 50 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 50 Incapacité à débrancher en cas de problème 🔌 7
  51. 51 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit F5 F5 F5 F5 F5 F5 … (non, pas ceux qui ont racheté nginx) Spinner infini sur un fond de #0278D8 https://youtu.be/lJSnL-nbFro?t=411 Les utilisateurs n’ont aucune info et rechargent en boucle Pour arrêter l’hémorragie et informer TOUT est cassé Cercle vicieux… Débrancher “tôt” ? 💥
 🔁
 👴

  52. 52 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Downpage Nous subissons actuellement un incident d’une ampleur conséquente, et faisons tout pour rétablir la situation. Suivez la résolution sur https://status.zoorank.app
  53. 53 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Downpage Servir quelque chose d’informatif Plutôt que rien Votre CDN à la rescousse Ça reste un cas d’exception 📰
 ✍
 Linkez votre status page … voire intégrez-la partiellement ? Ne pas faire trop intelligent Souvent le meilleur endroit pour débrancher/rediriger 🔗
 🧠
 Down Page
  54. 54 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH TECH & UX - LEVEL UP ! Unlocked: Panic button pour réduire la pression et informer nos utilisateurs en cas de gros problème ! UX
  55. 55 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 55 Trop d’incidents “mineurs” liés à des bugs 8
  56. 56 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit "Un incident, c'est n'importe quoi qui vous éloigne de votre travail planifié avec un certain degré d'urgence." https://incident.io/guide/foundations/defining-an-incident
  57. 57 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Parfois, un incident est un bug, parfois pas et réciproquement Exemple Bug ? Incident ? Login tronqué aléatoirement ✅ ✅ Bouton de la mauvaise couleur ✅ ❌ Datacenter en flammes ❌ ✅
  58. 58 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH ORGA - LEVEL UP ! Unlocked: Dissociation des bugs et des incidents → traitement plus adapté, moins de sentiment d’urgence “pour rien” ! UX
  59. 59 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 59 Downtime nocturne 9
  60. 60 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Downtime nocturne Un composant critique tombe à 3h du matin… Tout reste KO jusqu’à ce que Laurent se réveille Personne n’aime se réveiller mais bon Les incidents arrivent aussi la nuit ! Mais les gens dorment… Mise en place d’astreinte 🌙
 🛌
 ⏰

  61. 61 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Construire une équipe d’astreinte ✍
 ⚖
 🌍
 Coût Dimension géographique “Follow the sun” ? 💰
 Avenants Parce-que c’est contraignant aux contrats existants (et nouveaux) Dimensionnement Pas trop petite… ni trop grande
  62. 62 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH ORGA - LEVEL UP ! Unlocked: Équipe d’astreinte centralisée (principalement SREs) ! UX
  63. 63 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 63 Am … stram … gram … 10
  64. 64 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Quel est le maillon faible ? 󰺼 Les logs/metrics seuls sont difficiles à corréler et ne suffisent pas Il faudrait connaître l'enchaînement des appels Ajoutons du tracing distribué
  65. 65 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Tips pour tracer efficacement Mieux vaut pas de traces que des traces incomplètes ⛔
 On surveille régulièrement (même hors incident) 󰳕
 On a ajouté du contexte métier a vos traces (userId, animalId, …) ℹ

  66. 66 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH TECH - LEVEL UP ! Unlocked: Monitoring de la chaîne d’appels UX
  67. 67 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 67 Déjà vu ! 11 Nos incidents
  68. 68 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit On ne s’améliore pas vraiment On veut éviter que certains incidents se reproduisent à l’identique à plusieurs reprises. On veut s’améliorer Elles doivent être faites sans jugement, et examiner en détail tous les événements pour déterminer des axes d’amélioration. On organise des rétrospectives post-incidents. On y discute des incidents et on apprends. On consigne tout ce qui est dit pendant la rétrospective dans des documents: les post-mortems. On crée un rituel dédié Les rétrospectives Post-Mortems
  69. 69 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Un post-mortem typique Nom de l’incident Metadata TL;DR Timeline détaillée Analyse Positif + Améliorable Où as t’on été chanceux ?🍀
  70. 70 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH ORGA - LEVEL UP ! Unlocked: On ne reproduit plus 2 fois la même erreur ! UX
  71. 71 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 71 Notifications proactives aux utilisateurs 12
  72. 72
 La status page: encore faut-il y penser 
 Certains

    utilisateurs oublient la status page Solution: “Abonnement” sur la status page
  73. 73 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit La status page: encore faut-il y penser 
 Status Page Vote Leaderboard Historique d’incidents Formulaire de contact Subscribe
  74. 74 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH UX - LEVEL UP ! Unlocked: Notifications d’incidents proactives auprès de nos users UX
  75. 75 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 75 Trop d’incidents liés à des changements 13
  76. 76 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Un blind approval de PR plus tard… Bizarrement, les castors sont désormais toujours en 1ère position du leaderboard Ce qui crée vite de la friction en interne Oui oui, des tests Luc a encore release un gros bug Trop souvent, changement => incident Adresser les problèmes de qualité ? 💥
 ♾
 💎

  77. 77 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A propos de la qualité et de tests Limiter les incidents potentiels en production qui impactent vos utilisateurs 📉
 Vrais tests end-to-end, qui testent les “golden paths” évoqués plus tôt ↔
 La pyramide habituelle ⛰
 On est à Devoxx… le craftsmanship ça vous connaît déjà non ? :)
  78. 78 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH ORGA & TECH - LEVEL UP ! Unlocked: Une culture de la qualité et des tests qui s’améliore (qui a dit craftsmanship ?) UX
  79. 79 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 79 Vérifier angles morts 14
  80. 80 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Tester l’expérience, pas juste les metrics Synthetics to the rescue Test d’une expérience métier à interval régulier Synthetic == Just another user
  81. 81 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH ORGA & TECH - LEVEL UP ! Unlocked: Des alertes pour les problèmes vraiment sérieux ! UX
  82. 82 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 82 Communication de maintenance planifiée 15
  83. 83 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Différencier maintenance et incidents Une maintenance planifiée ne doit pas être vue comme un incident Solution: mettez en place un processus dédié
  84. 84 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maintenance planifiée : template dédié Maintenance planifiée en cours: jusqu’à 3h du matin, 18/05/25 Nous nettoyons les écuries et remettons Zoorank en ordre. ℹ Consultez l’avancement sur https://status.zoorank.app
  85. 85 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maintenance planifiée : sur la status page 18/05/25 de 2h à 3h Status Page Vote Leaderboard Maintenance planifiée 📆 Formulaire de contact Subscribe Formulaire de contact Historique d’incidents
  86. 86 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH ORGA & UX - LEVEL UP ! Unlocked: On différencie entre indisponibilité prévue / imprévue et on communique en avance à nos clients UX
  87. 87 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 87 “On s’y perd avec tous ces incidents…” 16
  88. 88 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Non, les incidents ne sont pas OCI-compliant Channels Slack, GDocs, Notion, de même que construire de l’automatisation ou de l’outillage cohérent Point central pour tout ce qui est metadata & synchronisation Information éparpillée Analyse “haut niveau” impossible Référentiel d’incidents 🌪
 🔬
 📚

  89. 89 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Le registre d’incidents comme point névralgique 🔧
 🔙
 Analyse Retrouver les incidents passés sans y passer un temps infini 🧪
 Automatisation Typologie, durées diverses, impact cumulé, temps passé, … Réagir sur l’état d’un incident pour se faciliter la vie Incident.io Ca fait vraiment le café. On en reparle plus tard.
  90. 90 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 90 (Canaux de communication) BONUS
  91. 91 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH TECH - LEVEL UP ! Unlocked: Un registre d’incidents UX
  92. 92 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 92 Communication interne: l’arrière-cuisine 17
  93. 93 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Différenciez publique vs. interne Il y a régulièrement des problèmes dont l’impact sur les utilisateurs/clients est faible ou à pondérer 💡 Mettez en place une status page interne
  94. 94 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Status page interne 18/05/25 de 2h à 3h INTERNAL Status Page Vote Leaderboard Maintenance planifiée 📆 Formulaire de contact Formulaire de contact Historique d’incidents Back Office Environnement de preprod
  95. 95 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH ORGA - LEVEL UP ! Unlocked: Status page interne plus granulaire et complète ! UX
  96. 96 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 96 Mission: ne pas exploser à la première 500 18
  97. 97 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Design for failure: rendons notre code résilient 🎯 S’assurer que l’application reste fonctionnelle malgré les erreurs intermittentes Un système résilient échoue avec ✨ grâce ✨ Nécessaire quand on ne contrôle pas nos dépendances ou quand le système peut être surchargé
  98. 98 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Quelques patterns à connaître Limite maximale de temps d’attente d’une réponse Réessayer un appel tant qu’il échoue. Le temps d’attente entre 2 retry est croissant et aléatoire Limite du nombre de requêtes sur une période donnée Refuser les requêtes quand le système est saturé 📉 Rate Limiting 🔁 Retry (avec Jitter) 🐑 Load shedding ⏳ Timeout
  99. 99 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Quelques patterns à connaître Interrupteur logique à 3 états (ouvert / mi-ouvert / fermé) pour bloquer les appels vers une dépendance en erreur Contrôle le flux de message : le consommateur peut ralentir le producteur 🌊 Backpressure 🚦 Circuit breaker Isoler logiquement les parties logiques / physiques de nos systèmes (pool de threads, appels DB, machines, …) 📦 Bulkheading (cloisonnement)
  100. 100 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH TECH - LEVEL UP ! Unlocked: Résilience de nos services, moins d’incidents ! UX
  101. 101 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 101 Suivi des métriques d’incidents 19
  102. 102 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Passer de “on a géré” à “on a progressé” Mesure de temps de détection Temps moyen entre le début d’un incident et sa détection Mean Time To Detect Mesure la fluidité de communication Temps moyen avant que nos user soient informés Mesure d'efficacité de réparation Temps moyen pour restaurer le service après détection Mesure le réflexe d’action immédiat MTTR bis - Temps moyen entre la détection et la 1ère action corrective Mean Time To Resolve Mean Time To Communicate Mean Time To Recovery Attempt
  103. 103 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH ORGA - LEVEL UP ! Unlocked: Une meilleure compréhension de ce qu’il faut améliorer ! UX
  104. 104 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 104 On n’avait pas déjà réglé le problème ?! 20
  105. 105 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Transformer la rétro en plan d’action Comment était notre communication ? A-t-on le bon monitoring en place ? Est-ce que le problème est systémique / externe à notre système ? Prévisible ? A-t-on déjà eu une problème similaire auparavant ?
  106. 106 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH ORGA - LEVEL UP ! Unlocked: Post-mortems actionnables, amélioration continue ! UX
  107. 107 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 107 Trop de communications ?! 21
  108. 108 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Quand l’équipe “marque” s’en mêle Beaucoup de communications - transparentes - sur les problèmes Quelle perception? Communiquer pour entretenir la confiance des utilisateurs
  109. 109 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH ORGA & UX - LEVEL UP ! Unlocked: Une status page orientée autour des fonctionnalités métier UX
  110. 110 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 110 La status page est toujours “un clic trop loin” 22
  111. 111 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit De la status page à l’information dans l’app L’app est accessible, certaines fonctionnalités sont KO Et si on informait directement dans l’app ?
  112. 112 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Eléments de notification dans l’app Les profils sont actuellement indisponibles. Suivez la résolution sur https://status.zoorank.app 
 Les votes sont actuellement impossibles. Suivez la résolution sur https://status.zoorank.app
  113. 113 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH UX - LEVEL UP ! Unlocked: Notifications d’incidents intégrées à l’application ! UX
  114. 114 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 114 Équipes d’astreintes un peu perdues 23
  115. 115 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Permissions, exposition de modèles de ML, … Architecture, spécificités, etc. et a l’impression de porter la terre sur ses épaules afin d’avoir la meilleure compréhension possible et de répondre au plus juste Plus de complexité qu’avant L’équipe d’astreinte galère Plus d’une seule équipe centralisée ? 🧩
 󰷹
 🤝

  116. 116 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Let’s go, product teams d’astreinte aussi ! 👥
 ♻
 🫡
 Coût Va de pair avec la responsabilisation des équipes sur leur scope 💰
 Binômes ? 1→3 équipes = x3 $$$ CF Damian Pacaud (Teads) @ DevOps REX 2018 “Mise à l’échelle d’une équipe d’astreinte dans un contexte de forte croissance” Double effet kiss cool Sur le monitoring.
  117. 117 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH ORGA - LEVEL UP ! Unlocked: Des équipes produits d’astreinte sur leur périmètre UX
  118. 118 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 118 Surveillance de métriques métier 24
  119. 119 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Métriques métiers: aligner la gestion d’incidents On a des tests, des métriques techniques mais pas de mesure d’impact métier 💡Définir, valider et suivre des métriques métiers avec les autres équipes
  120. 120 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH ORGA - LEVEL UP ! Unlocked: Des métriques qui importent vraiment UX
  121. 121 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 121 Il a injecté 3000 requêtes/s dans son service. La suite va vous surprendre … 25
  122. 122 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Validons nos services en conditions réelles 🎯 Identifier comment notre système réagit Tests de charge = Meilleure compréhension de notre système ⚠ Tester en prod != charger la prod
  123. 123 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 3 types de tests de charge Test de la charge, d’une situation normale à maximale. Permet de sizer son application Test de charge extrême. On regarde ou le système atteint ses limites 🧨 Stress Testing 🏋 Load testing Test sur la durée (on parle pas de macarons) . Permet de détecter les fuites mémoires / fatigue système 🧘 Soak Testing
  124. 124 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Analysez TOUJOURS le résultat Bonnes pratiques / Pièges Scénarios réalistes Utilisez des scénarios réalistes (pas des GET /ping) Ne surchargez pas votre infra Si votre infra ne scale pas, pas besoin de la surcharger ! Objectifs clairs Définissez des attentes claires pour chaque test (max latency, throughput / errors) Pas de c’est bon ça a tenu. Partez d’une hypothèse et analysez ce qu’il s’est passé Testez l’architecture Prenez vos patterns de résilience en compte et testez les.
  125. 125 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH TECH - LEVEL UP ! Unlocked: Meilleur dimensionnement + Test des limites du système UX
  126. 126 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 126 Les courts incidents passent à la trappe 26
  127. 127 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Retro-demo-apéro c’est ici ? qu’ils aient été mitigés de s’améliorer Et si on les traitait comme des incidents quand même ? On se rend compte des incidents après Opportunité manquées ? Back to the future 😬
 📜
 🫣
  128. 128 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Le passé, ça compte aussi ! 󰩍
 🥚
 📈
 Traiter avec le même sérieux Monitoring Souvent améliorable 🕴
 Adapter la communication Ce n’est pas parce-qu’on l’a loupé que c’est moins grave. Au contraire… Ce n’est plus urgent Easter Egg Si vous lisez ces mots, félicitations, vous votez sûrement pour les poules sur ZooRank
  129. 129 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH ORGA - LEVEL UP ! Unlocked: Meilleure connaissance de notre système grâce aux précédent incidents UX
  130. 130 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 130 Les investigations commencent souvent tôt 27
  131. 131 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Peut-être qu’il y a un incident… ? “Est-ce qu’il y a un incident ? On va confirmer avant de le déclarer …” Discussions dans des threads où les alertes arrivent Centraliser la discussion au plus tôt Confirmer des incidents prend un peu de temps Information dispersée “Triage” incidents ? ⌚
 🕸
 ⛑

  132. 132 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Faisons le tri ! Non, on ne va pas parler de bubble-sort 🖱
 🛑
 🛟
 Canal de communication Le service client adore ! Super moyen de remonter une suspicion d’incident 💬
 Facilite la confirmation Central et aussi tôt que possible, même s’il est éphémère “One click away” Au pire: “finalement non” Parce-que les fausses alertes, ça arrive !
  133. 133 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH ORGA - LEVEL UP ! Unlocked: Tri des incidents avant la déclaration UX
  134. 134 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 134 L’équipe légale s’en mêle … quand les attentes rattrapent la réalité 22
  135. 135 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit La dure réalité nous rattrape Notre app n’est pas dispo 100% du temps Nous avons prétendu le contraire Le légal s’en mêle 🫣
  136. 136 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit “Vos utilisateurs définissent votre fiabilité, pas votre monitoring" https://sre.google/workbook/reaching-beyond/
  137. 137 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Mettons nous des objectifs Une promesse publique Indique notre engagement concernant notre fiabilité Un objectif interne Budget de fiabilité Définit par la tech & le produit. Basé sur des métriques Doit être un moteur pour savoir sur quoi travailler Utilisez le ! Une fois épuisé on se concentre sur la fiabilité. Service Level Agreement Service Level Objectives Un objectif légal / produit Il nous lie contractuellement à nos clients Doit être revu régulièrement Ne nous surestimons pas
  138. 138 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH TECH + ORGA - LEVEL UP ! Unlocked: Framework de travail sur la fiabilité, légal satisfait UX
  139. 139 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 139 Parfois, c’est les autres 29
  140. 140 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Parfois, c’est les autres E.g. : votre fournisseur de cloud favori A part croiser les doigts, se tenir informé, et tenter de mitiger Et surtout, être alerté tôt Incident chez un prestataire Souvent, pas de vraie solution Suivre et communiquer 🔥
 󰜂
 👀

  141. 141 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Surveiller ses dépendances 🧭
 🗞
 🚥
 RSS feeds Attention aux healthchecks ! Ne pas tout mettre par terre chez soit aussi Avoir des plans de mitigation Vos meilleurs amis depuis 1999 “Anticiper l’incontrôlable, c’est déjà réduire l’impact” Communiquer Avec transparence
  142. 142 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH UX + ORGA - LEVEL UP ! Unlocked: Une meilleure compréhension et confiance dans nos dépendances UX
  143. 143 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 143 Déploiement progressif 30
  144. 144 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Déploiement progressif 1% 5% 20% 100% 🔎 Observer ‼ Taux d’erreur 📈 Métriques métier Mieux vaut tester sur 5% que réparer sur 100%
  145. 145 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Quelques patterns
  146. 146 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH TECH - LEVEL UP ! Unlocked: Incidents limités à une partie de nos users UX
  147. 147 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 147 Des process trop lourds ? 31
  148. 148 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit “Moi je suis là pour coder des features…” … peut-être signe qu’ils sont mal pensés ou implémentés ? “franchement, se taper un post-mortem pour un incident de 3min déjà résolu…” Juste y prêter attention et s’adapter continuellement ! Des process trop pénibles et lourds ? “Flemme de déclarer un incident …” Culture = pas de solution miracle 🪨
 💤
 🤗

  149. 149 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH ORGA - LEVEL UP ! Unlocked: Process moins lourds et plus vivables UX
  150. 150 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 150 Dette technique dans le backlog 32
  151. 151 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit La roadmap n’inclut pas les (fix d’) incidents Il y a toujours trop d’items dans la roadmap “Business first” Ouvrir une discussion argumentée, participer à la roadmap, et montrer l’impact
  152. 152 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH ORGA - LEVEL UP ! Unlocked: Priorisation de notre dette technique UX
  153. 153 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 153 Un manque d’objectivité ? 33
  154. 154 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Les sévérités derechef Vous le sentez le commentaire qui vient de quelqu’un qui, souvent, ne gère jamais d’incident eux-même ? Le principal, c’est si vos sévérités d’incidents sont très largement à côté de la plaque Parce-que ça fait classe comme mot, et que débattre de pilules c’est vraiment nécessaire “C’est pas très scientifique là votre truc de sévérités” Quel problème est-ce que ça pose ? Construisons… une matrice ! 🥼
 ❓
 💊

  155. 155 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Quelqu’un a dit ITIL ? Durée % utilisateurs impactés Feature impactée Quand ? … = 3h 50% Login & vote Le dimanche SEV-1 1h 30% Leaderboard Le samedi SEV-2 10min 10% Autre En journée SEV-3 1min 1% Autre La nuit SEV-4
  156. 156 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Quelqu’un a dit ITIL ? Durée % utilisateurs impactés Feature impactée Quand ? … = 3h 50% Login & vote Le dimanche SEV-1 1h 30% Leaderboard Le samedi SEV-2 10min 10% Autre En journée SEV-3 1min 1% Autre La nuit SEV-4
  157. 157 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Quelqu’un a dit ITIL ? Durée % utilisateurs impactés Feature impactée Quand ? … = 3h 50% Login & vote Le dimanche SEV-1 1h 30% Leaderboard Le samedi SEV-2 10min 10% Autre En journée SEV-3 1min 1% Autre La nuit SEV-4
  158. 158 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Quelqu’un a dit ITIL ? Durée % utilisateurs impactés Feature impactée Quand ? … = 3h 50% Login & vote Le dimanche SEV-1 1h 30% Leaderboard Le samedi SEV-2 10min 10% Autre En journée SEV-3 1min 1% Autre La nuit SEV-4 OR AND
  159. 159 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Quelqu’un a dit ITIL ? Durée % utilisateurs impactés Feature impactée Quand ? … = 3h 50% Login & vote Le dimanche Événement en cours SEV-1 1h 30% Leaderboard Le samedi SEV-2 10min 10% Autre En journée SEV-3 1min 1% Autre La nuit SEV-4 OR AND
  160. 160 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Quelqu’un a dit ITIL ? Durée % utilisateurs impactés Feature impactée Quand ? … = 3h 50% Login & vote Le dimanche Événement en cours SEV-1 1h 30% Leaderboard Le samedi SEV-2 10min 10% Autre En journée SEV-3 1min 1% Autre La nuit SEV-4 OR AND OU le 1er lundi du mois
  161. 161 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Quelqu’un a dit ITIL ? Durée % utilisateurs impactés Feature impactée Quand ? … = 3h 50% Login & vote Le dimanche Événement en cours SEV-1 1h 30% Leaderboard Le samedi SEV-2 10min 10% Autre En journée SEV-3 1min 1% Autre La nuit SEV-4 OR AND OU le 1er lundi du mois Le plus gros client est impacté
  162. 162 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Quelqu’un a dit ITIL ? Durée % utilisateurs impactés Feature impactée Quand ? … = 3h 50% Login & vote Le dimanche Événement en cours SEV-1 1h 30% Leaderboard Le samedi SEV-2 10min 10% Autre En journée SEV-3 1min 1% Autre La nuit SEV-4 OR AND OU le 1er lundi du mois Le plus gros client est impacté
  163. 163 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Quelqu’un a un Ph.D en sévérité ? Si ( (le login OU le leaderboard) est cassé ET qu’on est dimanche ) OU (qu’il y a un événement en cours) OU (que >80% des utilisateurs sont impactés ET (depuis plus de 15min OU qu’on est lundi matin)) …. ALORS → SEV-1
  164. 164 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit “Si vous passez plus de temps à discuter de la sévérité de l'incident qu'à le résoudre, c'est un problème.” https://incident.io/guide/foundations/severities
  165. 165 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Malgré tout… 💥
 📋
 🧫
 ⏪
 Impact > * En général, on ne se plante pas trop d’instinct Revoir ses incidents Afin de réadapter après-coup si besoin Des guidelines globales peuvent aider Mais qu’elles restent des guidelines, non figées dans le marbre Construire une culture pas à pas Pour une compréhension commune
  166. 166 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH ORGA - LEVEL UP ! Unlocked: Une severity matrix qui vous correspond ! UX
  167. 167 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 167 Chaos engineering 34
  168. 168 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Le Chaos engineering c’est comme une répétition générale pour les incidents
  169. 169 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH TECH - LEVEL UP ! Unlocked: Expérimenter et casser volontairement UX
  170. 170 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 170 Un impact trop large 35
  171. 171 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Les incidents mineurs pénalisent toute l’app Une feature mineure est indisponible: toute page y faisant appel est impactée Solution: repenser ce qui est vraiment nécessaire dans l’app
  172. 172 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Graceful degradation de l’app 2 Leaderboard 1 3 panda lion poulposaure
  173. 173 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Maturité ORGA TECH UX+TECH - LEVEL UP ! Unlocked: Impacts limités à des parties de l’application UX
  174. 174 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 174 C’est la PAUSE ☕ Après la pause, si on ne vous a pas fait peur : Démo Résumé + REX PayFit Take Away Q&A 15
  175. 175 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 175 Démo time !
  176. 176 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 176 Démo time !
  177. 177 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 177 Démo time ! https://zoorank.app
  178. 178 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 178 Résumé + REX PayFit 15
  179. 179 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 179 La tech comme point central de détection/mitigation
  180. 180 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 180 Tech : Détection & anticipation Niv ea u fin al
  181. 181 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Détection & Anticipation : L’essentiel Investir beaucoup sur lesmetrics / traces / logs Réconciliez la vision technique et la vision produit Attention à l’alerte fatigue ! Standardisez si vous pouvez (OpenTelemetry, …)
  182. 182 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Détection & Anticipation @ PayFit Teams autonomes sur le monitoring Tout est normalisé grace à Datadog + libs internes Synthetics sur nos expériences clés uniquement Pas de culture de SLO encore
  183. 183 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 183 Tech : Prévenir
  184. 184 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Prévenir : L’essentiel Testez vos changements early Documentez beaucoup Expérimentez les limites de votre système Chaos Testing est un outil à double tranchant
  185. 185 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Prévenir @ PayFit Culture des tests ~OK~ Load testing uniquement sur les parties critiques
  186. 186 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 186 Tech: Mitigation
  187. 187 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Mitigation: L’essentiel Déployez des petits changements, souvent Tester son code tôt et sur des petites populations Savoir déployer c’est bien, pouvoir rollback c’est encore mieux Les runbooks c’est important
  188. 188 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Gros investissement GitOps + ArgoCD Code resilient: On part de loin, mais on y arrive … Utilisation intensive des feature-flags Peut être bientôt un service mesh 🤞 Mitigation @ PayFit
  189. 189 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 189 L’orga, pour être efficaces et ne pas devenir fous
  190. 190 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 190 Orga : Notion d’incident
  191. 191 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Notion d’incident : l’essentiel - Incident = Tout ce qui vous sort de votre travail planifié ou quotidien avec un degré d’urgence - Sévérités : oui, mais ne vous prenez pas (trop) la tête - Incident != bug, même si ça peut être lié - Pas forcément ne considérer que ce qui brûle à l’instant t - Incidents rétrospectifs, triage incidents, etc.
  192. 192 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Notion d’incident @ PayFit - Arrivée tardive – secteur d’activité “chanceux” (ou non ?) - Guideline : “Si quelqu'un pense qu'il y a un incident, c'est que c'est sûrement le cas” - SEV-1, SEV-2, SEV-3, SEV-4 - Au jugé, favorisation à la hausse (+ revue… 4% error) - Évolution propulsée par Incident.io - Incident review mensuelle – on peut largement s’améliorer
  193. 193 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 193 Orga : Post-mortems
  194. 194 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Post-mortems : l’essentiel - On ne le répètera jamais assez : blameless ! - Pas juste un document: une démarche - Ne pariez pas trop sur les templates - Un bon postmortem, c'est au moins 0.5j de boulot - Review collective avec les personnes impliquées sur l'incident - Peu importe l'outil, mais gardez un registre unique - Le plus important : les actions !
  195. 195 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Post-mortems @ PayFit - PagerDuty → Datadog → ~GDoc → Notion - Amélioration très graduelle ces dernières années - Pas encore super bons sur les actions – mais on s'améliore - “Policies” à définir - → Démo ! (Incident 331)
  196. 196 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Bons post-mortems @ PayFit : critères - Confiance en la compréhension de la root cause ? - Timeline lisible et retravaillée ? Timestamps complets ? - Impact orientée end-user et compréhensible par des non-tech ? - Détecté humainement → action d’amélioration d’alerting ? - Actions pertinentes pour réduire le risque futur / l’impact ? - Réflection sur la manière dont l’incident à été géré ? - Blameless ? - Sévérité pertinente ? - Revu par plusieurs personnes ?
  197. 197 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 197 Orga : On-call
  198. 198 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit On-call : l’essentiel - Dépend énormément de la taille de votre entreprise - … et de son secteur d’activité - Coût non négligeable - surtout si vous avez plusieurs rotations en parallèle - Attention à la fatigue ! - Attention aux effets pervers
  199. 199 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit On-call @ PayFit - Équipe centralisée : ~6 personnes, exclusivement des SRE - Un jour, certaines équipes produit ? - A fluctué entre 1 (devinez qui !) et ~8-9 - 5min de décalage sur le déclenchement pour certains - qui cache un peu la poussière sous le tapis - Un vrai manque de runbooks, même si on s’améliore - Peu de déclenchements - Certains mois sans aucun déclenchement - Des alertes encore pas toujours pertinentes - PagerDuty → Incident.io ($22k → $2k …)
  200. 200 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit On-call @ PayFit
  201. 201 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit On-call @ PayFit
  202. 202 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit On-call @ PayFit : compensation
  203. 203 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 203 Orga : Humain, process & communication interne
  204. 204 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Humain/process/comm’ interne : l’essentiel - Ayez un rôle d’incident commander, peu importe la forme - Entraînez vous ! - Ayez de l’empathie pour votre support client (et en général) - et collaborez réellement avec eux - Mesurez (MTTx, fréquence, etc.) - Comme interne != externe : niveau de détail, status page, … - Adaptez le niveau de technicité aux interlocuteurs - Donnez de la visibilité sur la suite
  205. 205 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Humain/process/comm’ @ PayFit - “Red days” en fin de mois - Incident commander: souvent le premier sur l'incident ou EM - Reste Blameless - Les gens lèvent la main ! - Bonne “ambiance” dans les incidents - Pas vraiment de status page interne - Incident.io nous aide vraiment énormément - Tout tourne autour de Slack - Un channel #incidents global + 1 par incident + #incidents-suspicions
  206. 206 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 206 La conception produit à la rescousse
  207. 207 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 207 UX : Status page
  208. 208 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Status page : l’essentiel - Faîtes-en une :) - Les incidents en cours en haut - Séparation par fonctionnalité métier, région, etc. - Capacité de “subscribe” aux incidents - Maintenances planifiées - Sur un domaine dédié. Ne l'hébergez pas vous-mêmes… - Surveillez sa consultation et alertez si elle grimpe en flèche !
  209. 209 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Status page @ PayFit https://www.status.payfit.com
  210. 210 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Status page @ PayFit - Atlassian Status Page → StatusPal - Demain, StatusPal → Incident.io ? - Une page avec beaucoup d’éditeurs - Dimension multilingue non négligeable - ~1500 subscribers - 34 incidents déclarés publiquement en 2024
  211. 211 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 211 UX : Communication
  212. 212 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Communication : l’essentiel - Claire, pilotée par l’Incident Commander - Proactive envers les clients, les utilisateurs - Alignée avec les équipes support, marketing et légal
  213. 213 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Communication @ PayFit - Claire, pilotée par l’Incident Commander ✅ - Proactive envers les clients, les utilisateurs 🟠 - Alignée avec les équipes support, marketing et légal ✅
  214. 214 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 214 UX : Product thinking/design
  215. 215 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Product thinking/design : l’essentiel - Les actions / follow-ups d’incidents sont dans la roadmap - Les points de suivi sont clairs => réelle discussion de priorisation - Bonus: changer certaines features pour être plus fiables sur les expériences clés - Réfléchissez à ce qui peut être désactivé - Hors du chemin critique - Graceful degradation
  216. 216 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Product thinking/design @ PayFit - Les actions / follow-ups d’incidents sont dans la roadmap - Les points de suivi sont clairs => réelle discussion de priorisation ✅ - Bonus: changer certaines features pour être plus fiables sur les expériences clés ✅ - Réfléchissez à ce qui peut être désactivé - Hors du chemin critique ✅ - Graceful degradation 🟠
  217. 217 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 217 Take Away final 15
  218. 218 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit Take away - Vous ne résoudrez pas tout via la tech. Ni uniquement via des process. - Amélioration progressive et concurrente sur l’orga, la tech et les sujets d’UX - Peu importe vos précautions tech, le risque ne sera jamais à 0% pour autant - … donc autant s’organiser pour bien gérer les incidents - Considérez les incidents d'un point de vue produit, pas juste technique. - Impliquez & sensibilisez vos Product Owners/Managers ! - Faites confiance aux gens et à leur instinct & capacités. - Ayez de l'empathie. - Un maître mot : stabiliser – et limiter l’impact
  219. 219 DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte

    tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit A.K.A – Niveau DEVOXX FRANCE 2025 | 17 avril 2025 | Alerte tout brûle ! | | Alexis “Horgix” Chotard, Laurent Leca, Luc Chmielowski – PayFit 219 Merci ! Et bon courage à ceux qui sont d’astreinte ce soir :)
  220. ALERTE, TOUT BRÛLE ! 17 avril 2025 Alexis “Horgix” Chotard

    Laurent Leca Luc Chmielowski Maîtrisez vos incidents techniques
  221. ALERTE , TOUT BRÛLAIT ! 17 avril 2025 Alexis “Horgix”

    Chotard Laurent Leca Luc Chmielowski Vous maîtrisez vos incidents techniques désormais Votre feedback compte Q&A → Venez nous voir après le talk / autour d’un verre Merci ! Slides → https://bsky.app/profile/payfiteng.bsky.social On recrute → https://careers.payfit.com/ <REDACTED> Il fallait être là pendant la conférence :)