Pulumi : Gérer son infrastructure avec son langage de programmation préféré

N’avez-vous jamais rêvé de pouvoir gérer votre infrastructure avec votre langage de programmation préféré ?

La gestion d'infrastructures en tant que code (IaC) a révolutionné la manière dont les équipes déploient, maintiennent et évoluent leurs environnements informatiques. Terraform, l'un des outils les plus populaires dans ce domaine, a permis aux équipes de créer des infrastructures reproductibles et évolutives. Cependant, l'arrivée de Pulumi a ouvert de nouvelles perspectives en offrant une approche novatrice pour le provisionnement d'infrastructures.

Cette conférence se penche sur les avantages de Pulumi par rapport à Terraform, en explorant comment Pulumi repense les fondements de l'IaC. Nous mettrons en lumière les points forts de la solution comme la programmation multi-langages, etc.

Elle rapporte également l’utilisation de Pulumi au sein des Restos du Cœur. Utilisation qui marque une étape significative dans l'optimisation et la modernisation de la gestion de l'infrastructure informatique.

En tant qu'organisation caritative dédiée à l'aide alimentaire et à la lutte contre la pauvreté, les Restos du Cœur dépendent fortement d'une infrastructure informatique fiable et évolutive pour coordonner leurs activités, gérer les dons et assurer une communication efficace.

Pour terminer cette conférence, nous réaliserons une démonstration de l’utilisation du SDK Pulumi pour déclarer notre infrastructure en utilisant le Python et le Go, pour montrer ainsi, qu’il n’a jamais été aussi simple pour un développeur de gérer et provisionner l’infrastructure.

Transcript

1. Gérer son infra avec son langage de programmation préféré Julien Briault - Deezer / Restos du Coeur
2. Disclaimer 1 🤯 Cette conférence a été préparée avant le drama d’Hashicorp et la Business Source Licence. @ju_hnny5
3. @ju_hnny5
4. @ju_hnny5
5. @ju_hnny5 L’actualité …
6. https://www.youtube.com/watch?v=E_F71Niwq_8 @ju_hnny5
7. Disclaimer 2 😬 Aucun code Terraform ne sera maltraité. @ju_hnny5
8. ~#whoami Julien Briault (ex) SecOps consultant chez IT/Infrastructure Manager (bénévole) aux Network Engineer / SRE chez Auteur principal sur blog.jbriault.fr #Networking #FOSS #Dev #Music @ju_hnny5
9. @ju_hnny5 Le cloud du Coeur
10. @ju_hnny5
11. @ju_hnny5
12. Merci @ju_hnny5
13. Le plan 1. Petit retour aux sources 2. Présentation des solutions historiques 3. Présentation de Pulumi 4. Comparaison avec Terraform (sans trash talk, promis) 😏 @ju_hnny5
14. @ju_hnny5
15. Retour aux sources
16. Dev - Ops @ju_hnny5
17. Concilier les inconciliables ? 󰷻 @ju_hnny5
18. Silotisation des équipes 😶 @ju_hnny5
19. Délais de déploiement 😬 @ju_hnny5
20. Complexité croissante 🤓 @ju_hnny5
21. Agile + DevOps @ju_hnny5
22. DevOps ce n’est pas un métier @ju_hnny5
23. DevOps ? 🤩 1. Culture pour changement de culture organisationnelle 2. Automation pour automatiser tout ce qui peut l’être (tâches répétitives, tests...) 3. Lean pour rationaliser un projet d’un bout à l’autre 4. Measurement pour mesurer un processus afin de pouvoir l’améliorer 5. Sharing pour le partage des mêmes objectifs par tous les acteurs d’un projet. @ju_hnny5
24. Pet vs Cattle 👀 @ju_hnny5
25. "Infra is hard..." @ju_hnny5
26. Infra as Code ? 👀 @ju_hnny5
27. L’infra as Code ? 👀 L’Infrastructure as Code (IaC) est une pratique qui consiste à gérer et à provisionner des infrastructures informatiques en utilisant des fichiers de définition. Source : https://shorturl.at/aeoqO @ju_hnny5
28. L’infra as Code ? 👀 @ju_hnny5 L’Infrastructure as Code apporte plusieurs bénéfices … Source : https://shorturl.at/aeoqO
29. Versioning 🤓 @ju_hnny5
30. Facilite les audits @ju_hnny5
31. Retour arrière @ju_hnny5
32. Shadow IT 🧐 @ju_hnny5
33. Infrastructure (configuration) Management L’infra as Code ? 🙂 @ju_hnny5 Infrastructure Provisioning =/=
34. L’infra as Code ? 🙂 Stateful Stateless vs @ju_hnny5
35. L’infra as Code ? 🙂 @ju_hnny5 Imperative Declarative vs Procedural Structured Object-oriented Functional Logic
36. @ju_hnny5 Imperative Declarative vs Step by step instructions Declare and result Create a server Add a server Make this change 2 servers L’infra as Code ? 🙂
37. “Quand les devs veulent faire de l’ops” 😅 @ju_hnny5
38. https://www.youtube.com/watch?v=aZvsplOAd7c @ju_hnny5 Infra : Donnez de l’autonomie à vos développeurs avec OctoDNS
39. On commence (réellement) ? 🚀
40. Solutions historiques 🤓 @ju_hnny5
41. @ju_hnny5
42. AWS CloudFormation @ju_hnny5 Quelques désavantages : 1. Complexité de la syntaxe 2. N’est lié qu’à AWS (obviously) 🤯 3. Limitation des modèles 4. Ressources orphelines a. Si une mise à jour de template n'inclut pas toutes les ressources existantes, certaines peuvent devenir "orphelines", c'est-à-dire qu'elles ne sont pas supprimées lors de la mise à jour, ce qui peut entraîner des coûts inattendus.
43. @ju_hnny5
44. Azure Bicep Quelques désavantages : 1. La courbe d’apprentissage 2. N’est lié qu’à Microsoft Azure 🤯 3. La maturité 4. Pas de “state” 5. Ecosystème et la communauté @ju_hnny5
45. @ju_hnny5
46. OpenStack Heat @ju_hnny5 Quelques désavantages : 1. La complexité au démarrage (lié principalement à la hiérarchie des valeurs en YAML) 😬
47. @ju_hnny5
48. Terraform Quelques désavantages : 1. La complexité au démarrage (lié principalement au DSL) 2. L’héritage de valeurs a. Le système de modules 😕 3. Lisible mais logique de dev difficilement applicable @ju_hnny5
49. @ju_hnny5 Turing Complete ? 😶
50. @ju_hnny5 Le combat que tout oppose 😎
51. @ju_hnny5 Le standard de facto 😏
52. @ju_hnny5 Le multi-envs ? +
53. Le multi-envs avec Terraform @ju_hnny5
54. Le travail concurrentiel avec Terraform ? @ju_hnny5 @ju_hnny5
55. @ju_hnny5 Le petit nouveau* 😎
56. Pulumi, Késako ? @ju_hnny5 • La première version stable est sortie le 3 septembre 2019. ◦ Projet très jeune par rapport à Terraform sorti en 2014 • Projet écrit en Go(lang) • Possède une communauté large et active 😊 • Beaucoup de tooling fournit directement par l’outil ◦ Vs Terraform où beaucoup d’améliorations sont apportées par des outils tiers (exemple Terragrunt) • Pour bien commencer : ◦ https://www.pulumi.com/docs/get-started/
57. Pulumi Installation 😏 @ju_hnny5 Installation toute simple : curl -fsSL https://get.pulumi.com | sh Plus d’informations ici : - https://www.pulumi.com/docs/install/
59. @ju_hnny5 📄 Program • un ensemble de fichiers écrits dans le langage de programmation choisi*.
60. 📝 Project • un répertoire contenant un programme, avec des métadonnées, afin que Pulumi sache comment l'exécuter. @ju_hnny5
61. 󰜼 Stack • une instance de votre projet, chacune correspondant souvent à un environnement cloud différent. @ju_hnny5
62. Pulumi, Project structure ? @ju_hnny5
63. Pulumi, Késako ? @ju_hnny5
64. Pulumi, Késako ? @ju_hnny5
65. Pulumi, Késako ? @ju_hnny5 Créer son premier projet très facilement, de manière accompagnée. Utiliser des “templates” pour aller encore plus vite !
66. Demo (x3) ! @ju_hnny5
67. Démo : Créons notre premier projet ! @ju_hnny5
68. Démo : Créer une première instance sur AWS (avec Python) @ju_hnny5
69. @ju_hnny5
70. Démo : Jouons avec les templates ! @ju_hnny5
71. Pulumi, le stockage de l’état ? 😊 @ju_hnny5 • Par défaut, sur Terraform, l’état est stocké dans le fichier terraform.tfstate (localement) • Dans Pulumi, par défaut, le fichier d’état est stocké dans la Cloud Console.
72. Pulumi, le stockage de l’état ? 😊 @ju_hnny5 • Possible de stocker les fichiers d’état dans un bucket type S3 ou GCS. ⚠ Si vous ne définissez pas un mot de passe à votre stack (à l’init), les identifiants stockés dans le fichier de state seront accessible avec la clé de la stack, soit : “”.
73. Démo : Jouons avec l’état ! @ju_hnny5
74. L’Infrastructure as Code, bah… c’est du code ! @ju_hnny5
75. Infra as Code : Apprendre de nouveau langages ? @ju_hnny5
76. DevXP @ju_hnny5
77. DevXP : Les langages supportés 😍 A l’inverse de Terraform qui propose d’utiliser son DSL, Pulumi propose un SDK permettant d’utiliser plusieurs langages comme : @ju_hnny5
78. Démo : Créer des ressources (avec YAML) @ju_hnny5
79. DevXP : Les langages supportés 😏 https://marketsplash.com/tutorials/pulumi/pulumi-rust/ @ju_hnny5
80. DevXP : Les langages supportés 😏 https://marketsplash.com/tutorials/pulumi/pulumi-rust/ @ju_hnny5
82. DevXP : Les langages supportés 😏 https://marketsplash.com/tutorials/pulumi/pulumi-rust/ @ju_hnny5
83. DevXP : Le code 🤩 Terraform HCL Pulumi Python resource "openstack_compute_instance_v2" "basic" { name = "basic" image_name = "Ubuntu Server 22.04" flavor_name = "m1.small" key_pair = "jbriault" security_groups = ["default"] network { name = "tenant_network" } } instance = openstack.compute.Instance("basic", flavor_name="m1.small", image_name="Ubuntu Server 22.04", key_pair="jbriault", security_groups=["default"], networks=[{"name": "tenant_network"}], ) @ju_hnny5
84. DevXP : Les langages supportés 🤓 Des ressources intéressantes : - https://www.pulumi.com/docs/concepts/vs/terraform/ - https://www.youtube.com/watch?v=PqAP4BunQZU @ju_hnny5
85. DevXP : L’outillage 󰜼 Utiliser son environnement de dev préféré 1. Pas besoin d’IDE ou de plugin spécifique pour Pulumi @ju_hnny5
86. DevXP : L’outillage Source : https://shorturl.at/nHSV7 @ju_hnny5
87. DevXP : L’outillage Mode pour de la CICD (via l’option –non-interactive) directement intégré à la CLI Pulumi @ju_hnny5
88. On est en 2024 … 🦾 @ju_hnny5
89. DevXP : De l’IA 🦾 @ju_hnny5 @ju_hnny5
90. La modularité 😎 @ju_hnny5
91. DevXP : La modularité 😎 1. Vous pouvez organiser votre code en modules réutilisables, ce qui facilite la création et la gestion de configurations d'infrastructure complexes. 2. Vous pouvez facilement découper votre code sous forme de modules ou non (à l’inverse de Terraform qui n’offre qu’un système de modules). 3. Pas besoin d’outil comme terragrunt pour hériter de valeurs. @ju_hnny5
92. Démo : La modularité au sein d’un projet Pulumi @ju_hnny5
93. Une couche d’abstraction 👀 @ju_hnny5
94. DevXP : Une couche d’abstraction 󰷻 Pulumi permet d’utiliser les mécanismes de chaque langage. Ainsi il est aisé d’apporter de l’abstraction sur certains éléments de son infrastructure. 🤯 @ju_hnny5
95. DevXP : Une couche d’abstraction https://github.com/juhnny5/pulumi-fortigate-example @ju_hnny5 # TCP port range myport: type: "TCP" # or UDP/SCTP port_range: "223-332" visibility: "enable" category: "General" ssh_port: type: "TCP" port_range: "22-22" visibility: "enable" category: "General" Exemple, créer des objets sur un pare-feu FortiGate : for key, value in content_services.items(): if value['type'] == 'TCP': serviced = forti.FirewallServiceCustom( key, app_service_type="disable", category="General", check_reset_range="default", color=0, helper="auto", iprange="0.0.0.0", name=key, protocol="TCP/UDP/SCTP", protocol_number=6, proxy="disable", tcp_halfclose_timer=0, tcp_halfopen_timer=0, tcp_portrange=value['port_range'], tcp_timewait_timer=0, udp_idle_timer=0, visibility=value['visibility'], ) elif value['type'] == 'UDP': serviced = forti.FirewallServiceCustom( key, app_service_type="disable", category="General", check_reset_range="default", color=0, helper="auto", iprange="0.0.0.0", name=key, protocol="TCP/UDP/SCTP", protocol_number=6, proxy="disable", udp_halfclose_timer=0, udp_halfopen_timer=0, udp_portrange=value['port_range'], udp_timewait_timer=0, udp_idle_timer=0, visibility=value['visibility'], ) elif value['type'] == 'SCTP': serviced = forti.FirewallServiceCustom( key, app_service_type="disable", category="General", check_reset_range="default", color=0, helper="auto", iprange="0.0.0.0", name=key, protocol="TCP/UDP/SCTP", protocol_number=6, proxy="disable", sctp_halfclose_timer=0, sctp_halfopen_timer=0, sctp_portrange=value['port_range'],
96. Démo : Créer des ressources en apportant une couche d’abstraction (avec Python) @ju_hnny5
97. La CLI 😯 @ju_hnny5
98. La CLI : pulumi Une seule ligne de commande pour tout contrôler. 🤩 Verbes différents de ceux de Terraform. • Liste disponible ici : https://www.pulumi.com/docs/concepts/vs/terraform/terminolo gy/#commands @ju_hnny5
99. La CLI : pulumi @ju_hnny5
100. La CLI : pulumi Exemples Afficher les modifications à apporter : pulumi preview terraform plan Appliquer les modifications : pulumi update terraform apply Détruire les ressources : pulumi destroy terraform destroy @ju_hnny5
101. La CLI : Une migration facilitée @ju_hnny5 Une commande : pulumi convert \ –from terraform \ –language python \ –out pulumi Disponibles depuis la version v3.71.0.
102. Démo : Convertir du code Terraform en Pulumi @ju_hnny5
103. La CLI : Une migration facilitée Migrer ses ressources : pulumi import --from terraform ./terraform.tfstate Quelques ressources pour aider à la migration : - Migration Hub - https://www.pulumi.com/blog/migration-hub/ - https://www.pulumi.com/migrate/ @ju_hnny5
104. Pulumi Cloud Console • Gestion de l’état de déploiement et des secrets dans Pulumi Cloud par défaut. 🤯 • Permet l’exécution à distance des déploiements. • S’intègre avec votre CI/CD. 🤩 https://www.pulumi.com/docs/pulumi-cloud/self-hosted/components/console/ @ju_hnny5
105. Pulumi Cloud Console • Gestion des politiques/contrôles d’accès. 🫡 • Gestion concurrentielle (à plusieurs/en parallèle) du travail (bye bye (run)Atlantis 󰗞) https://www.pulumi.com/docs/pulumi-cloud/self-hosted/components/console/ @ju_hnny5
106. Pulumi Cloud Console @ju_hnny5
107. Pulumi Cloud Console @ju_hnny5
108. @ju_hnny5 Pulumi ESC (Environment, Secrets and Configuration)
109. Pulumi ESC • Permet aux équipes d'agréger des secrets et des configurations provenant de nombreuses sources, de gérer des collections hiérarchiques de configurations et de secrets ("environnements"), et de consommer ces configurations et secrets à partir d'une variété de services d'infrastructure et d'application différents. • Peut fonctionner avec mais aussi sans Pulumi. https://www.pulumi.com/docs/esc/get-started/ @ju_hnny5
110. Terraform Bridge @ju_hnny5
111. Pulumi Terraform Bridge Exemple : https://github.com/juhnny5/pulumi-maas-python @ju_hnny5 Adapter n’importe quel provider Terraform (construit à l’aide du Terraform Plugin SDK) en provider Pulumi. Les providers Terraform font des opérations CRUD*, il est donc “facile” de les transposer en provider Pulumi. *Create, Read, Update, Delete
112. Pulumi Terraform Bridge https://github.com/pulumi/pulumi-tf-provider-boilerplate @ju_hnny5
113. Automation API @ju_hnny5
114. Pulumi Automation API : Intégrations et workflows automatisés @ju_hnny5
115. Community @ju_hnny5
116. Community @ju_hnny5 • https://slack.pulumi.com/ • https://github.com/pulumi • https://twitter.com/PulumiCorp • Calendrier des conférences / Meetup : https://docs.google.com/sprea dsheets/d/1TXphpxOOJN87ptH 39JdSv32nzoTpBmhE2HhOGUA E4yw/edit
117. The cons @ju_hnny5
118. Pulumi, the cons Le Pulumi Terraform Bridge 😏 - Peut poser quelques complications très rapidement (souvent liées au provider source) @ju_hnny5
119. Pulumi, the cons Sans définition de guide lines, ça devient vite le bordel : - Pas directement lié à l’outil mais à la manière de développer - Favoriser les projets bien structurés - Conviendra mieux aux développeurs au démarrage qu’à un Ops (qui ne fait quasiment pas de dev) @ju_hnny5
120. Pulumi, the cons La documentation - Très bien réalisée mais manque d’exemples - Peu de ressources si on compare à Terraform @ju_hnny5
121. Pulumi, the cons Le nombre de providers😕 @ju_hnny5 Environ 4000 (sur la Registry) Environ 160 (sur la Registry)
122. Pulumi, the cons @ju_hnny5 Ne pas oublier le bridge ! 😜 Le nombre de providers😕
124. @ju_hnny5 Laissez-moi un feedback !
125. @ju_hnny5 Comme je suis gentil, les slides sont ici …
126. & Q A
127. Thank you @ju_hnny5