Atelier #BlueHats du 7 juin 2024 : Open Kubernetes Data Platform

Présentation d'OKDP par la DGFip - voir https://code.gouv.fr/fr/bluehats/okdp/

Transcript

1. Open Kubernetes Data Platform
2. 2 OKDP Introduction et mise en contexte 1 • OKDP : l'acronyme de Open Kubernetes Data Platform. • C'est une plateforme de services de gestion de données composée d'un ensemble de logiciels et produits Open Source conteneurisés et repose sur une infrastructure Kubernetes • Elle répond à des enjeux et des besoins de collecte, de stockage, de traitement, d'analyse et d'exposition de données. • Pour ce faire, OKDP est modulable et chaque utilisateur pourra en utiliser tout ou partie selon ses besoins. • OKDP vise à offrir les moyens de valoriser pleinement les données, en exploitant cette plateforme, les utilisateurs pourront améliorer leur prise de décision, renforcer leur capacité à gérer et analyser des données complexes et stimuler l'innovation dans le domaine de la gestion des données.
3. 3 TOSIT est une association Loi de 1901. C’est une structure de soutien à l’Open Source. TOSIT Membres fondateurs Membres associés
4. 4 4 Distribution Data, 100% Open Source Libre (Licence Apache V2) TOSIT
5. 5 Contexte DGFIP et partenaires TOSIT 1 ETP en décembre 2023 à la DGFiP ETP Estimation en septembre 2024 à la DGFiP ETP en décembre 2023 côté partenaires TOSIT (EDF, Orange et Adaltas) 2 3,5 3
6. 6 OKDP • Site Web: https://okdp.io • Weekly Technique (Chaque Mercredi 10h) : https://webconf.numerique.gouv.fr/OpenKubernentesDataPlatform2024 • Channel Mattermost Général : https://framateam.org/tosit/channels/okdp • Discussions GitHub pour les contributeurs: https://github.com/orgs/OKDP/discussions • GitHub: https://github.com/okdp • Repository maven central : https://central.sonatype.com/namespace/io.okdp • Repository quay.io : https://quay.io/organization/okdp • Evènements : • DINUM Atelier BlueHats : le vendredi 7 juin 2024 • TOSIT Day : 13 juin 2024 • Salon Data and AI Leaders : novembre 2024 Site Web et événements
7. Page 7 OKDP: Architecture à base de Kubernetes et services on-demand 7 Data Processing, IA/ML and Visualization Data Management Data Integration Data Storage Kubernetes Platforms (RKE, EKS, AKS, GKE, etc.) Bare-Metal | Virtualization | Cloud Data Engineer Data Scientist Data Analyst Business User CPUs / GPUs Object Storage / Block Storage / NFS SSO LDAP TLS Monitoring Backup DRP
8. Page 8 OKDP: Compatibilité avec les nouveaux Pattern d’architecture (1) 8 (1) Architecture Data Mesh Data Infra as a Platform (Stockage, pipeline, catalogue, Viz, etc.) Gouvernance Globale et Standards Domaine Data A Domaine Data B Domaine Data C Domaine Data D - décentralisé - on-demond - Data Virt - Gouvernance centralisée - Ségrégation S/C
9. Page 9 OKDP: Compatibilité avec les nouveaux Pattern d’architecture (2) Data Processing and Visualization ML OPS Data Integration Data Storage Records Documents Files Messages Streams 9 Kubernetes Platforms (RKE, EKS, AKS, GKE, etc.) Bare-Metal | Virtualization | Cloud CPUs / GPUs Object Storage / Block Storage / NFS Data Fabric - MLOPS - décentralisé - on-demond - multi-tenants - Kubernetes - Data Virt
10. Page 10 OKDP: Compatibilité avec les nouveaux Pattern d’architecture (3) Data Processing and Visualization Gouvernance centralisée Collecte des données Format de stockage optimisé (ACID) Records Documents Files Messages Streams 10 Kubernetes Platforms (RKE, EKS, AKS, GKE, etc.) Bare-Metal | Virtualization | Cloud CPUs / GPUs Object Storage / Block Storage / NFS Lakehouse - ACID - SQL - Streaming - Interactive - Big & Small - Ségrégation S/C
11. Page 11 OKDP : Architecture Technique (déploiement modulaire) 11 PV/PVC Load Balancer Security Observability Scheduling Ingress Controller Query Engine Stockage Autres Composants Traitement ML/AI AAA Certs Management Kubernetes
12. 12 Roadmap Les grands jalons Janvier 2024 JupyterHub: On-Demand Notebooks 1 2 3 4 Avril 2024 Apache Spark : Moteur de traitement à large échelle T3 2024 Trino & SuperSet : Moteur de traitement et visualisation interactifs T4 2024 Sandbox avec guide utilisateur
13. 13 Roadmap Travaux réalisés
14. 14 Roadmap Les prochaines étapes
15. 15 Demo