Daten sind der neue Brennstoff für moderne digital Produkte. Aber auch Daten müssen zunächst gefördert und anschließend aufwändig raffiniert und angereichert werden bevor sie wirklich nutzbringend verwendet werden können. Die hierfür verwendeten ETL und ELT Ansätze und Tools sind dabei häufig entweder proprietär oder extrem individuell. Die Wartbarkeit und Skalierbarkeit solcher Ansätze ist leider beschränkt.
Dieser Vortrag beschreibt die Evolution und Migration einer monolithischen Datenversorgung, hinzu flexibel orchestrierbaren Daten-Services und k8s-nativen Daten-Pipelines auf Basis von Quarkus und einer Kombination verschiedener Projekte aus dem Argo Ökosystem: ArgoCD, Workflows und Events.