Ceph on bare metal at packet.net

from our last k8s meetup on 22. March 2018

https://meetu.ps/e/DZP9q/mjfLb/a

Transcript

1. Ceph on bare metal at packet.net Rook - Kubernetes Operator for Ceph POC Lars Theiß lars.theiss@dreamit.de
2. ! Ceph Überblick ! Rook Überblick ! Installation Rook Operator ! Installation Rook Cluster ! PVC erstellen ! Lasttest / Monitoring ! rook-tools Container Agenda
3. Was ist Ceph? • Ein Ceph Cluster realisiert ein verteiltes Dateisystem über mehrere Storage Server • File, Block, und Object Storage Services für Cloud- Native Environments • Überblick Ceph: • https://www.heise.de/ix/heft/In-Bestform-3948233.html • https://public.centerdevice.de/d72fea90-0d1f-4f7d-8cf2-404603a94032
4. Wo steht Ceph? Quelle: https://www.thomas-krenn.com/de/wiki/Ceph
5. Was ist rook? https://github.com/rook/rook/blob/master/Documentation/README.md: Rook 
 …
 Rook turns distributed storage software into a self- managing, self-scaling, and self-healing storage services. It does this by automating deployment, bootstrapping, configuration, provisioning, scaling, upgrading, migration, disaster recovery, monitoring, and resource management.
6. Was ist rook? https://github.com/rook/rook/blob/master/Documentation/README.md: Rook 
 …
 Rook turns distributed storage software into a self- managing, self-scaling, and self-healing storage services. It does this by automating deployment, bootstrapping, configuration, provisioning, scaling, upgrading, migration, disaster recovery, monitoring, and resource management.
7. Rook nimmt uns Arbeit ab
8. Quelle: https://raw.githubusercontent.com/rook/rook.github.io/master/docs/rook/v0.7/media/kubernetes.png Ein Rook Cluster realisiert ein verteiltes Dateisystem über mehrere Storage Nodes im K8S
9. • Rook Agent: stellt auf jedem Rook-Node „consume storage“ - Operationen für den Cluster bereit
 • Rook Ceph-Mon: „Gehirn des Clusters“, Metadaten-Verwaltung
 • Rook Ceph-OSD: Storage Unit Verwaltung
 
 Rook Ceph-Mgr: zusätzliche Monitoring-Interfaces • Rook-Api
 • Rook RGW: Objectstorage/S3
10. Testumgebung • Memory 256 GiB • 24x2 Xeon(R) CPU E5-2650 • 6x SSD 447.1 GiB
11. Operator
12. Rook-Operator: K8S API Erweiterung
13. Rook-Cluster # helm install . -n rook-cluster —namespace=rook
 apiVersion: rook.io/v1alpha1 kind: Cluster metadata: name: rook spec: versionTag: {{ .Values.versionTag }} dataDirHostPath: {{ .Values.dataDirHostPath }} storage: useAllNodes: true useAllDevices: true storeConfig: storeType: bluestore deviceFilter: "^sd."
14. up & running
15. und los…
16. Calculator URL: https://ceph.com/pgcalc/ Fertig??? • Pools werden nicht automatisch “ge-sized“ • Striping? • Replicas?
17. Grafana
18. Node crash
19. Fazit • Rook ist alpha
 https://github.com/kubernetes/kubernetes/issues/59478
 kube-apiserver panics on deployment of CRD #59478
 • Ceph ist stabil • Tuning notwendig (pools/pg) • durchaus guter Durchsatz, aber Latenz • rook-tools verwenden • Automatisiertes Aufsetzen, Cluster on Demand