Disks mit k gleich großen Datenbrocken + Codierung, um einen Plattenausfall zu überleben? k gleich große Stücke Daten insgesamt n Disks / Storage Nodes
Erasure Code: k Data Nodes/Disks, m Coding od. Parity Nodes/Disks. Coding/parity ist auf getrennten Nodes/Disks. k gleich große Stücke Daten insgesamt n Disks / Storage Nodes n = k + m m coding disks
➛ Daten auf ausgefallenen Platten werden unbrauchbar bzw. korrupt. Dieser Fehlerzustand heißt „erasure“➛ Erasure Coding k gleich große Stücke Daten insgesamt n Disks / Storage Nodes n = k + m m coding disks
angewendete EC Algorithmus den Ausfall von m Platten rekonstruieren, ist das ein Maximum Distance Separable Code (MDS). k gleich große Stücke Daten insgesamt n Disks / Storage Nodes n = k + m m coding disks
Anzahl der Datennodes/-platten m ➛ Anzahl der Paritynodes/-platten (m=n-k) § Beispiel: EC(8,5) 5 Datenplatten, 3 Parityplatten MDS = 3 (n-k) Overhead = 8/5 (1,6) (n/k) Notation k n m
braucht viel Plattenplatz ➛ großer Overhead § robuste Skalierung über viele Nodes (Performance) - RAID-5 oder RAID-6 mit >20 Platten ➛ unzuverlässig, hohe Rebuild-Zeiten - RAID-5: m=1; RAID-6: m=2 - große Storage-Cluster (m>10) § häufig bei Object Storage, eher selten (noch?) bei Block Storage § nicht sinnvoll: sehr viele sehr kleine Files ➛ Overhead wird zu groß Virtualisierung/Cloud: Container, Images, >50MB Wann ist Erasure Coding sinnvoll?
bis viele Chunks bewegt werden - innerhalb Storage-System tolerierbar - in Cloud ➛ Netzwerklast § Ziel: Optimum aus (n,k) und EC- Algorithmus § im Einzelfall „secret sauce“ des Herstellers A1+A2+B2 A2+B1 A2+B2 A1+B1 B1 B2 A1 A2 A1➛? A2➛? B2 A2+B2 A1+A2+B2
Redundanz zu versehen. § Erasure Coding bringt hohe Redundanz bei vergleichsweise geringem Platz- Overhead. § EC(20,16) bedeutet, dass 16 Daten-Chunks auf 20 Speicher-Chunks verteilt werden. Es können bis zu 4 Speicher-Chunks gleichzeitig ausfallen, ohne dass Daten korrumpieren. § Die Reparatur per Erasure Coding kann CPU-intensiv sein und vergleichsweise hohe I/O-Last bzw. Netzwerklast erzeugen. Was Sie von heute mitnehmen sollten