Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Buzzwordbingo Storage Edition 2019

Buzzwordbingo Storage Edition 2019

In einem flotten Ritt durch das Land der aktuellen Storage-Buzzwords erläutere ich kurz ein paar technische Hintergründe zu den Begriffen und versuche, nach Sinn und Unsinn zu unterscheiden. Mitreisende werden am Ende der halben Stunde ein grobes Verständnis für Dinge wie Storage Class Memory, Persistent Memory oder Computational Storage haben, und können ein paar Begriffe mit nach Hause nehmen, die beim selbständigen weiterforschen helfen.

Wolfgang Stief

November 28, 2019
Tweet

More Decks by Wolfgang Stief

Other Decks in Technology

Transcript

  1. $ whoami ❖ open minded geek & engineer ❖ Dipl.-Ing.


    Elektrische Energietechnik ❖ selbständig (2011) – sys4 AG (2012) – speicherguide.de (2019)
 technisches Marketing, Erklärbär, Projektmanagement, AG-Vorstand ❖ Cray-Cyber.org
 #vintagecomputing ❖ @stiefkind / @SpeicherStief (Twitter)
 [email protected]
 https://www.linkedin.com/in/wstief/ STIEF consult ING
  2. $ ls -l ./buzzwords 2 persistent_memory___storage_class_memory 1 edsff_wtf!? 1 nand_flash_–_qlc_und_plc

    1 computational_storage 1 nvme_over_everything 1 composable_infrastructure 1 erasure_coding $_
  3. Persistent Memory / Storage Class Memory ❖ Phase Change Memory

    – “Kernspeicher”
 Intel Optane DC, 3D XPoint (Micron/Intel) ❖ schneller als NAND, langsamer als DRAM ❖ längere Lebensdauer als NAND ❖ adressierbar als Bit/Byte
 vs. Pages @ NAND ❖ billiger als DRAM
 ➛ sehr viel größere Kapazitäten werden erschwinglich
  4. Persistent Memory / Storage Class Memory ❖ DCPMM – Data

    Center Persistent Memory Module ❖ HW (BIOS) muss das supporten ❖ Support in allen aktuellen OS vorhanden ❖ Betriebsarten
 ➛ “RAM-Disk” bzw. schnelles Storage
 ➛ DIMM
 ➛ persistente “RAM-Disk” (FSDAX)
 ➛ Character Device ❖ ipmctl/ndctl
 PMDK – Persistent Memory Developer Kit (http://pmem.io)
 Bild: Intel Corp.
  5. EDSFF – WTF!? ❖ Enterprise Datacenter Small Form Factor
 formerly

    know as Intel Ruler ❖ neuer Formfaktor für SSDs ❖ E1.L, E1.S ❖ 19” ➛ 32 Drives E1.L
 32x 16TB = 512 TB NAND-Flash @ 1HE (!)
 E1.L mit 32TB geplant, Verfügbarkeit derzeit unbekannt ❖ https://edsffspec.org/
 7 Promoters, 8 Contributors Bild: Intel Corp.
  6. NAND Flash – QLC und PLC ❖ QLC – Quad

    Level Cell ❖ PLC – Penta Level Cell ❖ 5V Spannungsdifferenz zwischen all 0 und all 1 ❖ Levels ↥ == Haltbarkeit ↧ == Speed ↧ 0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111 000 001 010 011 100 101 110 111 00 01 10 11 0 1 PLC QLC TLC MLC SLC 00000 00001 00010 00011 00100 00101 00110 00111 01000 01001 01010 01011 01100 01101 01110 01111 10000 10001 10010 10011 10100 10101 10110 10111 11000 11001 11010 11011 11100 11101 11110 11111
  7. Computational Storage / Computational Memory ❖ CPU kommt zum Storage

    ❖ ARM vs. FPGA
 Flexibilität vs. Performance ❖ (verteilte) Datenbanken
 z. B. Hadoop ❖ Deep Learning / Machine Learning
 Anlernen/trainieren eines neuronalen Netzes ❖ Erasure Coding? Bild: ScaleFlux, Inc.
  8. NVMe over Everything ❖ NVMe bisher nur Peer-to-Peer
 Infiniband, RDMA

    ❖ NVMe-oF, NVMe-oF/TCP, FC-NVMe
 multihosted, “SAN”
 erfordert schnelles Ethernet (40Gb/s, 100Gb/s, 200Gb/s) ❖ NVMe-Appliance ❖ https://nvmexpress.org/
 13 Promoters ❖ Freitag – morgen – 12:15
 NVMe over Fabrics – die Zukunft des SANs? Fibre Channel Infiniband RoCE iWARP TCP Next Generation Fabric NVMe Host Software Transport-Abstraktion Host Transport-Abstraktion Storage Controller NVMe SSDs
  9. Composable Infrastructure ❖ ≙ Disaggregated Infrastructure
 ≙ Software Defined Infrastructure

    ❖ ≈ flexibles HCI ❖ Auftrennung von Compute und Storage ❖ erfordert leistungsfähige, latenzarme Interconnects/Protokolle
 Infiniband, RDMA, RoCE ❖ Single Namespace im Storage
 Distributed Filesystems – Ceph, Quobyte, BeeGFS, LizardFS u. a. ❖ Automatisierung und Infrastructure as Code
 Ansible, Puppet, SaltStack, Terraform
  10. Erasure Coding ❖ RAID on Steroids
 nothing new, Begriff etabliert

    sich ❖ notwendig in verteilten Dateisystemen und Distributed Computing ❖ Lineare Algebra, z. B. Reed-Solomon
 Repair Problem ❖ Locally Repairable Codes (LRC)
 Mischung aus lokaler und globaler Parity ❖ Open-Source und kommerziell
 Scality RING, PoINT, HadoopFS, Ceph, Quobyte, 
 LizardFS, Rubrik, Backblaze, Datrium, Hedvig, 
 RozoFS, Nyriad (GPU) u. a. A2+B1 A2+B2 A1+B1 B1 B2 A1 A2 A1➛? A2➛? B2 A2+B2 A1+A2+B2 A1+A2+B2