400G時代のIPネットワーク屋も知っとくと役立つストレージネットワーキング

Transcript

1. 400G時代のIPネットワーク屋も 知っとくと役立つ ストレージネットワーキング 2019-07-25 JANOG44 Tajima Hirotaka(taji)
2. 2 of Y お約束 (好きなことが言えるようになる魔法のページ) • tajiの所属組織の見解は示してません。 • tajiの妄想を含みます。
3. 3 of Y いきなりLTをひっくり返すようですが • どうやっても5分で話しきれるネタじゃない んで、ウチで詳しく聞かせろって呼んでく れればエヌ時間くらい話します。 • 今日はスゲー早口でしゃべります
4. 4 of Y いきなりLTをひっくり返すようですが • どうやっても5分で話しきれるネタじゃない んで、ウチで詳しく聞かせろって呼んでく れればエヌ時間くらい話します。 • 今日はスゲー早口でしゃべりますす https://middle-edge.jp/articles/I0000539 8時だよ!全員集合のチョーさんの絵 行ってみようー!
5. 5 of Y ボトルネックはどこだ? FRONT-END CONNECT BACK-END CONNECT STORAGE CONTROLLER 7200 RPM PHYSICAL STORAGE CLIENTS / HOSTS
6. 6 of Y ボトルネックはどこだ? →ちょっと前までディスクだった 0 5 10 15 1000x FRONT-END CONNECT BACK-END CONNECT STORAGE CONTROLLER 7200 RPM PHYSICAL STORAGE CLIENTS / HOSTS Response Time (ms) 回転ディスク
7. 7 of Y Response Time (ms) FRONT-END CONNECT BACK-END CONNECT STORAGE CONTROLLER CLIENTS / HOSTS PHYSICAL STORAGE 0 0.1 0.2 0.3 0.4 0.5 ボトルネックはどこだ? →クライアント側になった Flash
8. 8 of Y より広帯域が求められる時代に Throughput (MB/s) FRONT-END CONNECT BACK-END CONNECT STORAGE CONTROLLER CLIENTS / HOSTS PHYSICAL STORAGE 0 2,000 4,000 6,000 8,000 FC: 16Gb/S PCIE: 985MB/S SAS: 600MB/S SSD: 1420MB/S APP: 5,600 MB/S 4 6 10 4 +1 MANY QUEUES MANY QUEUES OVER FABRIC
9. 9 of Y より広帯域が求められる時代に Throughput (MB/s) FRONT-END CONNECT BACK-END CONNECT STORAGE CONTROLLER CLIENTS / HOSTS PHYSICAL STORAGE 0 2,000 4,000 6,000 8,000 FC: 16Gb/S PCIE: 985MB/S SAS: 600MB/S SSD: 1420MB/S APP: 5,600 MB/S 4 6 10 4 +1 MANY QUEUES MANY QUEUES OVER FABRIC NVMe Over Fabrics NVMe
10. 10 of Y NVMe over Fabrics • NVMe over Fabrics – NVMeブロックストレージ・プロトコルを、ストレー ジネットワーク・ファブリックに拡張する – 2016年6月に仕様 1.0 が公開 – NVMeデバイスを大量に扱う、（データセンター内 で）離れた場所のNVMeデバイスにアクセスす る、、、等 • 2019年1月に、あらたにNVMe over TCP(NVMe/TCP) が批 准された – NVMe-oF 1.1 の仕様ドキュメントに統合予定 › Later 2019 ? http://www.nvmexpress.org/wp-content/uploads/NVMe_Over_Fabrics.pdf NVMe™ Host Software Host Side Transport Abstraction Controller Side Transport Abstraction Fibre Channel InfiniBand* RoCE iWARP Next Gen Fabrics TCP 2019/1- https://nvmexpress.org/answering-your-questions-nvme-tcp-what-you-need-to-know-about-the-specification-webcast-qa/
11. 11 of Y 「ファブリック(Fabrics)」ってなに? • Firbre Channel – 昔も今も広く使われてる。 • InfiniBand (RDMA) – 広帯域、低遅延をいかして、組み込み用途、特にHPC – ストレージ内部だけでなくサーバとの接続にも • IP/Ethernet RDMA: RoCEv2 , iWARP – RoCEv2: 発音ロッキー、UDP/IPベース、ロスレスConverged Ethernet推奨 › V1はL2、v2と互換性なし – iWARP: TCP/IPベース、実質的にHW実装が必要、普及してない – NICインプリが推奨 • IP/Ethernet non-RDMA: TCP/IP – ソフトウェアベース、NICのTCPオフロードで高速化 New!
12. じゃぁ、パイプが太ければ いいのか?
13. 13 of Y そう単純にはいかない • The NVMe Transport shall provide reliable delivery of capsules between a host and NVM subsystem (and allocated controller) over each connection. The NVMe Transport may deliver command capsules in any order on each queue except for I/O commands that are part of fused operations (refer to section 4.10 of the NVMe Base specification). http://nvmexpress.org/wp-content/uploads/NVMe_over_Fabrics_1_0_Gold_20160605.pdf 7.1 Transport Requirements
14. 14 of Y そう単純にはいかない • The NVMe Transport shall provide reliable delivery of capsules between a host and NVM subsystem (and allocated controller) over each connection. The NVMe Transport may deliver command capsules in any order on each queue except for I/O commands that are part of fused operations (refer to section 4.10 of the NVMe Base specification). http://nvmexpress.org/wp-content/uploads/NVMe_over_Fabrics_1_0_Gold_20160605.pdf 7.1 Transport Requirements 「トランスポートは十分信頼性があるものにしろよ」
15. 15 of Y トランスポート速度の変遷 http://www.fiber-optic-transceiver-module.com/10g-ethernet-sfp-vs-10g-fibre-channel-sfp.html 400 2019 Fibre Channel InfiniBand Ethernet 200 100 40 20
16. 16 of Y NVMe over Ethernet RoCE – ベストなオペレーションには、ロスレスネットワーク（特別なハードウェア）の用意が必要。 （Mellanox and Emulexがサポート） iWARP – 複雑なハード/ソフトのスタックでよりCPUリソースの消費と、現時点では10Gbのみ。 （ Chelsio and Intelがサポート：サポートOSが少ない） TCP – 標準のスイッチとシンプルなTCPスタックを利用。プロポーザルが内部で批准されたばかり。 NVMe oFの V1.1 に盛り込まれる予定
17. 17 of Y NVMe over TCP • NVMe-oFコマンドを 標準のTCP/IPで運ぶ • 各キューペアをTCP コネクションにマップ • TCPがNVMeキュー モデルのトランスポー トレイヤの信頼性を担 保する
18. 18 of Y NVMe-oF プロトコル的な観点 RoCE TCP 速度 相互接続性 汎用的なNICサポート (TCPオフロード) 固有のNICサポート (RoCEv2) Ethernetの管理の難しさの課題も！
19. NVMe oF パフォーマンス
20. 20 of Y 会場かぎり
21. 21 of Y 結論的なこと • トランスポートはより広帯域化してくる • パイプが太けりゃいいってもんじゃない • End-Endでボトルネック解消を考える:NVMe • 比較検討のポイント • トランスポートメディア:FibreChannel、Ethernet • プロトコル:FC、RoCE、TCP • 既存設備と今後の標準仕様を見据えたTCO
22. 22 of Y リマインダー • どうやっても5分で話しきれるネタじゃない んで、ウチで詳しく聞かせろって呼んでく れればエヌ時間くらい話します。 https://ameblo.jp/tm181818/entry-12231365183.html 8時だよ!全員集合の チョーさんの絵