【ShowNet Stage 2026】ShowNet 2026における水冷インフラ実験について

2026年6月に幕張メッセで実施されたInterop Tokyo ShowNetブース内ステージでのNOCチームメンバーによる講演資料

NOC チームメンバー
岡田 和也

NOC チームメンバー
伊藤 孝一

Transcript

1. ShowNetで探る、 水冷インフラの実装可能性 1
2. 液冷の必要性 熱密度の劇的な上昇 サーバー用CPU/GPUの消費電力増加に伴い発熱量・消費電力が ともに急増 GPUによる学習等で従来よりも広帯域 (400G/800G/1.6Tbps) な ネットワークが不可欠 空冷の限界 空気は液体に比べて熱を伝える効率（熱容量）が低く高発熱な 熱源（チップなど）を冷やせない or 膨大な電力が必要 液冷導入には、空冷とは異なる構成・運用ノウハウが不可欠 2
3. 液冷 (Liquid Cooling) 液冷は油冷、水冷を含む 今年のShowNetでは機器の冷却液に純水とPG25（水75% 程度を含む）を利用しているため「水冷」として取り組み 今回の冷却対象機器は直接液冷 (DLC: Direct Liquid Cooling) 方式 • D-4ラック：Lenovo Neptune N1380 • D-5ラック：PFN MN-Core 2 DLC • D-6ラック：HPE QFX5250-64OE 3
4. トポロジー図での位置 該当機器には のアイコンがついています! 4
5. 水冷システム構成図 (cont’d) 冷水 冷却液：PG25 温水 fhs-x440350 (CDU) mnc2dlc 冷却液：純水 二次側 一次側 nidec-cdu-u01 (CDU) n1380 冷却液：純水 冷却水循環装置 （チラー） 冷却液：PG25 qfx5250-64oe-l nidec-cdu-u07 (CDU) CDU: Coolant Distribution Unit PG25: プロピレングリコール25% 5
6. 水冷システム構成図 冷水 CDU 機器から戻ってきた温水と一次側 の冷水との間で熱交換 冷却液：PG25 温水 fhs-x440350 (CDU) mnc2dlc 冷却液：純水 二次側 一次側 nidec-cdu-u01 (CDU) n1380 冷却液：PG25 qfx5250-64oe-l nidec-cdu-u07 (CDU) 冷却液：純水 冷却水循環装置 （チラー） チラー 一次側の冷却水を冷やす装置 NOCラック裏側に隠れてます CDU: Coolant Distribution Unit PG25: プロピレングリコール25% 6
7. D-4ラック 冷水 冷却液：PG25 温水 fhs-x440350 (CDU) mnc2dlc 冷却液：純水 二次側 一次側 nidec-cdu-u01 (CDU) n1380 冷却液：純水 Lenovo Neptune N1380 冷却水循環装置 （チラー） 冷却液：PG25 qfx5250-64oe-l Nidec CDU nidec-cdu-u07 (CDU) CDU: Coolant Distribution Unit PG25: プロピレングリコール25% 7
8. D-5ラック 冷水 冷却液：PG25 温水 fhs-x440350 (CDU) mnc2dlc 冷却液：純水 二次側 一次側 PFN MN-Core2サーバDLC nidec-cdu-u01 (CDU) n1380 冷却液：純水 冷却水循環装置 （チラー） 冷却液：PG25 チラー一体型CDU qfx5250-64oe-l nidec-cdu-u07 (CDU) CDU: Coolant Distribution Unit PG25: プロピレングリコール25% 8
9. D-6ラック 冷水 冷却液：PG25 温水 HPE QFX5250-64OE fhs-x440350 (CDU) mnc2dlc 冷却液：純水 二次側 一次側 nidec-cdu-u01 (CDU) n1380 冷却液：純水 冷却水循環装置 （チラー） 冷却液：PG25 Nidec CDU (ORV3) qfx5250-64oe-l nidec-cdu-u07 (CDU) CDU: Coolant Distribution Unit PG25: プロピレングリコール25% 9
10. ORV3ラック (D-6) OCP ORV3規格のラック（日東工業） を設置 電源供給 ラリタンのパワーシェルフからバスバー を経由したDC 48Vによる給電 ORV3規格の機器 • QFX5250 (HPE) , CDU（ニデック）、Nexus 9348（シスコシステムズ） Nexus9348 QFX5250 パワーシェルフ 19インチ規格機材の搭載 Nexus 9348をORV3変換トレーに載せてマ ウント・バスバー給電 Nidec CDU ORV3 ORV3: Open Rack Version 3 10
11. ORV3ラック：マニホールド 樹脂製マニホールド（ニフコ）を2本利用 （冷水・温水） 機器とマニホールドの接続はUQDB06 機器を押し込むと水が流れ、離れると止まる マニホールド QFX5250 UQDB06 マニホールド 11
12. 水冷システム可視化 各機器の情報をまとめ、一つの系として可視化 対象情報 一次・二次側流量/水温/圧力、周辺気温・湿度、装置内漏水セン サー情報など 取得方法 SNMPに加えてRedfish, Modubs TCPを利用 • Redfish：DMTFにより策定されたサーバ機器等を管理するためのREST API規格 • Modbus TCP：産業用ネットワークで広く利用されるModbusをTCP/IPネ ットワーク上で動作 12
13. 水冷システム可視化画面 D-5ラックのATENKVMドロワーにてリ アルタイム表示中 13
14. 漏水監視 水冷システムでは装置・配管からの冷却液 漏水は死活問題 漏水検知 CDU、水冷サーバ/スイッチ内部に搭載された 漏水センサー ロープ型漏水センサーをマニホールドからラ ック床面に敷設 漏水センサー 通知 機器からのSNMP TrapをZabbixで受信 →Pagerduty経由で担当NOCへオンコール 14
15. 構築の様子 (1) ラック設置と各種水冷装置の搭載、マニホールドとの接続 D-6ラック CDUマウント (ORV3規格） D-6ラック マニホールド設置 D-4ラック サーバ/CDUマウント 15
16. 構築の様子 (2) 一次・二次側の配管敷設・充填 冷水 温水 D-4/6ラックへの一次側分配 D-4ラック（純水充填） D-6ラック（PG25充填） 16
17. ラック裏二次側のサーモグラフィ 機器へ向かう 冷水 機器から 戻ってきた温水 CDU CDU 17
18. 1.6Tイーサネット相互接続・負荷試験 ORV3ラック搭載の QFX5250-64OE (HPE) と INPT-1600GE（キーサイト） 液冷スイッチ (QFX5250-64OE) 純正トランシーバとSiPhxトラ ンシーバ (OSFP224 RHS) を搭 載 1.6Tテスター (INPT-1600GE) テスターとQFX間で常時双方 向1.6Tbpsトラフィック負荷試 >show interface diagonostics optics et-0/0/32 負荷なし 験を実施中 Module temperature: 36 degrees C モジュール温度変化なし！（冷えてる） 負荷試験中も空冷と比べてト ランシーバの温度が低く上昇 負荷あり Module temperature: 36 degrees C しにくい 参考：空冷の1.6Tモジュールは約64℃で28℃低温！！ 18
19. 液冷（水冷）導入に向けて 液冷により空冷を大きく上回る冷却が可能 液冷機器の導入には様々な考慮・仕組みが必要 機器が対応可能な冷却液 機器とマニホールド接続方法、カップリング種別 搭載位置に合わせたマニホールド加工 系全体の冷却すべき熱容量とそのために必要な冷却液流量把握 機器・系の冷却状況を把握するための監視基盤 機器・配管からの漏水検知 チラーの設置等設備側の対応 19
20. コントリビューター一覧 20