【swonet.conf_ 2026】SC1-03_ShowNetで探る、液冷（水冷）システムの実装可能性

GPU/CPUの発熱量増加に伴う消費電力の高まりから、電力の大部分を担う冷却を空冷方式から、より省電力で冷やすことができる液冷方式への期待が高まっています。ネットワーク機器においても800Gbps/1.6Tbpsという広帯域なネットワークでは発熱量の増加から液冷対応のものが登場しています。一方で空冷とは異なり液冷では、専用の配管/コネクタ、冷却液を循環させるCDU/チラー、漏水対応など様々な知識と対応が必要不可欠です。
今年のShowNetでは、液冷（水冷）対応のサーバ、学習用アクセラレータ、ネットワーク機器、CDUを用いて3系統の水冷システムを構築しました。
本講演では、各水冷システムの概要とShowNetでの実験を通じて分かった水冷システム知見と構築・運用の課題を皆様と共有します。

SPEAKER
ShowNet NOCチームメンバー
伊藤 孝一（コネクションテクノロジーシステムズ）

Transcript

1. ShowNetで探る、液冷(水冷)システム の実装可能性 ShowNet NOCチームメンバー energy担当 コネクションテクロジーシステムズ 伊藤 孝一
2. 液冷システムのニーズ 熱密度の劇的な上昇 サーバー用CPU/GPUの消費電力増加に伴う発熱量・消費電力の爆発 的な増加 GPUによる学習等で従来よりも広帯域 (400G/800G/1.6Tbps) なネット ワークが不可欠 空冷の限界 空気は液体に比べて熱を伝える効率（熱容量）が低く高発熱な熱源 （半導体チップなど）を効率良く冷やせない 従来方式（空調＋ファン）では冷却に膨大な電力が必要 冷却効率を上げるために実装密度が犠牲になる とはいえ液冷導入には、空冷とは異なる構成・運用ノウハウが不可欠 2
3. 液冷 (Liquid Cooling) とは 液体を用いて熱を逃す冷却技術の総称 液冷は油冷、水冷を含む 今年のShowNetでは機器の冷却液に純水とPG25（水75% 程度を含む）を利用しているため「水冷」として取り組み 今回の冷却対象機器は直接液冷 (DLC: Direct Liquid Cooling) 方式 • D-4ラック：Lenovo Neptune N1380 • D-5ラック：PFN MN-Core 2 DLC • D-6ラック：HPE QFX5250-64OE 3
4. トポロジー図での位置 該当機器には のアイコンがついています! 4
5. 水冷システム構成図 (cont’d) 冷水 冷却液：PG25 温水 fhs-x440350 (CDU) mnc2dlc 冷却液：純水 二次側 一次側 nidec-cdu-u01 (CDU) n1380 冷却液：純水 冷却水循環装置 （チラー） 冷却液：PG25 qfx5250-64oe-l nidec-cdu-u07 (CDU) CDU: Coolant Distribution Unit PG25: プロピレングリコール25% 5
6. 水冷システム構成図 冷水 CDU 機器から戻ってきた温水と一次側 の冷水との間で熱交換 冷却液：PG25 温水 fhs-x440350 (CDU) mnc2dlc 冷却液：純水 二次側 一次側 nidec-cdu-u01 (CDU) n1380 冷却液：PG25 qfx5250-64oe-l nidec-cdu-u07 (CDU) 冷却液：純水 冷却水循環装置 （チラー） チラー 一次側の冷却水を冷やす装置 NOCラック裏側に隠れてます CDU: Coolant Distribution Unit PG25: プロピレングリコール25% 6
7. D-4ラック 冷水 冷却液：PG25 温水 fhs-x440350 (CDU) mnc2dlc 冷却液：純水 二次側 一次側 nidec-cdu-u01 (CDU) n1380 冷却液：純水 Lenovo Neptune N1380 冷却水循環装置 （チラー） 冷却液：PG25 qfx5250-64oe-l Nidec CDU nidec-cdu-u07 (CDU) CDU: Coolant Distribution Unit PG25: プロピレングリコール25% 7
8. D-5ラック 冷水 冷却液：PG25 温水 fhs-x440350 (CDU) mnc2dlc 冷却液：純水 二次側 一次側 PFN MN-Core2サーバDLC nidec-cdu-u01 (CDU) n1380 冷却液：純水 冷却水循環装置 （チラー） 冷却液：PG25 チラー一体型CDU qfx5250-64oe-l nidec-cdu-u07 (CDU) CDU: Coolant Distribution Unit PG25: プロピレングリコール25% 8
9. D-6ラック 冷水 冷却液：PG25 温水 HPE QFX5250-64OE fhs-x440350 (CDU) mnc2dlc 冷却液：純水 二次側 一次側 nidec-cdu-u01 (CDU) n1380 冷却液：純水 冷却水循環装置 （チラー） 冷却液：PG25 Nidec CDU (ORV3) qfx5250-64oe-l nidec-cdu-u07 (CDU) CDU: Coolant Distribution Unit PG25: プロピレングリコール25% 9
10. ORV3ラック (D-6) OCP ORV3規格のラック（日東工業） を設置 電源供給 ラリタンのパワーシェルフからバスバー を経由したDC 48Vによる給電 ORV3規格の機器 • QFX5250 (HPE) , CDU（ニデック）、Nexus 9348（シスコシステムズ） Nexus9348 QFX5250 パワーシェルフ 19インチ規格機材の搭載 Nexus 9348をORV3変換トレーに載せてマ ウント・バスバー給電 Nidec CDU ORV3 ORV3: Open Rack Version 3 10
11. ORV3ラック：マニホールド 樹脂製マニホールド（ニフコ）を2本利用 （冷水・温水） 機器とマニホールドの接続はUQDB06 機器を押し込むと水が流れ、離れると止まる マニホールド QFX5250 UQDB06 マニホールド 11
12. 水冷システム可視化 各機器の情報をまとめ、一つの系として可視化 対象情報 一次・二次側流量/水温/圧力、周辺気温・湿度、装置内漏水セン サー情報など 取得方法 SNMPに加えてRedfish, Modubs TCPを利用 • Redfish：DMTFにより策定されたサーバ機器等を管理するためのREST API規格 • Modbus TCP：産業用ネットワークで広く利用されるModbusをTCP/IPネ ットワーク上で動作 12
13. 水冷システム可視化画面 13
14. 漏水監視 水冷システムでは装置・配管からの冷却液 漏水は死活問題 漏水検知 CDU、水冷サーバ/スイッチ内部に搭載された 漏水センサー ロープ型漏水センサーをマニホールドからラ ック床面に敷設 漏水センサー 通知 機器からのSNMP TrapをZabbixで受信 →Pagerduty経由で担当NOCへオンコール 14
15. 構築の様子 (1) ラック設置と各種水冷装置の搭載、マニホールドとの接続 D-6ラック CDUマウント (ORV3規格） D-6ラック マニホールド設置 D-4ラック サーバ/CDUマウント 15
16. 構築の様子 (2) 一次・二次側の配管敷設・充填 冷水 温水 D-4/6ラックへの一次側分配 D-4ラック（純水充填） D-6ラック（PG25充填） 16
17. ラック裏二次側のサーモグラフィ 機器へ向かう 冷水 機器から 戻ってきた温水 CDU CDU 17
18. 1.6Tイーサネット相互接続・負荷試験 ORV3ラック搭載の QFX5250-64OE (HPE) と INPT-1600GE（キーサイト） 液冷スイッチ (QFX5250-64OE) 純正トランシーバとSiPhxトラ ンシーバ (OSFP224 RHS) を搭 載 1.6Tテスター (INPT-1600GE) テスターとQFX間で常時双方 向1.6Tbpsトラフィック負荷試 >show interface diagonostics optics et-0/0/32 負荷なし 験を実施中 Module temperature: 36 degrees C モジュール温度変化なし！（冷えてる） 負荷試験中も空冷と比べてト ランシーバの温度が低く上昇 負荷あり Module temperature: 36 degrees C しにくい 参考：空冷の1.6Tモジュールは約64℃で28℃低温！！ 18
19. 電源に関して そもそも水冷が必要ということは... 消費電力が莫大 • 700W以上のチップを複数搭載したサーバ • 水冷は空冷より冷却効率が高いが省電力とは言えない 単相100VACでは動かせない D-4ラック：AC 3Φ4W スター結線 400Vx3系統(IEC60309 32A) D-5ラック：AC 1Φ2W 200Vx3系統(NEMA L6-30) D-6ラック：AC 3Φ3W デルタ結線 210Vx2系統(IEC60309 60A) 19
20. 液冷（水冷）導入に向けて 液冷により空冷を大きく上回る冷却が可能 液冷機器の導入には様々な考慮・仕組みが必要 機器が対応可能な冷却液 機器とマニホールド接続方法、カップリング種別 搭載位置に合わせたマニホールド加工 系全体の冷却すべき熱容量とそのために必要な冷却液流量把握 機器・系の冷却状況を把握するための監視基盤 機器・配管からの漏水検知 チラーの設置、電源等設備側の対応 20
21. コントリビューター一覧 21
22. ご清聴ありがとうございました 22