【ShowNet 展示会場内セミナー 2026】分散AIデータセンター技術と水冷インフラ

2026年6月に幕張メッセで実施されたInterop Tokyo 展示会場内セミナーでのNOCチームメンバーによる講演資料

AI需要の高まりから、GPUサーバを主としたデータセンター整備が急務となっています。
一方で、大規模なGPU資源確保は確保難しく、複数の拠点に分散したGPUを組み合わせて活用する分散データセンタ技術が注目されています。
また、GPU/CPUの発熱量増加に伴う消費電力の高まりから、電力の大部分を担う冷却を空冷方式から、より省電力で冷やすことができる水冷方式への期待が高まっています。水冷方式のサーバに加えて、サーバ間を繋ぐスイッチにも水冷対応のものが登場しています。
本講演では、ShowNetで取り組んだ分散AIデータセンタ技術の取り組みと、インフラを支える水冷技術の検証に関して紹介します。

Speaker
ShowNet NOCチーム
DC・クラウド担当
織 学

Speaker
ShowNet NOCチーム
エナジー担当
岡田 和也

Transcript

1. 分散AIデータセンター技術と 水冷インフラ ShowNet NOC DC/Cloudチーム 織学 岡田 和也
2. 800G/1.6T時代の分散・セキュア AIデータセンター ShowNet NOC DC/Cloudチーム 織学
3. DC/Cloud 今年のテーマ 800G/1.6T時代の分散・セキュアAIデータセンター 800G/1.6T接続と長距離RDMAで実現する分散AI基盤 多様なサービスを支えるセキュアなデータセンターネットワーク SRv6バックボーンと一体化したマルチテナントコンテナサービス 基盤 3
5. GPU Over APN Testbed GPU基盤 800G/1.6T RoCEv2 ネットワーク 分散推論コンテナ基盤 SRv6 によるマルチテナント コンテナサービス DPUスイッチ サービス仮想化基盤 5
6. 800G/1.6T DC ネットワーク 1.6T 相互接続検証 1.6T 水冷スイッチ テスター機器との相互接続 1.6T負荷試験 800G IPファブリック 800G Breakout • 1x800G • 2x400G (800G-DR8 to 2x400G-DR4) • 8x100G (400G-DR4 to 100G-DR1) Fiber: 2xMPO12 / MPO-16 Transceiver: OSFP(RHS/IHS), QSFP 800G Spine/Leaf SW 6
7. 長距離RoCEv2 over SRv6 GPUサーバ向けRoCEv2トラフィックを SRv6 Backbone上で収容 AI/HPCワークロードを想定し、SRv6 Backbone上でRDMA通信の実証実験 今年のShowNetではGoAT三鷹拠点と RoCEv2トラフィックを実際に流す 実験を実施 この範囲がRoCEv2 over SRv6 7
8. 長距離RoCEv2検証  ShowNetのSRv6バックボーンを経由したRoCEv2 通信を検証  Inner IPv4ヘッダのECN bitがOuter IPv6 SRHにコ ピーされることを確認  RDMAパフォーマンスの確認  チューニングなしでも帯域: 50Gbps 遅延: 500usec程 度でRDMA自体は成立  最適化のためにはチューニングが必要 GPU over APN Testbed (札幌, 三鷹, 横浜, 福岡) Inner IPv4 Header ECN bit = 11 輻輳検知 RoCEv2通信 RoCEv2 UDP/IB ヘッダ IOWN APN ShowNet SRv6 Backbone Outer IPv6 Header ECN bit = 11 輻輳検知 ECN: 11 Congestion Experienced CNP Congestion Notification ShowNet DC NW GPU基盤 8
9. RoCEv2 over SRv6 やってみた結果 実際やってみたら通りました。 首都圏、拠点間伝送でも500usec強の遅延 特にチューニングなしで疎通 100GEで56Gbps程度 首都圏での拠点間伝送 これくらいの遅延だったらいける？ 9
10. RoCEv2 over SRv6 Lesson and Learn CNPが出ているので今回の環境ではCongestionがあった  500usecの遅延をカバーしつつ、BusBWを最大化するための最適なBuffer量は？ 通すことはできるが最適設計をするのは難しい (特に短期間のイベントNWでは困難！) ECN RoCEv2 over SRv6 キャプチャ (Congestion Experienced) CNPのキャプチャ SRv6 uSID RoCEv2 CNP RoCEv2 10
11. ShowNetサービスを支える仮想化基盤&NW Apstraによる統合管理 EVPN/VXLAN による L2/L3 VPN VRFごとにサービスを提供 HCI 仮想化基盤  Nutanix: Cisco UCS C240 M7 x 3台のクラスタ SD-WAN によるクラウド連携  Cisco 8550  NTTドコモビジネスSDPF NW機器の可視化  Nexus Dashboard NTPサーバ  ShowNet全機器の時刻同期元
12. 分散推論コンテナ基盤 GoAT: GPU over APN Testbed 札幌、三鷹、横浜、福岡のデータセンター をIOWN APNで接続 Sterna: RDMA加速装置 HPE VM Essentialsによる仮想化基盤 Proliant DL380 Gen12 x 3 Alletra Storage MP 推論サービス ShowNetのGPUサーバと各データセンター のGPUサーバをまとめて一つのOpenShiftク ラスタを構築 vLLM/llm-dによる分散推論基盤 12
13. 分散推論基盤のGPU  ShowNetのGPUサーバと遠隔拠点のGPUサーバにまたがって広域 OpenShiftコンテナ基盤を構築  ShowNetのGPUサーバ  NEC ExpEtherサーバ: GPUを搭載したIO BoxとExpEtherホストアダプタを 搭載したサーバをPCIe over 100G Ethernetで接続 • NVIDIA L40S GPU over APN Testbed (札幌, 三鷹, 横浜, 福岡) IOWN APN ShowNet SRv6 Backbone  HPE Proliant DL380 Gen12: 仮想マシンに対してGPUとRoCE NICをPCI Passthroughで接続 • NVIDIA L40S  GoATのGPUサーバ  横浜拠点: NVIDIA B200 x 10, ConnectX-7 x 10  福岡拠点: NVIDIA RTX PRO 6000 x 2, ConnextX-7 x 2 ShowNet DC NW
14. vLLM + llm-dによる分散推論  オープンソースの推論エンジン  主要なオープンモデルの実行をサポート  最新の推論技術を統合  幅広いアクセラレーターのサポート  推論に関する様々な機能を網羅:  Text, Embeddings, Multimodal, Reward Modeling  Quantization: INT8, FP8, GPTQ, AWQ, KV Cache  Chunked Prefill, Automatic Prefix Caching, Multi LoRA, Speculative Decoding, Disaggregated Prefill  Tool/Function Calling, Structured Outputs  Tensor Parallelism, Pipeline Parallelism  Prefill/decode disaggregation  KV Cache distribution, offloading and storage hierarchy  AI-aware router 14
15. PrefillとDecodeの分離 LLMの推論時の処理は大きくPrefillとDecodeに分かれる Prefill 入力されたプロンプトを元に出力に必要な モデルの中間状態（KV Cache）を計算する 大量の入力をまとめて処理するため アクセラレーターの計算能力が重要 （=Compute Bound） PrefillとDecodeを一 つのGPUで処理 Decode 保存されたKV Cacheを元に、逐次的にトー クンのアウトプットを行う アクセラレーターのメモリに保存された KV Cacheを効率的に利用することが重要 （=Memory Bound） PrefillとDecodeを別 々のGPUで処理 15
16. 生成AI Agentの利用デモ@ShowNet 2026 AI Agent (OpenClawベース)をShowNetにて提供 OpenClaw: オープンソースのAI Agentのいち実装 Local LLM OpenClawへのExtension 人間はCisco Webex経由でAIとやりとり Cisco NSOとNOC作成MCPサーバ経由で ShowNet機器のCLIを操作できる Stella Cyber MCPでセキュリティ ケースの確認 Guardrailによる AI Agentへの攻撃対策 ShowNet側装置 Inference Engine REST API AI Guardrail StellaCyber Cloud Prompt/ Tool Result Agent (Gateway) Cisco NSO CLI MCP Servers Response/ Tool Call Tool Call IDENTITY, SOUL, SKILL OpenClaw Shell Webex 16
18. AI Guardrail 悪性プロンプトの検知と遮断 入力時：Prompt Injection、禁止トピック、危険な指示など 出力時：認証情報の漏洩など 4種類のAIガードレールを並列で実装 One-arm型: Prisma AIRS, DefenseClaw Gateway型: PromptSecurity, AI Guardrails 入出力を検査 悪性なものはブロック Operator Webex Chat Bot OpenClaw Guardrail LLM 18
19. 仮想化基盤  Nutanix: Cisco UCS C240 M7 x 3台のクラスタ  モニタリング、セキュリティ等の様々なVMが稼働  144コア, メモリ1.5TB, ストレージ287TB, VM48台  HPE Morpheus VM Essentials: ProLiant DL380 Gen12 x 3台のクラスタ  Nvidia GPUを搭載し、分散推論基盤としても稼働  NutanixやAzure、OpenShiftのリソースも統合管理  144コア, メモリ1.5TB, ストレージ29TB, VM18台 19
20. 多様なサービスを支えるセキュリティ製品 Paloalto Cortex Cloud: コンテナの脆弱性検査や アノマリ検知 VM-Series: 各種サービスへの通信の フィルタリング Cisco N9348Y2C6D-SE1U DPU 搭載: HyperShield連携によるFW ルールの適用 HPE CX10000 DPU搭載: 仮想マシン間のマイクロ セグメンテーション 20
21. SRv6バックボーンと一体化したマルチテナント コンテナサービス基盤 SRv6 uSIDバックボーンとコンテナ基盤 が直接接続 cisco8711-32fh ISIS で SID を広告  マルチテナントサービス Cilium/JCNRによるマルチベンダー構成 いろんな技術で相互接続  ISIS: frr/JCNR(crpd)  BGP: Cilium/JCNR(crpd)  データプレーン: Cilium/JCNR(vRouter)  コンテナ基盤: OpenShift DHCP/DNS サービスを展開 Ptx10002-36qdd cilium crpd xrd BGP で VPN 経路を広告 BGP で VPN 経路を広告 jcnr ucs-c240-m5-1..3  VRF ごとにサービスを提供  JCNR: DHCP, DNS Authority  Cilium: DNS cache, Speedtest 21
22. Cilium/JCNR SRv6 Kubernetes Service SRv6 uSIDによるL3VPN構成 コンテナ内までVRFによるマルチテナントサービスを提供 2種類のCNIプラグインによるサービス提供 JCNR 22
23. コントリビュータ企業様一覧 23
24. ShowNetで探る、 水冷インフラの実装可能性 24
25. 液冷の必要性 熱密度の劇的な上昇 サーバー用CPU/GPUの消費電力増加に伴い発熱量・消費電力が ともに急増 GPUによる学習等で従来よりも広帯域 (400G/800G/1.6Tbps) な ネットワークが不可欠 空冷の限界 空気は液体に比べて熱を伝える効率（熱容量）が低く高発熱な 熱源（チップなど）を冷やせない or 膨大な電力が必要 液冷導入には、空冷とは異なる構成・運用ノウハウが不可欠 25
26. 液冷 (Liquid Cooling) 液冷は油冷、水冷を含む 今年のShowNetでは機器の冷却液に純水とPG25（水75% 程度を含む）を利用しているため「水冷」として取り組み 今回の冷却対象機器は直接液冷 (DLC: Direct Liquid Cooling) 方式 • D-4ラック：Lenovo Neptune N1380 • D-5ラック：PFN MN-Core 2 DLC • D-6ラック：HPE QFX5250-64OE 26
27. トポロジー図での位置 該当機器には のアイコンがついています! 27
28. 水冷システム構成図 (cont’d) 冷水 冷却液：PG25 温水 fhs-x440350 (CDU) mnc2dlc 冷却液：純水 二次側 一次側 nidec-cdu-u01 (CDU) n1380 冷却液：純水 冷却水循環装置 （チラー） 冷却液：PG25 qfx5250-64oe-l nidec-cdu-u07 (CDU) CDU: Coolant Distribution Unit PG25: プロピレングリコール25% 28
29. 水冷システム構成図 冷水 CDU 機器から戻ってきた温水と一次側 の冷水との間で熱交換 冷却液：PG25 温水 fhs-x440350 (CDU) mnc2dlc 冷却液：純水 二次側 一次側 nidec-cdu-u01 (CDU) n1380 冷却液：PG25 qfx5250-64oe-l nidec-cdu-u07 (CDU) 冷却液：純水 冷却水循環装置 （チラー） チラー 一次側の冷却水を冷やす装置 NOCラック裏側に隠れてます CDU: Coolant Distribution Unit PG25: プロピレングリコール25% 29
30. D-4ラック 冷水 冷却液：PG25 温水 fhs-x440350 (CDU) mnc2dlc 冷却液：純水 二次側 一次側 nidec-cdu-u01 (CDU) n1380 冷却液：純水 Lenovo Neptune N1380 冷却水循環装置 （チラー） 冷却液：PG25 qfx5250-64oe-l Nidec CDU nidec-cdu-u07 (CDU) CDU: Coolant Distribution Unit PG25: プロピレングリコール25% 30
31. D-5ラック 冷水 冷却液：PG25 温水 fhs-x440350 (CDU) mnc2dlc 冷却液：純水 二次側 一次側 PFN MN-Core2サーバDLC nidec-cdu-u01 (CDU) n1380 冷却液：純水 冷却水循環装置 （チラー） 冷却液：PG25 チラー一体型CDU qfx5250-64oe-l nidec-cdu-u07 (CDU) CDU: Coolant Distribution Unit PG25: プロピレングリコール25% 31
32. D-6ラック 冷水 冷却液：PG25 温水 HPE QFX5250-64OE fhs-x440350 (CDU) mnc2dlc 冷却液：純水 二次側 一次側 nidec-cdu-u01 (CDU) n1380 冷却液：純水 冷却水循環装置 （チラー） 冷却液：PG25 Nidec CDU (ORV3) qfx5250-64oe-l nidec-cdu-u07 (CDU) CDU: Coolant Distribution Unit PG25: プロピレングリコール25% 32
33. ORV3ラック (D-6) OCP ORV3規格のラック（日東工業） を設置 電源供給 ラリタンのパワーシェルフからバスバー を経由したDC 48Vによる給電 ORV3規格の機器 • QFX5250 (HPE) , CDU（ニデック）、Nexus 9348（シスコシステムズ） Nexus9348 QFX5250 パワーシェルフ 19インチ規格機材の搭載 Nexus 9348をORV3変換トレーに載せてマ ウント・バスバー給電 Nidec CDU ORV3 ORV3: Open Rack Version 3 33
34. ORV3ラック：マニホールド 樹脂製マニホールド（ニフコ）を2本利用 （冷水・温水） 機器とマニホールドの接続はUQDB06 機器を押し込むと水が流れ、離れると止まる マニホールド QFX5250 UQDB06 マニホールド 34
35. 水冷システム可視化 各機器の情報をまとめ、一つの系として可視化 対象情報 一次・二次側流量/水温/圧力、周辺気温・湿度、装置内漏水セン サー情報など 取得方法 SNMPに加えてRedfish, Modubs TCPを利用 • Redfish：DMTFにより策定されたサーバ機器等を管理するためのREST API規格 • Modbus TCP：産業用ネットワークで広く利用されるModbusをTCP/IPネ ットワーク上で動作 35
36. 水冷システム可視化画面 D-5ラックのATENKVMドロワーにてリ アルタイム表示中 36
37. 漏水監視 水冷システムでは装置・配管からの冷却液 漏水は死活問題 漏水検知 CDU、水冷サーバ/スイッチ内部に搭載された 漏水センサー ロープ型漏水センサーをマニホールドからラ ック床面に敷設 漏水センサー 通知 機器からのSNMP TrapをZabbixで受信 →Pagerduty経由で担当NOCへオンコール 37
38. 構築の様子 (1) ラック設置と各種水冷装置の搭載、マニホールドとの接続 D-6ラック CDUマウント (ORV3規格） D-6ラック マニホールド設置 D-4ラック サーバ/CDUマウント 38
39. 構築の様子 (2) 一次・二次側の配管敷設・充填 冷水 温水 D-4/6ラックへの一次側分配 D-4ラック（純水充填） D-6ラック（PG25充填） 39
40. ラック裏二次側のサーモグラフィ 機器へ向かう 冷水 機器から 戻ってきた温水 CDU CDU 40
41. 1.6Tイーサネット相互接続・負荷試験 ORV3ラック搭載の QFX5250-64OE (HPE) と INPT-1600GE（キーサイト） 液冷スイッチ (QFX5250-64OE) 純正トランシーバとSiPhxトラ ンシーバ (OSFP224 RHS) を搭 載 1.6Tテスター (INPT-1600GE) テスターとQFX間で常時双方 向1.6Tbpsトラフィック負荷試 >show interface diagonostics optics et-0/0/32 負荷なし 験を実施中 Module temperature: 36 degrees C モジュール温度変化なし！（冷えてる） 負荷試験中も空冷と比べてト ランシーバの温度が低く上昇 負荷あり Module temperature: 36 degrees C しにくい 参考：空冷の1.6Tモジュールは約64℃で28℃低温！！ 41
42. 液冷（水冷）導入に向けて 液冷により空冷を大きく上回る冷却が可能 液冷機器の導入には様々な考慮・仕組みが必要 機器が対応可能な冷却液 機器とマニホールド接続方法、カップリング種別 搭載位置に合わせたマニホールド加工 系全体の冷却すべき熱容量とそのために必要な冷却液流量把握 機器・系の冷却状況を把握するための監視基盤 機器・配管からの漏水検知 チラーの設置等設備側の対応 42
43. コントリビューター一覧 43