【ShowNet Stage 2025】AIと既存サービスを融合したマルチテナント対応コンテナ基盤

2025年6月に幕張メッセで実施されたInterop Tokyo ShowNetブース内ステージでのNOCチームメンバーによる講演資料

SS2-10 【AIと既存サービスを融合したマルチテナント対応コンテナ基盤】
DC・クラウド分科会

NOCチームメンバー
明石 邦夫

NOCチームメンバー
織 学

Transcript

1. AIと既存サービスを融合した マルチテナント対応コンテナ 基盤 ShowNet NOC DC/Cloudチーム 明石邦夫 織学
2. DC/Cloud 今年のテーマ AIと既存サービスを融合したマルチテナント対応コンテナ 基盤 SRv6 によるマルチテナントコンテナサービス DPU とクラウドネイティブセキュリティで実現する 堅牢なアプリケーション基盤 分散推論によるスケーラブルなAIエコシステム 2
3. 3 分散推論によるスケーラブルな AIエコシステム DPU とクラウドネイティブセキ ュリティで実現する堅牢なアプ リケーション基盤 SRv6 によるマルチテナント コンテナサービス
4. AI/ML DC ネットワーク 相互接続検証 400/800G RoCEv2 DCQCN/DLB • 輻輳制御と負荷分散 Ultra Ethernet ローカルLLMとRAG Chatbotアプリによる運用支援 AiSAQ • Disk-based なベクターDB インデックス 省電力光トランシーバ 800G DR8-LPO 400G VR4 4 f x2 ci s co8011 qf x5240- 3 nexus 9332d- 2 qf x5240- 1 nexus 9332d- 1 qf x5240- 2 nexus - das hboar d ucs - c240- m7 r 4900g7 cm9 nexus 93600cd- gz dc808 Tes t ce nt er - b3 t es t ce nt er - a1 cyber f l ood- 400 ar es one- 800g kai - dc - bui l der
5. 出展社収容向けDHCP/DNSサービス Kubernetes で SRv6 uSID マルチテナントサービス いろんな技術で相互接続 ISIS: crpd BGP: cilium データプレーン: cilium Kubernetes: OpenShift DHCP/DNS サービスを展開 VRF ごとにサービス 5 qf x5130 mx304 ne8000- f 2c nexus 93400l d- h1 pa7500 s r x4700 s 6805- 54hf ax3600s ucs - c240- m5- 1. . 3 pt x10002 Ci s co8201- 32f h xr d
6. Isovalent Cilium SRv6 Kubernetes Network Service 6 DHCP、DNS をサービスしている Kubernetes 基盤
7. Isovalent Cilium SRv6 Kubernetes Network Service コンテナ基盤まで SRv6 uSID VRF でマルチテナントサービスの実現 7 ucs - c240- m5- 1. . 3 xr d cr pd mx304 ne8000- f 2c BGP で SID と VPN 経路を広告 ISIS で SID を広告 BGP で VPN 経路を広告 xrd の経路 ci s co8201- 32f h pt x10002
8. Isovalent Cilium SRv6 Kubernetes Network Service コンテナ基盤まで SRv6 uSID VRF でマルチテナントサービスの実現 8 ucs - c240- m5- 1. . 3 xr d cr pd mx304 ne8000- f 2c BGP で locator と VPN 経路を広告 ISIS で locator を広告 BGP で VPN 経路を広告 cilium の egress policy ci s co8201- 32f h pt x10002
9. Cilium SRv6 egress policy SRv6 の経路は Cilium が kubernetes の manifest に追加 BGP update で vrf ごとに追加 9 BGP message Custom Record
10. 400/800G DC ネットワーク RoCEv2、Ultra Ethernet、AI サーバ収容ネットワーク 800G-DR8 (2DR4) 800G-DR8-LPO 400G-SR8 400G-SR4/VR4 DC808 でテスターと接続 RoCEv2 400Gx8 のコレクティブ通信 800G負荷 10
11. Ultra Ethernet Transport Packet Forwarding AI Workload KPI Testing UEC & RoCEv2 coexistence UET Packet Trimming (TBC) Ultra Ethernet 相互接続試験 11
12. UET Packet Trimming TestCenter B3 から送信したパケットを QFX5240 で trimming 12
13. UET Packet Trimming TestCenter B3 から送信したパケットを QFX5240 で triming 13 UEC header 最初の 2byte が 00 → 01 1280 byte → 144 byte に trimming
14. Apstra によるネットワーク統合管理 EVPN/VXLAN による L2 延伸 BGP によるコンテナサービス HCI 仮想化基盤 セキュアなコンテナ基盤 Prisma Cloud • コンテナセキュリティ N9324C-SE1U • DPU 搭載スイッチによるFW SDWAN によるクラウド連携 サービスネットワーク/コンテナ、VM 基盤 14 cm7 f x2 ci s co8011 nexus 9336cf x2- 2 nexus 9336cf x2- 1 qf x5120- 3 qf x5120- 2 qf x5120- 1 n9324c - s e1u r 4900g6 dl 385gen11- 1. . 3 t s - 2560 ucs - c240- m7- 1. . 3 s 6805- 54ht nexus 93400l d- h1 c8000v- 1, 2 s dpf cat al ys t 8500- 1 cat al ys t 8500- 2
15. 仮想化基盤 NutanixのHCI仮想化基盤 Cisco UCS C280M7 3台のクラス タ • CPU: 288コア • メモリ: 18TB • ストレージ ⁃ HCI 1.9TB ストレージサーバ 23TB 総VM数: 33台 15 qf x5120- 3 qf x5120- 2 qf x5120- 1 r 4900g6 ucs - c240- m7- 1. . 3 cm7 iSCSI
16. コンテナ基盤 16 コンテナ基盤 x 4 ノード構成 • ベアメタル3ノード x 2 • ベアメタル1ノード x 1 • VM3ノード x 1 総アプリケーション数(*): 308 DHCP DNS cache rag-chatbot speedtest ... (*) アプリケーション数: Deployment + DaemonSet + StatefulSet ucs - c240- m7 dl 385gen11 - 1. . 3 ucs - c240- m5 - 1. . 3 ucs - c240- m7 - 1. . 3 .noc .svc .dc
17. サービスネットワークの統合管理 Apstraによるインテントベースのネットワーク管理 17 コンテナ向けeBGP接続 ECMPによるコンテナア プリへのロードバランス EVPN VXLANでのL2延伸 テレメトリによる監視 IPアドレス、AS番号等の リソース管理
18. セキュアなコンテナ基盤 外からの防御: N9324C-SE1U DPUを搭載し、FWとしても 使えるL3スイッチ 設定したルールにより パケットをフィルタリング 中からの防御: Prisma Cloud コンプライアンス管理 ワークロード脆弱性スキャン 18 n9324c - s e1u dl 385gen11- 1. . 3 nexus 93400l d- h1 ns 1 t wi s t l ock ns 2 unbound s peedt es t
19. クラウド連携 ShowNetとクラウド(SDPF)をSDWAN接続 外形監視 ログ転送 19 c8500 c8500 c8000v c8000v ShowNet Smart Data Platform cl oud- l ogger s eg3- 0. . 2 cx- opt i on- manage r dns - col l ect or f r ont a i l unbound- gl obal kea- gl obal unbound- pr i vat e kea- pr i vat e
20. NVMe over TCP ローカルLLMを使った実験 qf x5240- 3 nexus 9332d- 2 qf x5240- 1 qf x5240- 2 ucs - c240- m7 r 4900g7 cm9 nexus 93600cd- gz nexus 9332d- 1 rag-chatbot milvus-aisaq openshift-ai minio RAG Chatbotアプリで運用効率化 Cisco AI Pod (GPU搭載サーバ) Kioxia CM9 (NVMe SSD) Kioxia AiSAQ (ベクトル検索効率化 ライブラリ) OpenAI互換のLLM Serving APIを 提供 AI対応製品と連携 • F5 BIG-IP Next
21. 機器提供ありがとうございました 21