【ShowNet Stage】コンピューティング資源を統合した分散コンテナ基盤の進化

2024年6月に幕張メッセで実施されたInterop Tokyo ShowNetブース内ステージでのNOCチームメンバーによる講演資料

1. コンピューティング資源を統合した 分散コンテナ基盤の進化 ShowNet NOC DC/Cloudチーム 明石 邦夫 織学
2. ShowNet 2024 DC-Cloudチームのテーマ コンピューティング資源を統合した分散コンテナ基盤の 進化 クラウドネイティブな次世代サービス基盤 多拠点間に分散するコンテナマネージメント 複雑化するインフラ基盤のためのオブザーバビリティ 2
3. 今年のDC/Serviceセグメント 3
4. 今年のDC/Serviceセグメント 4 クラウドネイティブな次世代 サービス基盤 複雑化するインフラ基盤のため のオブザーバビリティ 多拠点間に分散する コンテナマネージメント
5. 今年の仮想化基盤・コンテナ基盤 仮想化基盤 vSphere • CPUコア数: 168 • メモリ: 2.5TB • ストレージ: 2PB • 仮想マシン: 35 Nutanix • CPUコア数: 144 • メモリ: 1.5TB • ストレージ: 15TB • 仮想マシン: 35 5 コンテナ基盤 クラスタ数: 8 • Ocp, ocp2, ntnx, vanilla, sdpf, jk8s, jocp, eks 総ノード数: 54 Pod: 990 Deployment+DaemonSet +StatefulSets: 346 Azure Stack HCI • CPUコア数: 72 • メモリ: 512GB • ストレージ: 7.5TB
6. Apstra によるネットワークの統合管理 ECMP でのコンテナアプリのスケールアウト Service 全体設計 6 Exos-corvault ucs-c240m7 qfx5120 qfx5120 nexus93180yc nexus93180yc nexus9332c nexus9332c NSX apstra nexus9300v panoptica zabbix openshift 仮想化基盤向けの EVPN VXLAN コンテナ基盤向けの eBGP によるL3 接続 ucs-c240m7
7. RoCEファブリックの相互接続、ECN/PFCのテスト HCIとAKSのAzure連携、コンテナ脆弱性の可視化 DC 全体設計 7 nexus-dashboard qfx5120 nexus93180yc nexus9332d nexus9408 dl380-gen11 Azure Kubernetes Service Prisma-cloud
8. ネットワークの統合管理 Apstra によるインテントネットワーク 8 テレメトリによる監視 IP アドレス、AS番号などの リソース管理 EVPN VXLAN での L2 延伸 VXLAN Stiching による DC Interconnect コンテナ基盤向けの eBGP 接続 ECMP によるコンテナアプリの スケールアウト
9. Nutanix IaaS 基盤 Nutanix 仮想化基盤 Cisco UCS C240M7 3 台でのクラスタ構成 Kubernetes も多数動作 Cisco Intersight と連携も可能 イメージデプロイ ハードウェア管理など 9
10. vSphere IaaS 基盤 仮想アプライアンスが多数動作 OpenShift、Tanzu なども NSX による分散Firewall 仮想アプライアンスの防御 ストレージに Exos CORVAULT 4U サイズで 2PB の高密度ストレージ 10
11. DoH/DoT 今年の ShowNet は DNS cache サーバで DoH/DoT を有効に 証明書は kubernetes で管理 Discovery of Designated Resolvers 11 nexus93180yc nexus93180yc unbound unbound unbound ShowNet Backbone サーバへは ECMP で分散 unbound.conf 証明書 k8s の etcd から VolumeMount
12. DoH/DoT の割合 12 DoH は 3~4 割、DoT は 1 割程度
13. コンテナルータ クラウドネイティブルータを kubernetes へ Service アドレスは BGP でアドバタイズ コンテナネットワークを VRF で作成 Worker Node 間は SR-MPLS で構成 13
14. TestCenter A1 から 100Gbps のトラフィックを送信 RoCEv2 エミュレーション 各スイッチが DCQCN によって トラフィックを抑制できるかの検証 輻輳制御によって送信レートが 22Gbps まで調整されることを確認 ロスレスネットワーク検証 14
15. コンテナセキュリティ コンテナ基盤上で動くアプリのトラフィックやイメージの 脆弱性検査 15
16. Kubernetesマルチクラスタ 構成/用途に応じてSubmariner(L3)とSkupper(L7)を使い分けてクラスター間接続 Advanced Cluster Management for Kubernetesでマルチクラスタを一元管理 16 submariner-gw skupper-router submariner-gw submariner-gw skupper-router skupper-router open-cluster- mgmt-hub DL380 Gen11 prisma-cloud Azure Kubernetes Service
17. ShowNet/Cloud 連携 (1) ShowNet と SDPF クラウドを L2 接続 Kubernetes のマルチクラスタを構築 17 control-plane control-plane control-plane worker worker worker c8000v c8000v c8500 c8500 control-plane worker control-plane worker ShowNet
18. ShowNet/Cloud 連携 (2) Azure Arcでハイパーバイザ、仮想マシン、コンテナを統合 管理 18 ShowNet Azure Stack HCI opsramp-agent twistlock submariner-gw Azure Virtual Desktop HPE Deployment Automation Windows Admin Center Azure Kubernetes Service HPE DL380 Gen11
19. Special Thanks 19