KubeCon + CloudNativeCon Japan 2025 Recap

Transcript

1. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 1 マルチクラスタの運用課題と 標準化の道 2025 July 2nd ~ KubeCon + CloudNativeCon Japan 2025 Recap ~ Ren Goto
2. AbemaTV, Inc. All Rights Reserved
 2 Profile Ren Goto（@ren510dev） 昨年度 サイバーエージェント SRE 新卒入社。 
 現在は ABEMA Cloud Platform Team にて 
 Google Cloud / AWS を主軸に各種 OSS を用いたマル チクラウド・クラスタの構築・運用に従事。 
 https://x.com/ren510dev https://www.ren510.dev
3. AbemaTV, Inc. All Rights Reserved
 3 Multi Cluster Magics with Argo CD and Cluster Inventory 【概要】マルチクラスタ管理の課題を背景に SIG Multicluster の発足や、 ClusterProfile API と実際にそれ を取り入れた Multi-Cluster Orchestrator（MCO）に関するお話。
4. AbemaTV, Inc. All Rights Reserved
 4 マルチクラスタ運用の課題 【 Kubernetes 登場初期からの命題 】 複数のクラスタを管理・運用する際のベストプラクティスとは。 • クラスタ自体は自身の存在を認識できない • 当然ながら他のクラスタ情報を持つこともできない Kubernetes による Kubernetes の管理
5. AbemaTV, Inc. All Rights Reserved
 1. データ所在の考慮 ◦ 通信遅延 ◦ ノイジーネイバー 2. 分離の必要性 ◦ コスト ◦ セキュリティ要件 ◦ 組織的なポリシ 5 【初期】テナントは Namespace で分離 • 論理分離可能だがレジリエンスやガバナンスの観点では不十分 • Namespace に依存することでアーキテクチャの柔軟性を損なう
6. AbemaTV, Inc. All Rights Reserved
 • クラスタ追加でアプリケーション定義の横断的な修正が必要 • 依存関係が複雑に絡み リストのリスト状態 に向き合い続ける 1. スケーラビリティ ◦ クラスタの追加 ◦ Application CR の変更 2. 運用コスト ◦ “アプリ×クラスタ” のリスト管理 ◦ デプロイ先の管理 ◦ クラスタ構成の可視性が低下 6 【現在】Argo CD（GitOps）でマルチクラスタを管理
7. AbemaTV, Inc. All Rights Reserved
 Constant Cycle（再発明） • 独自のクラスタ管理モデルやクラスタリストを持つ • 内部的には似たような機能をゼロから再実装 Glue Code（繋ぎ込み） • ツール間ギャップを埋めるための言わば橋渡しとなるコードが必要 マルチクラスタに対応する OSS や各種ソリューションは多岐に渡る • クラスタマネージャ： KubeFleet / OCM / Karmada / Clusternet ...etc. • アプリケーション：Argo CD / KubeVela / Istio / Kueue ...etc. • ベンダ：GKE Fleet / Azure Kubernetes Fleet Manager ...etc. 7 Constant Cycle と Glue Code の Reconciliation
8. AbemaTV, Inc. All Rights Reserved
 マルチクラスタの統合管理における 共通言語の欠如こそ最大の障壁 Let’s Standardize ! 〜 マルチクラスタ標準化 〜 SIG Multicluster 8 コミュニティの誕生
9. AbemaTV, Inc. All Rights Reserved
 9 Kubernetes SIG Multicluster Part 1：Multicluster Services（MCS）API • 2020 年 KEP-1645 で提案され導入が進む • 複数クラスタに跨る L4 Service をシームレスに扱う ことを目的とした API Part 2：ClusterProfile API • 2023 年末に KEP-4322 で提案 • Cluster Inventory に基づき 複数クラスタの メタ情報を統一管理することを目的とした API マルチクラスタの運用を統一的に扱うために API を 2 つ定義
10. AbemaTV, Inc. All Rights Reserved
 10 Kubernetes SIG Multicluster Part 1：Multicluster Services（MCS）API • 2020 年 KEP-1645 で提案され導入が進む • 複数クラスタに跨る L4 Service をシームレスに扱う ことを目的とした API Part 2：ClusterProfile API 👈 こっちに注目 • 2023 年末に KEP-4322 で提案 • Cluster Inventory に基づき 複数クラスタの メタ情報を統一管理することを目的とした API マルチクラスタの運用を統一的に扱うために API を 2 つ定義
11. AbemaTV, Inc. All Rights Reserved
 11 Cluster Inventory とは マルチクラスタ運用に必要な属性情報やメタデータを統一 化されたフォーマットで集約・整理するための 仕組みやそれを実現する API のこと ex: - Location - Environment - Purpose - …etc.
12. AbemaTV, Inc. All Rights Reserved
 12 ClusterProfile API のコンセプト • Standardization（標準化） ◦ Cluster Inventory API の導入 ◦ クラスタが持つ属性情報を API 上で共通の形式として吸収 • Ease of Integration（統合の容易さ） ◦ 管理ツール（Argo CD / GKE Fleet …etc.）毎の内部実装に依存しない • Vendor Neutrality（ベンダ中立性） ◦ マルチベンダの影響を受けない中立的な API を提供
13. AbemaTV, Inc. All Rights Reserved
 13 ClusterProfile API ✅ 複数の ClusterProfile をまとめて ClusterSet を構成 ✅ 用途別・環境別のグルーピングが可能 ✅ Namespace 分離でマルチテナンシも可能 • ClusterProfile は CRD で定義 • Argo CD や MultiKueue は同じフォーマットの クラスタ情報を参照
14. AbemaTV, Inc. All Rights Reserved
 概要 • 今年 4 月に Google Cloud が公開 • ClusterProfile API を採用した OSS • 現在 Early Public Preview 中 • 年内 β 版 release を予定 Hub Cluster（抜粋） • Control-Plane の立ち位置 • 全クラスタのリソースを一元管理 • 他のクラスタをノードとして扱う 14 Multi-Cluster Orchestrator（MCO） https://github.com/GoogleCloudPlatform/gke-fleet-management/tree/main/multi-cluster-orchestrator
15. AbemaTV, Inc. All Rights Reserved
 15 【最後に】 MCO の目指す先 • 他ツールとの統合（例：Argo CD） ◦ ApplicationSet のデプロイ先を ClusterProfile API 経由で取得 ◦ スケジュール先を MCO で決定 • Auto Bin Packing 型スケジューリング ◦ 各クラスタが持つ情報を ClusterProfile API 経由で取得 ◦ 負荷に応じた動的な再調整や Rebalancing
16. AbemaTV, Inc. All Rights Reserved
 16 まとめ & 感想 • Multicluster API はビジョナリな部分がまだ多い • MCG / Lattice 等ネットワーキングの吸収はどうなるのか • マルチクラスタの拡張範囲・用途・環境の幅が広がる話だった • 今後の動きも気になる • 初の現地参加 楽しかった😇
17. AbemaTV, Inc. All Rights Reserved
 CyberAgent Developers Blog でも紹介してます 👋 https://developers.cyberagent.co.jp/blog/archives/57565/ 17