ネットワーク視点で学ぶ Amazon EKS クラスタのスケーラビリティ

2023年 夏の Amazon EKS 祭り！

Transcript

1. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ネットワーク視点で学ぶ Amazon EKS クラスタのスケーラビリティ 2023/08/10 Shota Suzuki Amazon Web Services Japan G.K. Solutions Architect 2023年 夏の Amazon EKS 祭り！
2. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 自己紹介 • 名前： 鈴木 祥太 (Shota Suzuki) • 所属： アマゾン ウェブ サービス ジャパン 合同会社 技術統括本部 / インターネットメディアソリューショングループ ソリューションアーキテクト • 経歴： 通信キャリア -> SaaS 企業 -> 現在 • 好きな AWS サービス： Amazon Elastic Kubernetes Service 2 @sshota0809
3. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 本セッションでお話しすること • Kubernetes と Container Network Interface (CNI) について • Amazon VPC CNI plugin for Kubernetes について • Amazon EKS のネットワークを VPC に統合する際に考慮すべき点について 3
4. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 4 Kubernetes と Container Network Interface (CNI) について
5. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Kubernetes クラスタのネットワーク • Kubernetes のネットワークモデル Ø Kubernetes クラスタのネットワーク実装に関する要件が定められている (参考) Ø Pod は クラスタ内のすべての Pod に対して NAT せずに通信することができる etc. • このネットワークモデルの要件を満たす形であればその実装方法は自由で良い 5 ･･･ cluster Node Node NIC NIC Pod Pod Pod Pod NIC NIC NIC NIC
6. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Container Network Interface • Kubernetes のネットワークを実現するプロダクトには様々なものがある Ø BGP や VXLAN によるカプセル化を利用したものなど • インターフェース仕様を決めることで Kubernetes からは統一された方法で 各プロダクトを利用することが可能 Ø このインターフェース仕様を Container Network Interface (CNI) と呼ぶ Ø この仕様に基づき実装されたものを CNI プラグインと呼ぶ 6 kubelet CNI Plugin Pod kubelet が設定に従ってCNI Plugin を呼び出すことで Pod のネットワーク設定を行う ※. CNI Plugin の主な責務は SPEC を参照
7. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. CNI プラグイン • 様々な技術を利用した CNI プラグインが存在 • Calico Ø 実績の多い BGP を利用した通信制御 • Cilium Ø Linux Kernel の機能である eBPF を利用した通信制御 • Amazon VPC CNI plugin for Kubernetes Ø VPC ネットワーキングと統合することによる通信制御 etc. ※. Amazon EKS でサポートされている / 互換性のある CNI プラグインはドキュメントを参照 7
8. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 8 Amazon VPC CNI plugin for Kubernetes について
9. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon VPC CNI plugin for Kubernetes (GitHub) • Kubernetes のネットワークを VPC と統合することができる CNI プラグイン Ø EKS アドオンとして提供、マネージドコンソール経由で EKS クラスタを作成した場合 デフォルトでインストール Ø VPC ネットワークと直接統合されるため、高パフォーマンスで低レイテンシーな コンテナネットワーキングの提供が可能 Ø セキュリティグループの利用による通信制御も可能 • Amazon VPC CNI プラグインはワーカーノードの Elastic Network Interface (ENI) にセカンダリ IP を割り当て、それを Pod に関連付けることで VPC ネッ トワークとの統合を実現する 9 Amazon VPC Amazon EKS Amazon EC2 Amazon RDS
10. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon VPC CNI plugin for Kubernetes の構成要素 • Amazon VPC CNI プラグインは 2 つのコンポーネントで構成 Ø L-IPAM デーモン (aws-node という Pod で起動) Ø ENI の作成およびワーカーノードへのアタッチ、ENI への IP アドレスの割り当て などを実施 Ø CNI プラグイン (ワーカーノードにバイナリとしてインストール) Ø ホストネットワークの接続 (ENI と仮想イーサネットのペア設定) や Pod への NIC 作成 などを実施 10 出典：https://github.com/aws/amazon-vpc-cni-k8s/blob/master/docs/cni-proposal.md
11. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Kubernetes と VPC ネットワークとの統合 • ワーカーノードの ENI に割り当てられたセカンダリ IP をPod に関連付ける ことで VPC サブネットの IP を利用して Pod は通信できる 11 VPC 10.0.0.0/16 10.0.0.0/24 EKS Worker Node subnet EC2 (EKS Worker Node) ･･･ Pod #1 (10.0.0.101) Pod #2 (10.0.0.102) Pod #3 (10.0.0.151) ENI #1 P: 10.0.0.100 S#1: 10.0.0.101 S#2: 10.0.0.102 … ENI #n P: 10.0.0.150 S#1: 10.0.0.151 S#2: 10.0.0.152 … Node Security Group
12. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 12 Amazon EKS のネットワークを VPC に統合する際に考慮すべき点について
13. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. VPC ネットワークとの統合におけるスケーラビリティ • Amazon VPC CNI プラグインを利用する際はネットワーク観点のスケーラビリ ティを意識した設計が必要となる Ø 本セッションでは大きく 2 つの要素にフォーカスを当てて紹介 13 Amazon EC2 の ENI に関するスケーラビリティ VPC ネットワークに関するスケーラビリティ
14. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon EC2 の ENI に関するスケーラビリティ • Amazon EC2 の各インスタンスタイプ毎にアタッチできる ENI 数と ENI あたりの IP アドレス数が決まっている (参考) Ø 例：m6i.large (ENI：3 個、IP per ENI：10 個)、t3.small (ENI：3 個、IP per ENI：4 個) • Amazon VPC CNI プラグインでは各 ENI に割り当てられるセカンダリ IP を 利用するため、1 台のワーカーノードで起動できる Pod 数もこの制限の 影響を受ける Ø CPU や Memory リソースだけではなく、ネットワーク観点のスケーラビリティも考慮して ワーカーノード数の設計などをする必要がある 14 t3.small Primary IP * 1 Secondary IP * 3 = 4 IP Primary IP * 1 Secondary IP * 3 = 4 IP Primary IP * 1 Secondary IP * 3 = 4 IP
15. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon EC2 の ENI に関するスケーラビリティ • 各インスタンスタイプ毎に起動できる Pod 数は次の計算式で算出可能 (参考) 15 (インスタンスタイプに割り当て可能な ENI 数 * (ENI 毎の IP 数 – 1) + 2 プライマリ IP は Pod には割り当て られないため - 1 をする kube-proxy と Amazon VPC CNI プラグイン (aws-node) は hosttnetwork モードとして動作するため + 2 をする • マネージド型ノードグループ (※) を利用している場合、起動できる Pod 数が 自動計算され、kubelet の起動オプション --max-pods が設定される Ø Kubernetes スケーラビリティのしきい値と推奨設定に基づいて、110 個以上の Pod が 計算上起動可能な場合も、次の条件時を除き 110 をキャップとして設定される Ø 30 vCPU を超えるインスタンスタイプの場合には EKS スケーラビリティチームがテスト した結果に基づく 250 がキャップとして設定される (参考) ※. 細かい条件はドキュメントを参照
16. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon EC2 に関するネットワークスケーラビリティを 支えるオプション • クラスタ上で稼働させるワークロードの特性によっては次のケースのような 状況になる場合も考えられる Ø ワーカーノードの CPU / Memory リソースを使い切る前に、ENI の制限によって Pod が それ以上ワーカーノードで起動できなくなってしまう Ø ノードを増設するのも有りだがコスト効率化から Pod の集約度を上げたい場合もある • Amazon VPC CNI プラグインのオプションを設定することで /32 のIP アドレス ではなく、/28 のプレフィックスをセカンダリ IP として割り当て可能 (参考) Ø セカンダリ IP の割り当て枠 1 つに対して 16 個の IP アドレスを割り当て可能なため 大幅に 起動可能な Pod 数を増やすことができる 16 P: 10.0.0.1/32 S#1: 10.0.0.100/32 … P: 10.0.0.1/32 S#1: 10.0.0.96/28 …
17. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon EC2 に関するネットワークスケーラビリティを 支えるオプション • Amazon VPC CNI プラグインのオプション ENABLE_PREFIX_DELEGATION を 設定することで、プレフィックス割り当ての有効化が可能 (参考) Ø EKS アドオンとして管理している場合はアドオンの設定値を変更すれば良い 17 Ø プレフィックス割り当てを有効化する場合、起動できる Pod 数は次の計算式で算出可能 Ø 計算用のスクリプトも提供されているため利用を推奨 (参考) (インスタンスタイプに割り当て可能な ENI 数 * (ENI 毎の IP 数 – 1) * 16 + 2
18. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. VPC ネットワークに関するスケーラビリティ • Amazon VPC CNI プラグインを利用している場合、プライマリ ENI が属する サブネットから IP アドレスの割り当てを行う Ø Pod 数が増えればそれに比例して IP アドレスも消費するため、IP アドレス枯渇のリスクを 意識したサブネットサイズを設計する (大規模なクラスタを運用する場合は特に注意) Ø 必要に応じて IP アドレス割り当て戦略の調整や IPv6 の利用などを検討する必要がある 18 VPC 10.0.0.0/16 10.0.0.0/24 EKS Worker Node subnet EC2 (EKS Worker Node) ･･･ ENI #1 P: 10.0.0.100 S#1: 10.0.0.101 S#2: 10.0.0.102 … ENI #n P: 10.0.0.150 S#1: 10.0.0.151 S#2: 10.0.0.152 …
19. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Pod 起動を高速化するためのウォームアップ • Pod 起動のリードタイムを短縮するため、Amazon VPC CNI プラグインは予め ワーカーノードの ENI や セカンダリIP をウォームプールとして割り当て維持する Ø 各オプションによりどのような戦略で ENI やセカンダリ IP の割り当てを行うか設定可能 (後述) Ø WARM_ENI_TARGET / WARM_IP_TARGET & MINIMUM_IP_TARGET / WARM_PREFIX_TARGET • ウォームプールとして確保する IP アドレス数による、IP アドレス枯渇リスクや EC2 API 呼び出しのスロットリングリスクは 1 つのトレードオフの要素 (後述) Ø 自らの環境に合わせてウォームアップ関連のオプションを調整することで最適化ができる 19 ENI 作成 / IP 割り当て Pod NIC 作成 / IP 関連付け Pod 起動 ENI 作成 / IP 割り当て Pod NIC 作成 / IP 関連付け Pod 起動 Skip! ウォームプールを利用しない場合、 Pod 作成毎に ENI 作成/割り当て、IP 割り当てなど を AWS API 経由で実行する必要がある ウォームプールを利用する場合、 予め割り当てした IP アドレスを利用するだけで良いため、 AWS API の呼び出しなどが必要ない
20. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Pod 起動を高速化するためのウォームアップ • ウォームプールとして確保する IP アドレス数による、IP アドレス枯渇リスクや EC2 API 呼び出しのスロットリングリスクのトレードオフの関係性 20 ウォームプールとして IP アドレスを 確保しすぎた時のリスク ウォームプールとして IP アドレスを 十分に確保しない時のリスク EC2 (EKS Worker Node) ･･･ IP IP IP IP IP IP IP IP IP IP Amazon ELB Amazon RDS ･･･ IP IP Compute Subnet 例) ウォームプールの IP (Pod にはまだ関連されていない状態) として大量にサブネット内の IP が確保されてしまい、 サブネットの IP が枯渇して他サービスに IP アサイン できなくなるリスクにつながる EC2 (EKS Worker Node) IP IP Compute Subnet 例) Pod が作成/削除される毎に AWS API の呼び出しを行い IP の割り当てや割り当て解除を行う必要があるため、 Pod の作成/削除が頻繁だと AWS API コールも増え、 API 呼び出しのストットリング発生リスクに繋がる ･･･ 1. Create new Pod IP 2. Assign New IP to ENI
21. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ウォームプールに関わるオプション • WARM_ENI_TARGET Ø ウォームプールの確保を ENI 単位 で行う (ENI 作成時に上限値まで IP アドレスを割り当て) Ø 各オプションを設定しない場合は WARM_ENI_TARGET = 1 がデフォルト設定になる Ø これがデフォルト設定の理由は、未使用の IP が割り当てされすぎるリスクと、 EC2 API 呼び出しがスロットリングされるバランスがとれているため (参考) Ø ENABLE_PREFIX_DELEGATION オプション無効時に利用 Ø 設定時のウォームプールに割り当てられる IP アドレスの詳細動作はドキュメントを参考 21 WARM_ENI_TARGET Pods Attached ENIs Attached Secondary IPs Unused IPs IP per ENI 1 0 1 3 3 3 1 5 3 9 4 3,3,3 1 9 3 9 0 3,3,3 例) t3.small のインスタンスタイプで WARM_ENI_TARGET = 1 の場合 (t3.small (ENI：3 個、IP per ENI：4個))
22. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ウォームプールに関わるオプション • WARM_IP_TARGET & MINIMUM_IP_TARGET Ø WARM_IP_TARGET Ø ウォームプールを IP 単位 で行う Ø WARM_IP_TARGET が設定されている場合 WARM_ENI_TARGET は無視される Ø ENABLE_PREFIX_DELEGATION オプション有効/無効時いずれでも利用可能 Ø 設定時のウォームプールに割り当てられる IP アドレスの詳細動作はドキュメントを参考 Ø MINIMUM_IP_TARGET Ø 最低限確保する IP アドレス数 Ø 各ワーカーノードで実行予定の Pod 数より少し多めに設定することが推奨 (参考) 22 WARM_IP_TARGET MINIMUM_IP_TARGET Pods Attached ENIs Attached Secondary IPs Unused IPs IP per ENI 2 5 0 2 5 5 3,2 2 5 5 3 7 2 3,3,1 2 5 9 3 9 0 3,3,3 例) t3.small のインスタンスタイプで WARM_IP_TARGET = 2 & MINIMUM_IP_TARGET = 5 の場合 (t3.small (ENI：3 個、IP per ENI：4個))
23. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ウォームプールに関わるオプション • WARM_PREFIX_TARGET Ø ウォームプールの確保を プレフィックス単位 で行う Ø WARM_IP_TARGET が設定されている場合 WARM_PREFIX_TARGET は無視される Ø ENABLE_PREFIX_DELEGATION オプション有効時に利用 Ø 設定時のウォームプールに割り当てられる IP アドレスの詳細動作はドキュメントを参考 23 WARM_PREFIX _TARGET Pods Attached ENIs Pod per ENIs Attached Prefixes Pod per Prefixes Unused Prefixes Prefixes per ENI Unused IPs 1 0 1 0 1 0 1 1 16 1 5 1 5 2 5 1 2 27 1 17 1 17 3 16,1 1 3 31 1 58 2 48,10 5 16,16,16,10,0 1 3,2 22 例) t3.small のインスタンスタイプで WARM_ENI_TARGET = 1 の場合 (t3.small (ENI：3 個、IP per ENI：4個))
24. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. クラスタにおける IPv6 ネットワークの利用 • Amazon EKS および Amazon VPC CNI プラグイン は IPv6 にも対応しており、 より潤沢な IP アドレスを利用することが可能 (参考) Ø VPC に IPv6 CIDR 範囲を割り当てる Ø Amazon EKS クラスタ作成時 IP ファミリーを IPv6 に設定 Ø Amazon VPC CNI プラグインで次のオプションを有効化 Ø ENABLE_IPv6 / ENABLE_PREFIX_DELEGATION Ø Pod と Service のデュアルスタックはサポートしていない (= IPv6 のみ割り当て) ので注意 Ø Pod が IPv4 エンドポイントと通信する際はワーカーノードのプライマリ ENI に割り当て られている IPv4 アドレスに NAT されて通信をする (参考) 24
25. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Pod 専用のサブネット割り当て (カスタムネットワーキン グ) • Amazon VPC CNI プラグインのデフォルト動作は、プライマリ ENI が属するサブ ネットから IP アドレスの割り当てを行い Pod に関連付ける • ノードが属するサブネット CIDR が小さい場合など、必要な数の Pod を起動 させることができない場合がある Ø カスタムネットワーキングのオプションを利用することで Pod に対して専用のサブネットを 設定して、そこから IP アドレスを割り当てることが可能になる (参考) Ø VPC のセカンダリ CIDR として CG-NAT の CIDR (100.64.0.0/10, 198.19.0.0/16) を割りあ て、Pod 専用のサブネットとして利用することで、RFC1918 のアドレス (10.0.0.0/8, 172.16.0.0/12, 192.168.0.0/16) のアドレス帯の節約もできる 25 VPC Primary CIDR：10.0.0.0/16, Secondary CIDR：100.64.0.0/10 10.0.0.0/24 100.64.0.0/16 Worker Nodes Pods ･･･ ･･･
26. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Pod 専用のサブネット割り当て (カスタムネットワーキング) • AWS_VPC_K8S_CNI_CUSTOM_NETWORK_CFG Ø オプション有効化後に、ENIConfig というKubernetes リソースを作成 Ø 各ノードに紐づける Pod ネットワーク用のサブネット ID とセキュリティグループを指定 Ø ワーカーノードのアノテーションまたはラベルの Value と ENIConfig リソースのリソース名 が一致する設定を利用 Ø デフォルトでは k8s.amazonaws.com/eniConfig というキーを参照 Ø topology.kubernetes.io/zone キーを利用することでアベイラビリティゾーン毎に ENIConfig の設定が可能なためおすすめ (参考) Ø プライマリ ENI は利用されず、新規に ENI が作成されセカンダリ IP が割り当てされる 26 Worker Nodes Annotation: k8s.amazonaws.com/eniConfig = TestValue ENIConfig Resource name: TestValue ＝ (イコール)
27. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Pod 専用のサブネット割り当て (カスタムネットワーキン グ) • カスタムネットワーキングの設定例 Ø Amazon VPC CNI プラグイン Ø カスタムネットワーキングの有効化および ENIConfig リソース名と一致させるラベルを設定 Ø ENIConfig (Kubernetes リソース) Ø 関連付けるセキュリティグループとサブネットを指定 Ø リソース名をアベイラビリティゾーン名にすることで topology.kubernetes.io/zone ラベルと一致させる 27 VPC Primary CIDR：10.0.0.0/16 Secondary CIDR：100.64.0.0/10 10.0.0.0/24 100.64.0.0/16 EC2 (EKS Worker Node) ･･･ ･･･ Primary ENI Secondary ENI / Pod
28. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. VPC ネットワークとの統合におけるスケーラビリティの設 計 • Amazon EC2 の ENI に関するスケーラビリティ Ø 利用するインスタンスタイプの ENI 数、IP per ENI 数を確認する Ø ワーカーノードあたりの Pod 集約度を上げたい場合はプレフィックス割り当てオプション の利用を検討する • VPC ネットワークに関するスケーラビリティ Ø サブネットの CIDR は十分な IP アドレスを確保できるサイズか確認する Ø ウォームプール関連オプションを調整することで IP アドレス確保の戦略を最適化する Ø AWS VPC CNI プラグインは IPv6 にも対応しているため利用を検討する Ø Pod 専用のサブネットおよびセキュリティグループの割り当てをしたい場合は カスタムネットワーキングオプションを利用する 28
29. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 29 まとめ
30. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 本セッションのまとめ 30 • Kubernetes のネットワーク実装に関するインターフェースは Container Network Interface (CNI) という仕様で標準化されている • Amazon VPC CNI プラグインを利用することで Kubernetes のネットワークを VPC と統合できる • Amazon EC2や VPC ネットワークのスケーラビリティ設計には注意をする • 各種オプションを設定することでワーカーノードあたりの Pod 集約度向上、 IP アドレスのウォームプールの調整、IPv6 の利用、Pod 専用サブネットの 関連付けなど可能 Ø Amazon EKS クラスタのユースケースを元に検討していくと良い
31. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 関連資料 31 • Kubernets / CNI について § Services, Load Balancing, and Networking | Kubernetes https://kubernetes.io/docs/concepts/services-networking/ § containernetworking/cni: Container Network Interface - networking for Linux containers https://github.com/containernetworking/cni § cni/SPEC.md at main · containernetworking/cni https://github.com/containernetworking/cni/blob/main/SPEC.md#overview-1 § community/sig-scalability/configs-and-limits/thresholds.md at master · kubernetes/community https://github.com/kubernetes/community/blob/master/sig-scalability/configs-and-limits/thresholds.md • Amazon EC2 / Amazon EKS / Amazon VPC CNI plugin for Kubernetes について § Elastic Network Interface - Amazon Elastic Compute Cloud https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/using-eni.html § 互換性のある代替 CNI プラグイン - Amazon EKS https://docs.aws.amazon.com/ja_jp/eks/latest/userguide/alternate-cni-plugins.html § Amazon EC2 インスタンスタイプを選択する - Amazon EKS https://docs.aws.amazon.com/ja_jp/eks/latest/userguide/choosing-instance-type.html § Amazon EC2 ノードで使用可能な IP アドレスの量を増やす - Amazon EKS https://docs.aws.amazon.com/ja_jp/eks/latest/userguide/cni-increase-ip-addresses.html
32. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 関連資料 32 • Amazon EC2 / Amazon EKS / Amazon VPC CNI plugin for Kubernetes について § チュートリアル: Pods および services への IPv6 アドレスの割り当て - Amazon EKS https://docs.aws.amazon.com/ja_jp/eks/latest/userguide/cni-ipv6.html § Running IPv6 Clusters - EKS Best Practices Guides https://aws.github.io/aws-eks-best-practices/networking/ipv6/ § チュートリアル: カスタムネットワーキング - Amazon EKS https://docs.aws.amazon.com/ja_jp/eks/latest/userguide/cni-custom-network.html § aws/amazon-vpc-cni-k8s: Networking plugin repository for pod networking in Kubernetes using Elastic Network Interfaces on AWS https://github.com/aws/amazon-vpc-cni-k8s § amazon-vpc-cni-k8s/docs/cni-proposal.md at master · aws/amazon-vpc-cni-k8s https://github.com/aws/amazon-vpc-cni-k8s/blob/master/docs/cni-proposal.md § amazon-eks-ami/files/eni-max-pods.txt at master · awslabs/amazon-eks-ami https://github.com/awslabs/amazon-eks-ami/blob/master/files/eni-max-pods.txt § amazon-eks-ami/files/max-pods-calculator.sh at master · awslabs/amazon-eks-ami · GitHub https://github.com/awslabs/amazon-eks-ami/blob/master/files/max-pods-calculator.sh § amazon-vpc-cni-k8s/docs/eni-and-ip-target.md at master · aws/amazon-vpc-cni-k8s · GitHub https://github.com/aws/amazon-vpc-cni-k8s/blob/master/docs/eni-and-ip-target.md § amazon-vpc-cni-k8s/docs/prefix-and-ip-target.md at master · aws/amazon-vpc-cni-k8s https://github.com/aws/amazon-vpc-cni-k8s/blob/master/docs/prefix-and-ip-target.md
33. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Thank you! Shota Suzuki @sshota0809