Kubernetes: Utilize Secondary Network

Transcript

1. K8s Secondary Network Yamaguchi Yusho 1
2. K8s Network の機能 Worker Pod Serviceを使った Ingress通信 kube-proxy またはその代替 (VIP or Node IP) と Pod IP の NAT North-South通信 (主にEgress) CNI Plugin付加機能 or 独自サービス Routing or NAT East-West通信 CNI Plugin付加機能 Routing or Overlay I/F Pod I/F 2
3. K8s Network の制約 • Podにアタッチされるインターフェースは1つのみ • 固定IPとは極めて相性が悪い • Ingress通信はServiceで引き入れる前提 3
4. K8s標準のNetwork機能で足りないケース • 複数のインターフェースを持つPodがほしいケース • 通信用途によって面を分けたいケースとか • ↑L3フラット化できないならK8s使うなよ • ↑結局VLANで面作って物理線共用するなら、面を分ける意味とは？ • 例) NFV • Pod自体の固定IPを使ってクラスタ外部と通信したいケース • 分散システムの一部だけをK8s上に置くケースとか • K8s使うなら、完全に同一クラスタ上にシステムを載せきる方が嬉しさが大きい • 例) NFV • 性能観点からWorkerのNICをそのままPodに見せたいケース • 例) AI学習基盤、NFV 4
5. セカンダリNW • Podに2つめ以降のインターフェースを付けるための仕組み • Multusという特殊なソフトウェアを使う • CNI Pluginを複数回呼び出すための仕組み • IPアドレスの管理等も完全に独自でやる前提(K8s側は関知しない) • 課題: 作ったセカンダリに対して、K8s標準NWと同じような機 能群をもうひとつ用意するのは難しい • WorkerのRouting/iptablesなどを触るので、プライマリ側の機能を壊 さずセカンダリ側を作るのが難しい • そういう実装を用意しているCNI Pluginはほぼない 5
6. セカンダリNWの主な使われ方 • WorkerインターフェースのブロードキャストドメインにPodを 参加させる 2nd IF 2nd IF Worker I/F Worker I/F ipvlan/macvlanなどが よく使われる 6
7. CNI Pluginの実装は？ • 標準のCNI Pluginを使う • Podインターフェースをホストのインターフェースに紐づける • K8sに依存しないナイーブな意味でのCNI Pluginたち • 余談: CNI PluginとしてはCilium/Calicoとかの方が邪道とも言 える • Podにインターフェースを付ける動作がK8s(上で動く独自サービス)に 依存している 7
8. 実用的な使い方 • ブロードキャストドメイン共有なので、面を分けたい時に苦し い(用途で分ける/マルチテナント) • 面を用意するごとに物理インターフェースをノードにつけるのは非現 実的 • → 面ごとにVLANをDCNW/ホストの両側で準備する • これはDCNW側とサーバ側が逐一連携する必要があるので、運 用がスケールしない • とても苦しい 8
9. K8s on OpenStackの場合 • (Worker は OpenStack VM) • Workerにネットワークを好きなだけオンデマンドで引ける • 弊社環境だとOpenStackのVPCが仮想L2ネットワークなので、まさに ブロードキャストドメインをオンデマンドで用意するのにぴったり • セカンダリネットワークを用意する理由が性能ではない場合は、 とてもよい選択肢だと確信している 9