Kubernetes Networking 101

1. Kubernetes Networking 101 Kubernetes Novice Tokyo #4 Presented by @inductor
2. 自己紹介 名前: 太田 航平 (@inductor) 所属: HPE 役職: ソリューションアーキテクト Kubernetes SIG-Docs Japanese localization owner Cloud Native Ambassador Docker Meetup Tokyo、CNDT2020運営
3. Kubernetesのネットワークは複雑
4. ていうか、そもそもコンテナの ネットワークが複雑！
5. 今日のゴール • Dockerのネットワークがわかる • DockerとKubernetesのなりたちの違いがわかる ◦ DockerとKubernetesのネットワーク的な要件の違い • Kubernetesでネットワークをつなげる仕組みの登場人物がわかる → コンテナネットワーク完全に理解した
6. アジェンダ • Dockerのネットワーク ◦ コンテナとネットワークの関係 • Kubernetesのネットワーク ◦ DockerとKubernetesのネットワーク要件の違い ▪ Docker→Kubernetesに思考を引き上げる場合に生まれるネットワークの問題 ▪ Kubernetesでの解決策 • Kubernetesのネットワークを形作るコンポーネントとその役割 ◦ kube-proxy ◦ CNI ▪ よく使われるCNIの特徴
7. Dockerのネットワーク
8. Dockerのよくあるユースケース Docker Compose 80:80 3000 3306
9. Dockerのよくあるユースケース Docker Compose 80:80 3000 3306 Webなので公開 アプリは 内部だけ DBは 内部だけ
10. Dockerとネットワーク、ボリューム Volume Volume Volume Docker Volume Docker Container Docker Network docker0 bridge ローカルの80 仮想NIC 仮想NIC 仮想NIC 10.0.0.0/24 172.16.0.0/24
11. ネットワークとボリュームは外部割り当て? Volume Volume Volume Docker Volume Docker Container Docker Network docker0 bridge ローカルの80 仮想NIC 仮想NIC 仮想NIC 10.0.0.0/24 172.16.0.0/24
12. ネットワークとボリュームは外部割り当て Volume Volume Volume Docker Volume Docker Container Docker Network docker0 bridge ローカルの80 仮想NIC 仮想NIC 仮想NIC
13. ネットワークとボリュームは外部割り当て Volume Volume Volume Docker Volume Docker Container Docker Network docker0 bridge ローカルの80 仮想NIC 仮想NIC 仮想NIC Kubernetes Novice Tokyo #2 のセッション資料が詳しいので 合わせてご覧ください
14. Dockerネットワークの種類 • bridge - 指定がない場合にデフォルトで使用 ◦ 所属するコンテナが直接通信でき、お手軽 • macvlan - macvlanが使える ◦ 仮想NICにMACアドレスが持てる ◦ VMから移行したい場合などに使えるかも？ただし ホストのNICが使えなくなる制限有 • none - 「何も繋がない」ができる ◦ loopback(127.0.0.1)以外に仮想NICが繋がらないモード • Network plugins - その他サードパーティのプラグインを使う場合 ◦ プラグイン自体とても少なく利用例が ほとんどない
15. コンテナとネットワークの関係
16. を話す前にコンテナの仕組みを さらっと復習します
17. コンテナの仕組み / /home /var /tmp /var/a /var/b /var/c /tmp/d ここに、あるLinuxホストのファイルシステムがあります
18. コンテナの仕組み / /home /var /tmp /var/a /var/b /var/c /tmp/d / / / / pivot_root pivot_root pivot_root pivot_root あるディレクトリをルートに見せかける pivot_root
19. コンテナの仕組み / /home /var /tmp /var/a /var/b /var/c /tmp/d / / / / namespace namespace namespace namespace ユーザーIDやNW、プロセス空間などを分離する namespace root 10.0.0.1/24 root 10.0.0.2/24 root 10.0.0.3/24 root 10.0.0.3/24
20. コンテナの仕組み / /home /var /tmp /var/a /var/b /var/c /tmp/d / / / / 各領域のCPU、メモリリソースなどを cgroupで制限 root 10.0.0.1/24 root 10.0.0.2/24 root 10.0.0.3/24 root 10.0.0.3/24 1CPU 2GB 1CPU 2GB 1CPU 2GB 2CPU 4GB
21. コンテナの仕組み / /home /var /tmp /var/a /var/b /var/c /tmp/d / / / / アプリケーションが動作するために必要なファイルたちを tar.gz形式でパッケージングしてこいつらの上にのっけて ... root 10.0.0.1/24 root 10.0.0.2/24 root 10.0.0.3/24 root 10.0.0.3/24 1CPU 2GB 1CPU 2GB 1CPU 2GB 2CPU 4GB nginx on Ubuntu Node on Alpine Ruby on CentOS Debian
22. /var /tmp コンテナの仕組み / /home /var/a /var/b /var/c /tmp/d / / / / 展開したファイルシステムの実行ファイルをプロセスとして起動！ 1CPU 2GB 1CPU 2GB 1CPU 2GB 2CPU 4GB nginx on Ubuntu Node on Alpine Ruby on CentOS Debian root 10.0.0.1/24 root 10.0.0.2/24 root 10.0.0.3/24 root 10.0.0.3/24 プロセス起動！
23. /var /tmp コンテナの仕組み / /home /var/a /var/b /var/c /tmp/d / / / / 展開したファイルシステムの実行ファイルをプロセスとして起動！ 1CPU 2GB 1CPU 2GB 1CPU 2GB 2CPU 4GB nginx on Ubuntu Node on Alpine Ruby on CentOS Debian root 10.0.0.1/24 root 10.0.0.2/24 root 10.0.0.3/24 root 10.0.0.3/24 プロセス起動！ これ1つ1つがコンテナ
24. /var /tmp コンテナの仕組み / /home /var/a /var/b /var/c /tmp/d / / / / 展開したファイルシステムの実行ファイルをプロセスとして起動！ 1CPU 2GB 1CPU 2GB 1CPU 2GB 2CPU 4GB nginx on Ubuntu Node on Alpine Ruby on CentOS Debian root 10.0.0.1/24 root 10.0.0.2/24 root 10.0.0.3/24 root 10.0.0.3/24 プロセス起動！ これ1つ1つがコンテナ これがコンテナイメージね
25. Dockerコンテナとネットワークの関係 • コンテナはさまざまなリソースを隔離した結果生まれるもの ◦ ネットワークもその１要素で、 NICは付けたり付けなかったりできる • Noneドライバーを用いた場合、ネットワーク的に隔離されたコンテナができあが る • ブリッジの場合は仮想スイッチにどんどん接続されて相互に接続ができる ◦ Dockerの内部DNSも勝手に参加するので、コンテナ名がついていれば名前で DNSも引ける ◦ 設定ファイルでdb:3306とかweb:80とかapp:3000みたいなことが書けるのはそのおかげ ◦ 簡易的ではあるがいわゆる「サービスディスカバリ」の一種
26. ここまでのまとめ • Dockerのネットワークとボリュームは外からアタッチすることができる ◦ docker volume, docker networkコマンドで確認してみてね！ • ネットワーク機構にはいくつかの種類がある ◦ 要件に合わせて選択することが可能
27. Kubernetesのネットワーク
28. 手元のKubernetesの中身を覗いてみる • 外部に公開しているLonghornのWeb UIは、TCPの80番でLoadBalancerが アタッチされている • でも、Dockerではポートの割り当てが発生していない ◦ なんで？
29. 手元のKubernetesの中身を覗いてみる • 外部に公開しているLonghornのWeb UIは、TCPの80番でLoadBalancerが アタッチされている • でも、Dockerではポートの割り当てが発生していない ◦ なんで？ こたえ: Dockerのネットワークを使っていないから！！！
30. Kubernetesの仕組み • コンテナを中心とした「分散システム」 ◦ 複数のマシンリソース (物理/仮想マシン)をクラスターにまとめて、アプリケーションをいい感じに 動かす ◦ （設定次第だけど）どのマシンでコンテナが動いても「同じように」動作する必要がある → マシンの持つネットワークに依存しない透過的なネットワークが必要 それが理由で、Kubernetesのネットワークの基本はOverlay network構成
31. Kubernetesの仕組み Pod Pod Pod Pod network(overlay) Service Network(overlay) Node Network(not overlay) 普通のサーバーがつながる ネットワーク ClusterIPなどサービス間の 通信で使うネットワーク コンテナ(Pod)自体に IPアドレスを持たせるためのネッ トワーク kube-proxy CNI
32. Kubernetesの仕組み Pod Pod Pod Node Network(not overlay) Pod network(overlay) Service Network(overlay) 普通のサーバーがつながる ネットワーク ClusterIPなどサービス間の 通信で使うネットワーク コンテナ(Pod)自体に IPアドレスを持たせるためのネッ トワーク Podが入れ替わっても 同じように動作する Nodeが障害を起こすと Podは自動で退避 kube-proxy CNI
33. Kubernetesのネットワークコンポーネント • kube-proxy - 各ノードで動作 ◦ 各ノードでコンテナネットワークへの入り口を作る役割 ▪ 無いと、コンテナの外と中の経路が通らない ◦ Linuxのiptablesやipvsを利用(最近ではeBPFベースの実装もある ) ◦ Serviceの実装 ▪ https://github.com/kubernetes/kubernetes/blob/master/pkg/proxy/service.go • CNI(Container Network Interface) - クラスター全体で動作 ◦ Docker network driver相当のプラグイン機構を提供 ◦ Overlay Networkを提供 ◦ 外のネットワーク(プロトコル)とKubernetesのネットワークをつなげる ◦ 無いと、NodeのステータスがReadyにならない
34. Kubernetesのネットワークコンポーネント • kube-proxy ◦ 各ノードでコンテナネットワークへの入り口を作る役割 ◦ Linuxのiptablesやipvsを利用(最近ではeBPFベースの実装もある ) ◦ Serviceの実装 ▪ https://github.com/kubernetes/kubernetes/blob/master/pkg/proxy/service.go • CNI(Container Network Interface) ◦ Docker network driver相当のプラグイン機構を提供 ◦ クラスター全体のOverlay Networkを提供 ◦ 外のネットワーク(プロトコル)とKubernetesのネットワークをつなげる ◦ 無いと、NodeのステータスがReadyにならない
35. Kubernetesのネットワークコンポーネント • kube-proxy ◦ 各ノードでコンテナネットワークへの入り口を作る役割 ◦ Linuxのiptablesやipvsを利用(最近ではeBPFベースの実装もある ) ◦ Serviceの実装 ▪ https://github.com/kubernetes/kubernetes/blob/master/pkg/proxy/service.go • CNI(Container Network Interface) ◦ Docker network driver相当のプラグイン機構を提供 ◦ クラスター全体のOverlay Networkを提供 ◦ 外のネットワーク(プロトコル)とKubernetesのネットワークをつなげる ◦ 無いと、NodeのステータスがReadyにならない CNIでアタッチしたNIC kube-proxyでコンテナ外 からの通信を流す
36. いろいろなCNI • Calico ◦ 最も人気&歴史がある ◦ BGP(L3)ベースのネットワークでスケールしやすい • Cilium ◦ eBPFを用いた高パフォーマンス &スケーラブルなプラグイン ◦ 最近人気になってきた ◦ GKEでも最近導入がアナウンスされた • Weave Net • Amazon VPC CNI plugin
37. ここまでのまとめ • Kubernetesが複数マシンを束ねて動かすためにはOverlay networkが重要 • CNIはOverlay networkの構築と、Pod(コンテナ)にネットワークの機能を 与えるためのコンポーネント • kube-proxyは、ノードに流れてきたPod向け通信をPodに流す役割を持つ
38. ここまでのまとめ • Kubernetesが複数マシンを束ねて動かすためにはOverlay networkが重要 • CNIはOverlay networkの構築と、Pod(コンテナ)にネットワークの機能を 与えるためのコンポーネント • kube-proxyは、ノードに流れてきたPod向け通信をPodに流す役割を持つ 完全に理解できましたか？
39. (質問があれば)Q&Aタイム
40. おわり