OpenStack Tenant Network Isolation: Considerations and Practical Examples

Transcript

1. © KDDI CORPORATION 0 日本OpenStackユーザ会 OpenStackのテナントネットワーク 分離に関する考察と実践例 KDDI株式会社 山口雄翔
2. © KDDI CORPORATION 1 日本OpenStackユーザ会 ◼ プライベートクラウド ⚫ NFV含む種々のVMが動く • 高可用性/高性能が求められる ⚫ 商用環境は以下の規模 • 6リージョン • ハイパーバイザ4000台以上 • VM20000台以上 ⚫ CLOSネットワーク上にOpenStackを構築して作っている ⚫ マルチテナント&NW分離を実現している 部署紹介 参考資料: https://tech-note.kddi.com/n/n288348e3ef44
3. © KDDI CORPORATION 2 日本OpenStackユーザ会 ◼ データセンターNWはCLOSネットワークで、Leafの下にサーバ(ノード)群が いるという構成を想定している 本LTで想定しているデータセンタNWのアーキテクチャ Server Server Server Server Leaf switch Server Server Server Server Leaf switch Server Server Server Server Leaf switch Spine switch 等 （図はあくまでアーキテクチャの概略を表すイメージ） 本発表でデータセンタNWと 呼んでいる範囲 OpenStackクラスタに参加するノード群: ここでマルチテナントなクラスタを 運用している想定 ・・・
4. © KDDI CORPORATION 3 日本OpenStackユーザ会 ◼ CLOSネットワーク上でマルチテナントなOpenStackクラスタを動かすとき のNW分離の手法について ⚫ 方針1: OpenStackネイティブなソフトウェアベースのNW分離の仕組みを使う • NW分離用トンネルの終端ポイントをハイパーバイザに持たせる • (標準？である)OVS/OVNを利用する方法など ⚫ 方針2: データセンタNWを直接VMに直接繋ぎ、データセンタNW側で分離を行う • どのVLANを持つ外接Networkに繋げるかでNWを識別する方法が主 ◼ 以上のように分類した上で、それぞれの手法の特徴を述べる ◼ 我々がどのような方針を取っているかを簡単に紹介する 本LTの内容について
5. © KDDI CORPORATION 4 日本OpenStackユーザ会 ◼ よいところ ⚫ ソフトウェアネイティブな仮想NWをテナントに提供可能 ⚫ L3フラットなDCNWをサーバまで延伸できる →NW分離の単位がOpenStackのテナントと一致している場合はこれが便利 方針1: OpenStackの世界のNW分離の仕組みをそのまま活用 Host Leaf データセンタ NW VM 等 VM 等 終 端 SW サーバ内のソフトウェア (OVS等)でトンネルを終端 OpenStack コントロールプレーン NW分離の単位=OpenStackのテナント トンネル区間 agent
6. © KDDI CORPORATION 5 日本OpenStackユーザ会 ◼ Server内ソフトウェアでのトンネル終端のパフォーマンス的な難しさ ◼ 外の世界にテナントNWをマッピングする/テナントNWに参加するベアメタ ルサーバを提供する場合の難しさ ⚫ ゲートウェイルータ/Leaf というデータセンタNWの装置が、 OpenStackのコン トロールプレーンと喋れる必要がある ⚫ 作戦A: その部分にWhite Box等を用いて、コントロールプレーンとやり取りでき るようにプログラムする → 技術的難易度が高い/パフォーマンス問題 • OVS/OVNでこれを作りこむのは現実的にはかなり厳しい... ⚫ 作戦B:OpenStackもDCNWもスコープに含むような、大きなSDNコントローラ を使う → そのような役割を果たせるSDNの実装そもそも実装が少ない • ex. Tungsten Fabric等 方針1の難しさ
7. © KDDI CORPORATION 6 日本OpenStackユーザ会 ◼ よいところ ⚫ ベアメタルサーバをテナントに提供する際も、同じ仕組みで済む ⚫ NW分離の単位をOpenStackのテナントの単位と別にできる • VMは分けたい/NWは共有したい というようなケース 方針2: データセンタNW側でNW分離を行う Host Leaf データセンタ NW データセンタNW側でNW分離 Provider Networkを使う テナントNWをvlanにmap するケースが多い Baremetal Bare Metal
8. © KDDI CORPORATION 7 日本OpenStackユーザ会 ◼ 方針2を取る上でやり方は複数あるが、どれも難しさを持つ ◼ 方針2-1: Neutron側は標準のものを使用し、Provider Networkに対応する VLANはOpenStackの仕組みの外で作る ⚫ 難しさ: ソフトウェアネイティブな自動化された運用になりにくい • テナントNWの作成にデータセンタNW運用者との連携が必要 ◼ 方針2-2: OpenStackのNW作成とデータセンタNWのVLAN作成などが連携 できるような仕組みをNeutronに入れる ⚫ NWベンダ謹製のNeutron Driverなど ⚫ 難しさ: OpenStackとデータセンタNWが密結合になる+標準化された仕組みでは ないので、ベンダロックインの原因になる 方針2の難しさ
9. © KDDI CORPORATION 8 日本OpenStackユーザ会 ◼ 要件 ⚫ マルチテナントなベアメタルサービスも動くデータセンタNW上にOpenStackを 構築する必要があった ⚫ 既にサービス/目的別に存在する複数の社内NWに、OpenStack側のVM(/ベアメ タル)が接続しにゆくというモデル • 固定回線サービス用NW / 移動通信サービス用NW / 監視用NW • これらのNW分離の単位はOpenStack内のテナントの単位とは異なる ◼ 採用した方針 → 方針2-1 ⚫ データセンターNWが独自のマルチテナントNW分離の仕組みを持った上で、既存 の社内NW群をデータセンタに引き込んで、NW分離の仕組みに載せる ⚫ Leafが社内NWを知っているので、OpenStackのVM(/ベアメタル)は、VLANを 使ってそこに直接接続 ⚫ Neutron側はOVN driverを利用 実践例: MShip3のNW分離の要件と実装方針
10. © KDDI CORPORATION 9 日本OpenStackユーザ会 ◼ OpenStackから見ると、特定のNWに属するVM(がいるサーバ)からのタグ VLANを、Leafに待ち構えておいてもらうイメージ ⚫ ここはOpenStack側でソフトウェア的に設定できない部分(neutronは標準の OVNを使っているため) • VMを立てる際、逐一データセンタNWチームに依頼が必要になってしまう ⚫ このままでは運用がとてもツライ... 実践例: MShip3のNW分離の実装方針 Host DCNWの GWルータ Leaf Leaf-Server間を VLANでマッピング 社内NW1 社内NW2 トンネル Leaf DCNW Host トンネル トンネル
11. © KDDI CORPORATION 10 日本OpenStackユーザ会 ◼ 各社内NWに対応する仮想ルータを特定のホストに配置する ⚫ 仮想ルータの実体はOpenStackのVM ◼ テナントVMは、仮想ルータを通して各社内NWへ接続 ⚫ テナントVM-仮想ルータ間は、OVNのGeneveトンネル越しに接続 (スライド3の 方針1を活用している) 実践例: MShip3におけるNW分離の実現方法 特定のHost Leaf 仮想ルータ(VM) 仮想ルータ(VM) Host テナントVM テナントVM Leafと特定の ホストの間を VLANで 予めマッピング この区間はOpenStackの NW分離の仕組み(OVN)を 使ってトンネル ovs-dpdk ovs-dpdk 各社内 NWへ ※上の図は仕組みの概略を表すものであり、正確なアーキテクチャを表していません。 実装の詳細は以下のリンクをご覧ください. tech-note: https://tech-note.kddi.com/n/n67f70ff574b3 / https://tech-note.kddi.com/n/nabd7d23ae3a9 JANOG55での発表 : https://www.janog.gr.jp/meeting/janog55/nfv/
12. © KDDI CORPORATION 11 日本OpenStackユーザ会 ◼ おまけ: 運用していて感じる、NeutronにOVNを利用するメリット ⚫ Live Migrationが速くて失敗もあまりしない NW構成図 仮想 ルータ 仮想 ルータ OVNによる 仮想L2NW OVNによる 仮想L2NW OpenStack的には別NWだが、 疎通可・IPアドレス被り不可 社内NWからVMにアドレス払出 L3 Routing データセンタNW データセンタNW内でのNW分離の 単位は、社内NW Neutronの Network リソースに 対応 Neutronの Router リソースと 関連付け