NaaSで実現する簡単オンプレ/クラウド間通信

イベントグループ：エンタープライズインフラ勉強会
イベント名：エンタープライズネットワークとクラウドの活用
日時：2024年11月21日(木) 16時00分
場所：F5ネットワークスジャパン & オンライン
イベントページ：https://connpass.com/event/332718

Transcript

1. NaaSで実現する 簡単オンプレ/クラウド間通信 Solution Architect Daisuke Nakajima
2. ©2024 F5 2 Who am I ? https://www.slideshare.net/DaisukeNakajima/contrail-integrated-with-kubernetes-and-openstack https://www.slideshare.net/DaisukeNakajima/contrail-integrated-with-kubernetes-and-openstack 名前：中嶋 大輔 所属：F5ネットワークスジャパン タイトル：ソリューションアーキテクト 過去の発表 TungstenFabricとOpenshift https://www.slideshare.net/DaisukeNakajima/cont rail-integrated-with-kubernetes-and-openstack
3. ©2024 F5 3 VM/Server/Kubernetes エンタープライズネットワークの現状 Branch接続ルータ 外接ルータ/FW/VPN DCネットワーク Internet WAN WAN Branch データセンター SASE CASB/SWG クラウド 関連会社 パートナー 関連会社やパートナー接続や クラウド、Kubernetes、SASEの登場により、アプリケーション接続は ますます分散、セキュリティ、スピードが求められる時代に
4. ©2024 F5 4 アプリケーションの要件によって、アプライアンスの接続などを変更する必要があるため、仮想化 基盤で仮想ネットワークを作成しアプライアンスのルーティング設計など組み合わせる必要があり ます。 アプリケーションの要件に合わせてアプライアンスの選定、ネットワーク作成、コンフィグ作成な どを行う必要があります 一般的なネットワーク設計 DC東京
5. ©2024 F5 5 NaaS SASE/SDWAN 外接ルータ/FW/VPN VM/Server/Kubernetes DCネットワーク エンタープライズネットワーク運用が爆発！！！ Internet WAN クラウド SASE/SDWAN WAN Branch(SD-WAN/SASE) 関連会社 パートナー データセンター SASE CASB/SWG NAT! ACL追加! NAT! ACL追加! ACL追加! ルーティング 変更 VPN BGP NAT NAT ACL追加! エッジアプリ アクセス アプリケーション分散にともなう Firewall/ルーター ACLの増加 データセンターとクラウド、オフィスなどのIPアドレスの重複 コンテナ基盤 (Kubernetes)やエッジアプリケーションなどの新しいネットワークデザイン
6. ©2024 F5 6 アプライアンスによりコンフィグの設定方法やログ、メトリックの取得方法、形式が異なります。 このため、設定の自動化のテンプレートの作成、ログの正規化を行うためのプログラム開発が必要 となり、可視化のダッシュボードなども設計開発が必要です。 一般的なネットワーク設計 Log Log Log Log Config Config Config Config テンプレート1 テンプレート2 テンプレート3 テンプレート4
7. ©2024 F5 7 L3/L4 Access Listの管理コストの増大！ アプリ A アプリ B アプリ C 廃止されたアプリ Rule-1: app-A - Cloud app-A allow Rule-2: app-A – branch office allow Rule-30: app-A - deny Rule-31: app-B - branch allow Rule-32: app-B – app-C allow Rule-80: app-B - deny Rule-81: Azure - branch Rule-82: AWS - branch Rule - 100: old app –A Rule - 200: old app –B 消せない古のACL 増え続けるACLとACL精査コスト 新しいACLが他のシステムに影響する場合があるため、ACLの追加削除は慎重に行う必要があります。 また、古いACLが残ったままだと、セキュリティのリスクになる場合もあります。
8. ©2024 F5 8 IPアドレス重複のためのNAT アプリ A 192.168.1.1 App-A - AWS App-A :SNAT 172.16.0.1 AWS App : DNAT 10.0.0.1 IPアドレスの重複を解決するために、SNATやDNATをよく利用します。NATを行うと、通信の確認 にNATの変換テーブルを参照する必要があり、観測性が低下します。DNAT用のIPアドレスなど、 インフラ全体でのアドレス管理なども必要となり運用負荷の原因となる場合があります。 Branch – App-B Branch :SNAT 172.16.0.15 App-B : DNAT 10.0.0.2 App-A - AWS AWS-App :DNAT 192.168.1.1 App-A : SNAT Interface 192.168.1.1 Branch – App-B Branch :SNAT 192.168.10.20 App-B : DNAT 192.168.10.1 アプリ B 192.168.10.1 192.168.0.0/16 DNAT管理表 10.0.0.1 = AWS APP 10.0.0.2 = App-B
9. ©2024 F5 9 アプリ A コンフィグ作成とテストコストの増加 アプリ A アプリ B 様々な機器や仮想アプライアンスが接続され、アプリの追加に応じて複数コンフィグの作成が必 要です。アプリが増えるとコンフィグも増加し、共通機器のコンフィグ作成やテストが複雑にな り、コストが増加します。戻しコンフィグの作成などもコスト増加の要因となります。 アプリ B
10. ©2024 F5 10 VPC (Hub) VPC(Application) VPC(Web Front) Ingress Egress マルチクラウドデザイン マルチクラウド構成の場合、異なるAPIやセキュリティ機能、クラウド間通信を行うためのルーティング などを解決する必要があります。また、IPアドレスが重複していたり、ルーティング上の制限など様々 な課題の解決が必要です。 インターネット公開を行う場合、DDoS対策やWAF、CDNなど外部サービスの選定なども必要です。 VNET (Hub) VNET(Application) VNET(Web Front) Ingress Egress User site
11. ©2024 F5 11 エンタープライズネットワークの課題 - データセンター、ブランチオフィス、クラウドに点在するアプリケーション - 外部サービスやアプリケーション間通信 - 増え続けるACLの管理（不要なACLの定期的な削除等） - アプリケーションレベルでのネットワークパフォーマンス - ローカルブレイクアウトなど分散ネットワーク接続の対応 - 肥大化するルーティングテーブル/セキュリティポリシーの管理 - 新しいインフラ基盤への対応（クラウド、Kubenretes、エッジなど） - オンプレミスとクラウドアプリケーションのアクセス制御 - システム変更によるネットワーク変更への対応 セキュリティ コンプライアンス ネットワークパフォーマ ンスと信頼性 拡張性と柔軟性
12. ©2022 F5 12 F5XC のネットワークとセキュリティ Distributed Cloud Network Connect Connect and manage all locations as a single network Distributed Cloud App Connect Connect and manage all apps as a single platform Traditional Networking (Layer 3) Service Networking (Layer 7) Connect Networks Connect Apps
13. ©2022 F5 13 Centralized Operations Visibility and Analytics Artificial Intelligence/ Advanced Insights Security Distributed Cloud Console アプリケーションのライフサイクルと可視性 を管理するSaaSベースの集中型コンソール WAF Firewall DDoS Mitigation Bot Defense API security Networking Router Firewall Load Balancer DDOS API Gateway 分散型ネットワーキングとセキュリティサービス F5XC ネットワーク/セキュリティ機能 URL Filtering VPN
14. ©2024 F5 14 エンタープライズネットワーク再考 ルーティングドメインの分離と抽象化レイヤー VM/Server/Kubernetes Branch接続ルータ 外接ルータ/FW/VPN DCネットワーク Internet WAN WAN Branch データセンター SASECASB/ SWG クラウド 関連会社 パートナー ルーティングドメイン シンプルな アンダーレイ アプリケーション通信の オーバーレイ アプリケーション接続 ゲートウェイ 物理ネットワークのコンフィグをシンプル化し、L3レベルでのネットワーク相互接続を分離 アプリケーション接続をオーバーレイで行う
15. ©2024 F5 15 Load Balancerによるアドレス重複排除 アプリ A 192.168.1.1 F5XCでは複数のアプライアンス(CE) を1つのLoad balancerとして管理が可能です。IPアドレスが 重複しているアプリ間の通信もLoad Balancerを作成することで、重複排除が可能です。 また、コンソールでは送信元/送信先の情報をLoad Balancerごとに表示するため、観測性も高くな り、NATテーブルの管理表も不要です。 192.168.1.1 アプリ B 192.168.10.1 192.168.0.0/16 Load Balancer Endpoint : 192.168.1.1 Load Balancer: 192.168.1.254 Load Balancer Endpoint : 192.168.10.1 Load Balancer: 192.168.1.254
16. ©2024 F5 16 アプリごとのLoad BalancerでACLを個別管理 アプリ A アプリ B アプリ C 廃止されたアプリ LB-1: app-A - Cloud app-A/ branch office LB-2: app-B - app-C/ branch office LB-3: Azure - branch office LB-4: Azure - branch office LB-5: old app – app-A LB-6: old app – app-B Load Balancerでアプリ間の接続をVLANなどのシステムごとに管理します。Load Balancerにアプ リ制御が紐づくため、他システムに設定影響が起きにくい設計です。アプリ廃止後はLoad Balancerを削除するため、古いコンフィグが残らず、セキュリティリスクを低減できます。
17. ©2024 F5 17 F5XCにより一括したコンフィグ設定と管理 アプリ A アプリ B F5XCではルータ、FW、Load balancerなど複数の機能を一括しらコンフィグで管理可能です。イ ンテントベースでのコンフィグを行うことで、個別のコンフィグを作成する必要がありません。 また、設定はJSONファイルなどで管理できるため、設定を戻す場合は、任意のファイルを設定す るだけで、以前の状態に戻すことが可能です。 アプリ A ver1 ver2 ver3 ver4 アプリ B ver1 ver2 ver3 ver4
18. ©2024 F5 18 VPC (Hub) VPC(Application) VPC(Web Front) F5XC:マルチクラウドソリューション ユーザーサイトのアプリケーションを簡単にマルチクラウド環境のアプリケーションと接続できま す。接続方法はハイブリッドクラウドと同様にL3VPNの設定を行うか、ロードバランサーでエンド ポイントを指定します。ロードバランサーを使った場合、エンドポイントの指定方法で単一クラウ ド、複数クラウドの使い分けが可能です。 VNET (Hub) VNET(Application) VNET(Web Front) Overlay tunnel User site
19. ©2024 F5 19 XCでは取得した情報をもとに、UI上にアプリケーションパフォーマンスやAPIの可視化など様々な機能を提供し ます。ロードバランサーを通過した送信元IPとロケーション、遅延、HTTP パスやメソッド。また、使用されて いるAPIを収集し、グラフ化やAPIのJSONなどにクレジットカードデータが入っていないかの検査を行うことが 可能です。
20. ©2024 F5 20
21. ©2024 F5 21 IP Fabric EVPN VXLAN サービスゲートウェイ by Secure Mesh Site データセンターアプリケーション間通信や、クラウド、他のデータセンターアプリケーション、SD-WAN/SASEクライアント からアプリケーションへのアクセスなどは Secure Mesh Site 経由で行う。 Secure Mesh Site はネットワークを抽象化し、 Network As A Serviceを提供する。 SASE/SDWAN WAN Branch(SD-WAN/SASE) WAN AWS/Azure データセンター Service Gateway Controller
22. ©2024 F5 22 サービスゲートウェイ 論理構成は Secure Mesh Site にネットワークモジュールが接続される。 Secure Mesh Site は各モジュールをVRFで収容し、ル ーティングテーブルを論理的に分割する。モジュール間アクセスは、VRF間ルーティング＋NAT、または、L4/L7 Load balancerによりアプリケーションアクセスを実現する。 SASE/SDWAN WAN Branch(SD-WAN/SASE) LB: Branch (VRF Green) Endpoint: Red App (VRF Red) DNAT:SNAT 10.0.0.0/12 10.0.0.0/24 192.168.0.0/24
23. ©2024 F5 23 IP Fabric EVPN VXLAN クラウド、Kubernetes接続 クラウドなどの複数仮想ネットワークを持つサービスや、Kubernetesなどのネットワークを抽象化しているシステムは、 Secure Mesh Site 、Kubernetes上にデプロイし、 Secure Mesh Site 間でオーバーレイトンネルを作成。IP FabricやWANでは サービスゲートウェイの接続性のみを提供する。アプリケーショントラフィックはトンネルを通し、特定VLANやNamespace 上のPodに通信を行う。 AWS/Azure WAN Kubenretesの抽象化を 損なわず、外部と通信 Kubernetesやクラウドの仮想 ネットワークとDC物理ネッ トワークゲートウェイ
24. ©2022 F5 24 F5XC NaaS Features Network As A Service
25. ©2024 F5 25 RE Auto connectivity & Site Mesh Group NaaS Feature1：VPN自動構成 Internet F5 Global NW VPN VPN VPN Public cloud On-premise 本支店・ブランチ RE RE RE Console Internet F5 Global NW Public cloud On-premise 本支店・ブランチ Console • 各サイトのMeshを起動すると、REと自動でIPsec接続 • 任意のVPNスライスに接続されて拠点間通信 • コントロールプレーンおよび拠点間データプレーン通信が可能 • REへのInboundのクリーントラフィックに対して課金される • REを経由しない、CE間のダイレクトIPsec VPN構成 • Hub-Spoke、Full-Mesh構成が可能 • 任意の拠点グループのHub or Spokeとして動作し、自動接続される • トラフィック課金は無し VPN1-Hub VPN2-Hub VPN1-Spoke VPN1-Spoke VPN2-Spoke VPN1-Spoke VPN2-Spoke
26. ©2024 F5 26 NaaS Feature2：マルチクラウドオーバーレイNW Segment Connector Internet or 既存BBNW Data Center CE Red Blue Green R B G APP vlan100 vlan200 vlan300 vlan10 vlan20 vlan30 • 仮想NW “Segment(VRF)”を定義 • 作成したSegmentをInterfaceやVLANに関連づけるだけ • CE間でオーバーレイNW通信 • 同一Segmentがマッピングされた各CEのIF/VLAN間でオーバー レイNW通信が可能 DC CE vlan100  Segment ”Red” vlan200  Segment ”Blue” vlan300  Segment ”Green” Branch CE vlan10  Segment ”Red” vlan20  Segment ”Blue” vlan30  Segment ”Green” Branch • Underlay既存NWは変更不要 • シンプルなNW、CE Outside間がIP Reachableであれば良い • Segment間の通信も可能（Red Blue）＊次ページ参照 • Direct full access or SNAT APP APP
27. ©2024 F5 27 NaaS Feature3：オーバーレイNWオプション Segment Connector Option Internet or 既存BBNW Data Center CE Red Blue Green R B G 共通リソー ス / APP vlan100 vlan200 vlan300 vlan10 vlan20 vlan30 • Segment間の通信も可能（Red Blueなど） • Direct full access or SNAT • 共通リソースなどへのセキュアなアクセス • 一部Segmentへの必要な通信のみ共通アクセスさせる等 DC CE vlan100  Segment ”Red” vlan200  Segment ”Blue” vlan300  Segment ”Green” vlan400  Segment ”Black” Segment ”Black”  ”Red” (direct) Segment ”Black”  ”Blue” (SNAT) Branch Black vlan400
28. ©2024 F5 28 NaaS Feature4：App接続 on オーバーレイNW App delivery across Segment • アプリへのアクセスをプロキシ(LB)のVirtual Serverで受けて バックエンドアプリのSegmentへ • 同様にCE間でオーバーレイ構成可能 • L7情報を識別して任意のSegmentへ転送、負荷分散 • プロキシのためNATアドレス管理不要 • HTTP LBのService-Policyでテナント毎やサービス毎に転送 ルールを制御し、指定のSegmentへルーティングする ※ Service Policyで指定可能なルール • 特定のIPアドレスレンジ、国、ASN、TLS Fingerprint • Custom PolicyでHTTPヘッダやPath、Query、Body、cookieなど client IP domain(dst) HTTP method Segment Service Policy1 10.x.x.x svc.xxx.jp GET, POST Black Service Policy2 192.168.1.x svc.xxx.jp/green Any Green Internet or 既存BBNW Data Center CE Red Blue Green R B G 共通リソー ス / APP vlan100 vlan200 vlan300 vlan10 vlan20 vlan30 Branch Black vlan400 HTTP LB CE Black Green svc pol1 svc pol2 svc.xxx.jp Green APP
29. ©2024 F5 29 NaaS Feature5：IPアドレス重複シナリオ App delivery across Segment w/ overlapping subnets Data Center CE Red Blue Green vlan100 vlan200 vlan300 Black 192.168.1.0/24 Internet or 既存BBNW 共通 APP 192.168.1.100 vlan400 red.xxx.jp black.xxx.com Virtual Server Black CE Red APP 172.16.0.100 Red 172.16.0.0/24 Network 192.168.1.0/24 Network access to “red.xxx.jp” site access to “black.xxx.com” site HTTP LB Branch • HTTP LBで一度通信を終端してプロ キシするため、IP重複関係なくアプ リケーションアクセスを抽象化する • トラフィックを見てそれぞれの Segmentへ仕分けする 10.1.1.0/24 Network access to “abc.xxx.jp” site HTTP LB abc.xxx.com 10.1.1.0/24 Network APP 10.1.1.100 • Segmentを使う必要がないケース • Branch側でLB構成を構成し、通信を 終端してプロキシする。 • CE間はF5 Global NWかIPsec接続、 社内であればルーティングで疎通で きる環境
30. ©2024 F5 30 NaaS Feature6：複数サイトから共通Appへのアクセス App delivery w/ vSite Data Center CE Red Blue Green vlan100 vlan200 vlan300 Black 192.168.1.0/24 Internet or 既存BBNW 共通 APP 192.168.1.100 vlan400 Red APP 172.16.0.100 10.1.1.0/24 Network HTTP LB abc.xxx.com black.xxx.com 10.1.1.0/24 Network APP 10.1.1.100 10.1.1.0/24 Network HTTP LB abc.xxx.com black.xxx.com 10.1.1.0/24 Network HTTP LB abc.xxx.com black.xxx.com Branches Console vSite abc.xxx.com black.xxx.com HTTP LB 設定オブジェクト vSiteにLB設定を適用すると、 属する全てのCEに反映され る(distributed LB) 多拠点構成の場合、サイトごとの設定は不要
31. ©2022 F5 31 F5XC NaaS エンタープライズ アーキテクチャ
32. ©2024 F5 32 AWS/Azure F5で最適化するエンタープライズネットワーク IP Fabric EVPN VXLAN SASE/SDWAN WAN Branch(SD-WAN/SASE) WAN Branchネットワークと データセンタアプリを VRFに接続 F5XC CEをIP Fabricに接続し、WAN接続ルータやクラウド接続ルータ、アプリケーションネット ワークのVLANを設定。各ネットワークはCEのVRFに接続されL3ネットワークを分離
33. ©2024 F5 33 F5で最適化するエンタープライズネットワーク クライアントーアプリ接続 IP Fabric EVPN VXLAN AWS/Azure WAN SASE/SDWAN WAN Branch(SD-WAN/SASE) F5XC CEをIP Fabricに接続し、WAN接続ルータやクラウド接続ルータ、アプリケーションネット ワークのVLANを設定。各ネットワークはCEのVRFに接続されL3ネットワークを分離 CE がサービスゲートウェイとしてエンドポイントへトラフィックをルーティング ent-app1.comに接続 LB: ent-app1.com Endpoint: Onpre-vlan100: 192.168.1.1
34. ©2024 F5 34 F5で最適化するエンタープライズネットワーク クライアントーアプリ接続 IP Fabric EVPN VXLAN AWS/Azure WAN SASE/SDWAN WAN Branch(SD-WAN/SASE) アプリケーション公開 ent-app1.comに接続 LB: ent-app1.com Endpoint: AWS VPC red: 10.0.0.1
35. ©2024 F5 35 F5で最適化するエンタープライズネットワーク オンプレ – クラウド – Kubernetes接続 IP Fabric EVPN VXLAN AWS/Azure WAN Kubernetes上にCEをPodとして設定。オンプレ、クラウド、Kuberentesのアプリケーションをルー ティングやVLANを意識せず、簡単に接続 Pod Networkから外部 VLANへアクセス Kubernetesとオンプレの ゲートウェイ