FastConnect の冗長性

OCIの技術説明資料：FastConnect の冗長性です。
お客様ネットワークとOracle Cloud Infrastructure(OCI)間をプライベート回線で接続するサービス「FastConnect」に関する復習と、冗長化における考慮点について解説しています。

#oci #OCI #Networking #Connectivity #FastConnect #Redundancy

更新履歴
2024/9/2 最新情報の反映と構成のアップデート
2022/12/06 プロバイダの追加 BBIX
2022/6/23 新規作成

Transcript

1. 外部接続 詳細 FastConnectの冗長性 Connectivity 200 - FastConnect Redundancy Oracle Cloud Infrastructure 技術資料 2024年9月
2. • FastConnect とは - 復習 • OCIへの接続の冗長化にあたっての考慮点 • 冗長化構成時における経路制御 • 冗長構成のテスト Agenda Copyright © 2024, Oracle and/or its affiliates 2 2024/9/2
3. Copyright © 2024, Oracle and/or its affiliates 3 FastConnect とは - 復習 2024/9/2
4. 1. インターネット • グローバルIP通信 • セキュリティはFWとSSL通信等で確保 • 通信速度・帯域はベストエフォート • 月10TBを超える外部へのデータ転送が課金対象 2. VPN接続 (IPsec) • プライベートIP通信 • IPsecによりセキュリティを確保(認証,暗号化) • 通信速度・帯域はベストエフォート • VPNは無料、インターネット通信料金の対象 3. FastConnect • プライベートIP/グローバルIP通信 • プライベート回線による高いセキュリティ • 通信キャリアによる速度・帯域・品質の保証 • 固定額のポート料金のみ課金、データ転送に伴う従量課金な し、回線費用が別途必要 Oracle Cloud Infrastructure への接続方式 Copyright © 2024, Oracle and/or its affiliates 4 On-Premises 172.16.0.0/16 On-premise Data Center Oracle Cloud Infrastructure (Tokyo) VCN Dynamic Routing Gateway Internet Gateway CPE CPE CPE CPE Internet 1. インターネット VPN FastConnect 2. VPN接続 3. FastConnect 本資料では、 この接続方式における 冗長化について解説 2024/9/2
5. FastConnect Location (東京：Equinix TY4, 大阪：NTTデータ 堂島4) お客様ネットワークとOCI間をプライベート回線で接続 • 信頼性・安定性・セキュリティの高い閉域網で、インターネットを経由せずにオンプレミス・ネットワークとOCIを接続可能 • パブリック・ピアリング と プライベート・ピアリング の２つのピアリング・タイプがある • プライベート・ピアリングを経由した場合、外部データ転送の対象外となる FastConnect とは Copyright © 2024, Oracle and/or its affiliates 5 Oracle Cloud Infrastructure Region VCN Dynamic Routing Gateway On-Premises On-premise Data Center Customer/ Partner Edge Oracle Edge 通信キャリア回線 CPE オラクル提供範囲 Object Storage お客様・プロバイダ管理範囲 Public Peering Private Peering 2024/9/2
6. プライベート・ピアリング 1. 「VCN内のリソース」 に閉域接続したい場合 (例：コンピュート・インスタンス等) 2. 「パブリックIPを持つOCIサービス*」 と、「VCN内のリソース」 の 両方にプライベート接続したい場合 • VCNのサービスゲートウェイ経由のトランジットルーティングによって、パブリックIPをもつサービスとも接続可能 パブリック・ピアリング 1. 「パブリックIPを持つOCIのサービス*」 にプライベート接続したい場合 * パブリックIPを持つOCIサービスの例： - オブジェクト・ストレージ / Analytics Cloud などの パブリックIPを持つPaaSサービス / APIエンドポイント - 一覧：https://www.oracle.com/jp/cloud/networking/fastconnect/services/ (注意) OCIのコンソール画面については、現時点では完全な閉域接続はできません(CDNなどを利用するため) プライベート・ピアリング／パブリック・ピアリング のユースケース Copyright © 2024, Oracle and/or its affiliates 6 2024/9/2
7. ※東京・大阪リージョンの FastConnect プロバイダ については、以下の URL より確認可能 • https://www.oracle.com/jp/cloud/networking/fastconnect/providers/ FastConnect 3つの”接続モデル” Copyright © 2024, Oracle and/or its affiliates 7 接続モデル 概要 課金単位 FastConnect パ ー ト ナ Oracleパートナ Oracle接続サービスを提供している通信事業者 仮想回線 (Virtual Circuit) 論理ポート: 1G 〜 100G プロバイダ帯域：10M〜 ※利用可能な帯域は通信事業者によって異な ります FastConnect ダ イ レ ク ト サードパーティ・ プロバイダ 「Oracleパートナ」 以外の通信事業者に専用回線を注文して接続 例： アルテリア クロスコネクト (Cross-Connect) 物理ポート: 1G, 10G, 100G単位 コロケーション FastConnect ロケーションに設置されたお客様の機器を直接OCIへ 接続 例：Equinix TY4, NTTデータ 堂島4 クロスコネクト (Cross-Connect) 物理ポート: 1G, 10G, 100G単位 2024/9/2
8. FastConnect ルーティング要件 Copyright © 2024, Oracle and/or its affiliates 8 https://docs.oracle.com/ja-jp/iaas/Content/Network/Concepts/fastconnectrequirements.htm#requirements 要件 サポートされるIPアドレス IPv4 および IPv6アドレス P2P IPアドレス ・ パブリック仮想回線の場合: Oracle指定のIPアドレス ・ プライベート仮想回線の場合: お客様指定のIPアドレス ※プライベート仮想回線ごとに、/30または/31 の1組のIPアドレス ※同じDRGに複数の仮想回線を送る場合、各仮想回線のエッジ・ルーターに異なるアドレスを使用する 最大IP MTU 9000 ルーティング・プロトコル BGPv4 BGP接頭辞の制限 ・ パブリック仮想回線の場合: 200 ・ プライベート仮想回線の場合: 2000 BGP ASN ・ パブリック仮想回線の場合: 要パブリックASN ・ プライベート仮想回線の場合: 2-byte または 4-byte の ASN をサポート ※特殊用途のASN [参考] および BGP ASN 65534 を除く ※プライベートASN: 64512〜65533が利用可(RFC-6996) ・ Oracle 側の BGP ASNは “31898” (Government Cloud等は各ドキュメントを参照) BGP MD5認証 最大128ビットのMD5認証をサポート BGPキープアライブ間隔 60秒 BGPホールドタイム間隔 180秒 高速なBGPコンバージェンスが必要な場合、CPE (顧客構内機器) にて、サポートされている範囲 (キープアライブ: 6 ～60秒、ホールドタイム: 18～180秒) の値を使用してください。BGP OPENメッセージの交換時にネゴシエーションされ、 より低い値で統一されます。 [Date]
9. FastConnect: Oracleパートナの使用 FastConnect: サードパーティ・プロバイダの使用 FastConnect: Oracleとコロケート FastConnect セットアップ・プロセス Copyright © 2024, Oracle and/or its affiliates 9 サードパーティ・プロバイダ コロケーション Oracle パートナ 1. FastConnect パートナに接続をオーダー 2. 動的ルーティングゲートウェイ(DRG)を作成 ※プライベート・ピアリングのみ 3. 仮想回線を作成 4. パートナに連絡し、作成した各仮想回線の OCIDを、パートナがリクエストしたその他の 情報とともに提供 5. 顧客構内機器(CPE)を設定 6. 光源レベルの確認 7. インタフェースの稼働確認 8. BGPセッション先(Oracle BGP IPまたは パートナ・エッジ)へのping 9. BGPセッションの確認 10. エンドツーエンドの接続テスト 1. 動的ルーティングゲートウェイ(DRG)を作成 ※プライベート・ピアリングのみ 2. クロスコネクト・グループ および クロスコネクトを 作成 3. サードパーティ・プロバイダへ 認可証 (LOA/Letter of Authorization) の 転送 4. 光源レベルの確認 5. インタフェースの稼働確認 6. 各クロスコネクトのアクティブ化 7. 仮想回線の作成 8. 顧客構内機器(CPE)を設定 9. Oracle BGP IPへのping 10. BGPセッションの確認 11. エンドツーエンドの接続テスト 1. 動的ルーティングゲートウェイ(DRG)を作成 ※プライベート・ピアリングのみ 2. クロスコネクト・グループ および クロスコネクトを 作成 3. FastConnect ロケーションへ 認可証 (LOA/Letter of Authorization) の送信と ケーブル配線のリクエスト 4. 光源レベルの確認 5. インタフェースの稼働確認 6. 各クロスコネクトのアクティブ化 7. 仮想回線の作成 8. 顧客構内機器(CPE)を設定 9. Oracle BGP IPへのping 10. BGPセッションの確認 11. エンドツーエンドの接続テスト 緑字：OCIコンソールでの作業 Oracle側のステータスは、 OCIコンソールにて確認可 Oracle側のステータスは、 OCIコンソールにて確認可 OCIコンソールよりダウンロード可 OCIコンソールよりダウンロード可 2024/9/2
10. ※ FastConnect ダイレクト (サードパーティ・プロバイダ および コロケーション) を利用する場合、 クロスコネクトのサービス制限を引き上げる必要があります。これらのデフォルト制限は最初は0に設定されています。 FastConnect のサービス制限 Copyright © 2024, Oracle and/or its affiliates 10 スコープ Monthly or Annual Universal Credits Pay-as-You-Go or Promo 仮想回線 Region 10 10 クロスコネクト Region お問合せ お問合せ https://docs.oracle.com/ja-jp/iaas/Content/General/Concepts/servicelimits.htm#network_limits 2024/9/2
11. Copyright © 2024, Oracle and/or its affiliates 11 OCIへの接続の冗長化にあたっての考慮点 2024/9/2
12. 障害・メンテナンス時の影響を最小限に抑えるために OCIへの接続の冗長化の必要性 Copyright © 2024, Oracle and/or its affiliates 12 オンプレミス・ネットワーク と OCI上のネットワーク との接続は、物理的な拠点、物理的なポートを介して実現され、下記要 因などによって、中断が発生しうる。 • 機器障害 • 地域災害 • 計画メンテナンス 対象となるシステムの BCP (事業継続計画) ／DR (災害復旧) 要件を順守するためには、「拠点」 や 「機器」 を冗長化 し、上記のような要因の影響を最小限に抑えることが必要。 2024/9/2
13. 1. 接続回線の冗長化 • 接続回線の障害への対策 2. OCI側 FastConnect 物理デバイスの冗長 化 • OCIのルーターの障害やメンテナンスへの 対策 3. 通信キャリアの冗長化 • キャリア網、通信設備の大規模障害へ の対策 4. FastConnect ロケーションの冗長化 • OCIへの接続を行うデータセンターの障 害への対策 OCIへの接続の冗長化にあたっての考慮点 Copyright © 2024, Oracle and/or its affiliates 13 FastConnect Location TY4 OCI 東京リージョン VCN On-Premises Customer/ Partner Cage Oracle Cage Dynamic Routing Gateway FastConnect Location 堂島DC OCI 大阪リージョン VCN Customer/ Partner Cage Oracle Edge Dynamic Routing Gateway 1 4 2 Customer/ Partner Edge Customer/ Partner Edge CPE CPE CPE 3 1 2 3 4 2024/9/2
14. FastConnect パートナー を利用して接続する場合 • 冗長化にあたっては、基本的にはFastConnect 2 ポート以上を使用(ただし一部のサービスは FastConnect 1ポート分で内部的に冗長化を行うも のあり) • 接続回線を提供するFastConnectパートナーやその サービスによって冗長化の方法が異なるため、利用す るパートナー様とご相談ください FastConnect ダイレクト(サードパーティ・プロバイダ or コロケーション) を利用して接続する場合 • 冗長化にあたっては FastConnect を2ポート以上使 用 • OCIコンソールから2つのクロスコネクト(グループ)を作成 することで、2つの別の接続ポートが払い出されるため、 それぞれに対して回線を接続する 考慮点1. 接続回線の冗長化 Copyright © 2024, Oracle and/or its affiliates 14 2024/9/2
15. Internet OCI Region A VCN FastConnectのバックアップとしてインターネットVPN接続を利用することもできる 費用の削減や、多重障害時のバックアップ を目的として、FastConnectの他にIPsec VPNを利用する構成も可能 • IPsec VPNはインターネット回線を利 用 • FastConnect と IPsec VPN は、とも にDRGに接続され、経路はDRGで制 御される • 通常は、FastConnectを優先経路、 IPsec VPNを代替経路となるように構 成する 考慮点1. 接続回線の冗長化 Copyright © 2024, Oracle and/or its affiliates 15 FastConnect Location A On-Premises FastConnect パートナ ネットワーク Oracle Edge Dynamic Routing Gateway VPN CPE CPE 1 2 3 4 2024/9/2
16. FastConnectロケーション内の、複数の物理デバイス (=エッジルーター) に接続 • FastConnectを終端する物理デバイス (=エッジルーター) は複数あり、メンテナンスはローリングで実施される • 複数の物理デバイスを利用することで、機器の障害やメンテナンスによる接続断を回避/軽減することができる 考慮点2. FastConnect 物理デバイスの冗長化 Copyright © 2024, Oracle and/or its affiliates 16 FastConnect Location (東京：Equinix TY4, 大阪：NTTデータ 堂島4) Oracle Cloud Infrastructure Region VCN On-Premises On-premise Data Center Customer/ Partner Edge Oracle Edge 通信キャリア回線 /顧客ネットワーク CPE Dynamic Routing Gateway FastConnect ロケーションで提供される 物理デバイスの2つ以上に接続 ※単一障害点となり得るので、オンプレミス・ ネットワークの機器も冗長化を推奨 動的ルーティング・ゲートウェイ (DRG) 以 降の仮想ネットワークは、Oracle によって インフラの冗長化がされている 論理的なコンポーネント 物理的なコンポーネント クロスコネクト(グループ)1 クロスコネクト(グループ)2 物理デバイス1 物理デバイス2 2024/9/2
17. FastConnect 物理デバイス冗長化の指定方法 ※ FastConnectダイレクトの場合のみ 考慮点2. FastConnect 物理デバイスの冗長化 Copyright © 2024, Oracle and/or its affiliates 17 • FastConnectダイレクトの場合は、2つ目以降のクロスコネクト作成時に 「ルーターの近接性の指定」を行うことで、既 存のクロスコネクトと別のルーター(物理デバイス)を指定して作成できる • 冗長化を行う場合、このオプションを必ず有効化し、別のルーターを指定する必要がある • 指定せずにクロスコネクトを作成すると、同じルーター上で2つのクロスコネクトが終端してしまう可能性がある 2024/9/2
18. FastConnect 物理デバイス名の確認 • 作成済のクロスコネクト によって使用されている FastConnect ロケーションの物理デバイス名は、FastConnect の詳 細画面から確認が可能 • この値が異なっていることで、クロスコネクトがそれぞれ別のルーターに接続されていることを確認できる • もし2つのクロスコネクトの物理デバイス名が同一の場合は、OCIの機器メンテナンスで両方の接続が同時にダウンする 設定になっている。修正するにはクロスコネクトの再作成が必要 考慮点2. FastConnect 物理デバイスの冗長化 Copyright © 2024, Oracle and/or its affiliates 18 2024/9/2
19. パートナー接続の場合は、FastConnectパートナーに相談 • パートナー接続を利用する場合も、OCI物理デバイスの冗長化の必要性は同じ • ただし、異なる物理デバイスを利用する設定は、FastConnectダイレクトの時のように顧客(OCIコンソール)上ではなく、 FastConnectパートナー側で行う必要がある • このため、先述の「接続回線の冗長化」の考慮と併せて、FastConnectパートナーに相談 考慮点2. FastConnect 物理デバイスの冗長化 Copyright © 2024, Oracle and/or its affiliates 19 2024/9/2
20. ルーターの計画メンテナンスの通知例 • OCIのFastConnectが終端する物理デバイス (エッジルーター) のメンテナンスが計画されると、お知らせ機能を用いて 通知が送られる • 物理デバイスが正しく冗長化されている場合は、時間がずれた2つ(以上)の計画メンテナンス通知が送付される • 冗長化が行われて、後述の経路制御が正しく設定されていれば、BGPによる経路の自動切り替えが行われ、短時 間のダウンタイムで接続が回復する 考慮点2. FastConnect 物理デバイスの冗長化 Copyright © 2024, Oracle and/or its affiliates 20 (例) ルータの計画メンテナンスに関する通知 2024/9/2
21. • OCIまでの接続回線を提供する通信キャリア(回線事業者)を2つ以上持つことで、キャリア網／キャリア設備の障害や 計画メンテナンスへの対策を行う • FastConnectパートナーを利用して接続を行う場合は、異なる通信キャリアを利用する2つ以上のパートナーを選ん でFastConnectを2つ作成することで、キャリアの冗長化が実現できる • 参照 : FastConnectパートナー一覧 https://www.oracle.com/jp/cloud/networking/fastconnect-providers.html • 異なるFastConnectパートナーであっても、バックエンドで利用するキャリアが同じ場合もあります。詳細は各FastConnectパート ナーまでお問い合わせください 考慮点3. 通信キャリアの冗長化 Copyright © 2024, Oracle and/or its affiliates 21 2024/9/2
22. 2つ以上のパートナー接続を利用してキャリア冗長を図る場合は、物理デバイスの配置に特に注意が必要 もし、2つ以上のFastConnectパートナーを利用してキャリア冗長を図る場合は、パートナー同士の情報連携は自動では されないため、 2つの接続が同じ物理デバイスにアサインされてしまわないように、顧客から物理デバイスの情報を FastConnectパートナーに伝えて開通時に考慮してもらう必要がある • 作業手順のイメージ 1. OCIコンソールから1つ目のFastConectパートナーを選んでFastConnect接続を構築 2. 構築したFastConnectの物理デバイス名を確認 3. 2つ目のFastConnectパートナーに対して、1つ目のFastConnect接続の物理デバイス名を伝達 4. OCIコンソールから2つ目のFastConnectパートナーを選んでFastConnect接続を構築 5. 2つ目のFastConnectパートナーが開通処理を行う際に、物理デバイスの冗長を考慮して作業 6. 2つ目のFastConectが開通したら、OCIコンソールから物理デバイスの冗長化が構成されていることを確認 考慮点3. キャリアの冗長化 Copyright © 2024, Oracle and/or its affiliates 22 2024/9/2
23. リージョン内の複数ロケーションの利用 または 複数リージョンのロケーションを利用する 考慮点4. FastConnect ロケーションの冗長化 Copyright © 2024, Oracle and/or its affiliates 23 ロケーションの冗長化により、地域災害などへの対策が可能 １リージョン内に２つの FastConnect ロケーションがあるリージョンを活用 同じ国内の複数リージョンの FastConnect ロケーションを活用 2024/9/2
24. 別リージョンを経由した代替経路の構成 別リージョンを経由したFastConnectの経路を持つことで、 FastConnectロケーションの冗長化を図ることができる 左図の構成例 • OCIは東京リージョンを利用 • 通常時は東京リージョンに直接FastConnectで接続 • 東京リージョンへの接続障害時は、大阪リージョン経由の代 替経路で接続 • OCIの東京-大阪間はリモート・ピアリング接続によるOCIバッ クボーン回線を利用(アウトバウンド転送料金の対象、月 10TBまで無償) • 各リージョン間のレイテンシは OCIコンソールより確認できる 考慮点4. FastConnect ロケーションの冗長化 Copyright © 2024, Oracle and/or its affiliates 24 Oracle Cloud Infrastructure (Tokyo) Oracle Cloud Infrastructure (Osaka) VCN Remote Peering Connection Remote Peering Connection FastConnect On-premise Data Center Dynamic Routing Gateway Dynamic Routing Gateway FastConnect 優先経路 東京リージョンに直接接続 代替経路 大阪リージョン経由で接続 東京 (NRT) と 大阪 (KIX) 間の レイテンシが 8.76msec と分かる ※確認時点 2024/9/2
25. Copyright © 2024, Oracle and/or its affiliates 25 冗長化構成時における経路制御 2024/9/2
26. https://oracle-japan.github.io/ocidocs/services/networking/dynamic-routing-gateway/ • FastConnect や IPsec VPN 接続が冗長化されて いる場合、DRGと対向ルーターの間に複数の経路が 存在することになる • その場合、DRGおよび対向ルーターのそれぞれで、自 身が参照するルート表のエントリーに従って経路が決 定され、パケットが転送される • 冗長化構成時の経路選択を知るにあたり、DRGその もののについて説明した資料も参考にしてください 参考 – 外部接続 詳細 動的ルーティング・ゲートウェイ 2024/9/2 Copyright © 2024, Oracle and/or its affiliates 26
27. BGP属性 「AS_PATH」 の利用 • OCI → オンプレミス・ネットワークへの経路制御は、BGP属性の一つである「AS_PATH」を用いる • 具体的には、オンプレミス・ネットワークのデバイスにて 「as path prepend」 を設定し、経路の優先度を制御する • これにより、OCIから オンプレミス・ネットワークへ トラフィックを発信する際、AS_PATH が最も短いルートが採用され、着 信する 冗長化された経路の制御：OCI → オンプレミス・ネットワーク Copyright © 2024, Oracle and/or its affiliates 27 Oracle Cloud Infrastructure On-Premises 172.16.0.0/16 On-premise Data Center VCN 10.0.0.0/16 Dynamic Routing Gateway FastConnect仮想回線１ FastConnect仮想回線２ CPE CPE 優先度を下げたい経路に as path prepend を セットし、OCIへルートをアドバタイズ AS_PATHが最も短いルートが優先されるため、 FastConnect仮想回線1 のルートが採用される ASN 65000 ASN 31898 AS_PATH [65000] AS_PATH [65000 65000] ※ OCI では AS_PATH による経路制御が推奨 されています。 その他の方法による経路制御は、推奨されていません。 2024/9/2
28. (参考) DRGによる競合ルートの解決 DRGルート表で同じCIDRを宛先とするルートが複数検出された場合、DRGは次の基準で競合を解決する 1. 静的ルートは、常に動的ルートよりも優先される • 静的ルート同士で競合することはない (静的ルート・ルール内で競合するルート・ルールは定義不可) 2. 動的ルート間ではASパス長が最も短いルートが優先される • VCNに対しては、ASパスは常に空となる (AS_PATH=0) • 仮想回線に対しては、BGPピアから広報を受けたASパスが設定される (AS_PATH=1以上) • BGPルーティングが設定されたIPsec接続に対しては、BGPピアから広報を受けたASパスにDRGが+1して設定する (AS_PATH=2以上) • 静的ルーティングが設定されたIPsec接続に対しては、常に3が設定される (AS_PATH=3) • リモートピアリング接続(RPC)は、ピア先のDRGが持つASパスと同じ値が設定される (宛先がVCNの場合はAS_PATH=0、宛先が外部の場合はAS_PATH=1以上) 3. ASパス長が最短の経路が複数ある場合、アタッチメントの種類の優先度に従う • VCN > 仮想回線(VC) > IPsec VPN > リモートピアリング接続(RPC) 4. ASパス長が最短で同じ、かつアタッチメントの種類が同じ場合、ECMPが有効であれば全てのルートが有効になる • 仮想回線/IPsec接続でルート表のECMPが有効の場合・・・全てのルート(最大8)が有効となる 5. いずれにも当てはまらない場合は、いずれか1つのルートがランダムかつ決定論的に選択される Copyright © 2024, Oracle and/or its affiliates 28 仮想回線のBGPピアからASパス長が4以 上を持つルートが広報された場合、静的 ルーティングが設定されたIPsec接続よりも 優先度が下がるため要注意 (特にL3で FastConnect接続する場合) https://docs.oracle.com/ja-jp/iaas/Content/Network/Concepts/routingonprem2.htm#oracle-to-on-prem 2024/9/2
29. BGP属性 「LOCAL_PREF」 の利用 • オンプレミス・ネットワーク → OCI への経路制御は、BGP属性の一つである「LOCAL_PREF」を用いる • 具体的には、オンプレミス・ネットワークの各デバイスにて 優先したい経路の「local-preference」 の値を高く設定し、 優先度を制御する • これにより、オンプレミス・ネットワークから OCI へトラフィックを発信する際、Local Preference の値が最も高いルートが 採用される 冗長化された経路の制御：オンプレミス・ネットワーク → OCI Copyright © 2024, Oracle and/or its affiliates 29 Oracle Cloud Infrastructure On-Premises 172.16.0.0/16 On-premise Data Center VCN 10.0.0.0/16 Dynamic Routing Gateway FastConnect仮想回線１ FastConnect仮想回線２ CPE CPE 優先度したい経路の local-preference を、 他の経路よりも高い値で設定 Local-preference が高い (200に設定されている) FastConnect仮想回線1 のルートが採用される ASN 65000 ASN 31898 LP [200] LP [100] 2024/9/2
30. • 複数の経路がある場合、それぞれのルーターの経路選択の方法によって、往き(青)と復り(緑)のパケットが異なる経路 を通る非対称ルーティングが発生する場合がある • 非対称ルーティングは通常問題ないが、オンプレミス・ネットワーク側のファイアウォールなどで非対称ルーティングを許可 しない設定にしている場合にはパケットがドロップされるので注意が必要 (例えば ファイアウォール側で許可するなどの対応を検討する) 非対称ルーティングの考慮 Copyright © 2024, Oracle and/or its affiliates 30 Oracle Cloud Infrastructure On-Premises 172.16.0.0/16 On-premise Data Center VCN 10.0.0.0/16 Dynamic Routing Gateway FastConnect仮想回線１ FastConnect仮想回線２ CPE CPE 2024/9/2
31. ECMPの有効化 • ECMP (Equal Cost Multi Path/等コストマルチパス) ルーティング とは、BGPを使用して、複数の FastConnect 仮想回線、または、複数のIPSecトンネル (ただし、回線タイプの混在ではない) を介した、ネットワーク・トラフィックのフ ローベースのロード・バランシングを可能にする機能 • ECMPを使用すると、最大8つの回線間のネットワーク・トラフィックの Active – Active ロード・バランシングと、フェイル オーバーが可能になる • ECMPは デフォルトでは無効化されており、動的ルーティング・ゲートウェイ(DRG) のDRGルート表ごとに有効化すること が可能。ECMP転送の対象とみなされるのは、同じルート設定を持つルートのみ。 複数仮想回線のロードバランシング Copyright © 2024, Oracle and/or its affiliates 31 Oracle Cloud Infrastructure On-Premises 172.16.0.0/16 On-premise Data Center CPE VCN 10.0.0.0/16 Dynamic Routing Gateway 仮想回線またはIPSecトンネル (x up to 8) ECMPの有効化 ECMPの有効化 2024/9/2
32. ECMPの注意点 • ECMPが有効化された構成において、トラフィックは必ずしも 均等に負荷分散される訳ではない OCI は 以下５つの要素を基に、一貫性のある (=ランダム性のない) 決定論的アルゴリズムに従って、トラフィックを 負荷分散させる • プロトコル • 宛先IP • 宛先ポート • 送信元IP • 送信元ポート • 従って、全ての 仮想回線 または IPSecトンネル を活用するには、複数の異なる要素(*)を持つトラフィックが必要となる • (*) プロトコル、異なる宛先IP／ポート、異なる送信元IP／ポートの 異なるトラフィック 複数仮想回線のロードバランシング (つづき) Copyright © 2024, Oracle and/or its affiliates 32 2024/9/2
33. BFD (Bidirectional Forwarding Detection／双方向フォワーディング検出) とは、2つの隣接するデバイス間のリンクの 障害および停止検出を可能にする機能 (RFC 5880 で定義されているプロトコル) BFDは、BGP Keepalive/Hold time の調整による切替よりも 高速なフェイルオーバーの実現に役立つ このオプションを有効化すると、OCIデバイスは 300ミリ秒 ごとにメッセージを送信し、乗数は 3 を使用します。 ※CPE (顧客構内機器) でも BFDが有効化されている必要があります。interval 等はネゴシエーション時により高い値で 統一されます。 障害時の経路切替：BFDを利用した高速な障害検知 Copyright © 2024, Oracle and/or its affiliates 33 https://blogs.oracle.com/oracle4engineer/post/announcing-bidirectional-forwarding-detection-and- enhancements-for-oci-fastconnect-ja お客様機器(CPE) FastConnect BFD有効 BFD有効 CPEの設定に従って、 経路を切替え 障害を検知 2024/9/2
34. BGPタイマーを調整することで、障害時の経路切替時間を短縮することも可能。 CPE (顧客構内機器) がBFDに対応していない場合などは、こちらの方法で経路切替時間を調整。 OCI FastConnect では、 BGP キープアライブ間隔: 60秒、ホールドタイム間隔: 180秒となっている。 BFDを利用しない場合で、より高速なBGPコンバージェンスが必要な場合、CPE (顧客構内機器) にて、サポートされてい る範囲 (キープアライブ: 6〜60秒、ホールドタイム: 18〜180秒) の値を指定する。 これにより、BGP OPENメッセージの交換時にネゴシエーションされ、より低い値で統一される。 極端に短いBGPタイマーは、誤検出につながる可能性があるため、検証のうえ、設定する。 障害時の経路切替：BGPキープアライブ/ホールドタイムによる調整 Copyright © 2024, Oracle and/or its affiliates 34 お客様機器(CPE) FastConnect 障害の発生 BGPタイマーを短く設定 Keepalive:6 Hold Time: 18 OCI側の設定値 Keepalive:60 Hold Time: 180 最後のKeepaliveから、Hold Time で設定された 秒数(20秒) 経過した場合、その経路を破棄 ← Keepalive → 2024/9/2
35. CPEでBGP Graceful Restart* を有効化していると、冗長化された機器の障害時にDRGはRestart Timerに設定され た間ルーターの再起動を待つため、冗長化されたCPEの片系障害時に、意図した時間(BGP Hold Timer, BFDで設定 した値)では経路が無効化されず、切り替えに予期せぬ時間** がかかってしまう → CPEでのGraceful Restart機能の無効化を推奨 * Graceful Restart - RFC4724 • ルーターが再起動しBGPセッションが切断された際、再起動が完了しBGPセッションが再確立するまで(最大値はRestart Timer 値まで)、ピア双方でRIB/FIBの内容を保持する機能 • BGPセッションを保持するため、単一ルーターの再起動に際しては短時間でセッションが回復し、通信障害からの回復が早くなる • 一部のルーター機器ではこの機能がデフォルトで有効化されている ** 例 • 例えばCisco Nexus 7000シリーズではRestart Time = 120秒が初期設定されているため、無効化しなかった場合は機器障害 時にHold Time + 120秒切り替えに時間がかかる (注意) CPEを冗長化している場合はGraceful Restart機能の無効化を推奨 Copyright © 2024, Oracle and/or its affiliates 35 2024/9/2
36. リンクアグリゲーション (LAG/Link Aggregation) とは、複数の物理リンクを１つの論理リンクとして扱う技術 １つの物理リンクに障害が発生しても、残りの帯域で通信可能なため、帯域拡張だけでなく、耐障害性も高まる ※ただし、マルチシャーシLAG (MLAG) はサポートされないため、対象となるのは同一ルーター上のポートのみ FastConnect では LACP (Link Aggregation Control Protocol) を使用して実現可能 リンクアグリゲーションを利用する場合は、クロスコネクト・グループを作成する (１つのクロスコネクト・グループで最大８つま でのクロスコネクト(物理リンク)が追加可能) 参考 LAGを利用した帯域拡張 Copyright © 2024, Oracle and/or its affiliates 36 FastConnect Location A OCI Region A VCN On-Premises Customer/ Partner Cage Oracle Cage Dynamic Routing Gateway Customer/ Partner Edge CPE CPE LAG 利用時のオンプレミス・デバイス構成時の留意点 • LACPは、Oracleの物理デバイス (ルーター) に直接接続された ネットワーク・インタフェースで必要です。 • クロスコネクト・グループ内に単一のクロスコネクトのみが存在する 場合でも、LACPが必要です。 • サードパーティ・プロバイダがメディア変換を実行している場合は、 ユーザーのデバイスではなくプロバイダのデバイスでLACPを構成す る必要があります。 LAG ※ 異なる物理デバイス(ルーター) のポートは、対象に含められない (MLAGは未サポート) 予算上2つのクロスコネクトのみ利用可能な場合は、LAGよりもデバイスの冗長性を優先することを推奨 2024/9/2
37. Copyright © 2024, Oracle and/or its affiliates 37 冗長構成の確認・テスト 2024/9/2
38. DRGの詳細画面から確認 冗長構成の確認 2024/9/2 Copyright © 2024, Oracle and/or its affiliates 38 DRGが単一の物理的なOracleルーターでオンプレミスへの接続を終端している場合、DRGは警告を表示します 例えば、2本のFastConnect が1つのDRGと接続されている状態で、 2本のFastConnectが単一の物理的なOracle ルータで終端されていれば以下の画像のような警告が表示される 単一のDRGに「FastConnectまたはサイト間VPN」による複数のOracleルータで終端した接続がある場合、DRGは冗長 性がある構成になっていると判断する
39. FastConnect 構成タスクにおいては、接続 および 障害時の動作確認 を十分に行うことが重要 特定のFastConnect回線の障害を再現し、フェイルオーバー・テストを行う場合、OCI コンソール上から既存のBGPセッ ションの無効化/有効化（非Active化/Active化）が可能 これにより、仮想回線の削除・再作成することなく、フェイルオーバー試験が可能 冗長構成のテスト Copyright © 2024, Oracle and/or its affiliates 39 2024/9/2
40. このレッスンでは、次のことを学習しました • FastConnect とは - 復習 • 可用性を高める冗長構成 ベスト・プラクティス • 冗長化の必要性と実装に役立つ３つのコンポーネント • 構成例と経路制御 • 冗長構成のテスト まとめ Copyright © 2024, Oracle and/or its affiliates 40 2024/9/2
41. 日本語マニュアル – FastConnect • https://docs.oracle.com/ja-jp/iaas/Content/Network/Concepts/fastconnect.htm 日本語マニュアル – FastConnectのトラブルシューティング • https://docs.oracle.com/ja- jp/iaas/Content/Network/Troubleshoot/fastconnecttroubleshoot2.htm#FastConnect_Troubleshoo ting リージョンごとのプロバイダ • https://www.oracle.com/jp/cloud/networking/fastconnect/providers/ FastConnectに関するよくある質問 (FAQ) • https://www.oracle.com/jp/cloud/networking/fastconnect/faq/ Fastconnect 関連の技術情報 Copyright © 2024, Oracle and/or its affiliates 41 2024/9/2
42. Oracle Cloud Infrastructure マニュアル (日本語 / 英語) • https://docs.cloud.oracle.com/iaas/api/ - APIリファレンス • https://docs.cloud.oracle.com/ja-jp/iaas/Content/General/Reference/aqswhitepapers.htm - テクニカ ル・ホワイト・ペーパー • https://docs.cloud.oracle.com/iaas/releasenotes/ - リリースノート • https://docs.cloud.oracle.com/ja-jp/iaas/Content/knownissues.htm - 既知の問題(Known Issues) • https://docs.cloud.oracle.com/ja-jp/iaas/Content/General/Reference/graphicsfordiagrams.htm - OCIアイコン・ダイアグラム集(PPT、SVG、Visio用) ※ 日本語版は翻訳のタイムラグのため情報が古い場合があります。最新情報は英語版をご確認ください Oracle Cloud Infrastructure マニュアル・ドキュメント Copyright © 2024, Oracle and/or its affiliates 42 2024/9/2
43. Oracle Cloud Infrastructure 活用資料集 • https://oracle-japan.github.io/ocidocs/ チュートリアル - Oracle Cloud Infrastructureを使ってみよう • https://oracle-japan.github.io/ocitutorials/ Oracle Cloud ウェビナーシリーズ • https://www.oracle.com/goto/ocws-jp Oracle 主催 セミナー、ハンズオン・ワークショップ • https://www.oracle.com/search/events/_/N-2bu/ Oracle Cloud Infrastructure – General Forum (英語) • https://cloudcustomerconnect.oracle.com/resources/9c8fa8f96f/summary Oracle Cloud Infrastructure トレーニング・技術フォーラム Copyright © 2024, Oracle and/or its affiliates 43 2024/9/2
44. Thank you 44 Copyright © 2024, Oracle and/or its affiliates 2024/9/2