Upgrade to Pro — share decks privately, control downloads, hide ads and more …

【shownet.conf_】多様化するネットワーク環境を柔軟に統合するルーティングテクノロジー

ShowNet
September 30, 2024

 【shownet.conf_】多様化するネットワーク環境を柔軟に統合するルーティングテクノロジー

ShowNet NOCチームメンバー
鎌田 徹平(シスコシステムズ)

ShowNet

September 30, 2024
Tweet

More Decks by ShowNet

Other Decks in Technology

Transcript

  1. 4

  2. 対外接続回線の提供 External 7 合計: 2.0 Tbps 会社・組織名 サービス名 帯域 NTTコミュニケーションズ

    IOWN Open APN 6波 1.80T KDDI KDDIイーサネット専用サービス 100G 100G ソフトバンク 広帯域専用線サービス 100G 100G ※開通順
  3. トランジットの提供 External 8 会社・組織名 サービス名 AS番号 NTTコミュニケーションズ Super OCN Flexible

    Connect AS4713 KDDI KDDIインターネットゲートウェイ AS2516 ソフトバンク SmartInternet AS17676 ※開通順
  4. IXポートの提供 External 9 会社・組織名 IX名 JPIX JPIX BBIX BBIX Tokyo

    BBIX BBIX Singapore BBIX BBIX Hong Kong インターネットマルチフィード JPNAP WIDE Project DIX-IE ※順不同
  5. Peering with ShowNet 2024 External 11 • 各接続IXでのピアの申請を専用ポータルサイトで受付 • NSOによりShowNetルータへのBGPピアの設定を自動化

    REST API Peering Portal ne8000m4-1.noc cisco8608.noc mx204.noc 期間中に58のAS, 132のPeerよりご接続をいただきました ご協力ありがとうございました nso
  6. RPKIによるOrigin Validation 13 RIR (APNIC) NIR (JPNIC) アドレス 保有者 署名

    署名 ROA 署名 Trust Anchor • IPアドレス資源 (Resource) の正当な保有者を公開鍵基盤 (PKI) で 証明する仕組み • IPアドレスの保有者がアドレスを広告するOrigin ASを指定できる • Route Origin Authorization(ROA) • 受信したBGP経路がROAに適合するかを検証
  7. 14 51.7% 48.2% 0.1% IPv4 valid unknown invalid 62.0% 37.7%

    0.3% IPv6 valid unknown invalid • 各トランジットから受けた経路に対しValidationを実施 • 今年はIPv4/IPv6共にValidな経路が50%を上回る結果に ShowNetのRPKIセッションとValidation結果
  8. 17 Compressed SIDを用いた SRv6のさらなる活用 = SRv6 uSID バックボーン キャンパス・ アクセスネットワークにおける

    Ethernet VPNの活用 = EVPN Type 5 による L3VPN SRv6による地上ネットワークと衛星回線の シームレスな統合に向けた取り組み = 地上・衛星 2系統での SRv6-VPN
  9. ShowNet Backboneのキーテクノロジー Segment Routing ➢ネットワーク上の要素を”Segment”と表現 ✓例: ノード、隣接関係、BGP Peer、サービス ➢ヘッドエンドのルータでパケットにSegmentのリストを挿入 1.

    パケットはリストの最初のSegmentを持つノードへ届く 2. ノードはパケットの宛先をリストの次のSegmentに書き換えて送信 ✓パケットは送信元が指定した箇所を経由しながら転送される(Source Routing) A B C D E Packet List: C,B,D Packet Packet
  10. ”Segment”の2つの実現方法 ➢SR-MPLS ✓MPLSラベルをSegmentとして使う ✓既存のMPLS Data Planeハードウェアをそのまま利用できる ✓識別子空間は 20bit ➢SRv6 ✓IPv6アドレスをSegmentとして使う

    ✓SRv6ノードは新しいIPv6拡張ヘッダ(SRv6ヘッダ)に要対応 ✓識別子空間は 128bit • 128 bitをLocator, Function, Argumentとして利用 Eth MPLS IP Payload Eth SRv6 IP Payload IPv6
  11. 2024年のShowNet Backbone 21 EVPN/VXLAN網 Type5によるL3VPN ce5732 catalyst9300 nexus93108tc ex4400 fx2

    ➢今年のBackboneは SRv6 uSIDを用いた Layer-3 VPN ➢ユーザアクセス網は EVPN-VXLAN Type-5 によるLayer-3 VPN MX304 uSID:6007 NE8000m4-2 uSID:6008 MX204 uSID:6001 Cisco8608 uSID:6002 NE8000m4-1 uSID:6003 ACX7348 uSID:6009 FX2 uSID:6010 Cisco8201 uSID:6004 PTX10002 uSID:6005 NCS57b1 uSID:6006 SRv6 uSID L3VPN網
  12. SRv6 Micro SIDの活用 22 MX304 uSID:6007 NE8000m4-2 uSID:6008 MX204 uSID:6001

    Cisco8608 uSID:6002 NE8000m4-1 uSID:6003 ACX7348 uSID:6009 FX2 uSID:6010 Cisco8201 uSID:6004 PTX10002 uSID:6005 NCS57b1 uSID:6006 Packet Fcbb:bb00:6001:6005: 6010:e001:: Packet Fcbb:bb00:6005:6010: e001:: Packet Fcbb:bb00:6010:e001:: Packet ➢SRv6 uSIDによるバックボーン ➢uSID block: fcbb:bb00/32 ➢Device Locator: 60XX ➢ 例えばDAが fcbb:bb00:6001:6005:6010:: の場合 ➢ MX204 → PTX10002 → FX2の順に進む ➢ End.udt4/udt6 のSIDでEnd端末でVPNを終端する ➢Full Length SIDも併用 ➢SRv6 over Satellite 実験 ➢EVPN-VPWS等
  13. • Stateful PCE と PCC による SRv6-TE (uSID) の管理・可視化 •

    PCEP (Path Computation Element communication Protocol) による SRv6 Policy の発行・管理 • SRv6 Policy を用いた Traffic Engineering (TE) • 2種のPCE、5種のPCC を用いた相互接続検証を実施 PCEP Interop 23 mx304 ne8000m4-2 acx7348 mx204 cisco8608 crosswork-network -controller pola-pce ne8000m4-1 PCEP SRv6 uSID domain Stateful PCE: SRv6 Policy の発行・管理 PCC: SRv6 Policy による Traffic Engineering
  14. PCE (Crosswork Network Controller) 24 SR Policy をリストとして一元管理 SRv6 domain

    全体を可視化 & 複数の SRv6 Policy を同時に表示可能 PCE の実体は XRd (ShowNet では RRを兼任) (CLI からも情報取得可能)
  15. PCE(Pola PCE) 25 25 PCE 発の SR Policy を 3

    ベンダに展開 PCEP の Interop に成功 PCC に手動設定された SR Policy(衛星経由)も Stateful PCE として一元管理
  16. PCC 26 Cisco IOS-XR: Cisco 8608 Juniper Junos: MX204, MX304,

    ACX7348 Huawei VRP: NetEngine 8000 M4
  17. SRv6 (uSID)を使ってよかったこと ➢SRv6にしてよかったことはそのまま継続 ✓アンダーレイが単純化 (IPv6 Link Local Only) ✓BGPによる成熟したソリューション ✓128BitのIPv6アドレスなのでInternet越しの通信も実現可能

    ➢uSIDを使うことでHW flendlyにTraffic Engineeringを実現 ✓一つのSID (IPv6 Address)で6つのSegmentを表現可能 ➢今後なんとかしたいこと ✓Network Programmabilityの活用 30 interface FourHundredGigE0/0/0/0 description fhg-0-0-0-0.cisco8711.noc mtu 9017 ipv6 enable
  18. EVPN-VXLANによるLayer-3 VPN ➢VXLAN: EthernetフレームをIP越しに転送するオーバーレイ ➢EVPN: VXLANの転送先を解決するためのBGPの拡張 ✓BGPのL2VPN EVPN SAFIでIP Prefixを広告

    32 Layer-3 Network MAC A IP: Y Payload BGPルートリフレクタ MAC A Payload MAC A Payload Host: MAC A データセンターやキャリアでの利用を想定し標準化、実装が進んだ技術 最近はキャンパススイッチでも実装が進んでいる
  19. ShowNetならではの インラインファイアウォール構成 36 Palo Alto Networks PA-5445 Fortinet FortiGate 3201F

    Cisco Systems Secure Firewall 4245 Juniper Networks SRX2300 SRv6 Backbone 出展社 ホール2・4 出展社 ホール3 出展社 ホール5 出展社 ホール6
  20. 今年のInline FW収容構成 ➢出展社収容ルータのMX304とNE8000M4でそれぞれのFWと Local ASを使ってeBGPで接続し、Routingによる制御で振り分 け先のFWを選択できるように 例) Hall6の場合 38 ce5732

    AS65200 mx304 AS65200 ne8000 AS65200 vrf-exhib-private-srx vrf-private fg3201f AS65115 srx2300 AS65117 mx304 AS65101 ne8000 AS65101 thunder7440-1 AS65130 mx304 AS290 ne8000 AS290 vrf-global SRv6 thunder7440-2 AS65130
  21. 相互接続性のあれこれ ➢マルチベンダでの相互接続にはハマり どころも多い ✓Local AS機能を使ったときのAS pathの取り扱い ✓MEDなどのAttributeの取り扱いにも細かい差分 ✓VXLAN EVPN Type5!

    ➢かなりの苦労を経て今年も動きました ✓#N-7,8及び各ホールにてEVPN/VXLANで動作中の L3スイッチと出展社収容ルータ、各FWは無事に 稼働中です!
  22. Interop Tokyo 2024 ShowNet ➢未来のネットワークの1つのカタチ ✓10年先のインターネットをつくる ✓そのモデルを示すデモと検証 ✓相互接続性 • ShowNetは異種ベンダー、異種

    機器間の相互接続で成り立つ • オープンな技術の上に成り立つ 組み合わせの自由度 • そしてコミュニティへの還元 41
  23. 42