Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【shownet.conf_】多様化するネットワーク環境を柔軟に統合するルーティングテクノロジー
Search
ShowNet
PRO
September 30, 2024
Technology
0
270
【shownet.conf_】多様化するネットワーク環境を柔軟に統合するルーティングテクノロジー
ShowNet NOCチームメンバー
鎌田 徹平(シスコシステムズ)
ShowNet
PRO
September 30, 2024
Tweet
Share
More Decks by ShowNet
See All by ShowNet
【shownet.conf_】ShowNet 2024 ~ Inter * Network ~
shownet
PRO
0
380
【shownet.conf_】ShowNet伝送改めShowNet APN 2024
shownet
PRO
0
310
【shownet.conf_】コンピューティング資源を統合した分散コンテナ基盤の進化
shownet
PRO
0
290
【shownet.conf_】ShowNet x 宇宙ネットワーク
shownet
PRO
0
290
【shownet.conf_】3Dアプローチで守るセキュリティ
shownet
PRO
0
270
【shownet.conf_】トポロジ図の歩き方
shownet
PRO
0
360
【shownet.conf_】AI技術とUX監視の応用でShowNetの基盤を支えるモニタリングシステム
shownet
PRO
0
270
【shownet.conf_】ローカル5Gを活用したウォーキングツアーの体感向上
shownet
PRO
0
250
【shownet.conf_】持続可能な次世代Wi-Fi運用に向けて
shownet
PRO
0
250
Other Decks in Technology
See All in Technology
Making Linux sucks less
ennael
PRO
0
480
たった一人で始めた音楽制作が気がついたら会社公認の部活動になっていた話〜組織の垣根を超えるコラボレーションを実現するには〜 / On-KAG-bu
piyonakajima
0
130
ITエンジニアとして知っておいてほしい、電子メールという大きな穴
logica0419
1
290
可視化がやりたくてMIERUNEに転職した話 〜“思考のための道具”とコンピューターによる新たな表現〜 / MIERUNE JCT - Tokyo 2024
sorami
2
460
クロージング / MIERUNE JCT - Tokyo 2024
mierune
PRO
0
290
分析者起点の企画を成功させた連携面の工夫
lycorptech_jp
PRO
0
220
Rubyはなぜ「たのしい」のか? / Why is Ruby a programmers' best friend? #tqrk15
expajp
4
1.7k
【ログ分析勉強会】EDR ログで内部不正を検出できるのか、Copilot に聞いてみた
hssh2_bin
2
260
AWS Lambdaで実現するスケーラブルで低コストなWebサービス構築/YAPC::Hakodate2024
fujiwara3
3
630
XP matsuri 2024 - 銀河英雄伝説に学ぶ
kawaguti
PRO
3
480
Create Inquiry via Bedrock / 生成 AI で問い合わせ品質は変わるのか?思いついてぱっと作ったものを供養してみる
kazzpapa3
1
190
ORM と向き合う
hoto17296
7
5.9k
Featured
See All Featured
No one is an island. Learnings from fostering a developers community.
thoeni
19
2.9k
Fashionably flexible responsive web design (full day workshop)
malarkey
403
65k
Why You Should Never Use an ORM
jnunemaker
PRO
53
9k
Documentation Writing (for coders)
carmenintech
65
4.3k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.4k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
191
16k
Teambox: Starting and Learning
jrom
131
8.7k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
25
640
The Illustrated Children's Guide to Kubernetes
chrisshort
48
48k
Building Better People: How to give real-time feedback that sticks.
wjessup
360
19k
Building a Scalable Design System with Sketch
lauravandoore
459
32k
Transcript
多様化するネットワーク環境を柔軟に 統合するルーティングテクノロジー shownet.conf_ 2024 Interop Tokyo 2024 ShowNet NOCチームメンバー 鎌田
徹平
None
エクスターナル図 3
4
External 5 対外接続(external)
多様なデモンストレーションを支える!進化したExternal ・複数のトランジット/IXによる 堅牢な対外接続 ・総帯域: 2.0 Tbps ・6波(1.8Tbps)の波長提供 ・Software Definedな対外接続 ✓Peering
Portal + NSOでBGP Peer設定 を自動化 ・テレビ放送局との映像伝送連携 6 External
対外接続回線の提供 External 7 合計: 2.0 Tbps 会社・組織名 サービス名 帯域 NTTコミュニケーションズ
IOWN Open APN 6波 1.80T KDDI KDDIイーサネット専用サービス 100G 100G ソフトバンク 広帯域専用線サービス 100G 100G ※開通順
トランジットの提供 External 8 会社・組織名 サービス名 AS番号 NTTコミュニケーションズ Super OCN Flexible
Connect AS4713 KDDI KDDIインターネットゲートウェイ AS2516 ソフトバンク SmartInternet AS17676 ※開通順
IXポートの提供 External 9 会社・組織名 IX名 JPIX JPIX BBIX BBIX Tokyo
BBIX BBIX Singapore BBIX BBIX Hong Kong インターネットマルチフィード JPNAP WIDE Project DIX-IE ※順不同
クラウドインターコネクトの提供 External 10 会社・組織名 サービス名 NTTコミュニケーションズ Flexible InterConnect
Peering with ShowNet 2024 External 11 • 各接続IXでのピアの申請を専用ポータルサイトで受付 • NSOによりShowNetルータへのBGPピアの設定を自動化
REST API Peering Portal ne8000m4-1.noc cisco8608.noc mx204.noc 期間中に58のAS, 132のPeerよりご接続をいただきました ご協力ありがとうございました nso
DDoS攻撃対策 12 • DDoS攻撃はShowNetでも観測され、対策が必須 • ShowNetでは3台の対外接続ルータ全てで攻撃を検知・遮断す る装置を導入
RPKIによるOrigin Validation 13 RIR (APNIC) NIR (JPNIC) アドレス 保有者 署名
署名 ROA 署名 Trust Anchor • IPアドレス資源 (Resource) の正当な保有者を公開鍵基盤 (PKI) で 証明する仕組み • IPアドレスの保有者がアドレスを広告するOrigin ASを指定できる • Route Origin Authorization(ROA) • 受信したBGP経路がROAに適合するかを検証
14 51.7% 48.2% 0.1% IPv4 valid unknown invalid 62.0% 37.7%
0.3% IPv6 valid unknown invalid • 各トランジットから受けた経路に対しValidationを実施 • 今年はIPv4/IPv6共にValidな経路が50%を上回る結果に ShowNetのRPKIセッションとValidation結果
ShowNet2024 L2/L3解説
L2L3 2024 テーマ 16 多様化するネットワーク環境を柔軟に統合する ルーティングテクノロジー Compressed SIDを用いたSRv6のさらなる活用 SRv6による地上ネットワークと衛星回線の シームレスな統合に向けた取り組み
キャンパス・アクセスネットワークにおける Ethernet VPNの活用
17 Compressed SIDを用いた SRv6のさらなる活用 = SRv6 uSID バックボーン キャンパス・ アクセスネットワークにおける
Ethernet VPNの活用 = EVPN Type 5 による L3VPN SRv6による地上ネットワークと衛星回線の シームレスな統合に向けた取り組み = 地上・衛星 2系統での SRv6-VPN
ShowNet Backboneのキーテクノロジー Segment Routing ➢ネットワーク上の要素を”Segment”と表現 ✓例: ノード、隣接関係、BGP Peer、サービス ➢ヘッドエンドのルータでパケットにSegmentのリストを挿入 1.
パケットはリストの最初のSegmentを持つノードへ届く 2. ノードはパケットの宛先をリストの次のSegmentに書き換えて送信 ✓パケットは送信元が指定した箇所を経由しながら転送される(Source Routing) A B C D E Packet List: C,B,D Packet Packet
”Segment”の2つの実現方法 ➢SR-MPLS ✓MPLSラベルをSegmentとして使う ✓既存のMPLS Data Planeハードウェアをそのまま利用できる ✓識別子空間は 20bit ➢SRv6 ✓IPv6アドレスをSegmentとして使う
✓SRv6ノードは新しいIPv6拡張ヘッダ(SRv6ヘッダ)に要対応 ✓識別子空間は 128bit • 128 bitをLocator, Function, Argumentとして利用 Eth MPLS IP Payload Eth SRv6 IP Payload IPv6
ShowNetとSegment Routingの変遷 ➢ShowNetではSegment Routing黎明期から様々な取り組みを 行ってきました ➢Dataplaneを手作りしていた時代からはじめ、去年までの営 みでかなり成熟したことを確認 2018 小島で相互 接続検証
2019 Data Planeで Service Chaining 2020 コロナ禍で 開催中止 2021 SR-MPLSメイン+ SRv6 L3VPN相接 2022 /2023 SRv6 L3VPN Single Stack
2024年のShowNet Backbone 21 EVPN/VXLAN網 Type5によるL3VPN ce5732 catalyst9300 nexus93108tc ex4400 fx2
➢今年のBackboneは SRv6 uSIDを用いた Layer-3 VPN ➢ユーザアクセス網は EVPN-VXLAN Type-5 によるLayer-3 VPN MX304 uSID:6007 NE8000m4-2 uSID:6008 MX204 uSID:6001 Cisco8608 uSID:6002 NE8000m4-1 uSID:6003 ACX7348 uSID:6009 FX2 uSID:6010 Cisco8201 uSID:6004 PTX10002 uSID:6005 NCS57b1 uSID:6006 SRv6 uSID L3VPN網
SRv6 Micro SIDの活用 22 MX304 uSID:6007 NE8000m4-2 uSID:6008 MX204 uSID:6001
Cisco8608 uSID:6002 NE8000m4-1 uSID:6003 ACX7348 uSID:6009 FX2 uSID:6010 Cisco8201 uSID:6004 PTX10002 uSID:6005 NCS57b1 uSID:6006 Packet Fcbb:bb00:6001:6005: 6010:e001:: Packet Fcbb:bb00:6005:6010: e001:: Packet Fcbb:bb00:6010:e001:: Packet ➢SRv6 uSIDによるバックボーン ➢uSID block: fcbb:bb00/32 ➢Device Locator: 60XX ➢ 例えばDAが fcbb:bb00:6001:6005:6010:: の場合 ➢ MX204 → PTX10002 → FX2の順に進む ➢ End.udt4/udt6 のSIDでEnd端末でVPNを終端する ➢Full Length SIDも併用 ➢SRv6 over Satellite 実験 ➢EVPN-VPWS等
• Stateful PCE と PCC による SRv6-TE (uSID) の管理・可視化 •
PCEP (Path Computation Element communication Protocol) による SRv6 Policy の発行・管理 • SRv6 Policy を用いた Traffic Engineering (TE) • 2種のPCE、5種のPCC を用いた相互接続検証を実施 PCEP Interop 23 mx304 ne8000m4-2 acx7348 mx204 cisco8608 crosswork-network -controller pola-pce ne8000m4-1 PCEP SRv6 uSID domain Stateful PCE: SRv6 Policy の発行・管理 PCC: SRv6 Policy による Traffic Engineering
PCE (Crosswork Network Controller) 24 SR Policy をリストとして一元管理 SRv6 domain
全体を可視化 & 複数の SRv6 Policy を同時に表示可能 PCE の実体は XRd (ShowNet では RRを兼任) (CLI からも情報取得可能)
PCE(Pola PCE) 25 25 PCE 発の SR Policy を 3
ベンダに展開 PCEP の Interop に成功 PCC に手動設定された SR Policy(衛星経由)も Stateful PCE として一元管理
PCC 26 Cisco IOS-XR: Cisco 8608 Juniper Junos: MX204, MX304,
ACX7348 Huawei VRP: NetEngine 8000 M4
SRv6 (uSID)を使ってよかったこと ➢SRv6にしてよかったことはそのまま継続 ✓アンダーレイが単純化 (IPv6 Link Local Only) ✓BGPによる成熟したソリューション ✓128BitのIPv6アドレスなのでInternet越しの通信も実現可能
➢uSIDを使うことでHW flendlyにTraffic Engineeringを実現 ✓一つのSID (IPv6 Address)で6つのSegmentを表現可能 ➢今後なんとかしたいこと ✓Network Programmabilityの活用 30 interface FourHundredGigE0/0/0/0 description fhg-0-0-0-0.cisco8711.noc mtu 9017 ipv6 enable
アクセスネットワークのL3VPN化 ➢エンタープライズ、キャンパスネットワークではまだまだ VLANが用いられている ✓運用コスト、スケーラビリティが課題 ➢今年のShowNetではEVPN VXLANを用いてフルL3VPN化 すべてL3化することでDynamic Routing Protocolによる経路制御 運用コストやスケーラビリティの課題を解決
L2延伸が必要な際にはEVPN VXLAN Type2にて延伸することも可能
EVPN-VXLANによるLayer-3 VPN ➢VXLAN: EthernetフレームをIP越しに転送するオーバーレイ ➢EVPN: VXLANの転送先を解決するためのBGPの拡張 ✓BGPのL2VPN EVPN SAFIでIP Prefixを広告
32 Layer-3 Network MAC A IP: Y Payload BGPルートリフレクタ MAC A Payload MAC A Payload Host: MAC A データセンターやキャリアでの利用を想定し標準化、実装が進んだ技術 最近はキャンパススイッチでも実装が進んでいる
ShowNetのアクセス網構成 ➢EVPN Type5によるEVPN/VXLAN網 ➢ゲートウェイは別々のIP addressを持ちRouting protocolによ る冗長構成 ➢アンダーレイはOSPFで冗長化 ➢エンタープライズ向けスイッチを含む3社6機種で相互接続 33
EVPN/VXLAN網 Type5によるL3VPN ce5732 catalyst9300 nexus93108tc ex4400 MX304 NE8000m4-2
EVPN/VXLAN Type5の何が良かったか ➢アンダーレイの構成は引き続きL3 ✓MC-LAGや筐体を論理的に統合する機能が不要で冗長を取るのが楽 ✓全体の規模が大きくなっても設定が必要なのはVTEPとBGPのみ ✓Routingで経路制御可能 L3終端しているのでLoopフリー 1台ずつ独立構成 どのRouterを優先するか Routing
Protocolで制御可能
ShowNetならではの接続構成
ShowNetならではの インラインファイアウォール構成 36 Palo Alto Networks PA-5445 Fortinet FortiGate 3201F
Cisco Systems Secure Firewall 4245 Juniper Networks SRX2300 SRv6 Backbone 出展社 ホール2・4 出展社 ホール3 出展社 ホール5 出展社 ホール6
各ホール毎に異なるFWへTrafficを振り分ける ➢今年のShowNetでは4ベンダのインラインFWをコントリビ ューションしていただいており、それぞれのFWにActiveな Trafficを振り分けたい ➢送信元と宛先についてオリジナルのIP addressを判別できる 状態で送って上げる必要がある(つまりSRv6のヘッダなどを つけたくない) 37
今年のInline FW収容構成 ➢出展社収容ルータのMX304とNE8000M4でそれぞれのFWと Local ASを使ってeBGPで接続し、Routingによる制御で振り分 け先のFWを選択できるように 例) Hall6の場合 38 ce5732
AS65200 mx304 AS65200 ne8000 AS65200 vrf-exhib-private-srx vrf-private fg3201f AS65115 srx2300 AS65117 mx304 AS65101 ne8000 AS65101 thunder7440-1 AS65130 mx304 AS290 ne8000 AS290 vrf-global SRv6 thunder7440-2 AS65130
相互接続性のあれこれ ➢マルチベンダでの相互接続にはハマり どころも多い ✓Local AS機能を使ったときのAS pathの取り扱い ✓MEDなどのAttributeの取り扱いにも細かい差分 ✓VXLAN EVPN Type5!
➢かなりの苦労を経て今年も動きました ✓#N-7,8及び各ホールにてEVPN/VXLANで動作中の L3スイッチと出展社収容ルータ、各FWは無事に 稼働中です!
ご協力いただきましたコントリビューター様 40 ありがとうございました インターネットマルチフィード、ソニーネットワークコミュニケーションズ、北海道総合通信網(HOTnet)、WIDEプロジェクト
Interop Tokyo 2024 ShowNet ➢未来のネットワークの1つのカタチ ✓10年先のインターネットをつくる ✓そのモデルを示すデモと検証 ✓相互接続性 • ShowNetは異種ベンダー、異種
機器間の相互接続で成り立つ • オープンな技術の上に成り立つ 組み合わせの自由度 • そしてコミュニティへの還元 41
42