Broadcom SONiCでEVPNマルチホーミング環境を構築してみた

Broadcom SONiCでEVPNマルチホーミング環境を構築してみた
株式会社マクニカ
青木 亮平

SONiC Workshop Japan 2025
https://sonic.connpass.com/event/345182/

Transcript

1. ©Macnica,Inc. 株式会社マクニカ フィネッセカンパニー 第3統括部 OpenNetworking事業推進部 青木 亮平 Broadcom SONiCで EVPNマルチホーミング環境を構築してみた 2025/5/22
2. ©Macnica,Inc. 自己紹介 1 青木 亮平 株式会社マクニカ フィネッセカンパニー 第３統括部 OpenNetworking事業推進部 <略歴> ~2018年: アライドテレシス株式会社にてネットワーク装置のソフトウェア開発に従事。 シリコンバレーで現地のエンジニアと共同開発を経験 2018年~: マクニカにてBroadcom社のネットワークIC製品のFAEとして活動 2019年~: ネットワークICの知識・経験を活かし、OpenNetworking製品の 技術サポートを始め、最近ではSONiCを活用したソリューション開発に力を入れている
3. ©Macnica,Inc. 本講演の主な紹介内容 Broadcom SONiCの使い勝手と 性能試験の結果
4. ©Macnica,Inc. Agenda 1. Broadcom SONiCについて 2. 試験構成と設定内容 3. 試験結果 ◦ 正常試験 ◦ 性能試験 4. まとめ
5. ©Macnica,Inc. 4 Broadcom SONiCについて
6. ©Macnica,Inc. Broadcom SONiCとは？ Broadcom社が独自にカスタマイズしているNOS “Enterprise SONiC” ◼特徴 • マルチベンダーのネットワーク機器に対応 • エンハンス機能が豊富で様々な用途に利用可能 ✓ パッケージの種類: Cloud, Enterprise, Campus, AI • Broadcom社による一気通貫のフルサポート • 広範囲＆詳細な動作を検証済
7. ©Macnica,Inc. Broadcom SONiC主要サポート機能 Community 202012 + エンハンスメント機能
8. ©Macnica,Inc. 7 試験構成と設定内容
9. ©Macnica,Inc. VLAN100 (192.168.100.0/24) EVPN/VxLAN LAG-1 (Multi-Homing) 試験環境の概略 ⚫ NetworkOS ◦ Enterprise-SONiC 4.4.2 Enterprise-Adv ⚫ 接続 ◦ 全て100G接続 ⚫ 通信確認 ◦ Serve-A (192.168.100.1)と Serve-B (192.168.100.2)間で 10,000ppsで相互にトラフィック送出 Port-A Port-B Leaf-2a 3.1.1.1 / 65121 Leaf-2b 3.1.1.2 / 65122 Leaf1 2.1.1.1 / 65111 Spine 1.1.1.1 / 65101 Server-A L2-Switch Server-B .1 .2 Hostname VTEP / ASN 10.2.1.0/30 10.3.1.0/30 10.3.2.0/30 .1 .1 .1 .2 .2 .2
10. ©Macnica,Inc. 各機器設定コマンド ― Spine ⚫ EVPN/VxLAN、EVPN Multihomingに関する 明示的な設定をピックアップしています Spine 1.1.1.1 / 65101 router bgp 65101 router-id 1.1.1.1 bestpath as-path multipath-relax ! address-family ipv4 unicast network 1.1.1.1/32 address-family l2vpn evpn advertise-all-vni ! neighbor 10.2.1.2 remote-as 65111 address-family ipv4 unicast activate address-family l2vpn evpn activate ! neighbor 10.3.1.2 remote-as 65121 address-family ipv4 unicast activate address-family l2vpn evpn activate ! neighbor 10.3.2.2 remote-as 65122 address-family ipv4 unicast activate address-family l2vpn evpn activate 各neighborで、各address-familyをactivateするのは対FRRでユニーク その他は、一般的なBGPの設定
11. ©Macnica,Inc. 各機器設定コマンド ― Leaf-1 ⚫ EVPN/VxLAN、EVPN Multihomingに関する 明示的な設定をピックアップしています Leaf1 2.1.1.1 / 65111 router bgp 65111 router-id 2.1.1.1 bestpath as-path multipath-relax ! address-family ipv4 unicast network 2.1.1.1/32 address-family l2vpn evpn advertise-all-vni ! neighbor 10.2.1.1 remote-as 65101 address-family ipv4 unicast activate address-family l2vpn evpn activate ! interface vxlan vtep1 source-ip Loopback0 map vni 10100 vlan 100 VxLANの設定 • VTEPを定義 • Source-IPとして、VTEPに利用するIP(インターフェース)を指定 • VNIとVLAN-IDのマッピング
12. ©Macnica,Inc. 各機器設定コマンド ― Leaf-2a ⚫ EVPN/VxLAN、EVPN Multihomingに関する 明示的な設定をピックアップしています Leaf-2a 3.1.1.1 / 65121 link state track Eth76-Po1 downstream all-evpn-es ! interface PortChannel1 mode active system-mac 00:00:00:00:11:11 evpn ethernet-segment 00:00:00:00:00:00:00:00:00:11 ! interface Ethernet76 link state track Eth76-Po1 upstream ! router bgp 65121 router-id 3.1.1.1 bestpath as-path multipath-relax ! address-family ipv4 unicast network 3.1.1.1/32 address-family l2vpn evpn advertise-all-vni ! neighbor 10.3.1.1 remote-as 65101 address-family ipv4 unicast activate address-family l2vpn evpn activate ! interface vxlan vtep1 source-ip Loopback0 map vni 10100 vlan 100 マルチホーミング用に、System-mac、ESIを設定。 ※今回はESI値 Type0で「00:00:00:00:00:00:00:00:00:11」を設定。 MH-Uplink関連設定は、Link State Trackで実施
13. ©Macnica,Inc. 各機器設定コマンド ― Leaf-2b ⚫ EVPN/VxLAN、EVPN Multihomingに関する 明示的な設定をピックアップしています Leaf-2b 3.1.1.2 / 65122 link state track Eth76-Po1 downstream all-evpn-es ! interface PortChannel1 mode active system-mac 00:00:00:00:11:11 evpn ethernet-segment 00:00:00:00:00:00:00:00:00:11 ! interface Ethernet76 link state track Eth76-Po1 upstream ! router bgp 65122 router-id 3.1.1.2 bestpath as-path multipath-relax ! address-family ipv4 unicast network 3.1.1.2/32 address-family l2vpn evpn advertise-all-vni ! neighbor 10.3.2.1 remote-as 65101 address-family ipv4 unicast activate address-family l2vpn evpn activate ! interface vxlan vtep1 source-ip Loopback0 map vni 10100 vlan 100 Leaf-2aとの設定差分のみをハイライト
14. ©Macnica,Inc. ポイント Linux CLIやFRRで設定せず、 業界標準 (Ciscoライク) のコマンド体系で 一連の設定を完結できた
15. ©Macnica,Inc. 14 試験結果 – 正常試験
16. ©Macnica,Inc. 通常時の通信確認 ⚫ Broadcom-SONiCで無事に L2 EVPN/VxLAN + EVPNマルチホーミング の環境を構成できていることを確認 ◦ BGP、VNI、VTEP、EVPN ESで各機器の情報を 想定通りに取得・確認できた ◦ Server-A ～ Server-B間で相互に通信できていた
17. ©Macnica,Inc. BGPルート情報の確認 16 Leaf-2b# show ip route Destination Gateway Dist/Metric ----------------------------------------------------------------------------------------------------------------- B>* 1.1.1.1/32 via 10.3.2.1 Ethernet76 20/0 B>* 2.1.1.1/32 via 10.3.2.1 Ethernet76 20/0 B>* 3.1.1.1/32 via 10.3.2.1 Ethernet76 20/0 Leaf-2a# show ip route Destination Gateway Dist/Metric ----------------------------------------------------------------------------------------------------------------- B>* 1.1.1.1/32 via 10.3.1.1 Ethernet76 20/0 B>* 2.1.1.1/32 via 10.3.1.1 Ethernet76 20/0 B>* 3.1.1.2/32 via 10.3.1.1 Ethernet76 20/0 Leaf-1# show ip route Destination Gateway Dist/Metric ----------------------------------------------------------------------------------------------------------------- B>* 1.1.1.1/32 via 10.2.1.1 Ethernet124 20/0 B>* 3.1.1.1/32 via 10.2.1.1 Ethernet124 20/0 B>* 3.1.1.2/32 via 10.2.1.1 Ethernet124 20/0 Spine# show ip route Destination Gateway Dist/Metric ----------------------------------------------------------------------------------------------------------------- B>* 2.1.1.1/32 via 10.2.1.2 Ethernet0 20/0 B>* 3.1.1.1/32 via 10.3.1.2 Ethernet8 20/0 B>* 3.1.1.2/32 via 10.3.2.2 Ethernet12 20/0
18. ©Macnica,Inc. VxLAN Remote VNI、EVPN Ethernet Segmentの確認 17 Leaf-2b# show vxlan remote vni Vlan Tunnel Group VNI ==== ====== ===== === Vlan100 2.1.1.1 internal 10100 Vlan100 3.1.1.1 internal 10100 Total count : 2 Leaf-2a# show vxlan remote vni Vlan Tunnel Group VNI ==== ====== ===== === Vlan100 2.1.1.1 internal 10100 Vlan100 3.1.1.2 internal 10100 Total count : 2 Leaf-1# show vxlan remote vni Vlan Tunnel Group VNI ==== ====== ===== === Vlan100 3.1.1.1 internal 10100 Vlan100 3.1.1.2 internal 10100 Total count : 2 Leaf-2b# show evpn es Type: B bypass, L local, R remote, N non-DF ESI Type ES-IF VTEPs 00:00:00:00:00:00:00:00:00:11 LRN PortChannel1 3.1.1.1 Leaf-2a# show evpn es Type: B bypass, L local, R remote, N non-DF ESI Type ES-IF VTEPs 00:00:00:00:00:00:00:00:00:11 LR PortChannel1 3.1.1.2 Leaf-1# show evpn es Type: B bypass, L local, R remote, N non-DF ESI Type ES-IF VTEPs 00:00:00:00:00:00:00:00:00:11 R - 3.1.1.1,3.1.1.2
19. ©Macnica,Inc. EVPN VNI Detail (1/2) 18 ⚫ Leaf-1 Leaf-1# show evpn vni detail VNI: 10100 Type: L2 Tenant VRF: default Client State: Up VxLAN interface: vtep1-100 VxLAN ifIndex: 16 SVI interface: Vlan100 SVI ifIndex: 11 Local VTEP IP: 2.1.1.1 Local external VTEP IP: 0.0.0.0 VxLAN external interface: unknown Mcast group: 0.0.0.0 Remote VTEPs for this VNI: 3.1.1.2 flood: HER External: 0, Label: 10100 Kernel Add: Success, Add ReAttempt:0 3.1.1.1 flood: HER External: 0, Label: 10100 Kernel Add: Success, Add ReAttempt:0 Number of MACs (local and remote) known for this VNI: 0 Number of ARPs (IPv4 and IPv6, local and remote) known for this VNI: 0 Advertise-gw-macip: No Advertise-svi-macip: No
20. ©Macnica,Inc. EVPN VNI Detail (2/2) 19 ⚫ Leaf-2a/-2b Leaf-2b# show evpn vni detail VNI: 10100 Type: L2 Tenant VRF: default Client State: Up VxLAN interface: vtep1-100 VxLAN ifIndex: 25 SVI interface: Vlan100 SVI ifIndex: 12 Local VTEP IP: 3.1.1.2 Local external VTEP IP: 0.0.0.0 VxLAN external interface: unknown Mcast group: 0.0.0.0 Remote VTEPs for this VNI: 3.1.1.1 flood: HER External: 0, Label: 10100 Kernel Add: Success, Add ReAttempt:0 2.1.1.1 flood: HER External: 0, Label: 10100 Kernel Add: Success, Add ReAttempt:0 Number of MACs (local and remote) known for this VNI: 0 Number of ARPs (IPv4 and IPv6, local and remote) known for this VNI: 0 Advertise-gw-macip: No Advertise-svi-macip: No Leaf-2a# show evpn vni detail VNI: 10100 Type: L2 Tenant VRF: default Client State: Up VxLAN interface: vtep1-100 VxLAN ifIndex: 14 SVI interface: Vlan100 SVI ifIndex: 12 Local VTEP IP: 3.1.1.1 Local external VTEP IP: 0.0.0.0 VxLAN external interface: unknown Mcast group: 0.0.0.0 Remote VTEPs for this VNI: 3.1.1.2 flood: HER External: 0, Label: 10100 Kernel Add: Success, Add ReAttempt:0 2.1.1.1 flood: HER External: 0, Label: 10100 Kernel Add: Success, Add ReAttempt:0 Number of MACs (local and remote) known for this VNI: 0 Number of ARPs (IPv4 and IPv6, local and remote) known for this VNI: 0 Advertise-gw-macip: No Advertise-svi-macip: No
21. ©Macnica,Inc. 20 試験結果 – 性能試験
22. ©Macnica,Inc. 性能試験の概要 21 ⚫ Server-A～-B間の通信中にリンク障害 ◦ Failoverするか？ ◦ Failoverに要する時間は？ ⚫ 3つのシナリオで上記をBroadcom SONiCと他SONiCで比較 ⚫ Failover時間の計測方法 ◦ 計測対象のトラフィック(10,000pps)に対し、 フェールオーバー時のパケットロス数 × 10 = フェールオーバー時間 (msec)
23. ©Macnica,Inc. VLAN100 (192.168.100.0/24) EVPN/VxLAN LAG-1 (Multi-Homing) 性能試験1：Upstream障害-1 Port-A Port-B Leaf-2a 3.1.1.1 / 65121 Leaf-2b 3.1.1.2 / 65122 Leaf1 2.1.1.1 / 65111 Spine 1.1.1.1 / 65101 Server-A L2-Switch Server-B .1 .2 10.2.1.0/30 10.3.1.0/30 10.3.2.0/30 .1 .1 .1 .2 .2 .2 Down 試験内容 Spine～Leaf-2a/-b間のいずれかのリンクダ ウン時、Server-B→Aの通信は... • Failoverするか？ • Failoverに要する時間は？ 試験結果 [Failover時間(msec)] Hostname VTEP / ASN Broadcom SONiC ベンダーX SONiC Community SONiC 1回目 253.8 462.9 NA 2回目 257.3 477.3 NA 3回目 276.5 402.6 NA 4回目 144.2 484.5 NA 5回目 125.8 471.7 NA 平均 211.5 459.8 NA
24. ©Macnica,Inc. 性能試験1：Upstream障害-1 – VxLANのカウンター情報 23 ⚫ Leaf-1 ### 通常時 ### Leaf-1# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_3.1.1.1 21202290 185985 936138 8212 21263850 186525 937702 8225 EVPN_3.1.1.2 0 0 0 0 0 0 0 0 Leaf-1# Leaf-1# ### Failover後 ### Leaf-1# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_3.1.1.2 19035606 166979 769907 6754 18843630 165295 763708 6699 Leaf-1#
25. ©Macnica,Inc. 性能試験1：Upstream障害-1 – VxLANのカウンター情報 24 ⚫ Leaf-1 ### 通常時 ### Leaf-1# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_3.1.1.1 21202290 185985 936138 8212 21263850 186525 937702 8225 EVPN_3.1.1.2 0 0 0 0 0 0 0 0 Leaf-1# Leaf-1# ### Failover後 ### Leaf-1# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_3.1.1.2 19035606 166979 769907 6754 18843630 165295 763708 6699 Leaf-1# ▪通常時 3.1.1.1 (=Leaf-2a) からのRXカウンタ上昇 ▪Failover後 3.1.1.1 (=Leaf-2a) のカウンター情報がクリア 3.1.1.2 (=Leaf-2b) からのRXカウンタ上昇
26. ©Macnica,Inc. 性能試験1：Upstream障害-1 – VxLANのカウンター情報 25 ⚫ Leaf-2a/-2b ### 通常時 ### Leaf-2b# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_2.1.1.1 0 0 0 0 0 0 0 0 EVPN_3.1.1.1 0 0 0 0 0 0 0 0 Leaf-2b# Leaf-2b# ### Failover後 ### Leaf-2b# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_2.1.1.1 18843630 165295 738210 6476 19035606 166979 739709 6489 Leaf-2b# ### 通常時 ### Leaf-2a# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_2.1.1.1 19630458 172197 901600 7909 19653828 172402 901493 7908 EVPN_3.1.1.2 0 0 0 0 0 0 0 0 Leaf-2a# Leaf-2a# ### Failover後 ### Leaf-2a# show vxlan counters Leaf-2a#
27. ©Macnica,Inc. 性能試験1：Upstream障害-1 – VxLANのカウンター情報 26 ⚫ Leaf-2a/-2b ### 通常時 ### Leaf-2b# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_2.1.1.1 0 0 0 0 0 0 0 0 EVPN_3.1.1.1 0 0 0 0 0 0 0 0 Leaf-2b# Leaf-2b# ### Failover後 ### Leaf-2b# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_2.1.1.1 18843630 165295 738210 6476 19035606 166979 739709 6489 Leaf-2b# ### 通常時 ### Leaf-2a# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_2.1.1.1 19630458 172197 901600 7909 19653828 172402 901493 7908 EVPN_3.1.1.2 0 0 0 0 0 0 0 0 Leaf-2a# Leaf-2a# ### Failover後 ### Leaf-2a# show vxlan counters Leaf-2a# ▪通常時 3.1.1.1 (=Leaf-2a)：2.1.1.1 (=Leaf-1)宛てのTXカウンタ上昇 ▪Failover後 3.1.1.1 (=Leaf-2a)：VxLANのカウンター情報クリア 3.1.1.2 (=Leaf-2b)：2.1.1.1 (=Leaf-1)宛てのTXカウンタ上昇
28. ©Macnica,Inc. VLAN100 (192.168.100.0/24) EVPN/VxLAN LAG-1 (Multi-Homing) 性能試験2：Upstream障害-2 Port-A Port-B Leaf-2a 3.1.1.1 / 65121 Leaf-2b 3.1.1.2 / 65122 Leaf1 2.1.1.1 / 65111 Spine 1.1.1.1 / 65101 Server-A L2-Switch Server-B .1 .2 10.2.1.0/30 10.2.1.0/30 10.3.2.0/30 .1 .1 .1 .2 .2 .2 試験内容 Spine～Leaf-2a/-b間のいずれかのリンクダ ウン時、Server-A→Bの通信は... • Failoverするか？ • Failoverに要する時間は？ Down 試験結果 [Failover時間(msec)] Hostname VTEP / ASN Broadcom SONiC ベンダーX SONiC Community SONiC 1回目 395.3 NT NA 2回目 228.9 NT NA 3回目 238.6 NT NA 4回目 349.5 NT NA 5回目 317.8 NT NA 平均 306.0 NT NA
29. ©Macnica,Inc. 性能試験2：Upstream障害-2 – VxLANのカウンター情報 28 ⚫ Leaf-1 ### 通常時 ### Leaf-1# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_3.1.1.1 0 0 0 0 71520978 627377 1093864 9595 EVPN_3.1.1.2 71457594 626821 1093110 9589 0 0 0 0 Leaf-1# ### Failover後 ### Leaf-1# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_3.1.1.2 88885002 779693 1131603 9926 6019998 52807 372578 3268
30. ©Macnica,Inc. 性能試験2：Upstream障害-2 – VxLANのカウンター情報 29 ⚫ Leaf-1 ### 通常時 ### Leaf-1# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_3.1.1.1 0 0 0 0 71520978 627377 1093864 9595 EVPN_3.1.1.2 71457594 626821 1093110 9589 0 0 0 0 Leaf-1# ### Failover後 ### Leaf-1# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_3.1.1.2 88885002 779693 1131603 9926 6019998 52807 372578 3268 ▪通常時 3.1.1.1 (=Leaf-2a) 宛てのTXカウンタ上昇 ▪Failover後 3.1.1.1 (=Leaf-2a) のカウンター情報がクリア 3.1.1.2 (=Leaf-2b) 宛てのTXカウンタ上昇
31. ©Macnica,Inc. 性能試験2：Upstream障害-2 – VxLANのカウンター情報 30 ⚫ Leaf-2a/-2b ### 通常時 ### Leaf-2b# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_2.1.1.1 0 0 0 0 72972084 640106 1208647 10602 EVPN_3.1.1.1 0 0 0 0 0 0 0 0 Leaf-2b# ### Failover後 ### Leaf-2b# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_2.1.1.1 7630476 66934 501759 4401 90592494 794671 1233291 10818 Leaf-2b# ### 通常時 ### Leaf-2a# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_2.1.1.1 68761494 603171 1051323 9222 0 0 0 0 EVPN_3.1.1.2 0 0 0 0 0 0 0 0 Leaf-2a# ### Failover後 ### Leaf-2a# show vxlan counters Leaf-2a#
32. ©Macnica,Inc. 性能試験2：Upstream障害-2 – VxLANのカウンター情報 31 ⚫ Leaf-2a/-2b ### 通常時 ### Leaf-2b# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_2.1.1.1 0 0 0 0 72972084 640106 1208647 10602 EVPN_3.1.1.1 0 0 0 0 0 0 0 0 Leaf-2b# ### Failover後 ### Leaf-2b# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_2.1.1.1 7630476 66934 501759 4401 90592494 794671 1233291 10818 Leaf-2b# ### 通常時 ### Leaf-2a# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_2.1.1.1 68761494 603171 1051323 9222 0 0 0 0 EVPN_3.1.1.2 0 0 0 0 0 0 0 0 Leaf-2a# ### Failover後 ### Leaf-2a# show vxlan counters Leaf-2a# ▪通常時 3.1.1.1 (=Leaf-2a)：2.1.1.1 (=Leaf-1)からのRXカウンタ上昇 ▪Failover後 3.1.1.1 (=Leaf-2a)：VxLANのカウンター情報クリア 3.1.1.2 (=Leaf-2b)：2.1.1.1 (=Leaf-1)からのRXカウンタ上昇
33. ©Macnica,Inc. VLAN100 (192.168.100.0/24) EVPN/VxLAN LAG-1 (Multi-Homing) 性能試験3：Downstream障害 Port-A Port-B Leaf-2a 3.1.1.1 / 65121 Leaf-2b 3.1.1.2 / 65122 Leaf1 2.1.1.1 / 65111 Spine 1.1.1.1 / 65101 Server-A L2-Switch Server-B .1 .2 10.2.1.0/30 10.3.1.0/30 10.3.2.0/30 .1 .1 .1 .2 .2 .2 試験内容 L2-Switch～Leaf-2a/-b間のいずれかのリン クダウン時、Server-A→Bの通信は... • Failoverするか？ • Failoverに要する時間は？ Down Broadcom SONiC ベンダーX SONiC Community SONiC 1回目 519.6 NT NA 2回目 530.3 NT NA 3回目 446.7 NT NA 4回目 325.4 NT NA 5回目 600.8 NT NA 平均 484.6 NT NA 試験結果 [Failover時間(msec)] Hostname VTEP / ASN
34. ©Macnica,Inc. 性能試験3：Downstream障害 – VxLANのカウンター情報 33 ⚫ Leaf-1 ### 通常時 ### Leaf-1# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_3.1.1.1 0 0 0 0 28183422 247223 983687 8629 EVPN_3.1.1.2 28149792 246928 984951 8640 0 0 0 0 Leaf-1# ### Failover後 ### Leaf-1# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_3.1.1.2 73078902 641043 1088811 9551 30830616 270444 969839 8507
35. ©Macnica,Inc. 性能試験3：Downstream障害 – VxLANのカウンター情報 34 ⚫ Leaf-1 ### 通常時 ### Leaf-1# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_3.1.1.1 0 0 0 0 28183422 247223 983687 8629 EVPN_3.1.1.2 28149792 246928 984951 8640 0 0 0 0 Leaf-1# ### Failover後 ### Leaf-1# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_3.1.1.2 73078902 641043 1088811 9551 30830616 270444 969839 8507 ▪通常時 3.1.1.1 (=Leaf-2a) 宛てのTXカウンタ上昇 ▪Failover後 3.1.1.1 (=Leaf-2a) のカウンター情報がクリア 3.1.1.2 (=Leaf-2b) 宛てのTXカウンタ上昇
36. ©Macnica,Inc. 性能試験3：Downstream障害 – VxLANのカウンター情報 35 ⚫ Leaf-2a/-2b ### 通常時 ### Leaf-2b# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_2.1.1.1 0 0 0 0 29108304 255336 991712 8699 EVPN_3.1.1.1 0 0 0 0 0 0 0 0 Leaf-2b# ### Failover後 ### Leaf-2b# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_2.1.1.1 31328112 274808 966349 8477 73684584 646356 1079163 9466 ### 通常時 ### Leaf-2a# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_2.1.1.1 26203470 229855 909044 7974 0 0 0 0 EVPN_3.1.1.2 0 0 0 0 0 0 0 0 Leaf-2a# ### Failover後 ### Leaf-2a# show vxlan counters Leaf-2a#
37. ©Macnica,Inc. 性能試験3：Downstream障害 – VxLANのカウンター情報 36 ⚫ Leaf-2a/-2b ### 通常時 ### Leaf-2b# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_2.1.1.1 0 0 0 0 29108304 255336 991712 8699 EVPN_3.1.1.1 0 0 0 0 0 0 0 0 Leaf-2b# ### Failover後 ### Leaf-2b# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_2.1.1.1 31328112 274808 966349 8477 73684584 646356 1079163 9466 ### 通常時 ### Leaf-2a# show vxlan counters ------------------------------------------------------------------------------------------------------------------------------------------------------------- Interface RX_BYTES_OK RX_OK RX_BPS RX_PPS TX_BYTES_OK TX_OK TX_BPS TX_PPS ------------------------------------------------------------------------------------------------------------------------------------------------------------- EVPN_2.1.1.1 26203470 229855 909044 7974 0 0 0 0 EVPN_3.1.1.2 0 0 0 0 0 0 0 0 Leaf-2a# ### Failover後 ### Leaf-2a# show vxlan counters Leaf-2a# ▪通常時 3.1.1.1 (=Leaf-2a)：2.1.1.1 (=Leaf-1)からのRXカウンタ上昇 ▪Failover後 3.1.1.1 (=Leaf-2a)：VxLANのカウンター情報クリア 3.1.1.2 (=Leaf-2b)：2.1.1.1 (=Leaf-1)からのRXカウンタ上昇
38. ©Macnica,Inc. 37 まとめ
39. ©Macnica,Inc. Broadcom SONiCを使用した所感 ⚫業界標準(Ciscoライク)のコマンド体系で設定が完結 ✓Community SONiCはLinux CLIとFRRを行き来して設定する必要あるのに対し、 1種類のCLIで設定完結するのは利便性が高い ⚫機能性や性能の安定さを実感 ✓今回の検証機能では特に大きな不具合もなく、性能試験もmsecオーダーでの結 果を得ることが出来た ⚫ ユーザーフレンドリー性の追求 ✓表示コマンドやログの見せ方に工夫が施されており、痒いところにまで手が届いている 印象を受けた
40. ©Macnica,Inc. ・本資料に記載されている会社名、 商品またはサービス名等は各社の商標または登録商標です。 なお、 本資料中では、 「 」、 「®」は明記しておりません。 ・本資料のすべての著作権は、 第三者または株式会社マクニカに属しており、 （著作権法で許諾される範囲を超えて）無断で本資料の全部または一部を複製・転載等することを禁じます。 ・本資料は作成日現在における情報を元に作成されておりますが、 その正確性、 完全性を保証するものではありません。 39