Upgrade to Pro — share decks privately, control downloads, hide ads and more …

XDPのテストとCI / XDP Testing and CI

XDPのテストとCI / XDP Testing and CI

XDPのテストとCI
2021/10/12 Open Mobile Network Infra Meetup #4
https://omni-jp.connpass.com/event/219087/

Yuya Kusakabe

October 12, 2021
Tweet

More Decks by Yuya Kusakabe

Other Decks in Technology

Transcript

  1. アジェンダ • なぜ #omni_jp でXDPのテストの話をするのか • XDPのテストの概要 • XDPのテストで気をつけた方がいいところ •

    世の中で行われているXDP(eBPF)のテストのやり方 • BBSakuraでのXDPのテストのやり方
  2. なぜ #omni_jp でXDPのテストの話? 1. さくらのセキュアモバイルコネクトのUプレーンで使っているから ◦ 2019年12月から本番環境でXDPを使ったPGWの運用をしている ◦ 参考:ENOG63 モバイルネットワークのデータプレーンを

    XDPで作る話 2. XDPでUPFを実装している人を見かけるから ◦ navarrothiago/upf-bpf 3. パケット処理のテストは面倒だけどテスト書かないわけにはいかないので…
  3. XDPのテスト方法 1. BPF_PROG_TEST_RUN ◦ eBPF Syscall — The Linux Kernel

    documentation ◦ ロードしたプログラムの fdと実行回数、パケットデータを渡すと、指定された実行回数プログラムを 実行し、プログラムのリターンコード( XDP_PASSなど)、修正されたパケットデータ、実行時間を返 してくれるbpf(2)のサブコマンド ◦ 5.15からxdp_mdが指定可能になり、XDP metadataのテストもできるようになる ▪ https://lore.kernel.org/bpf/[email protected]/ ◦ オフラインかつ1つのマシン内でテスト可能なので比較的手軽 ▪ ただ、IPやMACアドレスを書き換えたり、ルートテーブルを参照するようなプログラムでは、結 局環境を整える必要がある
  4. XDPのテストで気をつけた方がいいところ 1. カーネルのバージョンを本番と同じにする ◦ カーネルのバージョンが違うと XDP関連の機能がサポートされていなかったり、バグが治っていな かったりするし、機能が同じでも挙動が違う可能性がある 2. NICもできれば本番と同じにする ◦

    XDP関連の機能はNICのドライバ毎に実装されているため、ドライバが違うとry 3. native/genericも本番と同じにする ◦ native modeだったらnative modeでテストする まとめると、「カーネル内のコードをテストと本番で同じにする」ということ
  5. 世の中で行われているXDPのテストのやり方 • libbpf ◦ Linux公式のCでeBPFするためのライブラリ ◦ travis-ci/vmtest にテスト用のスクリプトがある ◦ 2ヵ月くらい前にTravis

    CIからGitHub Actionsに移行したように見える ◦ vmtestというローカルのActionからrun_vmtest.sh → run.sh と呼ばれて、最小限の Linuxイメージ を作りつつ、qemuでVMを起動してテストしている ◦ mkrootfs.sh を見ると最小限のArch Linuxのイメージを作っているように見えるが、現在はこれは使 われていなそう ◦ Linux本体のselftests/bpfを全部実行している
  6. 世の中で行われているXDPのテストのやり方 • Linux kernel ◦ KernelCI があるが、bpf-nextはここではやっていなくて kernel-patches/bpf でやっている様子 ◦

    v5.12から tools/testing/selftests/bpf/vmtest.sh というスクリプトが入っている ▪ [PATCH bpf-next v5 0/2] BPF selftest helper script ◦ libbpfのテストを移植していて、同様に qemuでVMを起動してテストを実行する方式 ◦ 移植時にきれいになっているようで読みやすい(個人の感想です)
  7. 世の中で行われているXDPのテストのやり方 • cilium/ebpf ◦ GoでeBPFするときのライブラリ ◦ Semaphore CI でCIしている(.semaphore/semaphore.yml) ◦

    run-tests.sh が実行されると virtme 経由でVM上で go test が走る仕組み ◦ テスト時に起動するVM用のカーネルイメージは cilium/ci-kernels に置いてある ◦ BBSakuraではこれを真似しました
  8. 世の中で行われているXDPのテスト • cilium (本体) ◦ GitHub Actionsのworkflowで bpf/Makefile の go_prog_test

    が実行されている ◦ bpf/tests/prog_test にBPF_PROG_TEST_RUNを使ったテストがある ▪ gopacketでパケットを作っている
  9. 世の中で行われているXDPのテスト • katran ◦ GitHub ActionsのWorkflowがあるが、テストは実行していなそう ◦ katran/lib/testing/BpfTester.cpp にテストが書いてある ◦

    pcapからパケットデータを作って BPF_PROG_TEST_RUN ◦ DEVELOPING.md にテストのやり方が書いてあり、 os_run_tester.sh を実行すると katran_tester.cpp が走る ◦ IPが固定っぽいのでVMでやった方がよさそう ◦ Migrate some Katran Tests to VMTests というコミットがあるので VMでテストしてそうに見える
  10. 世の中で行われているXDPのテスト • navarrothiago/upf-bpf ◦ XDPを使ったUPF ◦ Create a build for

    CI #40 というIssueがあって、CIはまだやっていなそう ◦ tests フォルダ配下にテストコードがある ▪ TRexで実際にパケットを送受信する方式
  11. BBSakuraでのXDPのテストのやり方 • cilium/ebpf と同様 • CIはGitHub Actions(with Hosted Runner) •

    テストに必要なバージョンの最低限のカーネルイメージを予めビルドして GitHubリポジトリに置 いておく • テストスクリプトでは、カーネルイメージを取ってきて、 virtmeでVMを立ち上げ、VM上でgo test を実行 ◦ パケットの生成はgopacket ◦ 入力用のパケットデータと確認用のパケットデータを用意して BPF_PROG_TEST_RUN • VMが立ち上がる環境がなるべく本番に近づくようにいろいろお膳建てしている
  12. 最低限のカーネルイメージ • ci-kernels/config at master · cilium/ci-kernels · GitHub ◦

    シンプルなプログラムのテストであればこれで十分 ◦ TCと組み合わせたい場合などに足りない • TCなどが使えるconfigをgistに置いておいたので参考にしてください ◦ https://gist.github.com/higebu/145f9e4071258819ba1ad905ce0483ac • カーネルのビルド方法はここでは説明しませんが、cilium/ci-kernelsのmake.shが参考になります
  13. お膳立ての構成 VM br0 br0.10 br0.20 br0.30 tap enp0s9 enp0s9.10 enp0s9.20

    enp0s9.30 192.168.10.1/24 192.168.20.1/24 192.168.30.1/24 192.168.10.5/24 192.168.20.5/24 192.168.30.5/24 ※VRFなどもあるけどややこしいので省いています ここにXDPのプログラムを アタッチする ローミング網方面 インターネット方面 ユーザのプライベートネットワーク方面 を疑似 enp0s10 user0 192.168.1.5/24 192.168.1.1/24 XDPを通さない通信が 必要なテスト用の Userネットワーク
  14. sudo virtme-run --kimg "${tmp_dir}/${kernel}" --name ${name} --cpus 4 --memory 8192M

    --pwd \ --rw \ --show-command \ --show-boot-console \ --force-initramfs \ --rwdir=/run/input="${input}" \ --rwdir=/run/output="${output}" \ --rodir=/run/go-path="$(go env GOPATH)" \ --rwdir=/run/go-cache="$(go env GOCACHE)" \ --script-sh "PATH=\"$PATH\" $(realpath "$0") --in-vm /run/output" \ --qemu-opts -enable-kvm \ -netdev tap,vhost=on,vnet_hdr=off,queues=8,id=${nic},ifname=${nic},script=${ifup_script},downscript=${ifdown_script} \ -device virtio-net-pci,mq=on,vectors=12,netdev=${nic},mac=${mac} \ -netdev user,id=${user_nic},ipv6=off,net=192.168.1.5/24,host=192.168.1.1 -device virtio-net-pci,netdev=${user_nic} < /dev/zero テストスクリプトの中のvirtme-run • cilium/ebpfのrun-tests.shをベースにしているので詳しくはそちら。。。 • GitHub Actions等で動かしたいときに最後の < /dev/zero が必要になる ◦ --script-sh breaks with /dev/null or closed stdin · Issue #33 · amluto/virtme VM内からはインターネットに出られないので、 VM起動前 に go mod download しておいて、GOPATHと GOCACHEをVMにマウントしている go testでは “GOFLAGS=-mod=readonly” しておく vnet_hdr=offにしてるので、いろいろなオフロードの offがないが、vnet_hdr=onにするならいろいろなオフ ロードのoffをしないとXDPが使えないので注意 詳細: Virtio-netでXDPを動かすにはqemuのオプ ション変更が必要 - yunazuno.log あとmrg_rxbufをon/offするとvirtio_net内で通るコー ドがかなり変わるので注意 receive_small() or receive_mergeable() 詳しくは “drivers/net/virtio_net.c” 参照
  15. gopacketでGTPv1-Uのパケット生成 icmpPayload := []byte{...} opts := gopacket.SerializeOptions{FixLengths: true, ComputeChecksums: true}

    buf := gopacket.NewSerializeBuffer() iph := &layers.IPv4{ Version: 4, Protocol: layers.IPProtocolUDP, Flags: layers.IPv4DontFragment, TTL: 64, IHL: 5, Id: 1212, SrcIP: net.IP{192, 168, 10, 1}, DstIP: net.IP{192, 168, 10, 5}, } udp := &layers.UDP{SrcPort: 2152, DstPort: 2152} udp.SetNetworkLayerForChecksum(iph) gopacket.SerializeLayers(buf, opts, &layers.Ethernet{DstMAC: []byte{0x00, 0x00, 0x5e, 0x00, 0x53, 0x01}, SrcMAC: []byte{0x00, 0x00, 0x5e, 0x00, 0x53, 0x02}, EthernetType: layers.EthernetTypeDot1Q}, &layers.Dot1Q{VLANIdentifier: 100, Type: layers.EthernetTypeIPv4}, iph, udp, &layers.GTPv1U{Version: 1, ProtocolType: 1, Reserved: 0, ExtensionHeaderFlag: false, SequenceNumberFlag: false, NPDUFlag: false, MessageType: 255, MessageLength: 76, TEID: 2}, &layers.IPv4{ Version: 4, Protocol: layers.IPProtocolICMPv4, Flags: layers.IPv4DontFragment, TTL: 64, IHL: 5, Id: 1160, SrcIP: net.IP{192, 168, 100, 200}, DstIP: net.IP{192, 168, 30, 1}, }, &layers.ICMPv4{TypeCode: layers.CreateICMPv4TypeCode(layers.ICMPv4TypeEchoRequest, 0), Id: 1, Seq: 1}, gopacket.Payload(icmpPayload), ) フルバージョン: https://gist.github.com/higebu/9503a3b90c047d5bbf677c0d3eb156df これを入力用、確認用で全テストケース分書く。。。 長さとチェックサム計算を任せると少し楽
  16. GoでBPF_PROG_TEST_RUN objs := &ExampleObjects{} err := LoadExampleObjects(objs, nil) if err

    != nil { t.Fatal(err) } defer objs.Close() ret, got, err := objs.ExamplePrograms.XdpProg.Test(generateInput(t)) if err != nil { t.Error(err) } // retern code should be XDP_TX if ret != 3 { t.Errorf("got %d want %d", ret, 3) } // check output want := generateOutput(t) if diff := cmp.Diff(want, got); diff != "" { t.Errorf("output mismatch (-want +got):\n%s", diff) } cilium/ebpf を使うとこんな感じになる フルバージョン: https://github.com/higebu/xdp-example
  17. EOF