Lock in $30 Savings on PRO—Offer Ends Soon! ⏳

JANOG53 LT 自作k6 Extension利用した NFVへの負荷計測手法の紹介

JANOG53 LT 自作k6 Extension利用した NFVへの負荷計測手法の紹介

JANOG53 でLT発表をした際のスライドです。

cf. https://www.janog.gr.jp/meeting/janog53/div/

自作k6 Extensionはこちら。
https://github.com/bbsakura/xk6-gtp

Takeru Hayasaka

January 18, 2024
Tweet

More Decks by Takeru Hayasaka

Other Decks in Technology

Transcript

  1. 自己紹介 - はやさかたける(早坂彪流) - インターネットではtakemio,takehayaとか - 京都市在住, 宮城県出身,社会人3年目 - 初めてのJANOG現地参加🐣

    - 普段はモバイルコアの開発やってる - 趣味: 最近自宅インフラ入門した - 悩み: お引越し先探し - 所感: JANOG 47(福岡)でもLTをしました。 その時は学生で若者支援で行く予定だったんですが コロナでリモートだったので今日はめっちゃエモいです😂
  2. 背景と問題 5 UE eNB HSS MME PGW-U SGW S1-U S5/S8

    SGi S6a LTE-Uu S1-MME UE: User Equipment eNB: eNodeB, evolved Node B MME: Mobility Management Entity HSS: Home Subscriber Server SGW: Serving-Gateway PGW-C: Packet Data Network-Gateway Controlplane PGW-U: Packet Data Network-Gateway Userplane The Internet & Cloud (& Operator network S11 PGW-C 弊社の取り扱う NFたち (全部自作) MNO MVNO アーキテクチャに関して詳しくは 3GPP TS23.401とGSMA IR88を参照 MNOの持ってるNFと (実質)直接繋がる...!!! ちゃんとしないとやべぇ😇
  3. システムの健全性を事前に測るには? cf. Why Your Organization Should Perform Load Testing >

    負荷テストは、システムへの実際のトラフィックをシミュレートしてそのパ フォーマンスを評価し、潜在的な問題を発生前に検出して防止するのに役立つ =>(一般論として)パフォーマンス計測が有効である が、OSSにそんなものはなく、、、 商用のプログラマブルで尚且つパフォーマンス計測のツールは高級...😇💸💸💸 特にCplaneは対応するべきプロトコルのスタックもそれなりに複雑😇😭 では僕らの取るべき次の手は、一体なにをするべきなのか...?
  4. 解決策 - k6: Grafana Labsが作ってるGo製の パフォーマンス測定ツール - JSでテストシナリオを記述することができる - cf.

    https://github.com/dop251/goja - Goでプラグインを書いてJSでテストシナリオが書ける つまりGoの既存資産が使える!!!!! - k8sに乗せてスケールさせることもできる - メトリックも色々なダッシュボードがあり便利 - ✨自作k6プラグイン✨: xk6-gtp - gtpv2のechoリクエストのexampleを右に示します - Githubで絶賛公開中!実験プロジェクトです! Starよろしくお願いします!!! - https://github.com/bbsakura/xk6-gtp import { check } from 'k6';
 import exec from 'k6/execution';
 
 import gtpv2 from 'k6/x/gtpv2';
 
 let client;
 
 export default function (){
 if (client == null) {
 client = new gtpv2.K6GTPv2Client();
 client.connect({
 saddr: `127.0.0.${exec.vu.idInTest}:2124`,
 daddr: "127.0.0.1:2123",
 count: 0,
 IFTypeName: "IFTypeS5S8PGWGTPC"
 });
 }
 const res = client.checkSendEchoRequestWithReturnResponse(
 "127.0.0.1:2123")
 check (res, {
 'success': (res) => true === res,
 });
 }

  5. - SGWからPGW-Cに対してCSRを投げている例 - CSR (Create Session Request): モバイル端末が外部 接続するためのセッションを生成するリクエスト -

    生成済みのインスタンスに含まれるメンバ関数 に対して宛先とパラメーターを渡すだけで動く - 正しくResponseを受け取ればcheckのカウント が上がるので、それの回数を見ることで パフォーマンスのメトリックとすることが可能 使い方: CSR (Create Session Request) の例 import { check } from 'k6';
 import exec from 'k6/execution';
 import gtpv2 from 'k6/x/gtpv2';
 let client;
 export default function (){
 // 略
 const csr_res = client.checkSendCreateSessionRequestS5S8(
 "127.0.0.1:2123",
 {
 imsi: "123451234567891",
 msisdn: "123451234567891",
 mei: "123451234567891",
 mcc: "123",
 mnc: "123",
 tac: 1,
 rat: "EUTRAN",
 apn: "apn",
 eci: 1,
 epsbearerid: 1,
 uplane_ie: {
 teid: 1,
 },
 ambrul: 100000000,
 ambrdl: 100000000,
 }
 )
 check (csr_res, {
 'csr is success': (res) => true === res,
 });
 }

  6. 実装の所感 - Goを書いてJavascriptで動かすというのは不思議な感覚だった - ドキュメントが足りなすぎる😇ので結局 k6本体のコードを読むことに... - 実際にGTPパケットを投げる実装は go-gtp に丸投げしたのでそのハンドラ

    をちまちまと書いてる感じになった。あまりパケットの構造を書いてる感じ がなくて楽しいかと言うと諸説ある - go-gtpのラッパーなので、テストがE2Eぽい感じになっていく - 一方ダッシュボード付きでお手軽に自分の投げたい負荷生成機を作れるのは すごい。すごすぎる。
  7. 実装でハマったこと:2度Listenしてしまう問題 - go-gtpの仕様上インスタンスを作るときにport listenを行う のが普通で、k6上でナイーブな実装をすると2度Listenして しまい、ポートがすでにBindされてるのでエラーを吐く😇 - k6のライフサイクルは3つのステップに分かれてて、 事前処理, 負荷走行,

    事後処理の順番で動作し、これらは 予約語に基づいた関数にMappingされている。 - k6の実装はJSのコードをGojaRuntimeに3度読ませていて、 そのままコードを解釈させている。 この時接続のConnをGlobalスコープで初期化してしまうと 複数初期化してしまう問題がある😇 - この辺はドキュメント化されてる話ではなかったので コードを読むことになったハマりポイントだった....😭 - 最終的にはnullチェックと負荷走行の関数で初期化する ワークアラウンドで解決 💡 let client = new gtpv2.K6GTPv2Client(); client.connect({ /*略*/});
 
 export function setup() 
 { // setup code } 
 
 export default function (data)
 { // VU code } 
 
 export function teardown(data) 
 { // teardown code }

  8. 実装のコツ: Send and Recv の仕組みをうまく作る - Reqを投げたらRspが返ってくると言うのがHTTPだと普通ですよね。 これはモバイルの通信も同じです。残念ながらHTTPでは無いので、 我々もそこの仕組みもちゃんと作ってあげる必要があります😇 -

    具体的にはパケットを受け取るビジーループを行い、パケットを受け取った際 にエラーコードを確認するハンドラを追加する必要がありました - 受け取りたいパケットのハンドラは多岐に渡るのでGoのジェネリクスを利用したら便利でした
  9. 終わりに - このプラグインは同僚と一緒に作ってますのでまずは感謝を。 - 今後の課題 - とりあえず動くところまでは行けましたが、振り返ると実質SDKの設計みたいなものだったので、 パラメーターが多いものをどのように抽象化するか・より高速化するにはどうしたらいいかの 検討や作り直しの余地がありそうだなとの感想を抱いています。より使いやすくしたいです。 -

    まとめ - NFVのパフォーマンステストにはk6と呼ばれるパフォーマンステストツール を拡張してみると色々便利に使えることがわかった。 - ステートを持つようなk6プラグインを作る場合はパケットを投げたら受け取って判断して取り回すなどの 工夫が必要であることもわかった。 - k6を使った楽しいNFV開発運用ライフを送ろう! - 自作k6プラグイン xk6-gtp もよろしくね。GTPv2のみ対応だよ。 今回説明しなかったところとか詳しく知りたい人は是非コード見てみてね! 自分のPGW-Cをムキムキにしたい人はどうぞ!!