Upgrade to Pro — share decks privately, control downloads, hide ads and more …

その修正で本当に速くなったのか? k6とOpenTelemetryで確かめる性能改善 / Pe...

ymotongpoo
November 17, 2026

その修正で本当に速くなったのか? k6とOpenTelemetryで確かめる性能改善 / Performance review with k6 and OpenTelemetry

CloudNative Days Winter 2026の登壇資料です
https://cloudnativedays.jp/sessions/3193

ymotongpoo

November 17, 2026

Transcript

39 slides
  1. サンプル サンプルの​構成 github.com/ymotongpoo/k6-otel-perf-review サンプルは、catalog-api と inventory の​2つのサ ​ ービス 商品の​情報を​返す

    catalog-api が、​在庫を​返す inventory を​呼ぶ どちらも​Goで​書き、​OpenTelemetryで​計装 処理時間は time.Sleep で​作った​再現用の​構成 k6 商品の情報 負荷を生成 /items/{id} catalog-api 在庫 同時に呼ぶのは4件まで あふれた分は空きを待つ inventory 同時に6件まで処理 /stock/{id} 待ちが8件を超えると503 3 / 42
  2. サンプル 修正の​実施 4から​16へ​上げる catalog-api が​同時に​呼ぶ上限を、 4は、​以前の​担当者が inventory を​守るた ​ めに​

    入れた値 ​ 応答が 遅 ​ いと​いう報 ​ 告を受 ​ けた開 ​ 発担当が、​ 16に上 ​ げた 上限4でさ ​ ばけるのは毎秒約77件(4件 ÷1件あたり約52ms) 上限16にす ​ ると​制約は inventory へ​移り、 毎秒約120件(6件÷50ms) k6 負荷を生成する catalog-api 同時に呼ぶのは4件まで (修正で16件) 上限16 ここが制約 inventory 同時に6件、 1件50ms。キューが8件を超えると503 処理枠6 待機キュー 8(超えると503) 4 / 42
  3. 2つの​評 価 開発側と​運用側の​評価の​食い​違い 合否の​基準は​同じなのに、 ​判定が​分かれた 合否の​基準は、 ​p(95)が​200ms未満、エ ​ ラー率が​1%未満 開発担当のテ

    ​ ストでは、​修正の​前後で​届いたリクエストの​量が1.5倍違う テスト ( ​ 60秒) 開発担当:10人が​応答を​ 待っては次を​送る 運用担当:毎秒120件を​ 指定して​送る 修正前 (上限 ​ 4) 合格 完了は毎秒77.1件 p(95) 151.9ms エラー率 0% 不合格 完了は​毎秒77.2件 p(95) 2,613ms エラー率 0% 修正後(上限 ​ 16) 合格 完了は毎秒117.9件 p(95) 102.5ms エラー率 0% 不合格 完了は​毎秒119.7件 p(95) 125.1ms エラー率 1.28% 5 / 42
  4. k6の​負 荷モデル 次の​リクエストを​送る​タイミング 負荷モデルは、​次のリ ​ クエストを​いつ​送るかで​2つに​分かれる 閉じたモデル constant-vus 前のレスポンスが返る 開いたモデル

    次のリクエストを送る 前のレスポンスが返ってから次を送る constant-arrival-rate 決めた間隔が経つ 空いているVUに渡す リクエストを送る 応答と関係なく、決めた頻度でリクエストを送る VU​ (virtual user) は​利用者1人分の​実行単位 7 / 42
  5. 閉じた​モ デル 閉じた​モデルの​頭打ち VUが​4を​超えると、​完了の​頻度は​毎秒77件で​止まる 開発担当の​10VUのテ ​ ストに​届いたのは、​修正前が​毎秒77.1件、​修正後が​毎秒117.9件 届いた​量が ​違うので、 ​p(95)が​152msから​103msに​縮んだ差は​修正の​効果だけではない

    応答時間の中央値 68.6件/秒 77.1件/秒 77.3件/秒 4VU 8VU 16VU 58.0ms 103.4ms 206.2ms 毎秒77件で止まる 応答時間だけが伸びる 修正前の​バージョン (上限 ​ 4)に constant-vus で、​VUの​数ごとに​30秒計測 8 / 42
  6. 開いた​モ デル 開いた​モデルで​測り直す 毎秒100件を​指定すると、​修正前の​p(95)は​2.6秒にな ​ る 修正前は、 ​上限を​超えた​分が​同時実行数の​制限の​前で待ち続ける 修正後も、​毎秒150件では​21.2%が 502。inventory

    がさ ​ ばけるのは​毎秒120件まで バージョン 指定した​頻度 完了の​頻度 p(95) エラー率 修正前​ (上限4) 100件/秒 77.0件/秒 2,612ms 0% 修正後​ (上限16) 100件/秒 99.9件/秒 67.0ms 0% 修正前​ (上限4) 150件/秒 77.2件/秒 2,621ms 0% 修正後​ (上限16) 150件/秒 149.7件/秒 133.8ms 21.2% 9 / 42
  7. テストの​負荷モデルは、 ​本番で リクエストが​どう​届くかで​選ぶ 開いたモ ​ デル 閉じたモ ​ デル 応答の​速さと​関係なくリ

    ​ クエストが​届く 決まった​数の​呼び出し元が、​応答を​ 待ってから次を​送る 10 / 42
  8. dropped_iterations 始められなかった​反復​ (イテレーション) 毎秒100件を​指定しても、1,178回の​反復は​始まらなかった 6,001 回 始まるは ​ ずだった​反復 4,823

    回 実際に​始まった​反復 1,178 回 空いている​VUが ​無く、 ​捨てられた​反復 dropped_iterations 修正前の​バージョンに​毎秒100件を​60秒 ( ​ maxVUs は​200) 12 / 42
  9. 合否の​判 定 VUの​不足と​合否の​判定 負荷が​足りないテ ​ ストも、合格と​判定される 完了の頻度 61 件/秒 指定は​毎秒100件

    応答時間とエラー率の閾値 dropped_iterations 約2,340 始められなかった​反復 回 合格 終了コード0。​k6は​警告を​ログに​ 出すだけで、 ​判定は​変えない 修正後の​バージョン (上限 ​ 16)に​毎秒100件を​指定し、preAllocatedVUs を​2、maxVUs を​4に​制限 14 / 42
  10. 合否の​判 定 dropped_iterations を​閾値に​入れる 終了コード99で不合格にな ​ る count==0 を​足すと、 const

    thresholds = { http_req_duration: ['p(95)<200'], http_req_failed: ['rate<0.01'], }; if (__ENV.CHECK_DROPPED === 'true') { thresholds.dropped_iterations = ['count==0']; } サンプルの​k6のテ ​ ストスクリプト(​ k6/test.js )の​閾値の​部分を​抜粋し、コ ​ メントは​省略。CHECK_DROPPED で​切り​替えるのは、​閾値の​ ほかは​同じ​条件で、 ​閾値の​有無によ ​ る​判定を​比べるた ​ め 15 / 42
  11. 負荷を​生 成する​側 負荷を​生成する​側の​CPU k6の​CPUが​足りないと、リ ​ クエストがま ​ とめて​届く 0.2コアでは​要約に​異常が​出ないのに、inventory の​処理枠(​

    6件)と​待ち行列(​ 8件)があ ​ ふれる k6の​CPU 完了の​頻度 p(95) エラー率 始められなかった​反復 10msの​間に​届いた 最大の​件数 1コア 99.9件/秒 67.2ms 0% 0回 2件 0.2コア 99.7件/秒 111.6ms 1.17% 0回 15件 0.1コア 95.0件/秒 304.0ms 8.07% 260回 未計測 修正後の​バージョンに​毎秒100件。 ​届いた​件数は catalog-api のサ ​ ーバースパンの​開始時刻で​集計 16 / 42
  12. テレメトリー テストと​アプリの​テレメトリーを​集める アプリケーションの​中を​見るた ​ めに、2つのサ ​ ービスを​計装する OpenTelemetryの​Go SDKと​otelhttpで​計装し、​Grafana Alloyで​集める

    k6 メトリクスだけ送る catalog-api 3つのシグナル inventory 3つのシグナル Mimir メトリクス Grafana Alloy OTLPを振り分ける Tempo トレース Grafana 横断して調べる Loki ログ 18 / 42
  13. テレメトリー トレースの​作り方 トレースは、 ア ​ プリの​計装と traceparent の​伝搬で​作る ​ ​識別子を​渡す

    catalog-api は inventory を​呼ぶとき、traceparent ヘッダーでトレースの k6の​OpenTelemetry出力が​送るのは、メ ​ トリクスだけ 修正前の​バージョンに​閉じたモ ​ デルの​1VU。​左の​列の​字下げがス ​ パンの​親子関係 19 / 42
  14. メトリクス 同じ​時間範囲の​メトリクス 調べる​候補は、​修正の​前後で​違う p(95)​ (ヒストグラムから​求めた​値) ​ 修正前、​毎秒100件 修正後、 ​毎秒150件 k6から​見た​応答時間

    4,844ms 240ms catalog-api のサ ​ ーバー側の​処理時間 4,875ms 240ms catalog-api が inventory を​呼んだ​時間 73ms 239ms inventory のサ ​ ーバー側の​処理時間 73ms 239ms inventory が ​503を​返した​頻度 0件/秒 31.9件/秒 調べる​候補 catalog-api の​中 inventory の​中 p(95)はヒ ​ ストグラムのバ ​ ケットの​中を​補間した値。​応答の​約8割が​2,500〜5,000msのバ ​ ケットに​入るた ​ め、​k6の​要約の​2,612msとは​ 比較不可 20 / 42
  15. トレース トレースで​1件ずつ​確かめる メトリクスが​示すのは、 ​同じ​時間帯に​伸びたこ ​ とまで スパン​ (中央値)​ ​ ーバースパン

    catalog-api のサ 修正前、 ​毎秒100件 修正後、 ​毎秒150件 2,569.9ms 118.6ms 51.5ms 112.8ms ​ ーバースパン inventory のサ 50.6ms 112.0ms inventory の lookup stock 50.5ms 50.8ms 時間の​内訳 中央値で約2,519msが、inventory を​ 呼ぶ前 inventory の​中の約60msは、 ​処理枠の​ catalog-api の​ クライアントスパン 空きを​待つ​時間 集計の​対象は、inventory が ​受け付けたリ ​ クエストのトレース ​ (修正前は ​ ​300件、​修正後は​300件のう ​ ち234件) 21 / 42
  16. 計装 足すスパンの​区間を​先に​決める 確かめたいのは「 ​ inventory を​呼ぶための​空きを​待つ​時間」 catalog-api のサーバースパン クライアントスパン 終わり:空きを得た

    api内の処理 約5ms スパンなし 空きを待つ wait for backend slot inventory のサーバースパン 処理枠の 空きを待つ スパンなし 在庫を調べる lookup stock 約50ms 始まり:空きを要求 始まりは​空きを​要求した​時点、 ​終わりは​空きを​得た​時点。オ ​ レンジが​足すスパン、​灰色はス ​ パンの​無い​区間 23 / 42
  17. 計装 待機区間の​スパン 空きを​待つ間だけ、 ス ​ パンを​作る スパンは、 ど ​ のリ

    ​ クエストが何ms待ったかを​示す 種別は INTERNAL acquire := func(ctx context.Context) error { start := time.Now() ctx, span := tracer.Start(ctx, "wait for backend slot", trace.WithSpanKind(trace.SpanKindInternal)) defer span.End() 抜粋。​待っている​件数を​数える​行は​省略 24 / 42
  18. 計装 待ち時間の​ヒストグラム 同じ​待ち時間を、 ヒ ​ ストグラムにも​記録する ヒストグラムは、 ダ ​ ッシュボードやア

    ​ ラートで待ちの​増加を​見るた ​ めに​使う select { case slots <- struct{}{}: waitHist.Record(ctx, time.Since(start).Seconds()) return nil case <-ctx.Done(): span.SetStatus(codes.Error, "canceled while waiting") return ctx.Err() } } 25 / 42
  19. 再テスト 頻度を​変えて​比べる 毎秒90件のテ ​ ストで、​修正の​効果がは ​ っきり出た 毎秒120件では、 ​修正後もエ ​

    ラー率が​1%を​超える 毎秒90件と​120件で​5回ずつ​繰り返しても、​判定は​毎回​同じ ( ​ 120件のエ ​ ラー率は​1.26〜1.79%) 指定した​頻度 修正前 p(95) 修正前 エラー率 修正後 p(95) 修正後 60件/秒 67.6ms 0% 67.4ms 0% 90件/秒 2,618ms 0% 67.3ms 0% 120件/秒 2,623ms 0% 126.7ms 1.65% 150件/秒 2,629ms 0% 133.3ms 20.92% エラー率 28 / 42
  20. inventory の​上限に​近づくと、 待ちが inventory へ​移る 修正で、​処理能力の​制約は​毎秒約77件の catalog-api から、 ​毎秒約120件の inventory

    へ​移った 毎秒90件では、inventory の​中の​待ちは​ほぼ0 上限を​64まで​上げても、​毎秒120件のエ ​ ラー率は1.35%で、​16のと ​ きと​ほとんど​変わらない 30 / 42
  21. 記録 記録に​残らなかった​設定 同じコ ​ ードと​同じコ ​ マンドでも、​設定が​違えば​別のテ ​ ストにな ​

    る サンプルを​作る​途中で、 ​Docker Composeの​設定ファイル(​ compose.yaml )のデ ​ フォルト値を​ 書き換え、inventory の​待ち行列の​上限を​32から​8へ​変えていた。 テストの​記録は​引数の​1行だけで、​ リビジョンも​実際の​値も​残っていない テスト​ (修正後の​バージョンに​毎秒150件) ​ p(95) エラー率 待ちの​場所 記録したテ ​ スト(待ち行列 ​ 8)​ 133.8ms 21.2% inventory の​待ち行列があ ​ ふれる​ 同じコ ​ マンドの​再実行(待ち行列 ​ 32)​ 1,711.7ms 0% catalog-api の​制限の​前 32 / 42
  22. 記録 テストの​結果に​紐付ける​もの 1つの​結果に、コ ​ ードのリ ​ ビジョンと​設定を1組ずつ紐付ける コードのリ ​ ビジョン

    テストスクリプトとテ ​ スト対象のサ ​ ービス。​ リポジトリのコ ​ ミットで固 ​ 定し、記 ​ 録には​ スクリプトのハ ​ ッシュとイ ​ メージを残 ​ す テストの​設定 負荷モデルと頻 ​ 度、サ ​ ービスが​実際に​使った​設定、​ k6とサ ​ ービスの​CPUの割 ​ り当て。コマンドに​ 出てこない値 ​ も、テ ​ ストごとの記 ​ 録に残 ​ す 結果と​一緒に、 ​完了の​頻度、dropped_iterations 、​k6の​CPU使用率、​開始と​終了の​時刻、​調査に​使ったク ​ エリも​記録 34 / 42
  23. 記録 記録から​やり直す コードをコ ​ ミットから、​設定を​記録から​戻すと、​判定は​一致した 設定は​記録から​戻す (負荷の ​ ​条件と、​各サービスや​k6の​実際の​設定) コードはコ

    ​ ミットから​戻す。​記録のハ ​ ッシュ、イ ​ メージ、​CPUの​割り​当てと​比べ、​違えば​警告する(​ ​今回は​不一致0件) テスト対象が​別のリ ​ ポジトリなら、テ ​ ストの​側でテ ​ スト対象のリ ​ ビジョンを​固定する テスト 完了の​頻度 p(95) エラー率 判定 記録したテ ​ スト 119.8件/秒 125.6ms 1.53% 不合格 記録からの​再実行 119.8件/秒 125.6ms 1.57% 不合格 修正後の​バージョンに​毎秒120件を​かけたテ ​ ストの​記録を​使用 35 / 42
  24. まとめ 変更を​評価する​手順 変更の​評価は、​記録を​次の​仮説に​つなげて​繰り返す 負荷モデルを​利用条件から​選び、 ​指定した​負荷が​実際に​かかったかを​ 確かめる 仮説を立てる 同じ​時間範囲のメ ​ トリクスで​候補を​絞り、​測る​区間を​決めてス

    ​ パンを​ 足す 計装を足す 結果をコ ​ ードのリ ​ ビジョンと​設定に​紐付けて​残し、​次の​仮説に​つなげる 変更する 同じ​負荷で​変更前後を​繰り返し​比べ、​呼び出し先への​影響も​確かめる 再テストする 記録を残す 36 / 42

More Decks by ymotongpoo

Other Decks in Technology