スタブサーバ自動生成ツール 〜負荷試験をもっと楽に〜

DMM.go #5
https://www.youtube.com/watch?v=EZyKip6dmMs

Transcript

1. © DMM © DMM スタブサーバ自動生成ツール 〜負荷試験をもっと楽に〜 DMM.go #5
2. © DMM 2 小野 輝也 合同会社DMM.com SRE 2021年新卒入社 Twitter: @teru0x1 https://cha-shu00.hatenablog.com/
3. 今日のテーマ 負荷試験
4. © DMM 想定する負荷試験対象 4 • ベンチマークサーバ ◦ リクエストをたくさん投げる • 試験対象システム （SUT: System Under Test） • 外部API ◦ 別の組織が管理してるAPI ◦ 勝手に変更できない Amazon Web Services、“Powered by AWS”ロゴ、［およびかかる資料で使用されるその他のＡＷＳ商標］ は、米国その他の諸国における、Amazon.com Inc.またはその関連会社の商標です。
5. © DMM 想定する負荷試験対象 5 • ベンチマークサーバ ◦ リクエストをたくさん投げる • 試験対象システム （SUT: System Under Test） • 外部API ◦ 別の組織が管理してるAPI ◦ 勝手に変更できない このまま負荷試験をするとどうなるか？ → 外部APIに猛烈な負荷がかかる → 外部APIの死、課金増 などが発生
6. © DMM 負荷試験アーキテクチャ 6
7. © DMM 7 外部APIと同等の振る舞いを するサーバ →スタブサーバ 負荷試験アーキテクチャ
8. © DMM スタブサーバ • 外部のAPIと同等の振る舞いをするサーバ • 外部のAPI数が少なくて単純、OpenAPIなどの定義がある場合 • →普通に手作業で作ってもそこまで大変でない • 外部のAPI数が多い（10以上）、複雑、ドキュメントも充実してない場合 • 試験対象のコード（つまり外部APIに対するクライアント側）を見て実装する • →つらい • 外部APIに対するリクエスト/レスポンスをプロキシでキャプチャし、そこから生成 • →業務ではmitmproxyのキャプチャからスクリプトで生成した • https://mitmproxy.org/ • →行き当たりばったり 8
9. gstbgen
10. © DMM 10 gstbgen := “go stub server generator” スタブサーバのGoコードをいい感じに生成 負荷試験の面倒な作業を大幅短縮！！！ https://github.com/teru01/gstbgen で公開中
11. © DMM gstbgenがやること 11 • SUTと外部APIの間に挟まるプロキシとなる • SUTと外部APIとのリクエスト・レスポンスを記録する • 記録が終わると、スタブサーバのGoコードを出力する
12. © DMM 使い方(1/4) 12 1. 適当なサーバにgstbgenを起動し、 SUTのフォワードプロキシとして 指定する $ export http_proxy=http://xx.xx.xx.xx:yyyy $ export https_proxy=http://xx.xx.xx.xx:yyyy
13. © DMM 使い方(2/4) 13 2. ベンチマークサーバで負荷試験 シナリオを負荷にならない程度に 流す gstbgenにリクエスト/レスポンス の記録が溜まり始める
14. © DMM 使い方(3/4) 14 3. gstbgenを終了させると、記録 したリクエスト・レスポンスから スタブサーバのコードが出力される
15. © DMM 使い方(4/4) 15 4. 生成されたコードでスタブサーバ を起動し、SUTで外部APIとして 使う接続先をスタブサーバに向ける あとは負荷試験するだけ
16. © DMM ポイント1: いい感じのコード生成 • スタブサーバを生成するのではなく、スタブサーバのGoコードを生成 する • 自由に編集できる • 記録したHTTPのフローをそのまま再現するだけでは不適切な場合も あるため • コード生成にはdave/jenniferを利用 16 If(Id("i").Op("==").Id("j")).Block( Return(Id("i")), ) if i == j { return i }
17. © DMM コード生成 17 GET http://external.com/foo mux.HandleFunc("/foo", func(rw http.ResponseWriter, r *http.Request) { if r.Method == "GET" { rw.WriteHeader(200) fmt.Fprint(rw, "{\"contents\":\"hello\"}") return } }) リクエスト レスポンス 200 OK {“contents”: “hello”}
18. © DMM 全体のコード生成イメージ host path method query param reqbody response host path method query param reqbody response host path method query param reqbody response host path method query param reqbody response method query param reqbody response path method query param reqbody response mux.HandleFunc("/", func(rw http.ResponseWriter, r *http.Request) { body, _ := stringify(r.Body) if r.Method == "GET" { if q, _ := stringifyUrlValues(r.URL.Query()); q == "{}" { if body == "{\"token\":\"abc\"}" { rw.WriteHeader(200) fmt.Fprint(rw, "{\"foo\":\"bar\"}") return } } } if r.Method == "POST" { if q, _ := stringifyUrlValues(r.URL.Query()); q == "{}" { if body == "{\"token\":\"abc\"}" { rw.WriteHeader(200) fmt.Fprint(rw, "{\"foo\":\"bar\"}") return } } } }) mux.HandleFunc("/hoge", func(rw http.ResponseWriter, r *http.Request) { body, _ := stringify(r.Body) if r.Method == "GET" { if q, _ := stringifyUrlValues(r.URL.Query()); q == "{}" { if body == "{\"token\":\"abc\"}" { rw.WriteHeader(200) fmt.Fprint(rw, "{\"foo\":\"bar\"}") return } } } }) 溜まっていく 深さ優先でツリーを巡回して生成
19. © DMM ポイント2: HTTPS対応 • 普通、プロキシでHTTPS通信の中身は取得できない • 通信はE2Eで暗号化されている • 暗号化された通信内容は取得できる • どうするか: サーバー証明書を偽造する • TLSをgstbgenで終端させて、SUTには偽の証明書を返す • 偽の証明書をSUTが信頼すれば良い • gstbgen側に持たせたCA証明書を信頼させる 19
20. © DMM 20 1 2 3 4 5
21. © DMM その他話してないこと • コマンドラインツール製作にはurfave/cli/v2を使用 • 引数の処理、自動help生成などが便利 • プロキシのベースとしてはelazarl/goproxyを使用 • TLS、 証明書周りは標準ライブラリに入っている • crypto/tlsやcrypto/x509など • GoではOpenSSLに依存せず、自前実装している • そのためGoのスクリプトだけで鍵ペアを生成できる 21
22. © DMM おわりに • 負荷試験をはじめとするシステムの解析に使えるツールをGoで作成 • Google SREのプラクティス: 50%ルール • 業務時間の５０％はソフトウェアエンジニアリングに使おう • パワーではなくてツールで解決することも重要 22
23. © DMM We are hiring! 大規模なサービスや新事業の立ち上げなど規模の大小、ジャンル・フェーズ が存在するDMM.comでSREを実践してみませんか？ https://dmm-corp.com/recruit/engineer/8/
24. Thank You !