PHP で負荷試験のシナリオを書きたい！ので amphp を使って自作した件

PHP カンファレンス沖縄 2023 登壇資料です。

Transcript

1. PHP で負荷試験のシナリオを書きたい！の で amphp を使って自作した件 2023/09/16 PHP カンファレンス沖縄 やまゆ
2. セッション概要 jMeter, Locust, k6, ... 負荷試験ツールは色々ありますが、どれも PHP でシナリオを書くことができません。 PHP のコードは PHP でシナリオ も書いてしまった方が一貫性があって良いですよね？ PHP 8.1 から Fiber が入ったことで、 PHP でも非同期・並行的な処理が簡単に実装 出来るようになりました。 PHP によるシナリオツール、 ないなら作ろう精神 で、自作することにしました。 Fiber ままで並行処理を作るのは大変なので、今回は amphp を使って簡単に distributed なシステムを構築します。 今回は何故自作したのか、どのように並行処理を実装したのかを紹介します。 ターゲット 負荷試験したい方 PHP で並行処理ってどうやるの？という方
3. 赤魔道士系エンジニア ㈱インフィニットループ at 札幌/仙台 
 やまゆ この画像は自撮りでも いつも使っているアイコンでも構いません ☕
4. 負荷試験
5. 負荷試験 大規模 Web サービスのリリース・大規模アプデに欠かせない事前テスト 想定された Monthly Active User(MAU) から仮定する Request per sec(rps) が安定 して稼働するか、負荷をかけ続けて試験すること ↓やらないとどうなる？ - 事前スケーリングのサイズが決まらない - リリース時に🔥炎上🔥する
6. 負荷試験内容 1. MAU 定義 2. シナリオ定義 3. rps 定義 4. 負荷シナリオプログラム作成 5. 実施・監視・適宜最適化 6. レポート
7. 負荷試験定義例 - 事前のアンケートや類似事例から MAU を検討 - 想定されたシナリオをいくつか作成 - トップページ -> リンク回遊 -> ユーザー登録 -> プロフィール編集 -> リンク回遊 - トップページ -> ユーザー登録 -> 課金 -> リンク回遊 - ソシャゲ: ユーザー登録 -> ログイン -> チュートリアル -> コアサイクル - シナリオから「何秒おきにどんな API 順で呼ばれるか」表を作成 - 同時に、シナリオ表をプログラム化(機械的に呼べるようにする) - MAUとシナリオ表から「1秒間に何リクエスト送られるか」を推測
8. 負荷試験定義例: rps - 仮に 20 万 MAU とする - 仮定として、全体の 50 %(10万) が最大の同時接続数とする - シナリオ表から、平均的な rps が 0.2 であるとする - 100,000 * 0.2 = 20,000 rps - このサービスに安定・継続して耐えるべき値は 20,000 rps と仮定
9. Next action? 20,000 rps を耐えられる構成を考える そもそも 20,000 rps がどのリソースにどれくらいの負荷を掛けるのか、計測する必要 がある ということで機械的に計測するための負荷試験ツールの出番！
10. 負荷をかける (HTTP リクエストする) ツール
11. Apache jMeter https://jmeter.apache.org/
12. Locust https://locust.io/
13. Locust Scenario(Python)
14. k6 https://k6.io/
15. k6 Scenario(JavaScript like)
16. PHP なくない？
17. じゃあ作るか
18. heavyrain
19. heavyrain - PHP Loadtest/Stresstest tool
20. heavyrain - PHP Loadtest/Stresstest tool
21. Why? - Locust 使っていたが python かぁ...となる - k6 もなんか変な JavaScript だしなぁ...となる - jMeter…となる - PHP でシナリオ書けるのが一番楽やろ - 今は PHP でも Fiber 等で並行処理強くなってきたし - 自分が一番欲しい(普通にプロジェクトの負荷試験に使いたい) - ないなら作ろう精神
22. 同期的だと無理
23. 同期処理シーケンス
24. 非同期処理シーケンス
25. 非同期処理における並行 & 並列 非同期処理には種類がある - 並行(Concurrency) - 並列(Parallelism) 言語の仕組みによって並行性が高かったり並列性が高かったりする 言語だけでなくドキュメントでもこの表現は揺れているので、今回の資料では - 並行＝シングルスレッドでうまいこと非同期する - 並列＝マルチスレッド・マルチプロセスで非同期する とする。
26. PHP は(基本的に)シングルスレッド なので「並列」ではなく「並行」が近い マルチプロセスは可能だが、プロセス間通信はちょっと大変 マルチスレッドは extension を使えば可能(zts じゃないとダメ)
27. JavaScript も(基本的に)シングルスレッド
28. Fiber
29. Fiber https://www.php.net/manual/ja/language.fibers.php サードパーティ extension なしで「非同期・並行処理」を実現できる API PHP 8.1 から利用可能 シンプルで低レベルの API を提供している
31. シンプルすぎて わからん 🤔
32. Revolt
33. Revolt イベントループを管理してくれる低レベル API ライブラリ - Defer: go の defer みたいに、イテレーションの最後に - Delay: x 秒後に - Repeat: x 秒おきに - Stream readable: ストリームが読み込めるようになったら - Stream writable: ストリームに書きこめるようになったら - Signal: プロセスシグナルを OS から受け取ったら
35. シンプルすぎて わからん 🤔
36. amphp
37. amphp Revolt をベースとした高レベル非同期 API を提供するライブラリ群 File, Log, MySQL, Redis などの I/O 処理を非同期化し ブロックしない形で実行出来るライブラリがある HTTP Server を動かすこともできる
39. async await
40. async? 「将来どこかで終わるけど、今はまだ終わってないと思う」という表明的なもの (既に終わっている時もある) 色んな言語で実装されているが、 PHP はライブラリレベルで実装 `function async(\Closure $callback): Future` Future だったり Promise だったりする(概念が違うが似た系統)
41. await? async なクロージャが完了するまで待つ `$results = await($futures)` 複数のクロージャが全て完了するまで待つことも出来る JavaScript の変遷をたどると分かりやすい SoftwareDesign 2023年9月号に詳しく載ってます！ (他人の記事を勝手に宣伝) https://gihyo.jp/magazine/SD/archive/2023/202309
42. heavyrain
43. heavyrain での非同期処理 - ほとんどの処理は HTTP レスポンスが来るまでの待機時間 - 同期処理すると、 CPU が暇 - 暇している間に別のリクエストを実行したい - そこで「非同期」処理 - シングルスレッドで「同時に x リクエスト」出来るようにする！
44. 目指せ「1,000 並行」 extension なしだと「1,024 ファイルディスクリプタ」が限界値 ディスクリプタ数が増えると線形に遅くなるので実際そこまではいかなさそう extension を入れるともっと増やせる(最大はエフェメラルポート数くらい？) 現状だと amphp/ext-uv が比較的アクティブにメンテされている node.js でも使われていた libuv を使った PHP 拡張
45. まずは「 HTTP シナリオ」を書けること リクエストとレスポンスの連なり（シナリオ）を表現できる必要がある POST /register -> POST /login -> GET /me -> POST /post -> … - HTTP リクエストを送る - 前のレスポンスのデータを使う - 途中暗号化や認証を行えるようにする(ミドルウェア) - 1人のユーザーの一連のシナリオをスクリプトに変換する
47. ClientInterface - 簡単に HTTP リクエストを実行出来る API を定義 - PSR-7 互換 - Locust や k6 などを参考にした
48. AssertableResponseInterface - assertion も出来るし json body も取得出来る便利な Response API - これも PSR-7 互換
49. MiddlewareInterface - リクエスト間で共通の処理を行える API - これも PSR-7 互換 - 暗号化(ボディ改変)・認証(ヘッダ改変)などを行える
50. ExecutorInterface - 実際に「シナリオを無限に実行し続ける」 API - OS Signal などで途中でキャンセル出来る - ここで「非同期」を発動！
51. AmphpExecutor 非同期処理のコア部分の実装 ループでたくさん並行に 実行していく TODO は色々あるが ベースは大体これ
52. Heavyrain の未来 - 「シナリオテスター」として 1 並列でシナリオが一通り動く - Ramp-up(ちょっとずつ同接が増えていく) の仕組み - 数万 rps, 数十万 rps の負荷をかけれるようになる - 複数マシンを使った 分散負荷かけ環境 - OpenAPI 3.0 から ClientInterface 実装を自動生成 - HARReporter によるシナリオ可視化 - Locust のような Web GUI - Amphp の詳細は PHPCon 2023(東京) で話します！！
53. 次は東京で で会いましょう！
54. 北海道でも 会いましょう！
55. https://www.infiniteloop.co.jp