サーバーレスで仮想待合室を作ろう！ / Serverless Virtual Waiting Room

SERVERLESS VIRTUAL WAITING ROOM © 2023, Amazon Web Services, Inc.
or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. S E R V E R L E S S D A Y S T O K Y O 2 0 2 3 Serverless Virtual Waiting Room サーバーレスで仮想待合室を作ろう！ Kensuke Shimokawa Snr. Serverless Specialist Amazon Web Services Japan

or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Kensuke Shimokawa Amazon Web Services Japan Snr. Serverless Specialist Slides https://speakerdeck.com/_kensh Qiita https://qiita.com/_kensh

or its affiliates. All rights reserved. Agenda • 負荷が高い時にどうするか？ • Traffic Pattern で考える。 • Burst が Spike に追いつかない場合を考える。 • Shift North に対するブロッカーについて考える。 • 要件定義から Shift North できないか考える。 • Virtual Waiting Room • Performance testing • Demo 3

or its affiliates. All rights reserved. Request Basis で考えたいシステム特徴 11 High, spiky Request Basis • Burst 性を持つこと § 俊敏に Ramp-up すること • Scale-in もしっかりしてくれること Amazon API Gateway AWS Lambda Burst : 5000 Burst : 1000〜3000

or its affiliates. All rights reserved. Shift North 16 API Gateway client client client North South • Traffic の終端をできるだけ North に寄せていく • Queue や Stream で Traffic を終端させて、HTTP status 202 Accepted を返却 Queue Stream Traffic terminate Shift North

or its affiliates. All rights reserved. Shift North 17 client client client North South CDN • Traffic の終端をできるだけ North に寄せていく • Queue や Stream で Traffic を終端させて、HTTP status 202 Accepted を返却 • CDN を前段に配置し、Edge からの Request Cache を返却 Traffic terminate Shift North

or its affiliates. All rights reserved. なぜ、Shift North できないか？ • Traffic の大部分が Write traffic となっており、CDNのキャッシュ効率が悪い • Edge では認証できない独自の認証プロトコル、または Edge での認証による Latency を許容できない • Write traffic の終端を Queue にしてしまうと、非同期に処理結果の通知アーキテクチャを導入することになり、クライアント側の実装変更が発生する 19

or its affiliates. All rights reserved. 仮想的な待合室を用意する 25 API Gateway client1 North South Virtual Waiting room Main Application Polling... position <= serving position serving counter = 26 serving counter = 26 position = 21

or its affiliates. All rights reserved. Shift North できるようになったのか？ • Traffic の大部分が Write traffic となっており、CDNのキャッシュ効率が悪い → Main App 側の E2Eの仕組みに変更はなく、仮想待合室側にCDN配備 • Edge では認証できない独自の認証プロトコル、または Edge での認証による Latency を許容できない → 認証は待合室を抜ける際に、そのトラフィックだけバックエンドに通す • Write traffic の終端を Queue にしてしまうと、非同期に処理結果の通知アーキテクチャを導入することになる → Queue を用いるのは待合室側であり、Main App の E2E は同期に設計可能 30

or its affiliates. All rights reserved. Virtual Waiting Room principal 1. 既存アプリを大幅変更することなく Side-Car Application としてアタッチできること 2. Main App で利用される様々な認証機構に対応できること 3. コントロールパネルが備わっており、簡単に設定変更できること 4. 仮想待合室自体の Traffic 耐性があること 5. 仮想待合室がカスタマイズすることで、Main App 側での複雑な仕様に対応可能なこと 33

or its affiliates. All rights reserved. 3/ Control panel で何ができるか 37 § 現在の待合状況をモニターできる • Serving Counter • 先頭から何人までを Main に向けるか • いつでも設定変更可能 • ここを Strategy パターンで実装 • Waiting Room Size • 現在何人待合室に滞留しているか • Active Tokens • 何人 Main App に通したか • Expired Tokens • 失効したトークンの数

or its affiliates. All rights reserved. 5/ カスタマイズ性について • Apache License Version 2.0 なので • 改変して複製、公開したり、再配布して商用利用することも可能 • Strategy パターンによる Increment Serving Counter 変更戦略 • 先頭から何人までを Main App に向けるかを随時設定 • MaxSize 戦略 • Token発行数、Token失効数、Main App 側でのトランザクション完了数により待合室の最大サイズを調整 • Periodic 戦略 • 定期実行処理で一律に、 Serving Counter を増加させる 40

or its affiliates. All rights reserved. Locust とは 42 • Locust は、スクリプト化可能でスケーラブルなパフォーマンステストツール • ユーザーの動作などのシナリオは、Python コードで定義 Performance data 250,000 users / sec https://locust.io ※ Locust 1,280 プロセスでシナリオベースの負荷試験を実施

or its affiliates. All rights reserved. Performance testing on Lambda 43 Cloud Native Application Virtual Waiting room AWS Lambda → on Lambda で動作可能 AWS Step Functions Distributed MAP "Parameters": { "array.$": "States.ArrayRange(0, 9, 1)" },

or its affiliates. All rights reserved. Key takeaways • 負荷が高いアプリケーションでは負荷の特性に応じて対処 • Request Basis でスケールし Burst 性をもつサービス選定も • 負荷対策の基本は Shift North、前段でハンドリングできる割合を増やせる仕組みを設計段階で組み込む • Shift North できないアプリケーションでは、仮想待合室の検討を試みる • 待合が許容できるように仕様を再検討する • 待合室は Side-Car としてアタッチできるような設計にする 51

サーバーレスで仮想待合室を作ろう！ / Serverless Virtual Waiting ...

サーバーレスで仮想待合室を作ろう！ / Serverless Virtual Waiting Room

More Decks by kensh

Other Decks in Technology

Featured

Transcript