BedrockのToo Many Request解決してみた

【connpass】
Bedrock Claude Night（JAWS-UG AI/ML支部 × 東京支部コラボ）
https://jawsug-ai.connpass.com/event/313318/

Transcript

1. ©Fusic Co., Ltd. 1 #FESPDLͷ5PP
   .BOZ
   3FRVFTUղܾͯ͠Έͨ 2024.4.22 苑⽥ 朝彰 @sonoda_mj Bedrock Claude Night
2. ©Fusic Co., Ltd. 2 苑⽥ 朝彰 Sonoda Tomotada - X: sonoda_mj - 2023 AWS Jr.Champions - 2024 Community Builders(ML & GenAI) 最近AWS StepFunctionsにハマってる ⾃⼰紹介 はじめに 株式会社Fusic
3. ©Fusic Co., Ltd. 3 CONTENTS ⽬次 1. 背景 2. エラーが発⽣する原因 3. Too Many Requestの解決⽅法 4. まとめ
4. ©Fusic Co., Ltd. 4 背景 1
5. ©Fusic Co., Ltd. 5 Fusicの公開情報から構成されるRAG Fusic-RAG メンバー紹介 ニュース 開発事例 その他
6. ©Fusic Co., Ltd. 6 Fusic-RAGの構成図 ストリーミング
7. ©Fusic Co., Ltd. 7 Fusic-RAG アクセスが集中 Amazon Bedrock 新しい情報！ 検索してみよう！
8. ©Fusic Co., Ltd. 8 Fusic-RAG Too Many Request Amazon Bedrock アクセス多すぎ
9. ©Fusic Co., Ltd. 9 Fusic-RAG
10. ©Fusic Co., Ltd. 10 エラーが発⽣する原因 2
11. ©Fusic Co., Ltd. 11 そもそもなぜエラーが発⽣するのか • AccessDeniedException • ResourceNotFoundException • ThrottlingException • ModelTimeoutException • InternalServerException • ValidationException • ModelNotReadyException • ServiceQuotaExceededException • ModelErrorException 引⽤：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock-runtime/client/invoke_model.html
12. ©Fusic Co., Ltd. 12 そもそもなぜエラーが発⽣するのか • AccessDeniedException • ResourceNotFoundException • ThrottlingException • ModelTimeoutException • InternalServerException • ValidationException • ModelNotReadyException • ServiceQuotaExceededException • ModelErrorException 引⽤：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock-runtime/client/invoke_model.html
13. ©Fusic Co., Ltd. 13 リクエストの数がサービスクォートを超えた場合に発⽣する ServiceQuotaExceededException Amazon Bedrock 合計500万Token 引⽤：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock/client/exceptions/ServiceQuotaExceededException.html
14. ©Fusic Co., Ltd. 14 リクエストの数がサービスクォートを超えた場合に発⽣する ServiceQuotaExceededException Amazon Bedrock 合計500万Token 引⽤：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock/client/exceptions/ServiceQuotaExceededException.html
15. ©Fusic Co., Ltd. 15 リクエストの数がサービスクォートを超えた場合に発⽣する ServiceQuotaExceededException Amazon Bedrock 引⽤：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock/client/exceptions/ServiceQuotaExceededException.html Token送りすぎや
16. ©Fusic Co., Ltd. 16 リクエストの数がサービスクォートを超えた場合に発⽣する ServiceQuotaExceededException Amazon Bedrock 引⽤：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock/client/exceptions/ServiceQuotaExceededException.html ServiceQuotaExceeded Exception
17. ©Fusic Co., Ltd. 17 リクエスト数が制限を超えた場合に発⽣する ThrottlingException Amazon Bedrock めっちゃアクセス 引⽤：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock/client/exceptions/ServiceQuotaExceededException.html
18. ©Fusic Co., Ltd. 18 リクエスト数が制限を超えた場合に発⽣する ThrottlingException Amazon Bedrock ⼀気に送りすぎ ちょっと待ってくれ 引⽤：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock/client/exceptions/ServiceQuotaExceededException.html
19. ©Fusic Co., Ltd. 19 リクエスト数が制限を超えた場合に発⽣する ThrottlingException Amazon Bedrock ThrottlingException 引⽤：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock/client/exceptions/ServiceQuotaExceededException.html
20. ©Fusic Co., Ltd. 20 Too Many Requestの解決⽅法 3
21. ©Fusic Co., Ltd. 21 リトライ機構を作る Amazon Bedrock アクセス（n回） エラー
22. ©Fusic Co., Ltd. 22 リトライ機構を作る
23. ©Fusic Co., Ltd. 23 リトライ機構を作る リトライ回数 Bedrockの処理 指数バックオフ 1回につき2^(retry_count – 1) 遅らせる
24. ©Fusic Co., Ltd. 24 Bedrockを使⽤するリージョンを分散する 引⽤：https://docs.aws.amazon.com/ja_jp/bedrock/latest/userguide/quotas.html
25. ©Fusic Co., Ltd. 25 １つのリージョン使⽤する場合 Bedrockを使⽤するリージョンを分散する Amazon Bedrock us-west-2
26. ©Fusic Co., Ltd. 26 ３つのリージョン使⽤する場合 Bedrockを使⽤するリージョンを分散する Amazon Bedrock us-west-2 Amazon Bedrock us-east-1 Amazon Bedrock ap-southeast-2 User ランダムに アクセスする
27. ©Fusic Co., Ltd. 27 現在使⽤できるClaude3リスト モデル名 us-east-1 （バージニア北部） us-west-2 （オレゴン） ap-southeast-2 （シドニー） Claude3 Haiku ◦ ◦ ◦ Claude3 Sonnet ◦ ◦ ◦ Claude3 Opus × ◦ ×
28. ©Fusic Co., Ltd. 28 現在使⽤できるClaude3リスト モデル名 us-east-1 （バージニア北部） us-west-2 （オレゴン） ap-southeast-2 （シドニー） Claude3 Haiku ◦ ◦ ◦ Claude3 Sonnet ◦ ◦ ◦ Claude3 Opus × ◦ × リージョンによる 分散ができない （2024/04/22時点）
29. ©Fusic Co., Ltd. 29 マルチアカウントにしてもThrottlingExceptionが減ることは無かった マルチアカウントで使⽤した場合 Amazon Bedrock us-west-2 Amazon Bedrock us-east-1 Amazon Bedrock ap-southeast-2 User AWS account 1 Amazon Bedrock us-west-2 Amazon Bedrock us-east-1 Amazon Bedrock ap-southeast-2 AWS account 2 Amazon Bedrock us-west-2 Amazon Bedrock us-east-1 Amazon Bedrock ap-southeast-2 AWS account n ・・・
30. ©Fusic Co., Ltd. 30 プロビジョンドを使⽤する（最終⼿段） 引⽤：https://docs.aws.amazon.com/ja_jp/bedrock/latest/userguide/prov-throughput.html
31. ©Fusic Co., Ltd. 31 今稼働している構成図
32. ©Fusic Co., Ltd. 32 今稼働している構成図 リトライ機能 追加 マルチリージョン で使⽤
33. ©Fusic Co., Ltd. 33 まとめ リトライ機構を構築することで、Too Many Requestを解決できた。 Point 01 リージョンを複数使⽤し分散することで、Too Many Requestを解決できた。 Point 02 プロビジョンドを使⽤することで、 Too Many Requestを解決できる（かもしれない） Point 03
34. ©Fusic Co., Ltd. 34 Thank You We are Hiring! https://recruit.fusic.co.jp/ ご清聴いただきありがとうございました