Open AI APIを使う前に知っておきたいアカウントTier の話

参考リンク
Open AI API Rate Limits: https://platform.openai.com/docs/guides/rate-limits
Project について: https://help.openai.com/en/articles/9186755-managing-your-work-in-the-api-platform-with-projects
lower latency models: https://community.openai.com/t/openai-why-are-the-api-calls-so-slow-when-will-it-be-fixed/148339/87?page=5

Transcript

1. Open AI APIを 使う前に知っておきたい アカウントTier の話 M&Aクラウド x ROXX 合同 LLMの事業活用勉強会 / 秋葉 誠一/@akki_megane
2. 自己紹介 - 株式会社ROXX / back check 事業部 / PdM - 好きな言語はPHP - 最近、”将軍”と”Fallout”(ドラマ)があつい 秋葉 誠一
3. こういう話をします。 OpenAI APIを使ってシステムを運用する前に、事前に知ってお いたほうがいい、OpenAI API のOrganization(アカウント)、 Tierについてお話します。 認識していないと、サービス設計や運用時に困る場合があるので 知っておくと役立つときが来る。と思います。
4. 前提 本資料の話は、OpenAI API の場合についての話であり、 Azure OpenAI Service については今回の内容は当てはまらな いのでご注意ください。
5. Tier とは？
6. Tier とは？ by GPT 「Tier」という言葉は英語で「層」や「段階」という意味です。ビジネス、技術、ゲームなどさまざまな分 野で使われ、特定の階層やレベルを示すのに使用されます。具体的な使い方としては次のようなも のがあります： 1.ビジネス - 企業の組織構造やサービスのレベル分けなど、階層的な構造を説明するのに使われ ることがあります。例えば、「Tier 1」は通常、最高レベルまたは最優先のグループを指します。 2. テクノロジー - IT分野では、データセンターの信頼性やサービスの品質を示す指標として使用さ れます。例えば、「Tier 4」データセンターは非常に高い信頼性と冗長性を持っているとされていま す。 3. ゲーム - キャラクターやアイテムの強さや有用性をランク付けするのに使われます。例えば、「 S Tier」は通常、ゲーム内で最も強力または最も望ましいキャラクターやアイテムを指します。
7. OpenAI APIにおけるTier OpenAI のアカウント(Organization)にも、Tierが存在する OpenAI DevDay 2023(2023/11/06) で発表された
8. OpenAI APIにおけるTier Tierのランクは1〜5まであり、上がるごとに”Rate Limit”が変動す る - RPM (1 分あたりのリクエスト数) - RPD (1 日あたりのリクエスト数) - TPM (1 分あたりのトークン数) - TPD (1 日あたりのトークン数) - IPM (1 分あたりのイメージ)
9. OpenAI APIにおけるTier 例えば gpt-4の場合 Tier RPM TPM Tier1 500 10,000 Tier2 5,000 40,000 Tier3 5,000 80,000 Tier4 10,000 300,000 Tier5 10,000 300,000 出典: https://platform.openai.com/docs/guides/rate-limits
10. GPT4の場合、Tier1 と Tier5 では1分あたりでリクエストできる Tokenの数(TPM)が30倍の差がある TPMはリクエストのトークン + レスポンスで生成される文字のトー クンも含まれる 1回の処理で実施できる最大トークンの制限 連続した処理や多くのリクエストをすることに対する制限 Tierが低い場合に発生する問題
11. 前述した、RPMや、TPMはOpenAIのOrganization(アカウント) 共通、リクエストが多いとリミットに到達する可能性が高い Limit は Organization で共通 プロダクトA プロダクトB 429 Too Many Requests
12. 場合によっては、本番環境と開発環境を分離したOrganizationを考える必要もある 開発環境も考えよう Staging accounts As you scale, you may want to create separate organizations for your staging and production environments. Please note that you can sign up using two separate email addresses like bob+prod@widgetcorp.com and bob+dev@widgetcorp.com to create two organizations. This will allow you to isolate your development and testing work so you don't accidentally disrupt your live application. You can also limit access to your production organization this way. 規模が大きくなるにつれて、ステージング環境と本番環境用に別々の組織を作成したくなるかもしれません。 bob+prod@widgetcorp.comとbob+dev@widgetcorp.comのように2つのメールアドレスを使用してサインアップし、2つのオーガニゼー ションを作成することができます。これにより、開発作業とテスト作業を分離することができ、誤って本番アプリケーションを中断することが なくなります。また、この方法で本番環境へのアクセスを制限することもできます。 出典: https://platform.openai.com/docs/guides/production-best-practices
13. Tierを上げるにはお金 Tier を上げるには、課金 (APIの利用) Pay To Win Tier 条件 無料 - Tier1 5ドルの支払い Tier2 50 ドルが支払われ、最初の支払いが成功してから 7 日以上経過 Tier3 100 ドルが支払われ、最初の支払いが成功してから 7 日以上経過 Tier4 250 ドルが支払われ、最初の支払いが成功してから 14 日以上経過 Tier5 1,000 ドルが支払われ、最初の支払いが成功してから 30 日以上経過
14. Tierを上げるにはお金 Tier を上げるには、時間も金もかかる Tier5まで上げるには最低30日と1000$かかかる 「Organizationを分けよう」と思ってもすぐ同じ環境は用意できな い。
15. 最近(2024/04/17) に”Project” という概念が追加された Organizationないで”Project”が設定でき、”Project”ごとにロール の設定やAPIKeyの管理ができる これ自体は便利だが、、、 余談: 最近追加された”Project”という概念 出典: https://help.openai.com/en/articles/9186755-managing-your-work-in-the-api-platform-with-projects RPMや、TPMのLimitはOrganizationごとで共 通であることには変わりないので注意
16. 以前、”Rate Limits” のページには、上記のように説明が記載さ れていたが、いつの間にか削除された。 たしかに出始め2023/11,12月頃にTier1のAPIを実行すると、 Tier5に比べて体感だが倍近い時間がかかっていた。 現状はTier1でもTier5でも速度の変化はない認識だが.... 知ってる人がいれば教えてください 余談: Tierが上がるとAPIの速度が上がる？ 参考: https://community.openai.com/t/openai-why-are-the-api-calls-so-slow-when-will-it-be-fixed/148339/87?page=5 As your usage tier increases, we may also move your account onto lower latency models behind the scenes お客様のご利用ティアが上がるにつれ、裏側でお客様のアカウントをより低遅延のモデルに移行することもあります。
17. まとめ
18. まとめ - Tier によって変化Rate Limitが変化する - Organizationごとに、Rate Limitは共通 - プロダクトによってはOrganizationを分ける戦略も必要 - Tierを上げるには時間もお金も必要なので注意
19. ご清聴ありがとうございました！