セキュアなAI活用のためのLiteLLMの可能性

CloudSec JP #003 - connpass
https://cloudsecjp.connpass.com/event/355352/

Transcript

1. セキュアなAI活用のための LiteLLMの可能性 2025.07.15 CloudSec JP #3 @tk3fftk
2. Hiroki Takatsuka (@tk3fftk) 株式会社primeNumber プロダクト開発本部 Head of SRE primeNumber (2022 ~ ) TROCCO®/COMETA® SRE, Engineering Manager Security Team 立ち上げ ~ 兼務メンバー ヤフー株式会社 (2016 ~ 2022) CI/CDプラットフォーム Screwdriver.cd の SRE, Engineering Manager 猫はアルくんです。かわいいですね。
3. AGENDA 1. AIの業務活用の現状と課題 2. LiteLLMと4つの可能性 3. どう使っているの？ 4. まとめ 3
4. AIの業務活用の現状と課題 4
5. セキュリティ担当として もはや生成AIを業務に使ってないところのほうが少ないのではという世の中 生成AIを自分たちで活用しながら 安全に組織で使ってもらう責務も発生する (てか気になっちゃう) (特に規模が小さめの組織だとなおさら) 5
6. 個人ライセンス/アカウントの利用問題 Shadow IT化するAI利用 「何を」 「どのサービス」に送信して いるか追跡不可能 社内情報の送信先、送信有無を組 織として管理できない 業務効率化のためには投げたくなっちゃう インシデント発生時の影響範囲が 特定不可能 データガバナンスの欠如 学習などデータ利用ポリシーが不明 各社で異なるデータ利用ポリシー 規約変更の追跡も困難 設定状況も個人に依存 学習利用のオプトアウトなど (そもそもオプトアウトできる？) 6
7. クラウドベンダーのAI系サービスを使ってもらうのはどう？ Shadow IT/データガバナンスに関してはある程度効きそう サービスとして 「利用時に入力したデータや生成されたデータを、自社の AIモデルの学習に利用しないことを明確に表明」 している Amazon Bedrock Azure OpenAI Service Google Vertex AI 社内のAI利用者も「使っていいもの」 「だめなもの」が定まれば、全員で はないにせよ寄せていってくれるはず でも、まだ課題が... 7
8. 残る課題 コスト管理とモニタリング 誰がどれだけ使ったか追跡困難 善意のEDoSによるパケ死リスク 権限管理の難しさ 全員にAWSのIAMを払い出す? 非エンジニアには扱いづらい 利用可能モデルの制限 全てのユーザーが全てのモデルを 使える必要はない マルチクラウド・サービス対応 各プロバイダで異なるAPI 複数のクラウドやSaaS、ローカル LLMを使い分るのが面倒 8
9. LiteLLM で解決できるかも？ 9
10. LiteLLM と4つの可能性 10
11. LiteLLMとは？ OpenAI互換APIを通じて、100以上のLLMサービスを同じインターフェー スで利用可能にする Python SDKと Proxy Server (LLM Gateway) の2つの利用方法 11
12. 4つの可能性 1. コスト・使用量監視/制限 2. 権限管理 3. 拡張性 4. デファクトスタンダード化 12
13. 1. コスト・使用量監視/制限 すべてのリクエスト・レスポンスをロギング可能 (副次的に各クライアントのシステムプロンプトも読める) Virtual Key(API Key的なもの), ユーザー, チーム単位で以下が制御可能 Cost Budget, TPM, RPMによる使用量制限 コスト追跡（利用トークン数、利用料金） クラウドプロバイダ提供のモデルの tokenあたり料金 の変換表を持っている → 善意のEDoSを防ぎつつ、コスト管理が可能に 13
14. 利用コストのダッシュボードはこんな感じ 14
15. 2. 権限管理 個人に対してクラウドのIAM管理・権限払い出しが不要になる 例えばAWSの場合、LiteLLMの実行Roleにbedrock:InvokeModel を付与 ユーザーはVirtual Keyさえ管理すればOK 万が一の場合もadmin側でKeyの削除が可能 1. の利用制限も組み合わせると被害を限定的にできる 利用可能モデルの制限が可能 「まずはR&Dチームのみに最新のモデルを開放する」などが可能 Virtual Key, ユーザー, チーム単位で制限可能 15
16. 3. 拡張性 (未導入) Observabilityの強化 OpenTelemetry, Langfuse, MLflowなどとの連携が可能 より高度な利用の分析、異常利用パターンの検知など 開発生産性向上とガバナンスの両立を目指した、Cline with Amazon Bedrock と LiteLLM 活用のコツ 16
17. 3. 拡張性 (未導入) その2 Guardrails機能 Amazon Bedrock Guardrails、Microsoft Presidioなどの外部サービスと 連携し、入力・出力の検査やマスキングを自動で実施 プロンプトインジェクション検知、PIIマスキングなど 17
18. 4. デファクトスタンダード化 話題のClaude Codeにセットアップドキュメントが用意されている LLM gateway configuration - Anthropic Learn how to configure Claude Code with LLM gateway solutions, including LiteLLM setup ryoppippi/ccusage のコスト計算もLiteLLMの情報を使用 18
19. あくまで「可能性」 Enterpriseプラン限定機能が多いが、欲しい機能がそこにある Organization機能(Teamの上位概念), SSO/SCIM, Audit Logなど 地味〜なバグが多い印象（修正は割と速い印象ではある） [Bug]: Wrong cost for Anthropic models, cached tokens cost not being correctly considered. コスト高い扱いになる [Bug]: Passthrough Endpoint for Bedrock gives boto auth error 環境変数が暗黙 試すのは簡単だけど、ホスティングするとあまり"Lite"ではない ユーザー/チームをTerraform管理しようとすると個人OrgのProvider依存 Claude Maxってやつが出てきたんですが、当然LiteLLM経由しません 19
20. どう使ってるの？ 20
21. こんな感じでAWSにホスティングしてます、の図 21
22. まとめ 22
23. LiteLLMでAIを「安全」に利用できる(かも) LiteLLM経由でクラウドベンダー提供のAIを使う口を用意することで 野良LLMを使うメリットを減らす (Shadow IT防止/コスト対策) 権限管理が楽になる (ユーザー/管理者双方) 拡張の余地を含められる (Observability, Guardrails) 銀の弾丸ではない Enterpriseでないと使えない機能も多い 本格運用には相応の構築・運用負荷がかかる バグや機能不足もあり、issueのwatchが必要 Claude Max(ry 23
24. We are hiring SREの知見を全社横断で適用し、組織の信頼性を高める Corporate SRE primeNumberのSRE組織は、プロダクトの信頼性向上を主軸に置きつつ、セキュリティ基盤の構築、クラウドの 組織管理、利用SaaSの管理など、幅広い領域を担当しています。 特に、クラウドネイティブ環境におけるセキュリティガバナンスの高度化や、SaaS統合管理の複雑化が顕著にな る中で「Corporate SRE」という新たな専門チームを立ち上げるに至りました。 24
25. 参考リンク LiteLLM LiteLLM - Getting Started | liteLLM 開発生産性向上とガバナンスの両立を目指した、Cline with Amazon Bedrock と LiteLLM 活用のコツ | Amazon Web Services ブログ Guidance for Multi-Provider Generative AI Gateway on AWS 今回構築した構成よりリッチな構成例がAWSからも出てました LLM APIを良い感じに呼べればOKな時に便利なlitellm ログラスさんの記事 25
26. 参考: LLM Gatewayのプロダクト例 llm-proxy（開発止まってそう） Envoy AI Gateway Apache APISIX AI Gateway 26
27. おまけ: LiteLLM x Claude Code の ~/.claude/settings.json ANTHROPIC_SMALL_FAST_MODEL はClaude Codeの内部的に軽い操作等で claude-3-5-haiku-20241022を使おうとして いるようなのですが、LiteLLM側には対応するmodelがないのでエラー扱いになるのでおまじない的に設定 { "env": { "ANTHROPIC_AUTH_TOKEN": "<your-litellm-virtual-key>", "ANTHROPIC_BASE_URL": "https://<litellm-url>", "ANTHROPIC_MODEL": "bedrock-claude-4-0-sonnet", "ANTHROPIC_SMALL_FAST_MODEL": "bedrock-amazon-nova-pro" } } 27