【DevelopersIO 2024】AI 半可通なのにエッジ AI 機能を全力で解説してみる 〜Cloudflare の場合〜

2024年7月23日に開催した「Classmethod Odyssey Online Event Day8」での登壇資料です。
https://event.classmethod.jp/odyssey-online?day8

Transcript

1. AI 半可通なのに エッジ AI 機能を全⼒で解説してみる 〜Cloudflare の場合〜 2024.7.23 アライアンス事業部 ⼤栗宗
2. Xへの投稿の際は、 ハッシュタグ #cm_odyssey でお願いいたします。 2 お願い
3. 「半可通」とは？ 3
4. ”いいかげんな知識しかないのに 通⼈ぶること。また、その⼈ や、そのさま。” デジタル⼤辞泉（⼩学館） 4
5. Disclaimer 本セッションはタイトル通り 登壇者は「AI 半可通」です AI についていいかげんな知識しかないので ⽣暖かい⽬で⾒守ってください 5
6. Who am I? ⼤栗 宗（@maroon1st） ⽇系 SIer → クラスメソッド → 某外資 → クラスメソッド (2 回⽬) Cloudflare のプリセールスでクラウド⼆⼑流エンジニア • Cloudflare, Google Cloud, AWS, etc • Google Cloud Partner Top Engineer 2023, 2024 • 2022, 2023 Japan AWS Top Engineers (Database) 6
7. 第四次 AI ブーム 7
9. ブームに乗って クラスメソッドも 9
10. ⽣成AI環境構築サービス 「AI-Starter」で各種クラウドのモデルに対応 10
11. ⽣成 AI 時代は メガクラウドと AI プロバイダーの 併⽤が普通になってきている 11
12. OWASP Top 10 for LLMs LLM01: プロンプト‧インジェク ション LLM02: 安全が確認されていない出 ⼒ハンドリング LLM03: 訓練データの汚染 LLM04: モデルのDoS LLM05: サプライチェーンの脆弱性 12 LLM06: 機微情報の漏えい LLM07: 安全が確認されていないプ ラグイン設計 LLM08: 過剰な代理⾏為 LLM09: 過度の信頼 LLM10: モデルの盗難
13. LLM アプリのリスクの所在箇所 13 https://owasp.org/www-project-top-10-for-large-language-model-applications/llm-top-10-governance-doc/LLM_AI_Security_and_Governance_Checklist-v1_1_JP.pdf
14. アプリケーションの 実装側で考慮すべき リスクが多数！ 14
15. ⽣成 AI アプリケーションの構成 15 Client ⼩規模/中規模 モデル ローカルデータ AI Apps AI Provider AI ベンダー/ メガクラウド メガクラウド /サーバー ホスティング オンプレミス /データ センター Google Cloud Vertex AI Amazon Bedrock Workers AI ⼩規模モデル エッジコン ピューティング Vectorize Workers Edge/ Network Edge/ Network AI Gateway 可観測性 信頼性 スケーラビリティ Firewall for AI セキュリティ
16. Cloudflare の AI プロダクト 攻めの AI 機能 • Workers AI • Vectorize 16 守りの AI 機能 • AI Gateway • Firewall for AI
17. ⽣成 AI アプリケーションの構成 17 Client ⼩規模/中規模 モデル ローカルデータ AI Apps AI Provider AI ベンダー/ メガクラウド メガクラウド /サーバー ホスティング オンプレミス /データ センター Google Cloud Vertex AI Amazon Bedrock Workers AI ⼩規模モデル エッジコン ピューティング Vectorize Workers Edge/ Network Edge/ Network AI Gateway 可観測性 信頼性 スケーラビリティ Firewall for AI セキュリティ
18. Workers AI Workers AI を使⽤して独⾃のコードから Cloudflare ネットワーク上でサーバレスに 機械学習モデルを実⾏できます。 18
19. Workers AI 19 Leveling up Workers AI: general availability and more new capabilities https://blog.cloudflare.com/workers-ai-ga-huggingface-loras-python-support エッジコンピューティングから WebGPU を活⽤ 世界中のデータセンター （150以上の都市※1）で GPUを導⼊済み ※1：2024年4⽉時点
20. Workers AI 様々なオープンモデル（50以上）に対応しており Hugging Face とも連携 20
21. Workers AI Embedded Function calling Workers AI で Function calling をシンプルに 21 https://blog.cloudflare.com/embedded-function-calling/
22. ⽣成 AI アプリケーションの構成 22 Client ⼩規模/中規模 モデル ローカルデータ AI Apps AI Provider AI ベンダー/ メガクラウド メガクラウド /サーバー ホスティング オンプレミス /データ センター Google Cloud Vertex AI Amazon Bedrock Workers AI ⼩規模モデル エッジコン ピューティング Workers Edge/ Network Edge/ Network AI Gateway 可観測性 信頼性 スケーラビリティ Firewall for AI セキュリティ Vectorize
23. Vectorize Cloudflare 上で動作するベクトルデータベース エッジで RAG（検索拡張⽣成）を実装できる 23 Beta https://developers.cloudflare.com/reference-architecture/diagrams/ai/ai-rag/ https://js.langchain.com/v0.1/docs/integrations/vectorstores/cloudflare_vectorize/
24. ⽣成 AI アプリケーションの構成 24 Client ⼩規模/中規模 モデル ローカルデータ AI Apps AI Provider AI ベンダー/ メガクラウド メガクラウド /サーバー ホスティング オンプレミス /データ センター Google Cloud Vertex AI Amazon Bedrock Workers AI ⼩規模モデル エッジコン ピューティング Vectorize Workers Edge/ Network Edge/ Network AI Gateway 可観測性 信頼性 スケーラビリティ Firewall for AI セキュリティ
25. AI Gateway アプリケーションと AI API の間にプロキシとして配置します。 • オブザーバビリティ ◦ 複数の AI プロバイダーの メトリクスを収集‧分析 ◦ リアルタイムにロギング • キャッシングやレート制限 • エンドポイントを統合するユニバーサルエンドポイントを 提供し、エラー発⽣時にフォールバックして耐障害性を向上 25 https://blog.cloudflare.com/ai-gateway-is-generally-available
26. AI Gateway AI プロバイダーのオブザーバビリティを確保 26 https://blog.cloudflare.com/ai-gateway-is-generally-available
27. AI Gateway レスポンスのキャッシュやレート制限 27
28. AI Gateway AI API に対してユニバーサルエンドポイントを提供 して、エラー発⽣時に別の API へフォールバック 28 https://blog.cloudflare.com/ai-gateway-is-generally-available
29. ⽣成 AI アプリケーションの構成 29 Client ⼩規模/中規模 モデル ローカルデータ AI Apps AI Provider AI ベンダー/ メガクラウド メガクラウド /サーバー ホスティング オンプレミス /データ センター Google Cloud Vertex AI Amazon Bedrock Workers AI ⼩規模モデル エッジコン ピューティング Vectorize Workers Edge/ Network Edge/ Network AI Gateway 可観測性 信頼性 スケーラビリティ Firewall for AI セキュリティ
30. Firewall for AI OWASP Top 10 for LLMs に代表されるような 攻撃から AI アプリケーションを守る 30 Developing https://blog.cloudflare.com/firewall-for-ai
31. OWASP Top 10 for LLMs LLM01: プロンプト‧インジェク ション LLM02: 安全が確認されていない出 ⼒ハンドリング LLM03: 訓練データの汚染 LLM04: モデルのDoS LLM05: サプライチェーンの脆弱性 31 LLM06: 機微情報の漏えい LLM07: 安全が確認されていないプ ラグイン設計 LLM08: 過剰な代理⾏為 LLM09: 過度の信頼 LLM10: モデルの盗難
32. Cloudflare の AI ソリューション • Cloudflare は AI を活⽤する様々な場⾯に対応で き、AI をエッジに拡張して簡単に利⽤できる • AI にもオブザーバビリティの考え⽅が必要 • AI だからこそセキュリティ対策が必要 32