Upgrade to Pro — share decks privately, control downloads, hide ads and more …

New Security Challenges and Countermeasures Bro...

takakuni
November 29, 2024
200

New Security Challenges and Countermeasures Brought by Generative AI in Classmethod Cloud Security Fes

takakuni

November 29, 2024
Tweet

Transcript

  1. 5 OWASP Top 10 for LLM Applications • LLM01:2025 Prompt

    Injection(前回01位) • LLM02:2025 Sensitive Information Disclosure(前回06位) • LLM03:2025 Supply Chain(前回05位) • LLM04:2025 Data and Model Poisoning(前回03位) • LLM05:2025 Improper Output Handling(前回02位) • LLM06:2025 Excessive Agency (前回08位) • LLM07:2025 System Prompt Leakage(新登場) • LLM08:2025 Vector and Embedding Weaknesses(新登場) • LLM09:2025 Misinformation(前回09位) • LLM10:2025 Unbounded Consumption(前回04位)
  2. 6 LLM01:2025 Prompt Injection 概要 • 不正なプロンプトを⼊⼒し、 LLM に対して意図しない動 作や出⼒を引き起こす攻撃⼿法

    • プロンプトを直接書き換える直接的プロンプトインジェ クションと、外部データソースなどを経由して書き換え る間接的プロンプトインジェクションが存在する
  3. 7 LLM01:2025 Prompt Injection 対策例 • モデルの動作を制約する ◦ プロンプトエンジニアリング •

    特権制御と最⼩権限アクセスの強制 ◦ Amazon Bedrock Prompt Management の利⽤ ◦ データソースへのアクセス権限の⾒直し(IAM) • ⼊⼒と出⼒のフィルタリングを実装する ◦ Amazon Bedrock Guardrails の利⽤(英語のみ)
  4. 8 Amazon Bedrock Prompt Management • Amazon Bedrock の機能の1つ •

    モデル、モデルパラメータ、プロンプトを1つのセットで 管理 • Model ID に Prompt Management の ARN を指定
  5. 11 Amazon Bedrock Guardrails の利⽤(英語のみ) • ⼊⼒値 ◦ プロンプト攻撃フィルターを利⽤する ▪

    ジェイルブレーク、プロンプトインジェクション • 出⼒値 ◦ コンテキストグラウンディングチェック ▪ 関連性チェック
  6. • データのマスキング処理や検証 ◦ 独⾃のマスキング処理の実装 ▪ Object Lambda, Glue, 3rd Party

    製品の利⽤ ◦ Amazon Bedrock Guardrails の利⽤ • データへのアクセス権限の管理 ◦ アクセス権限の⾒直し(IAM) 14 LLM02:2025 Sensitive Information Disclosure 対策例
  7. 16 • 機密情報フィルタで以下のパターンをマスキング ◦ PII タイプ ▪ クレジットカード番号など事前に準備されたタイプ ◦ 正規表現パターン

    ▪ ⽇本の郵便番号などカスタムで設定したい時に利⽤ 独⾃のマスキング処理の実装(Amazon Bedrock Guardrails)
  8. • パッケージの脆弱性管理 ◦ SBOM の利⽤(Amazon Inspector) ◦ SAST, SCA の利⽤(Amazon

    Inspector, CodeGuru Security) • 出所が不明なモデルの利⽤を控える • 定期的に利⽤しているモデル/パッケージの棚卸し 19 LLM03:2025 Supply Chain 対策例
  9. • SBOM の⽣成 ◦ ソフトウェア部品表 ◦ サプライチェーンの可視化 • SCA ◦

    ソフトウェア構成解析 • OS や Dockerfile の設定不備も検出 20 Amazon Inspector
  10. • SAST ◦ コードの脆弱性を静的解析 ◦ Python, TypeScript, IaC etc… •

    SAST, SCA は Snyk も検討候補 21 CodeGuru Security(Preview)
  11. • データへのアクセス権限の管理 ◦ アクセス権限の⾒直し(IAM) • データソースへのアクセスログの取得 • マルウェア検出(Amazon GuardDuty) •

    不審なアクティビティの脅威検出(Amazon GuardDuty) • 出⼒内容のフィルタリング ◦ Amazon Bedrock Guardrails(英語のみ) 23 LLM04:2025 Data and Model Poisoning 対策例
  12. • 不審なアクティビティの脅威検出 ◦ CloudTrail の S3 データイベントがデータソース • マルウェアの検出 ◦

    S3 にアップロードされたファイルのマルウェア検出 ◦ 検出結果によって隔離等も可能 ◦ 1 ファイルあたり最⼤ 5GB までスキャン可能 ▪ Vision One File Storage Security も候補 25 Amazon GuardDuty
  13. • 権限管理の最⼩化/定期的な棚卸し ◦ AWS IAM やアプリケーションの認可 • レート制限による被害減少(抜本的な解決ではない) ◦ レート制限を設けた

    API キーの発⾏等 • ユーザー承認の要求 ◦ 影響範囲に応じてユーザー応答/承認を設ける 30 LLM06:2025 Excessive Agency 対策例
  14. 34 LLM08:2025 Vector and Embedding Weaknesses 対策例 • データへのアクセス権限の管理 ◦

    アクセス権限の⾒直し(IAM) • データソースへのアクセスログの取得 • 不審なアクティビティの脅威検出(Amazon GuardDuty) • 出⼒内容のフィルタリング ◦ Amazon Bedrock Guardrails(英語のみ)
  15. 36 LLM09:2025 Misinformation 対策例 • 精度向上 ◦ 検索拡張⽣成(RAG) ◦ モデルの微調整

    ◦ 継続的な LLM アプリケーションの性能評価 • セキュアコーディングの実施 • LLM に関する社内教育の実施
  16. 38 LLM10:2025 Unbounded Consumption 対策例 • ⼊⼒値にサイズ制限や検証ロジックを設ける ◦ AWS WAF

    の利⽤ • レート制限を設け特定のクライアントからのアクセスを 緩和 ◦ API キーを発⾏しレート制限を設ける ◦ AWS WAF のレートリミット導⼊ • 包括的なログ記録による異常検出 ◦ CloudWatch Logs Anomaly Detection の導⼊
  17. • LLM Applications に限らない話も多い ◦ データソースへのアクセス権限 ◦ データのマスキング処理 ◦ SAST,

    SCA を⽤いた脆弱性管理 ◦ 脅威アクティビティの検出 ◦ レート制限 ◦ ⼊⼒値の検証 • 上記が対策できてから... ◦ Amazon Bedrock Guardrails の利⽤検討 40 まとめ
  18. • ⽣成 AI コンサルティング ◦ LLM Applications を利⽤した業務改善 • AWS

    総合⽀援 ◦ SaaS on AWS 開発‧導⼊コンサルティング ◦ セキュリティ対策⽀援 ◦ AWS 導⼊コンサルティング 41 コンサルティング⽀援やってます