LLM アプリケーションのためのクラウドセキュリティ - CSPM の実装ポイント-

OWASP Top 10 for LLM Applications 2025で挙げられているリスク（プロンプトインジェクションや機密情報漏洩など）に対し、AWSのAmazon Bedrock Guardrail等を活用した具体的なセキュリティ対策（CSPM：Cloud Security Posture Management）の紹介です。

Transcript

1. LLM アプリケーションのためのクラウドセキュリティ - CSPM の実装ポイント - 2025.05.07 Cloud Security Night #2 KINTOテクノロジーズ Tomoaki TADA
2. Tomoaki TADA / 多田 友昭 KINTO テクノロジーズ IT/IS部 Security CoE GM • 2022 年 7 月 KINTOテクノロジーズ Join CCoE チーム • 2024 年 4 月 Security CoE グループ 立上げ Career • メーカSE＠東京：情報収集衛星 画像処理系システム開発 • セキュリティベンチャー＠大阪：MSP、SIEM開発 • SIer@大阪：認証基盤開発、クラウド、CCoE、AIOps Community • CCoE 実践者コミュニティ関西 オーガナイザ
3. Agenda 1. KINTO テクノロジーズ (KTC) の概要 2. LLM アプリケーションのためのクラウドセキュリティ
4. 01. KINTOテクノロジーズ (KTC) の概要
5. KINTOテクノロジーズ(KTC) について 設立 2021年4月
6. KTC が手掛けたプロダクト
7. KTC 部門 セキュリティ関連部署が 集約 • 全社員がキャリア入社 で、求められるのは、「自走」するチカラ • エンジニアは一定以上のスキル持ちが入社している
8. Security CoE グループ セキュリティ・プライバシーG Security CoE G コーポレートITG IT/IS部 セキュリティ業務に関わる部署間の連携 ▍ 概要 • クラウドセキュリティの専門部隊として、組織全体のクラウドセキュリティを統制・推進 • AWS、Google Cloud、Azure などのクラウドプラットフォームを中心に対応 • 他のセキュリティ関連組織 (セキュリティ＆プライバシーG、コーポレートITG) と共に活動 ▍ ミッション • セキュリティリスクを発生させない • セキュリティリスクを常に監視・分析する • セキュリティリスクが発生したときに速やかに対応する
9. クラウドセキュリティ取組み Cloud Security Night #1 「マルチクラウド環境における クラウドセキュリティの工夫と実践」
10. 2. LLM アプリケーション のためのクラウドセキュリティ LLM アプリケーション アプリ LLM ユーザ
11. 2. Cloud Security for LLM Application 背景 LLM アプリケーションの開発が盛んに行われている ( AWS、Azure、Google Cloud ) Cloud Security の専門組織としては、 セキュリティ大丈夫？ 発見的ガードレール ( CSPM ) による モニタリングと改善 CSPM のセキュリティルールの CIS や AWS FSBP に AI サービスのコントロールがない？
12. どうする？
13. 2. Cloud Security for LLM Application どうする？方向性 LLM Application のセキュリティを考える上で、 「OWASP Top 10 for LLM Applications 2025」を参考にする https://genai.owasp.org/resource/owasp-top-10-for-llm-applications-2025/ • OWASP により、大規模言語モデル ( LLM ) 及び Generative AI アプリケーションの導入と管理時に起こり 得るセキュリティリスクについて啓発する目的でリリース されているドキュメント • 本ドキュメントでは、LLM アプリケーションでよく見ら れる最も重大な脆弱性 Top 10 がリストされている • ドキュメントには、「Description」、「脆弱性の例」、 「防御や軽減策」、「攻撃シナリオ」等が記載 ※OWASP ( Open Worldwide Application Security Project ) Webアプリ ケーションを取り巻く課題の解決を目指すオープンなコミュニティ
14. 2. Cloud Security for LLM Application OWASP Top 10 for LLM Application 2025 Top10 タイトル リスク概要 01 Prompt Injection 悪意ある入力（プロンプト）によって LLM の振る舞いが意図せず操作され、情報 漏洩や不正な動作を引き起こすリスク 02 Sensitive Information Disclosure （機密情報の漏洩） モデルの応答や挙動から、個人情報や機密データなどのセンシティブな情報が漏洩 するリスク 03 Supply Chain （サプライチェーンリスク） モデルや関連ライブラリ、データセットなどのサプライチェーンにおける脆弱性・ 改ざんによるリスク 04 Data and Model Poisoning （データとモデルの汚染） 学習データやファインチューニング時に不正データを混入され、モデルの出力や挙 動が攻撃者の意図通りに歪められるリスク 05 Improper Output Handling （出力処理の不備） LLM の生成する出力を適切に検証・制御しないことで、システムやユーザーに悪 影響を与えるリスク
15. 2. Cloud Security for LLM Application OWASP Top 10 for LLM Application 2025 Top10 タイトル リスク概要 06 Excessive Agency （過剰なエージェンシー） LLM やそのエージェントに過剰な自律性や権限を与えることで、意図しない行動 や操作が発生するリスク 07 System Prompt Leakage （システムプロンプト漏洩） システムプロンプトや内部指示が外部に漏洩し、攻撃者に悪用されるリスク 08 Vector and Embedding Weaknesses （ベクトルと埋込みの弱点） ベクトル検索や埋め込み（embedding）機能の設計・運用不備により、情報漏洩や 攻撃が成立するリスク。RAG 等の手法で顕著 09 Misinformation（誤情報） LLM が誤情報やバイアスを含む出力を生成し、ユーザーや社会に悪影響を及ぼす リスク 10 Unbounded Consumption （無制限の消費） LLM のリソース消費が制御されず、DoS やコスト増大、サービス停止などを招く リスク、リクエストや計算資源の無制限利用が原因
16. OWASP Top 10 を参考に、各クラウドの AI サービスで有効にすべき機能・設定を CSPM のコントロールとして定義する
17. AWS で考えてみる AWS の AI サービスといえば、 Amazon Bedrock Amazon Bedrock
18. 2. Cloud Security for LLM Application LLM01: Prompt Injection 概要 予防・緩和策 代表的な攻撃シナリオ 悪意ある入力（プロンプト）によって LLM の 振る舞いが意図せず操作され、情報漏洩や不 正な動作を引き起こすリスク モデル動作の制約、入力・出力の検証、フィ ルタリング、権限制御、人間の承認導入など 悪意あるプロンプトで機密情報を引き出す、 フィルタを回避して不正指示を実行させる Amazon Bedrock Guardrail の content filters「Prompt attacks」を利用する Amazon Bedrock Guardrail の Prompt attacks 「Configure prompt attacks filter」を 有効化し、Block アクション かつ 閾値が HIGH に設定されていることを確認する CSPM アプリ Amazon Bedrock Prompt attacks プロンプト攻撃とプロンプトインジェクションを検出し てフィルタリングする。モデレーションをバイパスした り指示を上書きしたり、有害なコンテンツを生成するこ とを目的としたプロンプトを検出する（ジェイルブレイ ク、プロンプトインジェクション） 設定 Action：Block or Detect Threshold：None/Low/Medium/High Guardrail content filtersの有効化
19. 2. Cloud Security for LLM Application LLM02: Sensitive Information Disclosure（機密情報の漏洩） 概要 予防・緩和策 代表的な攻撃シナリオ モデルの応答や挙動から、個人情報や機密 データなどのセンシティブな情報が漏洩する リスク 出力の検証・フィルタ、学習データの管理、 アクセス制御 LLMが訓練データや機密情報を意図せず開示 する Amazon Bedrock Guardrail「sensitive information filters」が Output で 有効化され ていることを確認する（PII or Regex patterns は問わない） Sensitive information filters 個人を特定できる情報やユーザ入力やレスポンスのカス タム正規表現エンティティなどの機密コンテンツを検出 するのに役立つ。ユースケースに基づいて、機密情報を 含む入力を拒否したり、レスポンスで編集できる。 CSPM Amazon Bedrock Guardrail の「sensitive information filters」を利用する 設定 Input, Output Action：Block or Mask or Detect PII type Regex patterns アプリ Amazon Bedrock Guardrail sensitive information filtersの有効化
20. 2. Cloud Security for LLM Application LLM06: Excessive Agency（過剰なエージェンシー） 概要 予防・緩和策 代表的な攻撃シナリオ LLM やそのエージェントに過剰な自律性や権 限を与えることで、意図しない行動や操作が 発生するリスク 最小権限の徹底、人間の承認、権限監査 LLMに過剰な自律性を与え、不正な操作や意 図しない行動を実行される 機能 アプリケーション内で自立型エージェントを 構築して設定する機能を提供。エージェント を使用すると、顧客のタスクや顧客からの質 問への回答を自動化することができる CSPM Amazon Bedrock Builder tools の「Agent」を利用する Amazon Bedrock Builder tools の Agents を利用する場合は、 「Guardrail details」が関連付けられていることを確認する Amazon Bedrock Guardrail Builder tools Agents Guardrail detailsの関連付け
21. 2. Cloud Security for LLM Application LLM09: Misinformation（誤情報） 概要 予防・緩和策 代表的な攻撃シナリオ LLM が誤情報やバイアスを含む出力を生成し、 ユーザーや社会に悪影響を及ぼすリスク 多様かつ信頼性のあるデータで学習、ファク トチェック、出典表示 LLMが誤情報やバイアスを拡散し、信頼性を 損なう Amazon Bedrock Guardrail の 「contextual grounding check」が有効化されている ことを確認する（Grounding or Relevance は問わない） 設定 Action : Block or Detect Score threshold Grounding and Relevance Contextual grounding check ソース情報に基づいていないか、ユーザのクエリとは無 関係である場合、モデルレスポンスのハルシネーション を検出してフィルタリングする CSPM Amazon Bedrock Guardrail の「contextual grounding check」を利用する アプリ Amazon Bedrock Guardrail contextual grounding checkの有効化
22. 2. Cloud Security for LLM Application LLM10: Unbounded Consumption（無制限の消費） 概要 予防・緩和策 代表的な攻撃シナリオ LLM のリソース消費が制御されず、DoS やコ スト増大、サービス停止などを招くリスク、 リクエストや計算資源の無制限利用が原因 リソース制限、クォータ設定、 利用状況の監視 無制限なリクエストやリソース消費により、 システム障害やコスト増大が発生 Amazon Bedrock の「Model invocation logging」が有効になっていることを 確認する Model invocation logging リージョン内のアカウントで実行された全 呼び出しの完全なリクエストデータ、レス ポンスデータ、メタデータを収集 CSPM Amazon Bedrock 「Model invocation logging」を利用する Amazon Bedrock Model invocation loggingの有効化 Cloudwatch Logs S3
23. CSPM としてチェックすべき内容はできた で、 どうするか？
24. 今後、 Rego で CSPM ツールに実装予定・・・ Rego：OPA (Open Policy Agent) で利用される宣言型のポリシー言語。データ検証などのルールを柔軟に記述することができる
25. 2. Cloud Security for LLM Application まとめ • AI サービスの CSPM のコントロールを「OWASP Top 10 for LLM Application 2025」を参考に作成しました • Amazon Bedrock について言及しましたが、Azure、Google Cloud についても同様に作成できると思います • 今後は、コントロールを Rego で実装し、CSPM の運用に適用する予 定です • 続きは、懇親会で！！
26. We‘re hiring ! Security CoE グループでは、一緒に働く仲間を募集しています！ 【クラウドセキュリティエンジニア（リーダー候補）】 SCoE G／東京・大阪 【クラウドセキュリティエンジニア】 SCoE G／東京・大阪