AI飲み会幹事エージェントを作っただけなのに

Security-JAWS DAYS ~10th Anniversary Event~ の登壇資料
https://s-jaws.connpass.com/event/383751/

[セッション概要]
ある日、社内の飲み会の幹事を任された新人エンジニア。
少しでも楽をしようと、Amazon Bedrock AgentCoreで「AI飲み会幹事」を作ってみました。

するとそこには、OWASP Top 10 for Agentic Applications 2026で述べられているAIエージェント特有のセキュリティリスクがいくつも潜んでいました。

- 汚染された記憶から高級フレンチを即時予約
- 席配置を決めるために参照したHRツールから社員の年収情報が漏洩

このような攻撃シナリオをケーススタディで体験します。
AWSにおける具体的な対策方法も検討し、AIエージェント特有のセキュリティの考え方について取っ掛かりとなるようなセッションとしてお話しました。

Transcript

1. 1 © 2026 Japan Digital Design, Inc. Security-JAWS DAYS ~10th Anniversary Event~ AI飲み会幹事エージェントを 作っただけなのに Technology & Development Div. Yuta Kimi 2026.0 5 . 16
2. 2 © 2026 Japan Digital Design, Inc. 本日は画期的なプロダクトをご紹介
3. 3 CONFIDENTIAL © 2026 Japan Digital Design, Inc. Contents Area Photo / Figure / Chart … ◼ 店舗サイトからの情報収集、予約まで 全お任せ ◼ 過去の 事との会話・ノウハウを自 引き継ぎ ◼ HRシステムと接続。席次や傾斜精算までお手のもの 本プロダクトへの出資をご希望の方は木美まで
4. 4 CONFIDENTIAL © 2026 Japan Digital Design, Inc. 本プロダクトへの出資をご希望の方は木美まで Contents Area Photo / Figure / Chart … ◼ 店舗サイトからの情報収集、予約まで 全お任せ ◼ 過去の 事との会話・ノウハウを自 引き継ぎ ◼ HRシステムと接続。席次や傾斜精算までお手のもの ここは Security JAWS 当然、このプロダクトにはセキュリティの問題が山盛り
5. 5 © 2026 Japan Digital Design, Inc. 本日は「AI み会 事エージェント」を題材として AIエージェント特有のセキュリティについて取っ掛かりを探ります ※セキュリティ／AIエージェント初心者なので多様な質問・コメント・まさかりをいただけますと幸いです
6. 6 © 2026 Japan Digital Design, Inc. 木美 雄太（きみ ゆうた） VP of Architecture 長女 MacBook Pro – M5 Pro/Max ※Windowsも選択可 業務端末 GitHub Copilot、Claude Code、Codex などなど 開発環境 リモートワーク前提で地方在住もOK 勤務場所 データサイエンス・デザイン・エンジニアリングの力で より良い金融体験を創造するMUFGの戦略子会社
7. 7 CONFIDENTIAL © 2026 Japan Digital Design, Inc. 本日のお話 事件編 Nominatorがやらかしたこと 指針編 リスクと対策の考え方 分析編 Nominatorに潜むリスク 解決編 リスクに対する対策 01 02 03 04
8. 8 CONFIDENTIAL © 2026 Japan Digital Design, Inc. 01 事件編
9. 9 © 2026 Japan Digital Design, Inc. AI飲み会幹事エージェントが何をやらかしたか紹介 （時間の都合上、2ケースのみ紹介） ※デモ用のネタなので細かいところは気にしないでください
10. 10 © 2026 Japan Digital Design, Inc. CASE 1 エージェントの記憶に仕込まれた誤情報に誘導され 高級フレンチを即時予約
11. 11 CONFIDENTIAL © 2026 Japan Digital Design, Inc. 実は… 以前のセッションで 高級フレンチ好きの先輩が 偽情報をエージェントの 記憶に刷り込み
12. 12 © 2026 Japan Digital Design, Inc. つまり、田中部長の年収は私の約1.5倍...！？ CASE 2 HRシステム（席次や傾斜精算のために接続した正規のツール）から 年収情報が漏えい さらにこれをエージェントがよかれと思って Slackで全員に展開してしまい皆が知るところに
13. 13 CONFIDENTIAL © 2026 Japan Digital Design, Inc. 02 指針編
14. 14 © 2026 Japan Digital Design, Inc. Nominatorは作り話ですが、これは私が実業務で直面した課題 私の実務では、金融機関として多様なステークホルダーが納得感・安心感を持てる考え方が必要 このようなAIエージェントのセキュリティの問題は どのように分析・対策すれば良い...？
15. 15 © 2026 Japan Digital Design, Inc. ベースライン（よくある落とし穴の対策）は自分で考えるよりも先人たちの経験に頼る エージェントの“身体全体”に起因するリスク （行動、記憶、外部作用などシステム全体） OWASP Top 10 For Agentic Applications 2026 エージェントの“頭脳”に起因するリスク （LLMに対する入出力・推論に焦点） OWASP Top 10 For LLM Applications 2025 LLM/AIエージェントに依らない 従来同等のITシステム一般のリスク 従来同等の観点・方法で分析 リスクの洗い出し https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/ https://genai.owasp.org/resource/owasp-top-10-for-llm-applications-2025/
16. 16 © 2026 Japan Digital Design, Inc. OWASP Top 10 を落とし穴の地図として自分たちのワークロードで対処すべきリスクを特定 エージェントの“身体全体”に起因するリスク （行動、記憶、外部作用などシステム全体） OWASP Top 10 For Agentic Applications 2026 エージェントの“頭脳”に起因するリスク （LLMに対する入出力・推論に焦点） OWASP Top 10 For LLM Applications 2025 LLM/AIエージェントに依らない 従来同等のITシステム一般のリスク 従来同等の観点・方法で分析 自分たちの ワークロードで 対処すべきリスク リスクの洗い出し
17. 17 © 2026 Japan Digital Design, Inc. 特定したリスクに対する具体的な対策も先人たちの経験を参考に考える AWSにおけるAIエージェント特有のリスク対策 （AWSにおける実践的なセキュリティ推奨事項） Security for Agentic AI on AWS - AWS Prescriptive Guidance 環境に依らないAIエージェント特有のリスク対策 （具体的な攻撃手法と対策方法の詳細） Agentic AI – Threat and Mitigation - OWASP Whitepapers/Guides LLM/AIエージェントに依らない 従来同等のITシステム一般のリスク対策 従来同等の観点・方法で対策 対策の検討 https://docs.aws.amazon.com/prescriptive-guidance/latest/agentic-ai- security/introduction.html https://genai.owasp.org/resource/agentic-ai-threats-and-mitigations/
18. 18 © 2026 Japan Digital Design, Inc. 「従来同等の観点」「エージェントの頭脳」「エージェントの身体全体」の3層で 先人たちの経験を元によくハマりがちな落とし穴はカバー（あくまでベースラインとして） エージェントの“身体全体”に起因するリスク （行動、記憶、外部作用などシステム全体） OWASP Top 10 For Agentic Applications 2026 エージェントの“頭脳”に起因するリスク （LLMに対する入出力・推論に焦点） OWASP Top 10 For LLM Applications 2025 LLM/AIエージェントに依らない 従来同等のITシステム一般のリスク 従来同等の観点・方法で分析 自分たちの ワークロードで 対処すべきリスク AWSにおけるAIエージェント特有のリスク対策 （AWSにおける実践的なセキュリティ推奨事項） Security for Agentic AI on AWS - AWS Prescriptive Guidance 環境に依らないAIエージェント特有のリスク対策 （具体的な攻撃手法と対策方法の詳細） Agentic AI – Threat and Mitigation - OWASP Whitepapers/Guides LLM/AIエージェントに依らない 従来同等のITシステム一般のリスク対策 従来同等の観点・方法で対策 リスクの洗い出し 対策の検討
19. 19 CONFIDENTIAL © 2026 Japan Digital Design, Inc. 03 分析編
20. 20 © 2026 Japan Digital Design, Inc. 「指針編」の方針で事前にリスク分析をしていれば 少なくとも「事件編」の2ケースには気づけたはず
21. 21 CONFIDENTIAL © 2026 Japan Digital Design, Inc. CASE 1 エージェントの記憶に仕込まれた誤情報に誘導され 高級フレンチを即時予約 ASI06: Memory & Context Poisoning（メモリ・コンテキスト汚染） 今回の場合... 繰り返し・段階的に不正な記憶を強化することで長期記憶を汚染、セッションをまたいで悪意のあるデータを伝播。 将来の推論や意思決定を不正にゆがめた ASI09: Human-Agent Trust Exploitation（人間とエージェントの信頼の悪用） 今回の場合... エージェントのもっともらしい説明に依存、擬人的・共感的なエージェントとして感情的な信頼 （部長に怒られないように）を悪用、検証なしに行動を承認させることで不正な結果に誘導された OWASP Top 10 for Agentic Applications 2026 にもとづくリスク分類
22. 22 CONFIDENTIAL © 2026 Japan Digital Design, Inc. ASI02: Tool Misuse and Exploitation（ツールの誤用および悪用） 今回の場合... エージェントは認可された権限内で動作しているが、意図しない行動から正当なツールを誤用。重要情報が漏えい。 さらに、これも正当なツールとしてSlackを操作するツールと連鎖利用してしまい漏えい先が拡大。 OWASP Top 10 for Agentic Applications 2026 にもとづくリスク分類 CASE 2 HRシステム（席次や傾斜精算のために接続した正規のツール）から 年収情報が漏えい
23. 23 CONFIDENTIAL © 2026 Japan Digital Design, Inc. 04 対策編
24. 24 CONFIDENTIAL © 2026 Japan Digital Design, Inc. 対策前の問題だらけの AIエージェントの全体構成 Bedrock AgentCore Runtime Strands Agents Memory 短期記憶 (セッション内の会話) 長期記憶 (セッション間で共有) HRシステム グルメサイト 予定表 Slack Bedrock Claude Sonnet 4.6 ※外部システム相当の 固定データを返すスタブ デモ用に フロントアプリは ローカルで稼働 invoke tools model 会話を保存 ノウハウを自動抽出 Read ◼ エージェントは Bedrock AgentCore Runtimeで稼働 ◼ 会話はAgentCore Memoryの 短期記憶に保存、長期記憶に抽出 ◼ 複数の外部サービスをツールとして 自律的に呼び出し
25. 25 © 2026 Japan Digital Design, Inc. AIエージェント特有のセキュリティにおける最強かつ最大の対策を AWS公式のガイダンスから引用
26. 26 © 2026 Japan Digital Design, Inc. Use deterministic execution logic unless AI is needed ー『Security for agentic AI on AWS』 の “Best practices” の1.1 （意訳）それAIでやらなあかんの？ AIエージェント特有のセキュリティ対策を考えるスタート地点はこれ
27. 27 CONFIDENTIAL © 2026 Japan Digital Design, Inc. 決定論的な実行 アレルギーや苦手な食べ物の情報収集は 従来的な固定フォームの方が良いのでは？ 脅威モデリングやリスク管理、テストが比較的簡素 決定論的な実行では実現できない価値 フォームに現れない 事とエージェントの会話中にある 暗黙知の引継は単なるチャットボットを超える価値？ 確率的な挙 に依るため比較的取り扱いが難しい 決定論的な実行では実現できない価値をシャープに絞り込むことが セキュリティ向上につながる（ユーザの満足度向上にもつながるはず） AIエージェントを作るなと言っているわけではなく…
28. 28 CONFIDENTIAL © 2026 Japan Digital Design, Inc. とはいえ今日はJAWS 確率的な部分に AWS機能でできる対策を いくつか紹介 ※十分な検証の時間が取れず 有識者のフィードバックに期待 利用ルール・規約・契約 例: 利用ルールや免責事項を明示 UX/UI 例: 誤情報の可能性や最終判断は利用者で再確認のうえで行う点をUI上に明示 アプリケーションロジック・Human in the Loop 例: アプリケーションコードで決定論的な制御、人間の関与 エージェントコード 例: システムプロンプトで確率的な制御 レッドチーミング 例: promptfoo等を利用し攻撃者の視点でプロンプトを生成し検証 インフラ実装 例: Bedrock AgentCoreの機能で制御 運用（Observability、LLM as a Judge、評価・監査など） 例: インシデント検知時の対処プロセス 複数の観点を組み合わせて 総合的にリスクを管理・低減することが基本指針 など 今日はインフラ層（AWS）に着目
29. 29 CONFIDENTIAL © 2026 Japan Digital Design, Inc. ASI06: Memory & Context Poisoning（メモリ汚染） の対策の一例 Bedrock AgentCore Memory の名前空間／メタデータという 構造的な属性情報で記憶の信頼度を分類 Memory Bedrock AgentCore 名前空間: unverified レコード #1 レコード #2 名前空間: verified レコード #3 決定論的な アプリロジック Slack 本人確認 承認/却下 予約判断にはverifiedだけを使用 会話を保存 加えて、信頼度の高い記憶に もとづく内容であってもLLM 入出力時に Bedrock Guardrails で検査することは前提
30. 30 CONFIDENTIAL © 2026 Japan Digital Design, Inc. ASI02: Tool Misuse and Exploitation（ツールの誤用） の対策の一例 ツールはBedrock AgentCore Gateway経由で使用。 Policyを適用することで利用可能なツールをコントロール Gateway Bedrock AgentCore Policy 役職取得ツールだけ を利用許可 ツール呼び出し HRシステム 役職取得ツール 年収取得ツール 外部ツール側の認可や LLMのプロンプトだけに依存しない Gateway/Policyによる決定論的な制御
31. 31 © 2026 Japan Digital Design, Inc. Bedrock AgentCoreは確率的な挙動に依拠するAIエージェントに対して インフラレイヤーから決定論的な制御・監査ができる機能を拡充 AgentCoreの流れにうまく乗っかっていくと良さそう
32. 32 CONFIDENTIAL © 2026 Japan Digital Design, Inc. 05 まとめ
33. 33 CONFIDENTIAL © 2026 Japan Digital Design, Inc. まとめ 事件編 無邪気に作ると色々と事件が起きる 指針編 OWASPをベースに3階層で考える 分析編 指針編にもとづいて確認していれば事件編には事前に気づけた 解決編 Bedrock AgentCoreのマネージド機能で決定論的な対策を組み入れられる 01 02 03 04 昨今、動くAIエージェントを作ることはとても簡単。 エージェントを「作れること」と「安心して任せられること」との間には「セキュリティ」がある
34. Thank you . 34 © 2026 Japan Digital Design, Inc. Disclaimer: The information provided in this presentation is for informational purposes only and does not constitute legal, fi na ncial, or professional advice. Every effort has been made to ensure the accuracy of the information, but the presenter and the company accept no responsibil ity for any errors or omissions. The views expressed are those of the presenter and do not necessarily reflect the views of the company. Confidentiality Notice: This presentation contains confidential information intended only for the designated audience. Unauthorized distribution or reproduction of this content is strictly prohibited. 免責事項: このプレゼンテーションで提供される情報は、情報提供のみを目的としており、法的、財務的、または専門的なアドバイスを構成するものではありません。 情報の正確性を確保するために努めていますが、誤りや脱落について発表者および会社は一切の責任を負いません。 本プレゼンテーションで表明された見解は、発表者の個人的なものであり、会社の見解を必ずしも反映するものではありません。 機密性に関する注意: このプレゼンテーションには機密情報が含まれており、指定された対象者のみを対象としています。無断での配布や複製は固く禁じられています。