The State of AI Agent Security：2025年の総括と2026年の宿題

2025/12/19（金） 12:05〜
年末 Tech Lunch Online Special - Google Cloud を語る！-
登壇資料

Transcript

2. CONFIDENTIAL Who am I 
 • 氏名：廣山　豊 • 所属：アイレット株式会社 クラウドインテグレーション事業部副事業部長 兼 内部統制推進室 室長 • 役割：情報セキュリティ管理責任者 兼 AI管理責任者 兼 品質管理責任 者 • Google Cloud Partner Top Engineer - 2021 ~ <初回から継続中> Google Developer Expert (cloud) - 2022~ AWS Top Engineers - 2019 ~ <初回から継続中> • AWS, Google Cloud, Azure, 情報処理安全確保支援士、 その他多数の認定資格を保有
3. クラウドの設計、構築からシステム開発、デザイン設計 運用保守までトータルサポート アイレットについて
4. レガシーシステムの刷 新 4 企業の生成 AI 導入・活用における包括的な課題をワンストップで解決 gaipack の提供価値 進行例（AI モダナイゼーション） １ 既存システムの資産や 技術的負債を可視化 2 AI による再設計と 移行ロードマップ策定 3 言語変換、テスト、 CI/CD 構築などを実施 4 継続的な改善と コスト削減の効果測定 　 AIモダナーゼーション 運用費削減 AI が既存資産（仕様書・ソースコード）を解析し、最 新技術へ自動変換。保守性・拡張性を向上させつ つコストを削減 　 AI新規開発 開発期間短縮 初期見積もりを従来ベンダーより 30% オフで提供。 コストを抑えつつ高品質なシステム開発を実現 　 AI内製化支援 AI開発の自走化支援 アイレット独自の AI 開発フレームワークを提供。 PoC レベルから実践まで 誰でも簡単に AI を活用した開発を実施可能に 　 AIコンサルティング 投資対効果明確化 AI 導入の全体戦略から業務分析・開発・教育まで包 括的に支援。 AI を経営・業務に自然に溶け込ませ ます 多様な AI ソリューション群 AI 導入を加速させるためのソリューション群を提供します 現状システム分析 移行計画策定 段階的移行実行 運用最適化 AIモダナイゼーショ ン AI新規開発 システム開発スピード の向上 AI内製化支援 開発の自走支援 AIコンサルティング 戦略立案 AIインダストリー 業界特化AIモデルの 提供 AI請求代行 請求書払い対応 AI副業 AI人材確保 AIデスクトップサー ビス セキュアな仮想環境で の生成AI活用 AIリスキリング AI人材育成 AIテストサービス テスト工数削減 AI MCP 構築 課金・サブスク機能の 追加 AI RAG 構築 検索時間削減 AIセキュリティ コンサルティング 安全なAI活用体制の 確立 AI BPO 人に依存しない 業務体制の構築 AI運用保守 運用コスト削減 AI BIツール レポート作成時間 削減 AI 要件定義 属人化解消 レガシーシステ ムの刷新
7. AI Agent = ⾃律的な社員 ⽬的志向 (Goal-Oriented) 「売上分析をして」のような抽象的なゴールを与えれば、 必要な⼿順を⾃分で考えます。 道具の使⽤ (Tool Use) 必要ならWeb検索をし、計算機を使い、APIを叩いて情報を 取得します。 試⾏錯誤 (Feedback Loop) エラーが出たら、⾃分で修正して再トライします。
8. 従来の AI サービスアーキテクチャ 線形パイプライン (Linear Pipeline) 従来のAIシステムは、基本的にステートレスなパイプライン処 理です。 ※ RAG (検索拡張) を加えても、基本的には「検索→回答」の⼀直線の フローである点に変わりはありません。 Input: ユーザーからのクエリ Processing: 事前学習モデルによる推論 Output: 確率的なトークン⽣成 • • •
9. AI Agent のアーキテクチャ ⾃律ループ (The Agentic Loop) Agentは「認識‧思考‧⾏動」のループを持ちます。 このループにより、⼀度の指⽰で複数のタスクを連鎖的に処理 し、エラーリカバリーを⾏うことが可能です。
10. ⼀⽬でわかる⽐較表 ⽐較項⽬ 従来のAIサービス (LLMなど) AI Agent (エージェント) 役割 便利な「道具」 (Tool) 頼れる「パートナー」 (Partner) トリガー ⼈間の指⽰ (Prompt) が必要 ⽬的 (Goal) を与えれば⾃律駆動 プロセス ⼀⽅通⾏ (Input → Output) 循環型 (思考 → ⾏動 → 修正) 能⼒ 知っていることを答える ※推論型はここで深く考える 外部ツールを使って仕事をこなす
18. ISO 22989:2023 参照
19. 1. AI SaaS 利用パターン AI システムごとの責任共有モデル風 ※ 2. オリジナル AI 利用システム構築パターン 3. ファインチューニング AI 利用システム構築パターン 4. モデル構築パターン ※ あくまで「風」。自己責任
20. シャドー AI 運用 自社で使っている AI を認識する。 危険なものを制御する。 https://services.google.com/fh/files/ events/gcnttky25-d1-dev-08.pdf
23. https://docs.cloud.google.com/architecture/choose-agentic-ai-architecture-components Agent アーキテクチャ エージェントシステムは、以下の 5つの主要コンポーネントで構成されます。 1. フロントエンド (Frontend): ユーザーインターフェース（ UI）。 2. エージェントランタイム (Agent runtime): ロジックを実行する計算 環境。 ex) Vertex AI Agent Engine, Cloud Run, GKE 3. モデルランタイム (Model runtime): モデルをホスト・提供するイン フラ。 ex) Vertex AI, Cloud Run, GKE 4. エージェントツール (Agent tools): データ取得やアクション実行の ためのAPIや関数。 5. エージェントメモリ (Agent memory): 情報の保存と呼び出しを行う システム。 ex) Short-term: メモリ, Firestore, Vertex AI Agent Engine sessions Long-term: Memory Bank
24. 従来のソフトウェア 決定論的 Deterministic) 同じ入力に対して常に同じ出力を返す。セ キュリティは「ルールベース」や「パッチ適用」 で保証可能。 保証：悪意のある行動を「絶対に」とらない AIエージェント 確率的 Probabilistic) モデルの温度設定や微細なコンテキストで行 動が変化。従来のパッチは通用しない。 保証：行動がガードレール内に収まるよう「強 制」する セキュリティの変質：決定論的 vs 非決定論的
26. 間接的プロンプト インジェクション メカニズム 攻撃者はエージェントが参照する外部データソース（ Web、メール等）に 悪意ある命令を埋め込みます。 ケーススタディ 「Web記事を要約して」と指示されたエージェントが、記事内の隠しテキ スト（Invisible Text）を読み込み、ユーザーのメールを攻撃者に転送し てしまうシナリオ。 脅威: ユーザーへの直接アクセス不要で攻撃が成立。
27. 権限の不一致 エージェント（代理人）は、タスク遂行のためにユーザー（依頼者）よりも高い権 限を持つことが一般的です。 シナリオ: 一般社員がエージェントを騙し（プロンプト攻撃）、エージェントの高権限を利 用して「全社員の給与リスト」などの機密データにアクセスさせる。 混乱した代理問題 The Confused Deputy)
28. 攻撃の永続化 RAGシステムやベクターストアへの攻撃は、一時的なものではありません。 汚染された記憶: 攻撃者は将来取り込まれる文書（社内 Wiki等）に トリガーを埋め込む。 スリーパーセル: 数ヶ月後にユーザーが関連質問をした際、汚染 データがリトリーブされ攻撃が発動。 インフラ侵害: 組織の知識ベース自体が信頼できなくなるリスク。 メモリポイズニングと永続的脅威
29. 無限ループ エージェントのループ処理の終了条件を満たさせない、または、必要以上に遅らせることで、 DoS や過剰費用の 発生を引き起こす。
31. 入力層 Frontend) 認知層 Agent Runtime) ガードレール: NVIDIA NeMo, Lakera等でジェイルブレイクや PIIを検出 しブロック。 コンテキスト認識: 入力がエージェントの目的に合致しているか判定（人 事AIにコードを書かせない）。 データの分離: 信頼できない外部データ（ Web検索結果）をXMLタグ等 で明確に区切る。 堅牢なシステムプロンプト: 攻撃者から隠蔽し、安全性を最優先する人 格定義。 自己反省 Self-Correction): アクション実行前に「これはユーザーの 意図か？」「ポリシー違反はないか？」を自己評価するループの実装。 入力層と認知層の防御
32. 実行層：サンドボックス化 隔離環境での実行 エージェントによるコード実行は最もリスクが高い操作です。 コンテナ化: 生成されたコードは、 DockerやマイクロVMなど のエフェメラル（一時的）な環境で実行し、完了後に破棄する。 WASMサンドボックス: WebAssemblyを用いて、ファイル システムやネットワークへのアクセスを物理的に遮断したメモ リ空間で計算を行う。
33. 固有 ID 各エージェントに固有のサービスアカウント を割り当て、役割に必要な最小権限のみを 付与する。 OBOOn-Behalf-Of Flow)認証 エージェントは自身の権限だけでなく、「操 作を依頼したユーザー」のトークンを使用し て認証。ユーザーがアクセスできないデー タはエージェントも触れない。 JITアクセス 常設の特権を与えず、特定のタスク実行中 のみ有効な一時的トークン （Just-in-Time）を発行する。 アイデンティティ層： OBOフロー
34. https://cloud.google.com/agent-builder/agent-engine/agent-identity
35. Scope 2以上での必須要件 承認ゲート: メール送信やDB書き込みなど、副作用のある操作の前に一 時停止し、人間の承認を求める。 共同パイロット: エージェントはドラフト作成までを担当し、最終的な「実 行」ボタンは人間のみが押せる。 信頼度エスカレーション: エージェントの確信度が低い場合、自動的に人 間にレビューを依頼する。 人間参加型 HITL ワークフロー
36. 可観測性 Observability) LangSmithやArize Phoenix等を使用し、エージェントの 「思考の 連鎖 Chain of Thought)」を全て記録。 「なぜその行動をとったか」を事後分析可能にする。 ループの実行回数も観測しておいた方がいい。 AI Red Teaming PyRIT / Garak 自動化された攻撃ツールを用いて、数千種類の攻撃プロンプトを 継続的にテスト。CI/CDパイプラインに組み込み、モデル更新ごと の脆弱性診断を実施。 運用と監視
37. AI ガバナンス プロンプトエンジニアリング
40. Scope レベル名称 自律性 主なリスクと対策 Scope 1 No Agency (オラクル) なし 読み取り専用。リスクは情報漏洩に限定。 Scope 2 Prescribed (アシスタント) 限定的 アクション提案のみ。 人間による承認 HITLが必須。 Scope 3 Supervised (デリゲート) 高 特定境界内で自律実行。事後監査と異常時の介入が必要。 Scope 4 Full Agency (自律アクター) 完全 自己主導で目標設定。厳格な隔離と監視が不可欠。 AWS Agentic Security Matrix
43. SAIFは、Googleが提唱するAIセキュ リティの包括的なフレームワークです。 従来の防御基盤に加え、AI特有の脅 威への適応や防御の自動化など「6つ の柱」で構成されています。開発から 運用までAIライフサイクル全体のリス クを管理し、組織が安全かつ責任ある 形でAIを活用するための実践的な指 針を提供します。
47. The Biggest Problem We're NOT Solving Sec Tor 2025 Blackhat より 完全に制御するには、 Agent Tools となる、MCP や API、Agent 2 Agent など全て でフェデレートされている必要 がある。 そして、その明確な解決策はま だない。 https://www.youtube.com/watch?v=ewbm0uCqaFc
48. 誰も知らない（シャドーエージェント） Google Cyber Security Forcast 2026 より https://cloud.google.com/security/resources/cybersecurity-forecast
49. 組織の63%が、環境内での AIのためのポリシーを欠いている Sec Tor 2025 Blackhat より
50. 人類最後の発明 - AGI
52. No!! We can help!!