Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Agentic AI時代における メルカリのAIガバナンスとガードレール実装

Agentic AI時代における メルカリのAIガバナンスとガードレール実装

Agentic AIが急速に進化が進む一方、これらの安全性に関わる課題は多い。メルカリでは、全ての従業員がAI前提の業務スタイルへと変革することを目指し、安全なAIエージェント利用環境やルール整備など多面的に推進してきている。本講演では、Agentic AI時代に認識すべきAIリスクの全体像と併せ、メルカリが構築してきたAIガバナンスとガードレールの実装事例を紹介する。

2026年5月25日(月)ITメディア Security Week 2026 春  基調講演1-2  15:00~15:30

Avatar for ichihara

ichihara

May 26, 2026

Other Decks in Technology

Transcript

  1. 2 本日の講演内容 メルカリにおける AI推進の現在地 Agentic AI 時代のセキュリティリスク メルカリにおける AIガバナンスとガードレール 考察と展望

    メルカリ AI セキュリティ 検索 講演内容の一部は、発信済みのBlogなどで詳細をご覧いただけます
  2. 4  2025年5月:AIセキュリティチーム発足 セキュリティチームの各分野から 1名ずつ兼務し、AI活 用の安全性を担保する体制を構築。  2025年7月:AIタスクフォース発足 全社から100名規模のメンバーが集結し、 3フェーズで

    導入を加速。 PHASE 1  業務棚卸 PHASE 2  AI導入評価 PHASE 3  AI導入 4 1. メルカリにおける AI推進の現在地 2025年5月:グループCEO 山田進太郎による「AI-native宣言」 社内Slack Messageにて全社員に発信 私たちは「 AIを導入する企業」ではなく「 AIを前提に再設計された組織」になります 今から1年前...。
  3. 5 メルカリアプリ内の AI • AI (自然言語)検索 • AI出品サポート • パーソナライゼーション

    • 自動違反検知 • AI与信 業務における AI利用 AIガバナンス&ガードレール 1. メルカリにおける AI推進の現在地 現在 (2026年5月)   🔵AIツール利用する従業員率    100%   🔵利用可能な AIツール 生成AI系  Gemini, NotebookLM ナレッジ系  Notion ワークフロー系 n8n 開発系  Cursor, Claude Code, Devin エージェント系   Claude Code, Cowork, Notion AI Agent   🔵AIによるコード生成の割合        ≒70% 体制 ポリシー コントロール 教育/啓蒙 ※本講演のスコープ     ↓
  4. 7 2-1. Agentic AIの特徴 04 プロジェクト全域の読み 書き、複数ファイルにまた がるリファクタリング、新 ファイルの作成 ターミナルでのコマンド実

    行、テストの実行、ビル ド、パッケージのインス トール MCP (Model Context Protocol) 等を介した Jira、Slack、Google Drive等とのデータ同期 ブランチ作成、コミット、 PR作成、マージコンフリ クトの解消 エラーメッセージを基に原 因を特定し、自らファイル を探して修正、検証まで 行うループ 03 02 01 05 ファイル操作 コマンド実行 外部連携 Git操作 自律的探索 Agentic AIは、生成AIのような「回答を出力する」以上に、 自由度の高い振る舞い/機能を備えている
  5. 8 2-2. メルカリで実際に起きた AIヒヤリハット 1 Agentic AIから「社内情報を個人アカウントのクラウドサーバにアップロード」するように推奨された ので、従って進めたと ころ、社内情報がインターネットに公開されたまま作業を行おうとした Agentic

    AIから、sudo spctl --master-disableを実行するように促されて実行 したが、実は OSのセキュリティ機 構(アプリ実行前の検証) を無効化するコマンド だった AIの過信 AIの返答内容や指示を鵜呑みにして起こしてしまうヒヤリハット 2 権限混合 データベースへのクエリを自動生成する AIサービスを作ったが、設定を誤ったため、 厳秘情報 (閲覧するには特定の管理者の承認が必要)が、全従業員からアクセス可能になっていた 機密情報を含むスクリーンショット画像を使って Notionページを作りかったので、 Claude Codeに依頼したところ、 Claude CodeがNotion MCPに画像ファイルを渡すために、 フリーのファイル共有サイトを見つけてきて画像ファイルを アップロード し、(URLを知っていれば誰でもアクセス可能な) URLをNotionに渡していた。 3 安全でない情報の取扱い
  6. 9 サイバー攻撃 攻撃者グループの能力、手口、攻撃の 兆候や傾向、 企業のビジネス・ IT業務環境 事業領域、ITアーキテクチャ(データ、 アプリケーション、 アイデンティティ、クラウド、 ネットワーク)

    外部環境 テクノロジーの進化、法令、業界標 準、国際情勢、経済安全保障、監督 官庁、 2-3. Agentic AI時代のセキュリティリスク全体像 AI技術の進化・変遷、 AI関連法令や規制 、他 +   AIエージェントによる高速な   サイバー攻撃、巧妙な   ソーシャルエンジニアリング、   企業内AIツールの悪用 、他 +   ビジネスへの AI導入、従業員   のAIツール利用拡大、 AI   エージェントの自律的業務 、他 + これまでのサイバーセキュリティリスクの全ての側面 にAgentic AIのインパクトを受けるリスクをアドオン Agentic AIの暴走 システム破壊 セキュリティ無効化 機密/認証情報の公開 財務的被害 … 他 Agentic AI セキュリティリスク サプライチェーンリスク、ランサム、暗号資産流出、個人 情報漏洩、内部脅威 Agentic AI セキュリティリスク Agentic AIの暴走 システム破壊 セキュリティ無効化 機密/認証情報の公開 財務的被害 その他 情報漏洩事故 , 等 Agentic AI特有のセキュリティリスクは、各企業の状況をふまえた個別のリスク分析と洗い出しが必要。
  7. 10 2-4. Agentic AI特有のセキュリティリスクの視点 利用者(従業員) 外部攻撃者 ③利用者の操作 利用者の危険な操作、よくわからず承認するリスク、 禁止されているアプリへの接続、 APIキーなどを適切に扱えず漏洩、など

    ①AI自体の挙動 /製品仕様 AIの自律的な挙動が、危険な Operationや、企 業にどんな被害、特に不可逆な被害をもたらす か? 入力したデータが AIモデルの学習に利用されるか?、等 ④外部脅威 Agentic AIを外部から不正 に操作されるリスク ②Agentic AIの外部接続 AI製品側、接続先アプリ側の両方で柔軟かつ安全な制御が可能 か?シャドーAIから社内アプリへの接続を拒否できるか? これまでのサイバーセキュリティリスクの全ての側面に Agentic AIのインパクトを受けるリスクをアドオン Agentic AI特有のセキュリティリスクは、各企業の状況をふまえた個別のリスク分析と洗い出しが必要。 AGENTIC AI 接続先アプリ/MCP
  8. 11 2-5. Agentic AI セキュリティリスク (メルカリにおける定義) リスク要因 リスクの解説 1: AI利用に係るガバナンス不備

    ・AIツールの利用に関わる組織的な管理体制、プロセス、責任の所在、倫理的方針の欠如により、 AIが不適切 に運用され、情報漏洩事故、システム障害、法令違反、権利侵害、倫理的問題、信頼性の喪失、等を招くリスク 2: 危険な/脆弱なAIツールの利用 ・安全性が確認されていない AIモデル/ツール、脆弱性を含むサードパーティ製コンポーネントを導入すること で、サプライチェーン上の攻撃や機能不全を招くリスク 3. 過剰な代理行為 / 権限問題 ・AIエージェントに対し、本来の目的を超えた過剰な権限、機能、または自律性を与えることで、操作や誤作動 による破壊的なアクションを許容してしまうリスク ・AIエージェントから接続するアプリケーションが DWD (Domain Wide Delegation)問題を持っている事に起 因して、もしくは、 AIワークフローの共有により権限混同問題 (Confused Deputy Problem)が起きてしまうこと で、本来は制限されていたはずのアクセス権限の範囲が意図せず広範囲となったり、情報や機能が露出状態 となってしまうリスク 4. 安全でないコードの生成や実行 / 問題のある 出力 ・脆弱性を含むコードや設定ファイルの生成、脆弱なインテグレーション /デプロイ環境の構築 ・倫理上や社会通念上問題のある画像・動画・発言、有害コンテンツなどの生成や出力するリスク ・出力値の検証不足やモデルの誤整列により、 AIが有害なコンテンツ、悪意のあるコード、または不正確な情 報を生成し、下流システムやユーザーに危害を加えるリスク 5. AIに渡すクレデンシャルや機密情報の漏洩 ・Agentic AIに渡したシークレット、 APIキー、認証情報、機密情報、機密の画像データなどの不適切な扱い、ま たは脆弱性などにより外部に露出 /漏洩するリスク 6. 安全でない入力 / プロンプトインジェクション / 大量のトークン消費 ・悪意あるプロンプトにより AIの制御を奪い、ガードレール回避、情報窃取、不正アクション強制させるリスク ・大量のリクエストやリソース消費型のクエリにより、システム障害や膨大な利用料 (経済的損失)を招くリスク 7. Agentic AIサプライチェーンのリスク ・AIに付加されたツールやプラグイン(スキル)が安全に設計されておらず、そこを起点としてリモートコード実行 や不正なデータ操作が行われるリスク 8. シャドーAI 未承認のAIツールや個人アカウントの業務利用によりデータ流出などを起こすリスク Agentic AIの 暴走 システム破壊 セキュリティ 無効化 機密/認証情報 の公開 財務的被害 その他 (情報漏洩事故 , 等) Agentic AI セキュリティリスク
  9. 14 リスク要因 メルカリにおける AIガバナンス&ガードレール 1: AI利用に係るガバナンス不備 • AIガバナンスチーム発足   ・AI活用のためのルール整備 • e-Learning

      ・AIセキュリティニュース配信 ・AIチャンピオン制度 • AIヒヤリハット&インシデント事例の公開  2: 危険な/脆弱なAIツールの利用 • AIツールリスク審査プロセス ・許可済みAIツールの社内公開 3. 過剰な代理行為 / 権限問題 • Agentic AIの動作制限に関わるサンドボックス化(ガードレール) • AIツール用ワークフローのリスク審査 4. 安全でないコードの生成や実行 / 問題のあ る出力 • Agentic AIの動作制限に関わるサンドボックス化(ガードレール) • リポジトリ/CI上での脆弱性・Secret・依存関係リスクのツールによる自動検査 5. AIに渡すクレデンシャルや機密情報の漏洩 • 個人クレデンシャルを Agentic AIツールに設定しない、などのルール周知と徹底 • AIに渡す鍵の安全管理(LiteLLM + Secret Management Server) • アクセスのブロック 6. 安全でない入力 / プロンプトインジェクション / 大量のトークン消費 • 入力検証・無害化処理、 Rate Limit設定、スパイク検知( AI製品の機能または独自実装) • プロンプト/ルールファイル改ざん検知を PRに組み込む(prompt-injection-reviewer) 7. Agentic AIサプライチェーンのリスク • スキルのサンドボックス実行  ・ツール定義ファイルや実行スクリプトの署名検証 • CSPMによる脆弱性検知、 Chrome Extensionの利用制限、他 8. シャドーAI • 各レイヤー(Network, App, Data Access)の制限 ・許可済みAIツールの社内公開 4-2. AIガバナンス&ガードレール (メルカリの場合 )
  10. 15 AIツール & AIリスク • AIガバナンスチーム発足 1: AI利用に係るガバナンス不備 • AI活用促進のチーム(

    AI Enablement)と並列で、「AI Risk & Governanceチーム」、 「AI Securityチーム」発足          (AIセキュリティチームは、複数領域( Tech, Non-tech)からそれぞれ1名づつ兼務させるCross-functional Teamとして構成) • AI Securityチームのメンバーが、AI EnablementチームのAI導入プロジェクトに参加、並走して実装の助言や補助 を担う AI Governance AI Risk & Governance AI Task Force AI Enablement AI Security 4-2. AIガバナンス&ガードレール (メルカリの場合 )
  11. 16 AIツール & AIリスク • AI活用のためのルール整備 1: AI利用に係るガバナンス不備 「メルカリグループ AI活用基本ポリシー

    」を策定し、「生成AI利用ガイドライン 」「AIセキュリティガイドライン 」他の 社内ルールを定め運用している。AI活用促進のチームと並列で、「AIガバナンスチーム 」を設置した AI活用のためのルール整備 4-2. AIガバナンス&ガードレール (メルカリの場合 )
  12. 18 AIツール & AIリスク • AIツールリスク審査プロセス 2: 危険な/脆弱なAIツールの利用 一定の基準に基づき、企業として利用許可するAIツールを審査する AIツールの審査基準

    (セキュリティ観点の代表的なもの ) • 提供ベンダの安全管理措置 / サービス提供国家 / データ保有国 ◦ ISMS, SOC2レポート, 等 • 入力データの学習利用や第三者提供の有無 ◦ プライバシーポリシーにどう記載されているか ? • SSO対応有無 (SAML, OIDC) / 監査ログの有無 ◦ 想定する契約プランに含まれるか ? • 権限問題のコントロール可否 ◦ “DWD”や”権限混同問題”を抑止できる管理機能があるか ? ◦ MCPサーバなど接続先を制限する管理機能があるか ? • 柔軟なポリシー管理(接続先アプリの制限、等) ◦ ポリシーの一斉配信・適用が可能か ? ◦ グループ別に異なるポリシー適用が可能か ? 4-2. AIガバナンス&ガードレール (メルカリの場合 )
  13. 19 AIツール & AIリスク • AIツール用ワークフローのリスク審査 3. 過剰な代理行為 / 権限問題

    • n8nのワークフローの.json出力機能を使い、問題/リスクの有無をチェックする自動検査ツール を開発 ◦ 結果の出力先を閲覧権限を持つユーザー内に限定されているか ◦ 機密データのSlackのPublicChannelへの出力がされないか? ◦ 本番データへのアクセスは明示的に警告を出す • 手動で検査する場合と比べて、工数80%を削減 • 本ツールはオープンソース化 4-2. AIガバナンス&ガードレール (メルカリの場合 )  https://github.com/mewuto/n8ncheck  n8nのワークフローの実装や共有機能が原因で「権限混合問題 (Confused Deputy Problem)」を起こすリスクあり
  14. 20 AIツール & AIリスク • Agentic AIの動作制限に関わるサンドボックス化(ガードレール) 3. 過剰な代理行為 /

    権限問題 4. 安全でないコードの生成や実行 / 問 題のある出力 ①AIエージェント自体のガードレール • Agentic AI (Claude Code / Cowork)を 安全に利用させるための「 安全設定」 をMDMで全従業員に配布 • 既存環境のままサンドボックス化を実現 • エンジニア用設定と非エンジニア用設定を定義 • 主要アプリへの接続は Read Onlyから (Write権限は上長承認) • 製品毎のサンドボックス環境もある 例: Coworkの場合、デフォルトのサンドボックス (Mac OS: seatbelt, linux: bubblewrap)が適用 4-2. AIガバナンス&ガードレール (メルカリの場合 ) allow ask deny Claude Code Permission Model ◆管理者による強制設定 / managed-settings.json 上書き不可 / 全社員に強制可能 (例): disableBypassPermissionsMode: "disable" 利用者による権限確認スキップ ( --dangerously-skip-permissions )のオプショ ンを無効化 ◆利用者環境のパーミッション設定 / settings.json セッション中の一時的なオーバーライド可能 (例): アクセス禁止 (SSHキー、.envファイル、認証情報など) 、実行 禁止(sudo、curl、wget、git push –forceなど) 変更不可な厳禁事項 デフォルトの権限設定
  15. 21 AIツール & AIリスク • Agentic AIの動作制限に関わるサンドボックス化(ガードレール) 3. 過剰な代理行為 /

    権限問題 4. 安全でないコードの生成や実行 / 問 題のある出力 4-2. AIガバナンス&ガードレール (メルカリの場合 ) ②AIエージェント ”周辺”のガードレール • Lite LLM接続の強制化 - Agentic AIツールへのOktaログイン必須 - Okta側でLite LLM経由のアクセスのみ許可 5. AIに渡すクレデンシャルや機密情報 の漏洩
  16. 22 AIツール & AIリスク • Agentic AIの動作制限に関わるサンドボックス化(ガードレール) 3. 過剰な代理行為 /

    権限問題 4. 安全でないコードの生成や実行 / 問 題のある出力 4-2. AIガバナンス&ガードレール (メルカリの場合 ) ②AIエージェント ”周辺”のガードレール • Lite LLM接続の強制化 - Agentic AIツールへのOktaログイン必須 - Okta側でLite LLM経由のアクセスのみ許可 • 鍵の安全管理 - APIキーの管理をLLM Key Serverに委任 - AI Agentには有効期限の短いLite LLM キーを発行し、Lite LLM経由で各種サービス のAPIを利用させる 5. AIに渡すクレデンシャルや機密情報 の漏洩
  17. 23 AIツール & AIリスク • 各レイヤー(Network, App, Data Access)の制限 8.

    シャドーAI 4-2. AIガバナンス&ガードレール (メルカリの場合 ) (メルカリの場合) 接続される業務アプリ側の設定として、 AI Vendor側の提供する画一的な Oauth Clientを 利用させず (許容せず)、メルカリ独自に実装した OAuth Clientのみを許可させる これまでの シャドー IT対策 と同様。ブラウザ , PC, NW, IdP, OAuth制限など 1. 従業員PCに会社未承認AIツール (ローカルアプリ, ブラウザ拡張機能, SaaS型AI, 等)を利用 2. 従業員PCに会社未承認AIツールをインストールして業務アプリ(Google Drive, 等)に接続 3. 従業員PCで会社承認AIツールに個人アカウントでログインして利用(私的利用) 4. 私用PC上で会社承認/未承認AIツールに個人アカウントでログイン、業務アプリに接続    5. 従業員PCで会社承認 AIツールに個人アカウントでログインして、業務アプリに接続
  18. 24 リスク要因 メルカリにおける AIガバナンス&ガードレール 1: AI利用に係るガバナンス不備 • AIガバナンスチーム発足   ・AI活用のためのルール整備 • e-Learning

      ・AIセキュリティニュース配信 ・AIチャンピオン制度 • AIヒヤリハット&インシデント事例の公開  2: 危険な/脆弱なAIツールの利用 • AIツールリスク審査プロセス ・許可済みAIツールの社内公開 3. 過剰な代理行為 / 権限問題 • Agentic AIの動作制限に関わるサンドボックス化(ガードレール) • AIツール用ワークフローのリスク審査 4. 安全でないコードの生成や実行 / 問題のあ る出力 • Agentic AIの動作制限に関わるサンドボックス化(ガードレール) • リポジトリ/CI上での脆弱性・Secret・依存関係リスクのツールによる自動検査 5. AIに渡すクレデンシャルや機密情報の漏洩 • 個人クレデンシャルを Agentic AIツールに設定しない、などのルール周知と徹底 • AIに渡す鍵の安全管理(LiteLLM + Secret Management Server) • アクセスのブロック 6. 安全でない入力 / プロンプトインジェクション / 大量のトークン消費 • 入力検証・無害化処理、 Rate Limit設定、スパイク検知( AI製品の機能または独自実装) • プロンプト/ルールファイル改ざん検知を PRに組み込む(prompt-injection-reviewer) 7. Agentic AIサプライチェーンのリスク • スキルのサンドボックス実行  ・ツール定義ファイルや実行スクリプトの署名検証 • CSPMによる脆弱性検知、 Chrome Extensionの利用制限、他 8. シャドーAI • 各レイヤー(Network, App, Data Access)の制限 ・許可済みAIツールの社内公開 4-2. AIガバナンス&ガードレール (メルカリの場合 )
  19. 26 • リスク誘発者の視点 ◦ OWASP Agentic AI Top10 を参考に ◦

    『外部攻撃者』『 AI利用者』だけでなく 『AI自体の挙動』『外部接続』の視点 を • クリティカルな業務への丁寧な対応 ◦ クリティカルな業務 (財務系, IR, HR等) は個別にユースケース洗い出 しとリスク評価 、(必要であれば) ガードレールカスタマイズ https://genai.owasp.org/ その1 Agentic AI時代のセキュリティリスクの認識について 企業のIT業務環境/事業環境/制 約事項,等 業務におけるAgentic AIの 想定シナリオ AI自体の挙動 起因のリスク 外部攻撃者 起因のリスク AI利用者 起因のリスク Agentic AIの 製品仕様/挙動 Agentic AIの暴走 システム破壊 セキュリティ無効化 機密/認証情報の公開 財務的被害 その他(情報漏洩事故 , 等) AIガバナンス&ガードレール
  20. 27 • ガードレール方針 ◦ エンジニア は一定の技術系リテラシを想定、 自由度と自己責任の幅をもたせる 例えば、メルカリの場合 ▪ エンジニアはClaude

    Code / 非エンジニアはCowork / 全社員共通で Notion AI Agent ▪ エンジニア向けと非エンジニア向けの安全設定を分けて定義、配布 ◦ それでも全社員共通の厳禁事項や強制化させるポリシは徹底 させる 例えば、 ▪ Lite LLM接続を強制 ▪ 安全設定ファイルの強制配信( MDM) その2 “Secure By Default”なガードレール設計を
  21. 28 その3 ガードレール運用後も継続的な監視 /対策強化を • ガードレールを設置後もヒヤリハットは起きる → 監視の継続/強化を! 例えば ◦

    権限混同: アクセスが限定されていたDBへのQueryを自動実行する ◦ インフラやアカウントの設定誤り: AI Agentが認証なくインターネットに公開 ◦ 人間による確認不足: AI AgentとSlackを連携するためにOAuthを独自実装した結果、認証情報の露出 やCSRF、XSSの脆弱性が見つかった • Agentic AI自体の悪用される外部攻撃リスクへの警戒 ◦ 端末内のAI Agentは乗っ取られれば、Human-in-the-loopもバイパス可能  ⇒ Criticalな業務や操作がある場合、 Local OSから隔離したコンテナ上での サンドボックス化、スマホアプリに Pushして承認させる、などの追加対策が必要 ◦ 堅牢化の徹底(アクセス権限最小化、鍵の安全管理、耐フィッシング耐性あり認証、等)
  22. 29 ・Agentic AI/NHIのIdentity管理と可視化 - Agentic AIの網羅的な可視化、統制管理の課題を解決する技術の必要性 - “Cross App Access”

    も1つの手法として注目されている - IdP起点でのAgentic AIに関わる認証・認可の一元管理、 Agent 可視化、認可UX向上 - Anthropic社のMCP仕様に採用、IETFにて標準化 ・Agentic AIに対する重要な操作の安全な委任 - 支払い / Agentic Payment - Protocol - A2A (Google) - Agent Pay (Master Card) - TAP/Intelligent Commerce (VISA) - Technology - Dynamic Tokenization - KYA (= Know Your Agent) - 認証 / Agentic Authentication -  人間によるPasskey(生体認証など)の行為を AIに代行させられるか? その4 AI as Identityのセキュリティ課題と最新動向
  23. 31 5. まとめ 1: AI利用に係るガバナンスリスク 6. 安全でない入力 / プロンプトインジェクショ ン

    / 大量のトークン消費 2: 危険な/脆弱なAIツールの利用 7. Agentic AIサプライチェーンのリスク 3. 過剰な代理行為 / 権限問題 8. シャドーAI 5. AIに渡すクレデンシャルや機密情報の漏 洩 4. 安全でないコードの生成や実行 / 問題の ある出力 要点 • Agentic AIの製品仕様を把握 し、各リスク誘発者の視点でリスクを洗い出す • ガードレール設計に “Secure By Default”の思想を取り入れる • Agentic AIを利用する立場、リテラシー、リスク度合いに応じたガードレールのカスタマイズ リスク要因 AI活用のためのルール整備 AIセキュリティニュースレターの配信 AIツールリスク審査プロセス n8nワークフローのリスク審査 Agentic AIの動作制限に関わるサンドボックス化 各レイヤー(Network, App, Data Access)の制限 AIガバナンス&ガードレール AIセキュリティリスク、リスク要因を低減 /コントロールするAIガバナンス&ガードレールを構築 ・Agentic AIの暴走 ・システム破壊 ・セキュリティ無効化 ・機密/認証情報の公開 ・財務的被害 ・その他(情報漏洩事故 , 等) Agentic AI セキュリティリスク