Databricks における 生成AIガバナンスの実践

AIガードレールとプロンプト管理をDatabricksで実装する

前半: 座学（50分）
1. エージェント時代のガバナンス課題
2. AIゲートウェイとガードレール
3. エージェントの構築とツール連携
4. トレースによる可観測性
5. プロンプト管理と運用設計

後半: ハンズオン（70分）
1. AIゲートウェイとガードレール
2. 簡易エージェントの構築
3. トレースによる可観測性
4. プロンプトの登録・バージョン管理

Transcript

1. Databricks における 生成AIガバナンスの実践 AIガードレールとプロンプト管理を Databricksで実装する 2026/6/8 Databricks Japan 弥生 隆明
2. ©2025 Databricks Inc. — All rights reserved 2時間で身につく！ Databricksにおける生成 AIガバナンスの実践 主な対象者 2時間のワークショップを通じて、 Databricksを活用した生成AIガバナンス実践 を ハンズオン 形式で体験いただきます。 • データブリックスを用いた生成AIアプリのガバナンスに ご興味をお持ちの方 • 大規模な生成AIアプリケーションを適切に管理したいと考え ている方 ゴール 事前準備 アジェンダ 1. 座学（50分） ◦ エージェント時代のガバナンス課題、 Databricksのソ リューション 2. ハンズオン （70分） • 生成AIアプリケーション管理の課題を理解する • 課題に対するDatabricksのアプローチを理解する • Databricksにおける生成AIガバナンス機能の使い方を 実践を通じて学ぶ • 環境：お客様のPC環境、Databricks環境を利用 いただきます • ファイル： 弊社よりノートブックを提供いたします
3. ©2026 Databricks Inc. — All rights reserved 自己紹介 弥生 隆明 (やよい たかあき) Databricks シニア スペシャリスト ソリューションアーキテクト ▪ 2020年からデータブリックス ジャパンにお いて、プレセールス、POCに従事 ▪ 専門領域は生成AI、データエンジニアリン グ、Webアプリケーション ▪ 青山学院大学 特別研究員 ▪ Qiitaでいろいろ書いています。 3 @taka_aki
4. ©2026 Databricks Inc. — All rights reserved 4 MLflowで実践する LLMOps 生成AIアプリケーションの実験管理と品質保証 著者 弥生隆明，渡辺祐貴，大内山浩，平田東夢，河村春孝　著 本書は、LLMアプリケーションの開発・運用に必要な一連のプロセス ――可観測性の確保、 品質評価、プロンプト管理、本番展開 ――を、オープンソースプラットフォーム「 MLflow」を 使って体系的に実践する技術書です。 LLMアプリケーションは、従来の機械学習システムとは異なる難しさを持ちます。プロンプト のわずかな変更が品質に大きく影響し、エージェントの挙動は複雑で 追跡が難しく、コストは見えにくい場所で膨らみます。 MLflow 3はこうした課題に正面から向 き合い、トレーシング、評価（ LLM-as-a-Judge）、Prompt Registry、 AI Gatewayといった機能を1つのプラットフォームに統合しました。 本書では、シンプルな LLMアプリケーションから始め、 RAGシステム、マルチエージェントまで段階的にカバー しています。実際に動く Pythonコードとともに、 「作って終わり」ではなく「運用し続けられる」 LLM アプリケーションの構築方法を提供します。 発売中！
5. アジェンダ 前半: 座学（50分） • 1. エージェント時代のガバナンス課題 • 2. AIゲートウェイとガードレール • 3. エージェントの構築とツール連携 • 4. トレースによる可観測性 • 5. プロンプト管理と運用設計 後半: ハンズオン（ 70分） • 1. AIゲートウェイとガードレール • 2. 簡易エージェントの構築 • 3. トレースによる可観測性 • 4. プロンプトの登録・バージョン管理 合計時間: 120分 (座学 50分 + ハンズオン 70分)
6. ©2026 Databricks Inc. — All rights reserved 1. エージェント時代の ガバナンス課題
7. AIがビジネスの在り方を変革する 役割に特化したタスクを 強化し、生産性と 収益効率を最大化 生産性 ビジネスの 再構想 マーケティング、 研究開発、サプライ チェーンなど、製品機 能とコア機能を 変革 ビジネスの 自動化 重要なプロセスと意思決 定機能を再構成し、マー ジンの向上、価値創出の 加速、競争対応の迅速化 を実現
8. エージェントの 乱立が起きて いる Jira MCP Slack MCP 予測ツール サポートエー ジェント 法務 エージェント マーケティン グエージェン ト レビューエー ジェント 会議要約 エージェント ⚠架空の引用 ⚠誤った顧客ID ⚠誤り ⚠架空の引用 ❤Health: ? ❤Health: ? ❤Health: ? ❤Health: ? ❤Health: ? ⚠誤り
9. 企業データに対する 低品質な推論 リレーションシップの完全なセッ トが定義されていなければ、エー ジェントが自律的に 動作するために必要なコンテキ ストを得ることはできません エージェント Slack MCP ユーザー設定の記憶 会話履歴 ベースLLM 製品レビュー 会議の文字起こし 製品センチメント 短期記憶 Web検索MCP レポート生成スキル 営業データ 社内SharePoint エージェントの乱立とは：
10. 標準化された LLM開発プラット フォームがないという大きな 課題に直面しました。異なるチー ムのエンジニアが多種多様な ツールを使用していました。 企業データに対する 低品質な推論 ベンダーが多すぎる エージェントの乱立とは：
11. Flo Health の専門的な医療知識 とデータを使用して、エージェント が正確に応答しているかどうかを 理解するために、評価をカスタマ イズする方法が必要です。 ? ? ? ? 企業データに対する 低品質な推論 ベンダーが多すぎる 品質を測定する 方法がない エージェントの乱立とは：
12. 従業員 HRエー ジェント CEO給与： $900,000/year 退職金： $2.1B 機密： エージェントの乱立とは： 企業データに対する 低品質な推論 ベンダーが多すぎる 品質を測定する方法がない ガバナンスがない エージェントがアクセスするすべて のデータには、きめ細かいアクセ ス制御が適用され、完全に監査可 能であり、 …安全でコンプライアン トなAIプラットフォームを形成しま す
13. Agent Bricks: エージェントの構築、 デプロイ、管理のための 統合プラットフォーム ✓ ✓ ✓ コンテキストに基づく推論 あらゆるモデルやフレームワー でネイティブに実行 時間の経過とともに品質を 評価・改善 ✓ 統合カタログ とガバナンス
14. Genie: 最先端のtext2SQL生成 ビジネス セマンティクス メトリクスビュー エージェント メタデータ 学習済み セマンティクス パーソナライズされ たテーブルインタラ クション ツールとテーブルの 人気度 カスタム セマンティクス テキストから抽出さ れたメタデータ 解析された ドキュメント /画像 ✓ ✓ ✓ コンテキストに基づく推論 あらゆるモデルやフレームワー でネイティブに実行 時間の経過とともに品質を 評価・改善 ✓ 統合カタログ とガバナンス Agent Bricks コンテキストに基づく推論
15. あらゆるフレームワークで カスタムエージェントを構築 すべての最先端 AIモデルをネイティブに提供 1つの契約、任意のモデル、ロックインなし ✓ ✓ ✓ コンテキストに基づく推論 あらゆるモデルやフレームワー でネイティブに実行 時間の経過とともに品質を 評価・改善 ✓ 統合カタログ とガバナンス あらゆるクラウドで
16. LLM ジャッジの作成 システムの 自動最適化 コスト対 品質オプションの提示 エージェント 学習 トレーシングとデバッグ 自動改善 ✓ ✓ ✓ コンテキストに基づく推論 あらゆるモデルやフレームワー でネイティブに実行 時間の経過とともに品質を 評価・改善 ✓ 統合カタログ とガバナンス
17. エージェント モデル データ MCPサーバー スキル 外部エージェント アクセス制御 ディスカバリー リネージ 監査 セキュアなオープ ンデータ共有 ビジネスセマン ティクス コスト管理 品質 モニタリング ✓ ✓ ✓ コンテキストに基づく推論 あらゆるモデルやフレームワー でネイティブに実行 時間の経過とともに品質を 評価・改善 ✓ 統合カタログ とガバナンス
18. その他… エージェントプラットフォーム AI ガバナンス 開発者 プラットフォーム コンテキスト推論 エージェント ナレッジアシスタント スーパーバイザー エージェント ドキュメントエージェント AI ファンクション エージェント オーケストレーション ランタイム メモリー モデル キャパシティ エージェント /スキル /MCPレ ジストリ AI ゲートウェイ エージェントの可観測性 マネージド OAuthアプリ カスタムアプリ 安全なデータとAIアプリ AI/BI エージェント型ビジネスイン テリジェンス Agent Bricks 本番AIエージェント
19. その他… エージェントプラットフォーム AI ガバナンス 開発者 プラットフォーム コンテキスト推論 エージェント ナレッジアシスタント スーパーバイザー エージェント ドキュメントエージェント AI ファンクション エージェント オーケストレーション ランタイム メモリー モデル キャパシティ エージェント /スキル /MCPレ ジストリ AI ゲートウェイ エージェントの可観測性 マネージド OAuthアプリ カスタムアプリ 安全なデータとAIアプリ AI/BI エージェント型ビジネスイン テリジェンス Agent Bricks 本番AIエージェント
20. ©2026 Databricks Inc. — All rights reserved 2. AIゲートウェイと ガードレール
21. 生成AIの大規模管理における課題 モデルの乱立 毎週新しいモデルがリリースされるが、プラットフォームチームのプロビジョニングが追い つかない。開発者は回避策を見つけ、組織全体が遅れをとる。 可視性の欠如 誰が何を使い、コストがいくらかかっているか誰にもわからない。支出の最適化やキャパ シティプランニングが不可能。 コンプライアンスリ スク 機密データが監査証跡なしでサードパーティモデルに送信される。 PIIを含む追跡されない リクエスト1件が規制上のインシデントになりうる。 本番環境の信頼性 生成AIアプリはビジネスクリティカルになりつつあるが、基盤となる APIレイヤーにフェイル オーバーが組み込まれていない。プロバイダーの障害 1件で顧客 向け機能がダウンする。 2
22. AIゲートウェイのソリューション 生成AIのコントロールプレーン 統一アクセス 追加契約なしにOpenAI、Claude、GeminiオープンLLMなど主要モデルすべてに 対応。Databricksホスト型キャパシティの利用、または独自キーの持ち込みが可能。 コスト管理 誰が何を使い、コストがいくらかかっているか誰にもわからない。支出の最適化やキャパ シティプランニングが不可能。 集中ガバナンス すべての生成AIトラフィックに対する権限管理、コンプライアンス、観測可能性。使用状況と 品質データをUnity Catalogにセキュアに記録。 本番環境の信頼性 プロバイダー障害時に生成 AIアプリの可用性を維持するための組み込みフォールバック とセーフガード。 2 参加者ごとに専用のエンドポイントを作成し、独立したガードレールを設定可能
23. AIゲートウェイ
24. ビルトインガードレール Databricksがチューニング済みの LLMベース検出モデルで動作  入力ガードレール（ LLMの前） • PIIのマスキング（サニタイズ） 個人情報をプレースホルダーに置換 • 安全でないコンテンツ（ブロック） 暴力、ヘイトスピーチ等を遮断 • ジェイルブレイク（ブロック） プロンプトインジェクション攻撃を検出  出力ガードレール（ LLMの後） • PIIのマスキング（サニタイズ） モデル応答中の PIIを置換 制約: • 入力ブロックガードレールは最大3つまで • 出力ガードレール設定時はストリーミング不可
25. AIゲートウェイのアーキテクチャ クライアント エージェント/アプリ/ツール /ai-gateway/mlflow/v1 AIゲートウェイ 制御・ガバナンス • 認証・権限管理 • レート制限 (QPM/TPM) • 入力ガードレール LLM推論 (FMAPI / 外部モデル) 出力・記録 • 出力ガードレール • 推論テーブル記録 • Usage Tracking記録 フォールバック (429/5xx時)トラフィック分割 レスポンス
26. 日本語PIIの検出状況 ビルトインPII検出の実機検証結果  検出可能（安定） • 電話番号 → [PHONE] • 住所 → [ADDRESS] • メールアドレス → [EMAIL]  検出が不安定 日本語の人名（「田中太郎」等） — マスキングされない場合がある  ビルトインでは対応外 • マイナンバー（個人番号） • 口座番号 日本固有の PIIはカスタムガードレールまたはアプリケーション層で対応
27. ガードレールの処理順序 リクエスト受信 ブロックガードレール（並列実行） 安全でないコンテンツ OK / ブロック カスタム: マイナンバー OK / ブロック カスタム: 競合他社 OK / ブロック すべて OKの場合のみ サニタイズガードレール（順次実行） PIIマスキング → テキスト置換 LLM推論 ※ いずれかのブロックガードレールが flaggedを返した場合、即座に HTTP 400 でブロック ※ サニタイズガードレールはブロック後はスキップ（フェイルクローズ設計）
28. カスタムガードレール LLMがエバリュエーター（評価者）としてポリシー判定を行う 仕組み 1. 送信 ガードレールプロンプト + 入力テキストをエバリュエーター モデルに送信 2. 返却 エバリュエーターが {flagged: true/false} をJSON形式で返却 3. ブロック flagged=true の場合、リクエストをブロック プロンプト作成のポイント JSON出力指示を明示 確実なパースのために必須 Few-shot例の活用 違反/非違反の両パターンを JSON形式で記載 1ガードレール = 1関心事 小型モデルでの安定動作 databricks-gpt-5-nanoでも動作可能 カスタムガードレールを用いることで、ドメイン固有の複雑な判定ロジックを LLMで柔軟に実装可能です。
29. カスタムガードレールの適用範囲 LLMベースのガードレールには得意・不得意がある  得意（意味的な判定） • 競合他社への言及をブロック • 社内ポリシー違反の検出 • トーン・表現の適切性チェック  不得意（パターンベース） • マイナンバー: 100%ではない • 口座番号、クレジットカード番号 • JSON出力+few-shotで安定化可能 💡 推奨アーキテクチャ: 多層防御による組み合わせ AIゲートウェイ: 意味的な判定 + ビルトインPII アプリケーション層: 正規表現による確定的なパターン検出
30. カスタムガードレール : プロンプト例 マイナンバー検出プロンプト [システムプロンプト] あなたはマイナンバーの検出を行うセキュリティ評価者です。 必ずJSON形式のみで回答してください。 該当する場合: {"flagged": true} 該当しない場合: {"flagged": false} [Few-shot 例] 違反: 「マイナンバーは...」 → {"flagged": true} 非違反: 「申請方法を教えて」 → {"flagged": false} 実装のポイント • JSON出力形式の明示 ドキュメントの自動付与だけに頼らず、プロンプト内で構造を確 定させる。 • Few-shot例の活用 違反・非違反の両パターンを JSON形式で記載し、判定精度を 高める。 • エバリュエーターの選定 databricks-gpt-5-nano 等の小型モデルでも安定動作 が可能。 💡 構造化された出力指示と具体例の提示により、高度なセキュリティ判定を自動化できます。
31. ©2026 Databricks Inc. — All rights reserved 3. エージェントの構築と ツール連携
32. 推奨: 多層防御アーキテクチャ 1. アプリケーション層 (正規表現チェック /確定的) • マイナンバー: \d{4}-\d{4}-\d{4} • 口座番号: 銀行名 + 7桁数字 • クレジットカード: 16桁数字 通過 2. AIゲートウェイ層 (LLMベース判定 /意味的) • ビルトインPIIマスキング • 安全でないコンテンツブロック • カスタム: 競合他社ブロック 通過 LLM推論
33. エージェントとは LLMが自律的にツールを選択・実行し、結果を組み合わせて回答を生成 構成要素 • LLMバックエンド : ガードレール付き AIゲート ウェイエンドポイント • システムプロンプト : エージェントの振る舞いを 定義 • ツール : LLMが呼び出す外部関数 (function calling) 処理フロー 1. 質問送信（ガードレールが入力を評価） 2. LLMが呼び出すツールを自律的に判断 3. ツールを実行し、結果を LLMに返却 4. ツール結果を踏まえた最終回答を生成 🛡 ガードレールの役割 ガードレールはエージェントに到達する前にリクエストを評価・ブロックし、安全性を担保します。
34. Databricksのエージェント基盤 Agent Bricks: エージェントの構築・デプロイ・管理の統合プラットフォーム ノーコード/ローコード Supervisor Agent 最大30個のサブエージェントを束ねるオーケストレーター Knowledge Assistant 社内文書Q&Aチャットボット（引用付き） Genieスペース 自然言語→SQL変換によるセルフサービス BI カスタムコード • Agent Framework / LangGraph / OpenAI SDKなどで 自由に構築 • Unity Catalogでモデル・ツール・プロンプトを一元管理 • Model Servingでワンクリックデプロイ 💻 ハンズオンの内容 OpenAI互換SDKのfunction callingを使用して、カスタムエージェントを構築します。
35. エージェントの処理フロー ユーザー → AIゲートウェイ → LLM → ツール → LLM → ユーザー ✅ 正常なフロー 1. ユーザー: 「5Gのおすすめプランは？」 2. AIゲートウェイ: ガードレール評価 → 通過 3. LLM: ツール呼び出し判断 → search_plans 4. ツール実行: 料金プラン3件を検索 5. LLM: ツール結果から最終回答を生成 6. AIゲートウェイ: 出力ガードレール評価 → 通過 7. 返却: ユーザーに回答を返却 🚫 ブロック時 (セキュリティ違反 ) 1. ユーザー: 「マイナンバー1234-5678-9012で確認して」 2. AIゲートウェイ: カスタムガードレールが PIIを検知 → ブロック ⚠ LLMには一切到達しません
36. ©2026 Databricks Inc. — All rights reserved 4. トレースによる可観測性
37. MLflowトレーシング エージェントの内部動作を構造的に記録・可視化する仕組み スパン構造の例 customer_support_agent ├── llm_call_1_tool_selection — ツール選択 ├── search_plans — ツール実行 └── llm_call_2_final_answer — 最終回答生成 記録される情報 • 各スパンの入力 /出力データ • レイテンシ（各ステップの実行時間） • トークン使用量 • エラー情報 ⚡ 有効化の方法 @mlflow.trace デコレータを追加するだけで、自動的にトレースが開始されます。
38. トレースの活用 開発からデバッグ、本番監視まで一貫した可観測性を提供 🛠 開発時 • エージェントの処理フローを可 視化してデバッグ • ツール呼び出しの入出力を 確認 • ボトルネック（遅いステップ）を 特定 🚀 本番運用 • 全リクエストのトレースを 自動記録 • 品質問題の根本原因を追跡 • LLM-as-a-Judge による自動 評価と組み合わせ 🖥 エクスペリメント UI • 左サイドバー > エクスペリメン ト > トレースタブ • スパンの階層構造を視覚的に 確認 開発フェーズから運用フェーズまで、一貫したUIとAPIでトレース情報を管理し、LLMアプリケーションの信頼性を向上させま す。
39. トレースUI: スパン構造の可視化 MLflowエクスペリメント > トレースタブ トレースUIでは、エージェントの各ステップ（スパン）の入出力、レイテンシ、呼び出し関係を視覚的にデバッグできます。
40. ©2026 Databricks Inc. — All rights reserved 5. プロンプト管理と運用設計
41. MLflow Prompt Registry プロンプトをコードのようにバージョン管理する 💡 基本概念 • プロンプトはUnity Catalogの関数として保存 • バージョンは自動採番（ 1, 2, 3, ...）で不変 • エイリアス（production, staging）は特定バージョンを指 すポインタ 🔄 ワークフロー 1. register_prompt() で登録（v1） 2. ビジネスルール追加版を登録（ v2） 3. set_prompt_alias('production', v1) 設定 4. エージェントは prompts:/name@production で取得 5. v2 に切り替え → コード変更不要で更新 テンプレート変数 : {{company_name}} や {{question}} で動的パラメータ化が可能
42. 監査とコスト管理 📊 推論テーブル • リクエスト/レスポンスのペイロードを Deltaテーブルに 自動記録 • ガードレールでブロックされたリクエストも記録 • 参加者ごとのテーブル : <catalog>.<schema>.<endpoint名>_payload 📈 Usage Tracking (system.ai_gateway.usage) • トークン使用量、レイテンシ、ステータスコード • エンドポイント別・ユーザー別・日別の集計が可能 💰 コスト • Beta期間中はAIゲートウェイ機能自体の課金なし • ガードレール評価のトークン消費は通常の FMAPI料金が適用 ※ AIゲートウェイによる可観測性とコストの透明性を確保
43. プロンプトのデプロイワークフロー 🔄 バージョンとエイリアスの関係 v1 v2 v3 production (本番) staging (検証中) (開発中) 🚀 デプロイ手順 1. 新バージョン（ v3）を登録 MLflowに新たなプロンプトバージョンを登録 2. staging エイリアスを v3 に設定 検証環境で新しい挙動を確認 3. 検証完了後、 production を v3 に切り替え 本番エイリアスの参照先をアップデート 4. 問題発生時は production を v2 にロールバック 即座に以前の安定バージョンへ差し戻し ✨ メリット • エージェントのコード変更不要 • エイリアス経由での柔軟な取得 prompts:/name@production
44. 本日のハンズオンで構築するもの 🛡 AIゲートウェイ & ガードレール • PIIマスキング（サニタイズ） • 安全でないコンテンツ（ブロック） • カスタム: マイナンバー検出（ブロック） • カスタム: 競合他社ブロック（ブロック） ↓ LLM (Llama 3.3 70B) ↑ 🤖 エージェント • Prompt Registry @production • search_plans（ツール） MLflow トレース / 推論テーブル / Usage Tracking 🗓 ハンズオンの流れ 1. AIゲートウェイとガードレール （25分） 2. 簡易エージェントの構築 （15分） 3. トレースによる可観測性 （10分） 4. プロンプトの登録・バージョン管理 （15分） 5. まとめ （5分）
45. ハンズオンのアーキテクチャ全体図 🛡 AIゲートウェイ PIIマスキング 安全でないコンテンツ カスタム: マイナンバー カスタム: 競合他社 LLM (Llama 3.3 70B) 🤖 エージェント • Prompt Registry @production • search_plans（ツール） MLflow トレース / 推論テーブル / Usage Tracking
46. 参考ドキュメント Unity AIゲートウェイ https://docs.databricks.com/ja/ai-gateway/ ガードレールの設定 https://docs.databricks.com/ja/ai-gateway/guardrails MLflow Prompt Registry https://docs.databricks.com/ja/mlflow3/genai/prompt-version-mgmt/prompt-registry/ MLflowトレーシング https://docs.databricks.com/ja/mlflow3/genai/tracing/index Agent Framework https://docs.databricks.com/ja/generative-ai/agent-framework/build-genai-apps.html ※ 詳細は公式ドキュメントを参照してください
47. ©2026 Databricks Inc. — All rights reserved 47