Upgrade to Pro — share decks privately, control downloads, hide ads and more …

生成AIワークショップ / Custom-AI-Agents-workshop

生成AIワークショップ / Custom-AI-Agents-workshop

本ハンズオンでは、Fresh Martという架空のスーパーマーケットの顧客用FAQボットとして、LangGraphベースのカスタム AI エージェントをローカルの統合開発環境 (IDE) でデータブリックス上の各種機能と連携しながら開発・評価し、Databricks Appsへデプロイするまでを体験いただけます。エージェント用のツールとしてVector Search (非構造データ検索)、Genie Space(構造化データ検索)が使用されます。また、エージェントの短期記憶、長期記憶を保存する基盤としてLakebaseを利用します。さらに、エージェントのトレースデータ(Open Teremetry)をDelta Tableに直接記録して、MLflowのUIから参照するようなモニタリング機能もカバーされます。
開発環境はクイックスタートUIによって、迅速に構築できます。

注:ローカルPCとしてMacOSを前提としております。

Avatar for Databricks Japan

Databricks Japan

July 13, 2026

More Decks by Databricks Japan

Other Decks in Technology

Transcript

  1. Databricksでのカスタム AIエージェント開発ハンズオン ローカル開発から本番デプロイまで一気通貫で体験 2時間のワークショップを通じて、 Databricksを活用したカスタム AIエージェントの開発とデプロイ までを ハンズオン 形式で体験いただきます。 主な対象者

    • データブリックスを用いたカスタムAIエージェント開発にご興 味をお持ちの方 • カスタムAIエージェントを本番化、運用する方々 ゴール • DatabricksにおけるカスタムAIエージェント開発関連の機能 を把握する • ローカルIDEを用いた開発、Databricksと連携した評価、 Lakebaseを使用したエージェントメモリ管理などの方法を理 解する ©2025 Databricks Inc. — All rights reserved アジェンダ 1. 事前説明 (30分) ◦ カスタムエージェント開発「 Agent Bricks」の紹介 2. ハンズオン (90分) ◦ IDE (VS Codeなど) を使ってエージェント開発・評価 ◦ Databricks Appsへデプロイ・運用 事前準備 • 環境: ◦ ◦ ◦ お客様のDatabricks環境を利用 ローカルPCにVS Codeをインストール 前提条件に記載のライブラリをインストール • データ: 弊社よりサンプルデータを提供
  2. Context. Control. Choice. Agentic Apps AI/BI エージェントを展開して 業務を変革 Agentic Work

    全ての従業員のため のデータに優れたコ ワーカー Lakewatch Apps ビジネス インテリジェンス Genie あらゆるデータと接続 業務を自動化するた するAIコワーカー めのビジネスエー ジェントの構築と共 有 CustomerLake エージェンティック セキュリティ カスタムアプリ ータと連携するビジネス ZeroOps アプリを安全にVibe App Codeしてデプロイ Builder エージェンティック マーケティング Agent Bricks オープンエージェント 開発プラットフォーム ビルド | デプロイ | Omnigent 最適化 | ガバナンス データとAIの アクセス | セマンティックス Unity Catalog オブザビリティ | OpenSharing コントロールとコスト管理 Agentic Data 統合されたリアルタイムデー タ基盤 Open Infrastructure ©2026 Databricks, Inc. — All rights reserved エージェント、アプ リ、モデル 開発および展開 Genie Ontology Unified Governance Agentic Dev Lakeflow 取り込み | ストリーミング | ETL Open Format Data Lake Unity AI Gateway Lakehouse モデル | セキュリティ コスト最適化 Lakebase SQL データウェアハウス サーバーレス Postgres Any Cloud Any Model Any Data
  3. Agent Bricks End-to-end AI and ML Platform Build agents Data

    Reasoning & Retrieval Declarative Agent Structured Data Unstructured Data Document Processing AI Functions in SQL Supervisor Agent Knowledge Assistant Information Extraction Agent Deployment Models Memory Orchestration Autoscaling Tools & MCP Monitoring, Evaluation, and LLMOps Build models Data Serving Feature Store Vector Search Lakebase Unity Catalog Model Training & Serving CPU GPU Governance, lineage, audit tracking across agents and tools AI Gateway Models Model lifecycle Experiments Agent tracing LLM Judges Prompt Registry Prompt Optimizer Developer Tools Notebooks Continuous Integration IDE integration MCP Agents Evals Files Tables 5
  4. データブリックスは カスタムエージェント構築 ワンストップ基盤 MLflow Vector Search / Lakebase / Lakehouse

    評価/モニタリング Genie + SQL WH / KA / SA / Custom Agent Databricks Apps / Unity AI Gateway データストア サブエージェント UC Functions MCP サーバー フロントエンド アプリ ユーザー カスタムロジック エージェント 外部サービス メモリ管理 LLM Lakebase Databricks Apps ガバナンス ローコード : KA/SA カスタム : Databricks Apps / Model Serving Unity Catalog / Unity AI Gateway Model Serving(基盤モデル API&外部モデ ル) + Unity AI Gateway
  5. データブリックスは カスタムエージェント構築 ワンストップ基盤 MLflow Vector Search / Lakebase / Lakehouse

    評価/モニタリング Genie + SQL WH / KA / SA / Custom Agent Databricks Apps / Unity AI Gateway データストア サブエージェント UC Functions MCP サーバー フロントエンド アプリ ユーザー カスタムロジック エージェント 外部サービス メモリ管理 LLM Lakebase Databricks Apps ガバナンス ローコード : KA/SA カスタム : Databricks Apps / Model Serving Unity Catalog / Unity AI Gateway Model Serving(基盤モデル API&外部モデ ル) + Unity AI Gateway
  6. Bringing various models under one roof One Contract, Any Model,

    No Lock-in ��🏼 Generally Available Public Preview 【重要】 Claude Sonnet 4.5 / Claude Sonnet 4.6 / Claude Opus 4.7 は in-Japan で利用可能! ©2025 Databricks Inc. — All rights reserved
  7. Unity AI Gateway Agent Registry Access Control Contextual Policies Budgets

    Smart Routing Agent Tracing Models Agents External Agents Microsoft Foundry Amazon AgentCore MCP & Skills AI Coding Genie Code Unified governance for your entire AI estate
  8. Unity AI Gateway LLMプロバイダーへのアクセスを一元化 AI ゲートウェイ エージェント ロードバランス と フォールバック

    LLM APIs OpenAI パーミッション レート制限 リクエスト Anthropic 入出力への ガードレール レスポンス Qwen 3 利用状況の追跡 ペイロードの保存 標準化された クエリ インタフェース 利用状況の監視 コストを追跡 監査対象の ペイロード https://docs.databricks.com/aws/en/ai-gateway/
  9. データブリックスは カスタムエージェント構築 ワンストップ基盤 MLflow Vector Search / Lakebase / Lakehouse

    評価/モニタリング Genie + SQL WH / KA / SA / Custom Agent Databricks Apps / Unity AI Gateway データストア サブエージェント UC Functions MCP サーバー フロントエンド アプリ ユーザー カスタムロジック エージェント 外部サービス メモリ管理 LLM Lakebase Databricks Apps ガバナンス ローコード : KA/SA カスタム : Databricks Apps / Model Serving Unity Catalog / Unity AI Gateway Model Serving(基盤モデル API&外部モデ ル) + Unity AI Gateway
  10. ファーストパーティ MCP サーバー ユーザー代理認証をすぐに利用できます • Genie: 自然言語による SQL質問のため ◦ 分析とデータアクセスの民主化のために設計

    • DBSQL: SQLクエリのテストのため ◦ IDE開発に最適 • Vector Search: 非構造化データのクエリのため ◦ 大規模なドキュメント検索のために構築 • UC Functions: Databricksの既知クエリとツールのため ◦ データへの迅速なアクセスを提供
  11. データブリックスは カスタムエージェント構築 ワンストップ基盤 MLflow Vector Search / Lakebase / Lakehouse

    評価/モニタリング Genie + SQL WH / KA / SA / Custom Agent Databricks Apps / Unity AI Gateway データストア サブエージェント UC Functions MCP サーバー フロントエンド アプリ ユーザー カスタムロジック エージェント 外部サービス メモリ管理 LLM Lakebase Databricks Apps ガバナンス ローコード : KA/SA カスタム : Databricks Apps / Model Serving Unity Catalog / Unity AI Gateway Model Serving(基盤モデル API&外部モデ ル) + Unity AI Gateway
  12. ローコード・エージェント開発 ~KA / SA~ 2026年4月末より日本でも利用可能(但し、クロスリージョン)。 ナレッジ・アシスタント( KA) スーパーバイザー・エージェント( SA) Agentic

    RAG型のエージェント エージェントやツールを使いこなすエージェント 自動作成 自動作成 Embedding Model ナレッジアシスタント ETL Vector Search エージェント ユーザーデータ (UC Volume) Genie スーパーバイザー エージェント ツール(MCP) LLM LLM Available in Japan!! (Only AWS & Azure / Cross-Region) 既存エージェント やツールを任意 に追加可能
  13. カスタム・エージェント開発 主要なオーサリングフレームはほぼ全てサポート LLM/エージェント オーサリング・フレームワーク 実装例( LangGraph) # LangGraphのワークフローを構築 workflow =

    StateGraph(ChatAgentState) workflow.add_node("agent", RunnableLambda(call_model)) workflow.add_node("tools", execute_tools) workflow.set_entry_point("agent") workflow.add_conditional_edges( "agent", should_continue, { "continue": "tools", "end": END, }, ) workflow.add_edge("tools", "agent") return workflow.compile()
  14. カスタム・エージェントのデプロイ (2つの選択肢) ⑥モニタリ ング Evaluation & Monitoring Databricks Apps ④モニタリ

    ング ⑤モデルサービングへ デプロイ Notebook ①ノートブックで開発 Model Serving Tracking Server Unity Catalog Model Registry ③MLflowへ記録 ④UCモデルレジストリ へ登録 ②評価 ローカル開発環境 ③DBX Appsへデプ ロイ ①ローカルで開発 奨 ②評価 Evaluation & Monitoring Option 2:Databricks Apps 推 Option 1:Model Serving (CPU Serving)
  15. データブリックスは カスタムエージェント構築 ワンストップ基盤 MLflow Vector Search / Lakebase / Lakehouse

    評価/モニタリング Genie + SQL WH / KA / SA / Custom Agent Databricks Apps / Unity AI Gateway データストア サブエージェント UC Functions MCP サーバー フロントエンド アプリ ユーザー カスタムロジック エージェント 外部サービス メモリ管理 LLM Lakebase Databricks Apps ガバナンス ローコード : KA/SA カスタム : Databricks Apps / Model Serving Unity Catalog / Unity AI Gateway Model Serving(基盤モデル API&外部モデ ル) + Unity AI Gateway
  16. AIエージェント:本番運⽤までの道のり(再掲) 質 品 本番 業務への適合性 出⼒の品質(信頼性と⼀貫 性) − いつ使っても期待どおりの応答 が得られること。誤答‧揺らぎ

    を最⼩限とし、仕様通りの振る 舞い 本番運⽤ − 専⾨業務‧企業固有のデータや知 識を活⽤し、そのドメインで意味 またはビジネス価値のあるエー ジェントを構築できること コスト効率‧資源の最適化 − 品質を犠牲にしない範囲でコス トや計算リソースを最適に使う 設計がなされていること 継続的な評価と改善の仕組み − パフォーマンスを測るための指 標‧評価基準があり、取得可能 なデータから定量‧定性的に評 価できること 👈 プロトタイプ 開発 ©2026 Databricks Inc. — All rights reserved 運⽤性‧スケーラビリティ − デプロイ∕モニタリング∕ツー ル‧システム連携が簡便で、遅 延や負荷、信頼性を保ちながら 拡張できること ガバナンス‧安全性 − プライバシー、アクセス制御、 データの追跡性(データリネー ジ)、有害な出⼒防⽌、法令遵 守などを含む スケ ン ーリ グ
  17. 品質のカギは ”継続的な評価と改善の仕組み” 品質の鍵を握るのは業務知⾒者による評価データの品質、また、エンドユー ザーから良質なフィードバックに基づき、改善ループを効率的に回す仕組み 開発 環境 エンジニ ア 運⽤ 環境

    開発 (改善) フィード バック 原因 分析 Agent 評価 監視 エンドユーザー Agent LLMジャッジ エンジニア フィードバック & 監視ログ 評価デー タ 業務知⾒者 ©2026 Databricks Inc. — All rights reserved LLMOps の実現 → MLflow
  18. エージェントの実行ログ = トレースデータ LLMOps (AgentOps) の要はトレースデータ トレースデータ エージェントと会話をする { "trace_id":

    "trace_20260509_001", "agent_name": "CustomerSupportAgent", "user_input": "注文した商品はいつ届きますか? ", "status": "completed", "steps": [ { "step": 1, "type": "llm_reasoning", "summary": "ユーザーは配送状況を確認したい。注文情報を検索する必要がある。 }, { "step": 2, "type": "tool_call", "tool_name": "order_lookup", "input": { "user_id": "user_123", "order_id": "order_456" } }, { "step": 3, "type": "tool_result", "output": { "delivery_status": "配送中 ", "estimated_arrival": "2026-05-10" } }, { "step": 4, "type": "final_response", "message": "商品は現在配送中です。到着予定日は 2026年5月10日です。 " } ], "metrics": { "latency_ms": 1280, "total_tokens": 842 } 注文した商品はいつ 届きますか? ユーザー 商品は現在配送 中です。到着予 定日は2026年5 月10日です。 Biz Data エージェント LLM } "
  19. トレースデータの保存先 ~2つの選択肢 ~ w Lflo Trace Data 1: M ion

    Opt 格納 に 実験 実験 UI Admin Op Ta tion ble 2: に格 De Op 納 lta en Ter em etr + Zer y ob us UI Admin Delta Table Public Preview now!
  20. エージェント回答品質向上のための原因分析 データブリックスでは、トレース情報を基にしたエージェントによる自動的な原因分析 も可能 従来手法: 最新手法: トレース情報 + 人間(エンジニア) トレース情報 +

    エージェント エンジニアがトレース情報を見ながらNG回答ごとに根本 原因を探る エージェントがトレース情報を見ながら自動的に根本原因 を探る (Genie Code) + https://docs.databricks.com/aws/en/mlflow3/genai/getting-started/genie-code +
  21. データブリックスは カスタムエージェント構築 ワンストップ基盤 MLflow Vector Search / Lakebase / Lakehouse

    評価/モニタリング Genie + SQL WH / KA / SA / Custom Agent Databricks Apps / Unity AI Gateway データストア サブエージェント UC Functions MCP サーバー フロントエンド アプリ ユーザー カスタムロジック エージェント 外部サービス メモリ管理 LLM Lakebase Databricks Apps ガバナンス ローコード : KA/SA カスタム : Databricks Apps / Model Serving Unity Catalog / Unity AI Gateway Model Serving(基盤モデル API&外部モデ ル) + Unity AI Gateway
  22. AIエージェント:本番運⽤までの道のり(再掲) 質 品 本番 業務への適合性 出⼒の品質(信頼性と⼀貫 性) − いつ使っても期待どおりの応答 が得られること。誤答‧揺らぎ

    を最⼩限とし、仕様通りの振る 舞い 本番運⽤ − 専⾨業務‧企業固有のデータや知 識を活⽤し、そのドメインで意味 またはビジネス価値のあるエー ジェントを構築できること コスト効率‧資源の最適化 − 品質を犠牲にしない範囲でコス トや計算リソースを最適に使う 設計がなされていること 継続的な評価と改善の仕組み − パフォーマンスを測るための指 標‧評価基準があり、取得可能 なデータから定量‧定性的に評 価できること ©2026 Databricks Inc. — All rights reserved − デプロイ∕モニタリング∕ツー ル‧システム連携が簡便で、遅 延や負荷、信頼性を保ちながら 拡張できること 👈 プロトタイプ 開発 運⽤性‧スケーラビリティ ガバナンス‧安全性 − プライバシー、アクセス制御、 データの追跡性(データリネー ジ)、有害な出⼒防⽌、法令遵 守などを含む スケ ン ーリ グ
  23. データ基盤と AI Agent基盤の統合 Databricks は データ と AI に同じ仕組みでガバナンスが適用可能なため、 AI

    Agent活用にあたってのアクセスとガバナンスが単一化され、構成がシンプルになります Databricks による統合基盤 一般的な個別プラットフォーム AI Agent による タスク実行 人間による タスク実行 各サービスで アクセス・ガバナンスの管理 データ系サービス テーブル 実行ロジック AI Agent による タスク実行 人間による タスク実行 単一のアクセス・ガバナンス AI系サービス テーブル 実行ロジック Unity Catalog テーブル 実行ロジック
  24. エージェントからの安全なアクセスを実現 エージェントにユーザーと同一権限を引き継がせる(ユーザー代理認証)ことで安心 安全なデータアクセスを担保する Recommended エージェント + スーパー権限 従来のデータガバナンス 顧客データ JP担当

    EU担当 顧客 国 売上額 A社 JP B社 エージェント + ユーザー代理認証 顧客データ 顧客データ JP担当 国 売上額 1040 A社 JP 1040 JP 4301 B社 JP 4301 C社 US 986 C社 US 986 D社 EU 795 D社 EU 795 E社 CN 1115 E社 CN 1115 国 売上額 1040 A社 JP JP 4301 B社 C社 US 986 D社 EU 795 E社 CN 1115 Agent EU担当 JP担当 顧客 顧客 Agent EU担当 ユーザー毎のきめ細かなデータアクセス ユーザーの権限外のデータにもアクセス エージェントがユーザー権限を引き継ぐ できるため漏洩リスクが高い 制御が可能 ため、意図通りのアクセスを担保 ©2026 Databricks Inc. — All rights reserved
  25. ⚠Made-up citation Slack MCP エージェントの乱立 (Agent Sprawl)は 現実の課題 Legal Agent

    ❤Health: ? Review Agent Support Agent ❤Health: ? ❤Health: ? ⚠wrong ⚠wrong Marketing Agent ❤Health: ? Jira MCP ⚠Made-up citation ⚠wrong customer ID Meeting Summary Agent ❤Health: ? Forecast Tool • エンタープライズデータに対する 推論品質が低い • ガバナンスが効かない • ベンダーが乱立している • 品質を測る術がない お客様は単一のエージェント基盤を求めている
  26. 統一ガバナンス ~ Unity Catalog + Unity AI Gateway ~ あらゆるユース

    ケースに対応する 統合機能 Discovery Lineage Cost Controls Secure Open Data Sharing AI Governance Quality Monitoring TRADITIONAL CATALOGS Access Control すべての資産 に 対する統一的な ガバナンス Business Semantics Tables Files PDFs MCP Models Agents And more… 50… Unity AI Gateway Unity Catalog 統一ガバナンス オープンフォーマット Postgres
  27. 構築するもの: Fresh Mart ショッピング・アシスタント ポリシー 文書 Vector Search エージェント 短期記憶・長期記憶

    Databricks Apps Lakebase フロントエンド アプリ Genie Space マスタ + トランザクショ ン Delta Table ユーザー エージェント (LangGraph) Express サーバー (Node.js, React) FastAPI サーバー (python+uvicorn) Open Teremetry Prompt Registry Delta Table MLflow Experiment (モニタリング用 ) LLM (Claude-sonnet-4.6) MLflow Experiment (オフライン評価用 )
  28. Databricks エージェント開発の進化 Before:Model Servingでホスト ②評価 Evaluation & Monitoring ⑥モニタリ ング

    Evaluation & Monitoring Databricks Apps ④モニタリ ング ⑤モデルサービングへ デプロイ Notebook ①ノートブックで開発 Model Serving Now:Databricks Appsでホスト Tracking Server Unity Catalog Model Registry ③MLflowへ記録 ④UCモデルレジストリ へ登録 → 機械学習モデルの管理基盤を起点に、 GenAI / エージェントもサポートしてきた ②評価 ローカル開発環境 ③DBX Appsへデプ ロイ ①ローカルで開発 → アプリケーション開発の⾃然な流れに沿って、 そのままエージェントを作れる
  29. 構築するもの: Fresh Mart ショッピング・アシスタント ローカル開発環境( VS Code) ポリシー 文書 Vector

    Search エージェント 短期記憶・長期記憶 Lakebase フロントエンド アプリ Genie Space マスタ + トランザクショ ン Delta Table ユーザー エージェント (LangGraph) Express サーバー (Node.js, React) FastAPI サーバー (python+uvicorn) Open Teremetry Prompt Registry Delta Table MLflow Experiment (モニタリング用 ) LLM (Claude-sonnet-4.6) MLflow Experiment (オフライン評価用 )
  30. 今⽇のポイント Databricks エージェント開発で押さえておきたい 2 つの変化 1. 開発体験はローカル IDE 中⼼へ ‧

    ⼿元の VS Code / Cursor でコードを書く ‧ ローカルでテスト ‧ Git で管理 → ⼀般的なアプリケーション開発の⾃然な流れ 2. デプロイ先は Databricks Apps ‧ フロントエンドも含めて 1 プロダクトとして運⽤ ‧ 他のユーザーも同じ Databricks ワークスペースから OAuth でアクセス → アプリケーションとしてホスティング ※ 環境構築を簡単に体験するためのユーティリティとしてクイックスタートを利⽤しました(本来の⼿順は WORKSHOP_INSTRUCTIONS.md)
  31. Technical Deep Dive ~SP 権限の整理 — 本番デプロイで気をつけたいポイント~ 1. なぜ権限の話が必要か(SP の概念)

    2. 権限の 3 レイヤー俯瞰 3. Unity Catalog の権限 4. Lakebase の 2 層構造 5. 紛らわしい罠(落とし⽳)
  32. SP に付与する権限の全体像 Databricks Apps では SP(サービスプリンシパル)として動作するため、権限を 3 つのレイヤーで設計する必 要がある レイヤー

    1: Unity Catalog 権限 対象: カタログ / スキーマ / テーブル / 関数 付与⽅法: UC Permissions API → 今⽇の主役(次のスライドで詳しく) レイヤー 2: Lakebase 内部の PostgreSQL 権限 対象: PostgreSQL のロール‧スキーマ‧テーブル 付与⽅法: PostgreSQL の GRANT ⽂ → 2 層構造になっている(後で詳しく) レイヤー 3: その他のサービス ACL 対象: Genie Space / Vector Search / MLflow Experiment 付与⽅法: 各サービスの ACL API → 本デモでは深く取り上げず(スクリプトが⾯倒を⾒てくれる)
  33. Unity Catalog 権限の使い分け 基本権限に加えて、機能ごとに「特殊な権限」が必要になる 機能 必要な UC 権限 ⼀⾔メモ 基本アクセス

    USE_CATALOG / USE_SCHEMA スキーマへの⼊場許可 Genie / Vector Search 参照 SELECT テーブル読み取り トレースを Delta Table に書く MODIFY OTEL テーブルへの書き込み Prompt Registry を使う CREATE_FUNCTION + EXECUTE + MANAGE UC の関数系権限が必要 Prompt Registry には UC の関数系権限が必要 通常のテーブル権限(SELECT / MODIFY)だけでは動かない これらはすべて `grant-sp-permissions` が⾃動で付与します
  34. Lakebase の権限は 2 層構造 「繋がる」だけでは⾜りず、「テーブルに読み書きできる」権限が別途必要 層 1: 接続権限(Databricks 側の ACL)

    「この SP は Lakebase プロジェクトに繋いでよい」 付与⽅法: databricks.yml のリソースバインディングでデプロイ時に⾃動付与 層 2: PostgreSQL 内部権限 「この PostgreSQL ロールはこのスキーマ/テーブルを SELECT / INSERT / UPDATE / DELETE してよい」 付与⽅法: PostgreSQL の GRANT ⽂(`grant-sp-permissions` が実⾏) 両⽅が揃って、初めて Lakebase の読み書きができる(⽚⽅だけだと動かない)
  35. Prompt Registry の権限が特殊な理由 Prompt Registry は UC の「関数系権限」を要求する 通常のデータアクセス Prompt

    Registry のアクセス 対象: テーブルのデータ 対象: Unity Catalog 上のプロンプト 必要な権限: ‧ SELECT(読み取り) ‧ MODIFY(書き込み) 必要な権限: ‧ CREATE_FUNCTION ‧ EXECUTE ‧ MANAGE → よく使う、なじみのある権限 → UC の関数系権限が必要 テーブル権限(SELECT / MODIFY)だけでは Prompt Registry は動かない `grant-sp-permissions` がこの 3 つの権限を⾃動で付与します 参考: https://docs.databricks.com/aws/en/mlflow3/genai/prompt-version-mgmt/prompt-registry/