Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DatabricksによるRAGアーキテクチャー
Search
Databricks Japan
May 12, 2024
Technology
0
420
DatabricksによるRAGアーキテクチャー
DatabricksによるRAGアーキテクチャーについて説明します。
Databricks Japan
May 12, 2024
Tweet
Share
More Decks by Databricks Japan
See All by Databricks Japan
AIもデータも、もっと身近に。Databricksで広がる金融業界の可能性 / FDUA-Study
databricksjapan
0
42
OTFSG勉強会 / Introduction to the History of Delta Lake + Iceberg
databricksjapan
0
150
[2025年5月版] Azure Databricks最新機能アップデート / 202505 Azure Databricks Latest Updates
databricksjapan
0
190
DatabricksとPower BIの連携メリット / Databricks PowerBI Integration Merits
databricksjapan
1
200
[2025年4月版] Databricks Academy ラボ環境 利用開始手順 / Databricks Academy Labs Onboarding
databricksjapan
2
400
Lakeflow Connectのご紹介
databricksjapan
1
230
MLflowの現在と未来 / MLflow Present and Future
databricksjapan
1
660
Iceberg Meetup Japan #1 : Iceberg and Databricks
databricksjapan
0
850
JEDAI Meetup! Databricks AI/BI概要
databricksjapan
0
640
Other Decks in Technology
See All in Technology
MUITにおける開発プロセスモダナイズの取り組みと開発生産性可視化の取り組みについて / Modernize the Development Process and Visualize Development Productivity at MUIT
muit
1
16k
開発生産性を測る前にやるべきこと - 組織改善の実践 / Before Measuring Dev Productivity
kaonavi
9
4.3k
React開発にStorybookとCopilotを導入して、爆速でUIを編集・確認する方法
yu_kod
1
270
NewSQLや分散データベースを支えるRaftの仕組み - 仕組みを理解して知る得意不得意
hacomono
PRO
2
140
LangChain Interrupt & LangChain Ambassadors meetingレポート
os1ma
2
310
What’s new in Android development tools
yanzm
0
310
無意味な開発生産性の議論から抜け出すための予兆検知とお金とAI
i35_267
4
13k
B2C&B2B&社内向けサービスを抱える開発組織におけるサービス価値を最大化するイニシアチブ管理
belongadmin
1
6.9k
品質と速度の両立:生成AI時代の品質保証アプローチ
odasho
1
340
Beyond Kaniko: Navigating Unprivileged Container Image Creation
f30
0
130
United airlines®️ USA Contact Numbers: Complete 2025 Support Guide
unitedflyhelp
0
310
「クラウドコスト絶対削減」を支える技術—FinOpsを超えた徹底的なクラウドコスト削減の実践論
delta_tech
4
170
Featured
See All Featured
Writing Fast Ruby
sferik
628
62k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
Done Done
chrislema
184
16k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Why Our Code Smells
bkeepers
PRO
336
57k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
RailsConf 2023
tenderlove
30
1.1k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Build The Right Thing And Hit Your Dates
maggiecrowley
36
2.8k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.9k
Making the Leap to Tech Lead
cromwellryan
134
9.4k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
Transcript
Mosaic AIのデータ中心アプローチ 事前学習モデルの 活用、カスタム モデルの構築 リアルタイムアプリに モデルを提供して監 視 ネイティブツールによ るデータと特徴量の
準備 データプラットフォーム — Delta Lake ガバナンス — Unity Catalog データセット モデル アプリ
©2024 Databricks Inc. — All rights reserved 2 RAGはMosaic AIの一部です
Mosaic AIはすべてのタイプのAIで動作します - 古典的なML、ディープラーニング、RAGを含む生成AI MLOps + LLMOps データとベクトルの準備 ネイティブツールでデータと特徴量を準備 アプリケーションの提供 リアルタイムアプリにモデルを提供して監視 モデルの構築と評価 カスタムモデルのトレーニング、ファインチューニング、事前学習 モデルに対するプロンプトエンジニアリング 構造化データとベクトルデータベースのサービング リアルタイムAPIとしてデータを提供 データとAIのガバナンス – Unity Catalog データプラットフォーム – Delta Lake
©2023 Databricks Inc. — All rights reserved 3 Fine Tuning
Model Serving Pre-training Model Serving Vector Search Model Serving MLflow AI Gateway MLflow Evaluation MLflow Prompt Engg 生成AIアプリケーションにリアルタイムデータを接 続するためにRAGが必要です プロンプト エンジニアリング Retrieval Augmented Generation (RAG) ファイン チューニング 事前トレーニング LLMの挙動をガイドする ための特殊なプロンプトを作 成 LLMと企業データを結合 事前学習LLMを特定の データセット、ドメイン に適合 最初からLLMを トレーニング
©2024 Databricks Inc. — All rights reserved 4 RAGはMosaic AIの一部です
Mosaic AIの機能 (AI) レイクハウスの機能 (Data + AI) Mosaic AIはすべてのタイプのAIで動作します - 古典的なML、ディープラーニング、RAGを含む生成AI MLOps + LLMOps MLflow アセットバンドル (DAB) CI/CDサポート データとベクトルの準備 ネイティブツールでデータと特徴量を準備 SQL ワークフロー Delta Live Tables ノートブック アプリケーションの提供 リアルタイムアプリにモデルを提供して監視 モデル サービング AI Functions SQLからモデル呼出 Lakehouse Apps レイクハウス モニタリング モデルの構築と評価 カスタムモデルのトレーニング、ファインチューニング 事前学習モデルのプロンプトエンジニアリング MLランタイムと ノートブック AutoML Fine Tuning マーケット プレースのモデル MPT LLaMA2 AI Playground MLflow Track & Evaluate データとベクトルの提供 Feature Serving Vector Search Function Serving ガバナンス モデルレジストリ in Unity Catalog Unity Catalog Feature Store in Unity Catalog データプラットフォーム Deltaテーブル 構造化データ ファイル (ボリューム) 非構造化データ
©2024 Databricks Inc. — All rights reserved RAGアプリケーションはリアルタイム、バッチ、 ストリーミングです リアルタイム
例: ポリシーに関する質問に回答する チャットbot バッチ / ストリーミング 例: リスクに関するアンケートが新たに 1万件アップロードされた際に処理 保存データ パイプ ライン Webアプリ Slack / Teams SaaSアプリ SMS RAG アプリ
©2024 Databricks Inc. — All rights reserved 記録 REST API
Databricks内あるいはREST APIによる セキュアな接続 自動 同期 構造化 & 非構造化データ チャットアプリケーション UI/UX、ユーザー認証、セッション管理など モニタリング Databricks によるRAGの デプロイ レイクハウス: ストレージ & ガバナンス モデル データ & ベクトルサービング データ & ベクトル 準備パイプライン RAGチェーン アプリからの質問に反応するために、認証情報の管理、ガバナンス、ロギングを 含むモデルとデータのオーケストレーション
©2024 Databricks Inc. — All rights reserved 記録 REST API
Databricks内あるいはREST APIによる セキュアな接続 自動で 同期 Databricks によるRAGの デプロイ チャットアプリケーション UI/UX、ユーザー認証、セッション管理など 既存アプリ Salesforce、Webポータルなど Lakehouse Apps Databricksがホスト モニタリング レイクハウスモ ニタリング レイクハウス: ストレージ & ガバナンス モデル GenAI Model serving データ & ベクトルサービング Feature Serving Vector Search データ&ベクトルの準備 ワーク フロー Delta Live Tables ワークフロー バッチ/ストリームパイプライン RAGチェーン アプリからの質問に反応するために、認証情報の管理、ガバナンス、ロギングを 含むモデルとデータのオーケストレーション モデルサービング LangChain, Python, … Unity Catalog Deltaテーブル ボリューム Mosaic AIの機能 (AI) Lakehouseの機能 (Data + AI)
©2024 Databricks Inc. — All rights reserved データの準備
©2024 Databricks Inc. — All rights reserved 9 非構造化データの準備 Databricks管理のエンべディングとVector
Search モデルサービング ベクトルDB Vector Search 格納 Delta テーブル 自動で同期 外部モデル カスタムモデル 基盤モデル チャンク & 特徴量 Databricksが エンべディング を計算 モデル 任意のオープン、プロプライエタリのモデル MPT LLaMA2 外部 ソース 取り込み テーブル ボリューム ファイル & メタデータ 文書の処理 1. 解析 2. クレンジング 3. チャンク作成 4. 特徴量生成 ワークフロー Delta Live Tables ノートブック
©2024 Databricks Inc. — All rights reserved 10 非構造化データの準備 顧客管理のエンべディングとVector
Search モデルサービング 外部モデル カスタムモデル 基盤モデル 外部 ソース 取り込み Tables Volumes ファイル & メタデータ 文書の処理 1. 解析 2. クレンジング 3. チャンク作成 4. 特徴量生成 チャンク & 特徴量 ワークフロー Delta Live Tables ノートブック モデル 任意のオープン、プロプライエタリのモデル MPT LLaMA2 ベクトルDB Vector Search 格納 Delta テーブル 自動 同期 エンべ ディング ご自身で エンべディング を計算して格納 ワークフロー Delta Live Tables ノートブック チャンク ベクトル 特徴量
©2024 Databricks Inc. — All rights reserved 11 構造化データの準備 サービング
Feature Serving 格納 外部 ソース 取り込み Deltaテーブル Deltaテーブル 自動同期 行 特徴量 エンジニア リング 特徴量 ワークフロー Delta Live Tables ノートブック オンライン テーブル Feature Servingとオンラインテーブル
©2024 Databricks Inc. — All rights reserved チェーンの構築と提供
©2024 Databricks Inc. — All rights reserved 13 モデルサービング データサービング
チェーンのロジック RAGアーキテクチャ: チェーン モデルサービング 質問 クエリー 処理 クエリー 展開 リトリーバ プロンプト エンジニア リング 生成 応答 外部モデル カスタムモデル 基盤モデル Feature Serving Vector Search 後処理 Unity Catalog Deltaテーブル 記録 モニタリング レイクハウスモ ニタリング 🦜🔗
©2024 Databricks Inc. — All rights reserved アプリケーション モニタリング Databricks
によるRAGの デプロイ レイクハウス: ストレージ & ガバナンス モデル データ & ベクトル サービング データ&ベクトル 準備パイプライン RAGチェーン