Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DatabricksによるRAGアーキテクチャー
Search
Databricks Japan
May 12, 2024
Technology
0
420
DatabricksによるRAGアーキテクチャー
DatabricksによるRAGアーキテクチャーについて説明します。
Databricks Japan
May 12, 2024
Tweet
Share
More Decks by Databricks Japan
See All by Databricks Japan
AIもデータも、もっと身近に。Databricksで広がる金融業界の可能性 / FDUA-Study
databricksjapan
0
39
OTFSG勉強会 / Introduction to the History of Delta Lake + Iceberg
databricksjapan
0
150
[2025年5月版] Azure Databricks最新機能アップデート / 202505 Azure Databricks Latest Updates
databricksjapan
0
190
DatabricksとPower BIの連携メリット / Databricks PowerBI Integration Merits
databricksjapan
1
200
[2025年4月版] Databricks Academy ラボ環境 利用開始手順 / Databricks Academy Labs Onboarding
databricksjapan
2
400
Lakeflow Connectのご紹介
databricksjapan
1
230
MLflowの現在と未来 / MLflow Present and Future
databricksjapan
1
660
Iceberg Meetup Japan #1 : Iceberg and Databricks
databricksjapan
0
850
JEDAI Meetup! Databricks AI/BI概要
databricksjapan
0
640
Other Decks in Technology
See All in Technology
LangSmith×Webhook連携で実現するプロンプトドリブンCI/CD
sergicalsix
1
230
生まれ変わった AWS Security Hub (Preview) を紹介 #reInforce_osaka / reInforce New Security Hub
masahirokawahara
0
470
AI時代の開発生産性を加速させるアーキテクチャ設計
plaidtech
PRO
3
150
Delta airlines®️ USA Contact Numbers: Complete 2025 Support Guide
airtravelguide
0
340
AIの全社活用を推進するための安全なレールを敷いた話
shoheimitani
2
510
Oracle Database@Google Cloud:サービス概要のご紹介
oracle4engineer
PRO
0
110
OPENLOGI Company Profile for engineer
hr01
1
34k
Zero Data Loss Autonomous Recovery Service サービス概要
oracle4engineer
PRO
2
7.7k
ビズリーチが挑む メトリクスを活用した技術的負債の解消 / dev-productivity-con2025
visional_engineering_and_design
3
7.5k
KiCadでPad on Viaの基板作ってみた
iotengineer22
0
300
FOSS4G 2025 KANSAI QGISで点群データをいろいろしてみた
kou_kita
0
400
関数型プログラミングで 「脳がバグる」を乗り越える
manabeai
1
190
Featured
See All Featured
Making Projects Easy
brettharned
116
6.3k
We Have a Design System, Now What?
morganepeng
53
7.7k
Done Done
chrislema
184
16k
How to Think Like a Performance Engineer
csswizardry
25
1.7k
For a Future-Friendly Web
brad_frost
179
9.8k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.4k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Building Applications with DynamoDB
mza
95
6.5k
RailsConf 2023
tenderlove
30
1.1k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
820
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Transcript
Mosaic AIのデータ中心アプローチ 事前学習モデルの 活用、カスタム モデルの構築 リアルタイムアプリに モデルを提供して監 視 ネイティブツールによ るデータと特徴量の
準備 データプラットフォーム — Delta Lake ガバナンス — Unity Catalog データセット モデル アプリ
©2024 Databricks Inc. — All rights reserved 2 RAGはMosaic AIの一部です
Mosaic AIはすべてのタイプのAIで動作します - 古典的なML、ディープラーニング、RAGを含む生成AI MLOps + LLMOps データとベクトルの準備 ネイティブツールでデータと特徴量を準備 アプリケーションの提供 リアルタイムアプリにモデルを提供して監視 モデルの構築と評価 カスタムモデルのトレーニング、ファインチューニング、事前学習 モデルに対するプロンプトエンジニアリング 構造化データとベクトルデータベースのサービング リアルタイムAPIとしてデータを提供 データとAIのガバナンス – Unity Catalog データプラットフォーム – Delta Lake
©2023 Databricks Inc. — All rights reserved 3 Fine Tuning
Model Serving Pre-training Model Serving Vector Search Model Serving MLflow AI Gateway MLflow Evaluation MLflow Prompt Engg 生成AIアプリケーションにリアルタイムデータを接 続するためにRAGが必要です プロンプト エンジニアリング Retrieval Augmented Generation (RAG) ファイン チューニング 事前トレーニング LLMの挙動をガイドする ための特殊なプロンプトを作 成 LLMと企業データを結合 事前学習LLMを特定の データセット、ドメイン に適合 最初からLLMを トレーニング
©2024 Databricks Inc. — All rights reserved 4 RAGはMosaic AIの一部です
Mosaic AIの機能 (AI) レイクハウスの機能 (Data + AI) Mosaic AIはすべてのタイプのAIで動作します - 古典的なML、ディープラーニング、RAGを含む生成AI MLOps + LLMOps MLflow アセットバンドル (DAB) CI/CDサポート データとベクトルの準備 ネイティブツールでデータと特徴量を準備 SQL ワークフロー Delta Live Tables ノートブック アプリケーションの提供 リアルタイムアプリにモデルを提供して監視 モデル サービング AI Functions SQLからモデル呼出 Lakehouse Apps レイクハウス モニタリング モデルの構築と評価 カスタムモデルのトレーニング、ファインチューニング 事前学習モデルのプロンプトエンジニアリング MLランタイムと ノートブック AutoML Fine Tuning マーケット プレースのモデル MPT LLaMA2 AI Playground MLflow Track & Evaluate データとベクトルの提供 Feature Serving Vector Search Function Serving ガバナンス モデルレジストリ in Unity Catalog Unity Catalog Feature Store in Unity Catalog データプラットフォーム Deltaテーブル 構造化データ ファイル (ボリューム) 非構造化データ
©2024 Databricks Inc. — All rights reserved RAGアプリケーションはリアルタイム、バッチ、 ストリーミングです リアルタイム
例: ポリシーに関する質問に回答する チャットbot バッチ / ストリーミング 例: リスクに関するアンケートが新たに 1万件アップロードされた際に処理 保存データ パイプ ライン Webアプリ Slack / Teams SaaSアプリ SMS RAG アプリ
©2024 Databricks Inc. — All rights reserved 記録 REST API
Databricks内あるいはREST APIによる セキュアな接続 自動 同期 構造化 & 非構造化データ チャットアプリケーション UI/UX、ユーザー認証、セッション管理など モニタリング Databricks によるRAGの デプロイ レイクハウス: ストレージ & ガバナンス モデル データ & ベクトルサービング データ & ベクトル 準備パイプライン RAGチェーン アプリからの質問に反応するために、認証情報の管理、ガバナンス、ロギングを 含むモデルとデータのオーケストレーション
©2024 Databricks Inc. — All rights reserved 記録 REST API
Databricks内あるいはREST APIによる セキュアな接続 自動で 同期 Databricks によるRAGの デプロイ チャットアプリケーション UI/UX、ユーザー認証、セッション管理など 既存アプリ Salesforce、Webポータルなど Lakehouse Apps Databricksがホスト モニタリング レイクハウスモ ニタリング レイクハウス: ストレージ & ガバナンス モデル GenAI Model serving データ & ベクトルサービング Feature Serving Vector Search データ&ベクトルの準備 ワーク フロー Delta Live Tables ワークフロー バッチ/ストリームパイプライン RAGチェーン アプリからの質問に反応するために、認証情報の管理、ガバナンス、ロギングを 含むモデルとデータのオーケストレーション モデルサービング LangChain, Python, … Unity Catalog Deltaテーブル ボリューム Mosaic AIの機能 (AI) Lakehouseの機能 (Data + AI)
©2024 Databricks Inc. — All rights reserved データの準備
©2024 Databricks Inc. — All rights reserved 9 非構造化データの準備 Databricks管理のエンべディングとVector
Search モデルサービング ベクトルDB Vector Search 格納 Delta テーブル 自動で同期 外部モデル カスタムモデル 基盤モデル チャンク & 特徴量 Databricksが エンべディング を計算 モデル 任意のオープン、プロプライエタリのモデル MPT LLaMA2 外部 ソース 取り込み テーブル ボリューム ファイル & メタデータ 文書の処理 1. 解析 2. クレンジング 3. チャンク作成 4. 特徴量生成 ワークフロー Delta Live Tables ノートブック
©2024 Databricks Inc. — All rights reserved 10 非構造化データの準備 顧客管理のエンべディングとVector
Search モデルサービング 外部モデル カスタムモデル 基盤モデル 外部 ソース 取り込み Tables Volumes ファイル & メタデータ 文書の処理 1. 解析 2. クレンジング 3. チャンク作成 4. 特徴量生成 チャンク & 特徴量 ワークフロー Delta Live Tables ノートブック モデル 任意のオープン、プロプライエタリのモデル MPT LLaMA2 ベクトルDB Vector Search 格納 Delta テーブル 自動 同期 エンべ ディング ご自身で エンべディング を計算して格納 ワークフロー Delta Live Tables ノートブック チャンク ベクトル 特徴量
©2024 Databricks Inc. — All rights reserved 11 構造化データの準備 サービング
Feature Serving 格納 外部 ソース 取り込み Deltaテーブル Deltaテーブル 自動同期 行 特徴量 エンジニア リング 特徴量 ワークフロー Delta Live Tables ノートブック オンライン テーブル Feature Servingとオンラインテーブル
©2024 Databricks Inc. — All rights reserved チェーンの構築と提供
©2024 Databricks Inc. — All rights reserved 13 モデルサービング データサービング
チェーンのロジック RAGアーキテクチャ: チェーン モデルサービング 質問 クエリー 処理 クエリー 展開 リトリーバ プロンプト エンジニア リング 生成 応答 外部モデル カスタムモデル 基盤モデル Feature Serving Vector Search 後処理 Unity Catalog Deltaテーブル 記録 モニタリング レイクハウスモ ニタリング 🦜🔗
©2024 Databricks Inc. — All rights reserved アプリケーション モニタリング Databricks
によるRAGの デプロイ レイクハウス: ストレージ & ガバナンス モデル データ & ベクトル サービング データ&ベクトル 準備パイプライン RAGチェーン