Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DatabricksによるRAGアーキテクチャー
Search
Databricks Japan
May 12, 2024
Technology
0
140
DatabricksによるRAGアーキテクチャー
DatabricksによるRAGアーキテクチャーについて説明します。
Databricks Japan
May 12, 2024
Tweet
Share
More Decks by Databricks Japan
See All by Databricks Japan
Databricks Appのご紹介
databricksjapan
0
750
Databricks AI/BI Genie 自然言語を用いたインテリジェンスなデータ分析
databricksjapan
0
180
生成AIとレイクハウス・ガバナンス
databricksjapan
1
130
データプロダクトにおけるCI/CD: Databricks Asset Bundleとは?
databricksjapan
0
150
Databricks クリーンルームについてのご紹介
databricksjapan
0
220
Unity Catalog データ分離設計ガイド / Unity Catalog Data Isolation Design Guide
databricksjapan
1
640
機械学習モデルの運用と実用的なアプローチ
databricksjapan
0
730
Unity Catalogの自動有効化
databricksjapan
1
150
Unity Catalog 技術ディープダイブ
databricksjapan
1
470
Other Decks in Technology
See All in Technology
「 SharePoint 難しい」ってよく聞くけど、そんなに言うなら8歳の息子に試してもらった
taichinakamura
2
760
Shift-from-React-to-Vue
calm1205
4
1.5k
カメラを用いた店内計測におけるオプトインの仕組みの実現 / ai-optin-camera
cyberagentdevelopers
PRO
1
130
生成AIの強みと弱みを理解して、生成AIがもたらすパワーをプロダクトの価値へ繋げるために実践したこと / advance-ai-generating
cyberagentdevelopers
PRO
1
210
Spring Frameworkの新標準!? ~ RestClientとHTTPインターフェース入門 ~
ogiwarat
2
220
AWS reInvent 2024 関西組 事前勉強会
shinyayamada
0
130
成長中のFanTech領域におけるBiomeを活用したCIの高速化 / fantech-web-biome
cyberagentdevelopers
PRO
2
110
Forget efficiency – Become more productive without the stress
ufried
0
200
物価高なラスベガスでの過ごし方
zakky
0
490
いまならこう作りたい AWSコンテナ[本格]入門ハンズオン 〜2024年版 ハンズオンの構想〜
horsewin
10
2.2k
利きプロセススケジューラ
sat
PRO
2
1k
ExaDB-D dbaascli で出来ること
oracle4engineer
PRO
0
3.7k
Featured
See All Featured
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
27
4.2k
GraphQLの誤解/rethinking-graphql
sonatard
67
10k
4 Signs Your Business is Dying
shpigford
180
21k
What's new in Ruby 2.0
geeforr
343
31k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
46
2.1k
Producing Creativity
orderedlist
PRO
341
39k
Building an army of robots
kneath
302
42k
The Cult of Friendly URLs
andyhume
78
6k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
167
49k
Code Review Best Practice
trishagee
64
17k
Imperfection Machines: The Place of Print at Facebook
scottboms
264
13k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
Transcript
Mosaic AIのデータ中心アプローチ 事前学習モデルの 活用、カスタム モデルの構築 リアルタイムアプリに モデルを提供して監 視 ネイティブツールによ るデータと特徴量の
準備 データプラットフォーム — Delta Lake ガバナンス — Unity Catalog データセット モデル アプリ
©2024 Databricks Inc. — All rights reserved 2 RAGはMosaic AIの一部です
Mosaic AIはすべてのタイプのAIで動作します - 古典的なML、ディープラーニング、RAGを含む生成AI MLOps + LLMOps データとベクトルの準備 ネイティブツールでデータと特徴量を準備 アプリケーションの提供 リアルタイムアプリにモデルを提供して監視 モデルの構築と評価 カスタムモデルのトレーニング、ファインチューニング、事前学習 モデルに対するプロンプトエンジニアリング 構造化データとベクトルデータベースのサービング リアルタイムAPIとしてデータを提供 データとAIのガバナンス – Unity Catalog データプラットフォーム – Delta Lake
©2023 Databricks Inc. — All rights reserved 3 Fine Tuning
Model Serving Pre-training Model Serving Vector Search Model Serving MLflow AI Gateway MLflow Evaluation MLflow Prompt Engg 生成AIアプリケーションにリアルタイムデータを接 続するためにRAGが必要です プロンプト エンジニアリング Retrieval Augmented Generation (RAG) ファイン チューニング 事前トレーニング LLMの挙動をガイドする ための特殊なプロンプトを作 成 LLMと企業データを結合 事前学習LLMを特定の データセット、ドメイン に適合 最初からLLMを トレーニング
©2024 Databricks Inc. — All rights reserved 4 RAGはMosaic AIの一部です
Mosaic AIの機能 (AI) レイクハウスの機能 (Data + AI) Mosaic AIはすべてのタイプのAIで動作します - 古典的なML、ディープラーニング、RAGを含む生成AI MLOps + LLMOps MLflow アセットバンドル (DAB) CI/CDサポート データとベクトルの準備 ネイティブツールでデータと特徴量を準備 SQL ワークフロー Delta Live Tables ノートブック アプリケーションの提供 リアルタイムアプリにモデルを提供して監視 モデル サービング AI Functions SQLからモデル呼出 Lakehouse Apps レイクハウス モニタリング モデルの構築と評価 カスタムモデルのトレーニング、ファインチューニング 事前学習モデルのプロンプトエンジニアリング MLランタイムと ノートブック AutoML Fine Tuning マーケット プレースのモデル MPT LLaMA2 AI Playground MLflow Track & Evaluate データとベクトルの提供 Feature Serving Vector Search Function Serving ガバナンス モデルレジストリ in Unity Catalog Unity Catalog Feature Store in Unity Catalog データプラットフォーム Deltaテーブル 構造化データ ファイル (ボリューム) 非構造化データ
©2024 Databricks Inc. — All rights reserved RAGアプリケーションはリアルタイム、バッチ、 ストリーミングです リアルタイム
例: ポリシーに関する質問に回答する チャットbot バッチ / ストリーミング 例: リスクに関するアンケートが新たに 1万件アップロードされた際に処理 保存データ パイプ ライン Webアプリ Slack / Teams SaaSアプリ SMS RAG アプリ
©2024 Databricks Inc. — All rights reserved 記録 REST API
Databricks内あるいはREST APIによる セキュアな接続 自動 同期 構造化 & 非構造化データ チャットアプリケーション UI/UX、ユーザー認証、セッション管理など モニタリング Databricks によるRAGの デプロイ レイクハウス: ストレージ & ガバナンス モデル データ & ベクトルサービング データ & ベクトル 準備パイプライン RAGチェーン アプリからの質問に反応するために、認証情報の管理、ガバナンス、ロギングを 含むモデルとデータのオーケストレーション
©2024 Databricks Inc. — All rights reserved 記録 REST API
Databricks内あるいはREST APIによる セキュアな接続 自動で 同期 Databricks によるRAGの デプロイ チャットアプリケーション UI/UX、ユーザー認証、セッション管理など 既存アプリ Salesforce、Webポータルなど Lakehouse Apps Databricksがホスト モニタリング レイクハウスモ ニタリング レイクハウス: ストレージ & ガバナンス モデル GenAI Model serving データ & ベクトルサービング Feature Serving Vector Search データ&ベクトルの準備 ワーク フロー Delta Live Tables ワークフロー バッチ/ストリームパイプライン RAGチェーン アプリからの質問に反応するために、認証情報の管理、ガバナンス、ロギングを 含むモデルとデータのオーケストレーション モデルサービング LangChain, Python, … Unity Catalog Deltaテーブル ボリューム Mosaic AIの機能 (AI) Lakehouseの機能 (Data + AI)
©2024 Databricks Inc. — All rights reserved データの準備
©2024 Databricks Inc. — All rights reserved 9 非構造化データの準備 Databricks管理のエンべディングとVector
Search モデルサービング ベクトルDB Vector Search 格納 Delta テーブル 自動で同期 外部モデル カスタムモデル 基盤モデル チャンク & 特徴量 Databricksが エンべディング を計算 モデル 任意のオープン、プロプライエタリのモデル MPT LLaMA2 外部 ソース 取り込み テーブル ボリューム ファイル & メタデータ 文書の処理 1. 解析 2. クレンジング 3. チャンク作成 4. 特徴量生成 ワークフロー Delta Live Tables ノートブック
©2024 Databricks Inc. — All rights reserved 10 非構造化データの準備 顧客管理のエンべディングとVector
Search モデルサービング 外部モデル カスタムモデル 基盤モデル 外部 ソース 取り込み Tables Volumes ファイル & メタデータ 文書の処理 1. 解析 2. クレンジング 3. チャンク作成 4. 特徴量生成 チャンク & 特徴量 ワークフロー Delta Live Tables ノートブック モデル 任意のオープン、プロプライエタリのモデル MPT LLaMA2 ベクトルDB Vector Search 格納 Delta テーブル 自動 同期 エンべ ディング ご自身で エンべディング を計算して格納 ワークフロー Delta Live Tables ノートブック チャンク ベクトル 特徴量
©2024 Databricks Inc. — All rights reserved 11 構造化データの準備 サービング
Feature Serving 格納 外部 ソース 取り込み Deltaテーブル Deltaテーブル 自動同期 行 特徴量 エンジニア リング 特徴量 ワークフロー Delta Live Tables ノートブック オンライン テーブル Feature Servingとオンラインテーブル
©2024 Databricks Inc. — All rights reserved チェーンの構築と提供
©2024 Databricks Inc. — All rights reserved 13 モデルサービング データサービング
チェーンのロジック RAGアーキテクチャ: チェーン モデルサービング 質問 クエリー 処理 クエリー 展開 リトリーバ プロンプト エンジニア リング 生成 応答 外部モデル カスタムモデル 基盤モデル Feature Serving Vector Search 後処理 Unity Catalog Deltaテーブル 記録 モニタリング レイクハウスモ ニタリング 🦜🔗
©2024 Databricks Inc. — All rights reserved アプリケーション モニタリング Databricks
によるRAGの デプロイ レイクハウス: ストレージ & ガバナンス モデル データ & ベクトル サービング データ&ベクトル 準備パイプライン RAGチェーン