Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Unity CatalogでAIガバナンスを担保する
Search
Databricks Japan
April 13, 2024
Technology
0
14
Unity CatalogでAIガバナンスを担保する
Unity CatalogによってどうやってAIガバナンスを担保するのか説明します。
Databricks Japan
April 13, 2024
Tweet
Share
More Decks by Databricks Japan
See All by Databricks Japan
オープンLLM DBRXについて
databricksjapan
0
15
これが知りたいDatabricks!よくある質問に答えます!?
databricksjapan
1
89
45億!増え続けるデータセットと基盤と私
databricksjapan
2
270
Databricks における 『MLOps』
databricksjapan
3
210
[2023年11月版] Databricksを用いた『生成AIアプローチ』
databricksjapan
0
68
Databricks:『生成AI World Cup』のご案内
databricksjapan
2
200
Databricks の セキュリティ
databricksjapan
0
63
Databricks SQL サーバレスとは?
databricksjapan
0
36
Databricks Academy Lab のご紹介
databricksjapan
0
46
Other Decks in Technology
See All in Technology
Autonomous Database Cloud 技術詳細 / adb-s_technical_detail_jp
oracle4engineer
PRO
15
35k
Documentação de Produtos: Artefatos essenciais na prática
rigolon
1
230
令和版ソフトウェアエンジニアの情報収集術 PHPカンファレンス香川2024
ysknsid25
4
640
One engineer company with Ruby on Rails
rstankov
2
470
How to do well in consulting–Balkan Ruby 2024
irinanazarova
0
180
認知症フレンドリーテックとスタックチャン
naokiuc
0
380
Gradle Build Scanを使ってビルドのことを知ろう potatotips #87
tomorrowkey
2
170
能動学習のいろは:書籍「Human-in-the-Loop機械学習」3〜5章
hiroyoshiito
0
170
【SORACOM UG 東海】あらゆるモノがつながる社会へ、IoT と SORACOM
soracom
PRO
1
470
Microsoft for Startups Founders Hub_20240429 update
daikikanemitsu
1
2.5k
コードファーストの考え方。 Amplify Gen2から学ぶAWS次世代のWeb開発体験
yoshiitaka
2
560
M5stackで使用できるpHセンサの開発
shinrinakamura
1
290
Featured
See All Featured
Product Roadmaps are Hard
iamctodd
45
9.8k
4 Signs Your Business is Dying
shpigford
176
21k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
117
18k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
41
4.4k
Designing for Performance
lara
601
67k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
21
1.6k
Design by the Numbers
sachag
274
18k
Practical Orchestrator
shlominoach
183
9.7k
Imperfection Machines: The Place of Print at Facebook
scottboms
261
12k
Typedesign – Prime Four
hannesfritz
36
2.1k
Producing Creativity
orderedlist
PRO
338
39k
Facilitating Awesome Meetings
lara
43
5.6k
Transcript
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary AIガバナンス 1
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary Unity Catalog ❤ AI
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary データレイク データウェアハウス MLモデル BIダッシュボード MLエンジニア データエンジニア データアナリスト データとAIのガバナンスは複雑です • 断片化したアセットのビュー • セキュリティ、品質、 観察可能性ごとに分断 されたツール • 環境横断でアクセス できるように複製されるデー タ • 堅苦しいコラボレーション ビジネス ステークホルダー
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary AIのサーブ AIのデータ準備 MLOps + LLMOps AIの開発 & 評価 AIの監視 • 構造化データの発見 & 特徴量への 変換 • 非構造化データのチャンク & エンべディングの作成 • アルゴリズムの訓練、テスト • モデルのファインチューン & プロンプトエンジニアリング • GenAIエージェント & ツールの 作成 • アセットのチェーン • エクスペリメントの評価 • 低レーテンシーモデルサービング • モデルのリクエスト/レスポンスの 記録 • モデルの精度、品質の評価 • モデル品質を維持するための監視 と再トレーニング • モデルのビジネスKPIインパクトの理 解 データのサーブ • 低レーテンシーの特徴量 サービング & 特徴量変換 • Vector DBのエンべディング検索 AIガバナンス & リネージ • セキュリティ & 権限の管理 • モデルリネージの追跡 • 開発環境、本番環境間のコード、データ、モデルの移動 • モデル、特徴量、エクスペリメントの管理 これらの問題に取り組むには、データとAIの能力を 連携する必要があります Data データプラットフォーム データモニタリング データオーケストレーション データストリーミング データガバナンス & リネージ データ データストレージ データ データ データ データ データ
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary Unity CatalogのAIガバナンス Lakehouse AIであなたのチームの生産性を解放し、プロセスのボトルネックを排除 しましょう • すべてのデータとAI資産に対する集中管理のガバナンス (“ワンストップショッ プ”) • チームメートを見つけ出し知見を得、マーケットプレースでクイックに モデル/データを使い始める • リネージとレイクハウスモニタリングを通じた影響分析、品質追跡、 根本原因分析によってデバッグの効率性を改善 • PII検知やUCの高信頼インデックスでどの資産が目的に合致しているのかを知 ることで、ガードレールのあるセルフサービス体験 • データをさらに理解するためにLakehouse IQ知識エンジンを活用
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary データとAIのガバナンスを統合 簡素化されたガバナンス & MLOpsのためにデータとAIのワークスペース横断アクセスを提供 Feature Store 特徴量 特徴量 特徴量 モデル レジストリ モデル モデル モデル Unity Catalog 特徴量 特徴量 特徴量 モデル モデル モデル データ データ データ
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary 資産の集中管理によってコラボレーションを加速 チームメイトがどのようにモデルをトレーニングし、どのようなデータでトレーニングしたのかを理解 監査、再現性のためにリネージを活用 使用するデータやAI資産を検索
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary リネージと品質でも効率的に問題をデバッグ UCによるインパクト分析、品質追跡、根本原因分析の実施 レイクハウスモニタリング & リネージによる根本原因分析 人気度によるインパクト分析
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary プロセスのボトルネックを排除するためのセルフサービス体験 品質と機微データに対するガードレールを強制することでデータ取り込みを民主化 テーブル利用の安全性を知るための信頼性インデックス 自動マスキングポリシーによるカタログでの PII検知
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary あなたのビジネスを理解するAI強化の知識エンジン Lakehouse IQはあなたのビジネス上の質問に回答するために、最も適切なデータを特定するため に、Unity Catalogの豊富なメタデータを活用
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary キーコンポーネントのまとめ • Models in UC: ワークスペース横断のモデルアクセス、エンドツーエンドのリネージの提供 ◦ Public Preview (FY24-Q2) • Feature engineering in UC: ワークスペース横断の特徴量アクセス、エンドツーエンドの リネージの提供 ◦ Public Preview (FY24-Q3) ◦ Databricksアカウントでのオンライン特徴量検索 - Private Preview (FY24-Q3) • Marketplaceおよびmodel zoo: プロジェクトをジャンプスタートするためにサードパーティのモデルと データにアクセス ◦ Public Preview (FY24-Q3) • Lakehouse Monitoring/classification: 任意のデータ、モデル資産の品質の経年変化の追跡 ◦ Public Preview (August 2023) • Lakehouse IQ: ビジネスデータ理解の助けとなる AI強化知識エンジン ◦ Private Preview Big Book of MLOps V2 (October 2023に公開)を通じてUnity Catalogにおける MLOpsアーキテクチャのベストプラクティスを学びましょう
©2023 Databricks Inc. — All rights reserved Confidential and Proprietary