Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Unity Catalogの自動有効化
Search
Databricks Japan
May 29, 2024
Technology
1
120
Unity Catalogの自動有効化
Unity Catalogの自動有効化について説明します。
Databricks Japan
May 29, 2024
Tweet
Share
More Decks by Databricks Japan
See All by Databricks Japan
Databricks AI/BI Genie 自然言語を用いたインテリジェンスなデータ分析
databricksjapan
0
130
生成AIとレイクハウス・ガバナンス
databricksjapan
1
94
データプロダクトにおけるCI/CD: Databricks Asset Bundleとは?
databricksjapan
0
110
Databricks クリーンルームについてのご紹介
databricksjapan
0
180
Unity Catalog データ分離設計ガイド / Unity Catalog Data Isolation Design Guide
databricksjapan
1
470
機械学習モデルの運用と実用的なアプローチ
databricksjapan
0
670
Unity Catalog 技術ディープダイブ
databricksjapan
1
410
パフォーマンス最適化のベストプラクティス
databricksjapan
0
1.6k
Databricks アシスタントとは?
databricksjapan
0
230
Other Decks in Technology
See All in Technology
普通の Web エンジニアのための様相論理入門 #yapcjapan / YAPC Hakodate 2024
ytaka23
2
390
AWSへのNIST SP800-171管理策 導入に向けての整備/20240930 Mitsutoshi Matsuo
shift_evolve
0
150
リスクから学ぶKubernetesコンテナセキュリティ/k8s-risk-and-security
mochizuki875
1
260
10Xでのデータ基盤の変遷とこれから: データマネジメントのリアル 〜BtoB企業3社の歩みとこれから〜
10xinc
6
1.2k
マーケットプレイス版Oracle WebCenter Content For OCI
oracle4engineer
PRO
2
200
k6を活用した再現性・拡張性の高い負荷試験基盤の構築
biwashi
11
2.9k
【shownet.conf_】コンピューティング資源を統合した分散コンテナ基盤の進化
shownet
PRO
0
300
不感対策ソリューション
jtes
0
230
Product Utilization of Large Language Models Starting Today
ymatsuwitter
3
630
入門 バックアップ
ryuichi1208
13
4.2k
分析者起点の企画を成功させた連携面の工夫
lycorptech_jp
PRO
1
220
Vista FinderMx
jtes
0
160
Featured
See All Featured
Git: the NoSQL Database
bkeepers
PRO
425
64k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
6
220
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
The Language of Interfaces
destraynor
154
24k
The Power of CSS Pseudo Elements
geoffreycrofte
71
5.3k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
663
120k
Ruby is Unlike a Banana
tanoku
96
11k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Intergalactic Javascript Robots from Outer Space
tanoku
268
27k
Imperfection Machines: The Place of Print at Facebook
scottboms
263
13k
Art, The Web, and Tiny UX
lynnandtonic
295
20k
Building a Scalable Design System with Sketch
lauravandoore
459
32k
Transcript
©2023 Databricks Inc. — All rights reserved Unity Catalogの 自動有効化
ワークスペース組み込みの ガバナンス Date 8/31/2023 Name データブリックス ジャパン株式会社
©2023 Databricks Inc. — All rights reserved DatabricksレイクハウスはデータとAIの ガバナンスを統合します 外部コンピュート
プラットフォーム BI & データ ウェアハウス データエンジニ アリング ストリー ミング データ サイエンス & ML Open Interfaces Databricks Unity Catalog 構造化、非構造化データ + AIに対する単一のガバナンスモデル 外部データソース クラウドデータレイク すべての構造化、半構造化、非構造化データ 外部カタログ
©2023 Databricks Inc. — All rights reserved Unity Catalog はレイクハウス
の基盤です ワークスペース横断の ガバナンス リネージ 行 & 列のフィルタリング テーブルの 自動チューニング タグ ボリューム ML特徴量 & モデル システムテーブル Delta Sharing レイクハウスフェデレーション クリーンルーム レイクハウスモニタリング DatabricksIQ Databricksマーケットプレイス
発表 Unity Catalogはすべてのワークスペース で自動で有効化されます!
©2023 Databricks Inc. — All rights reserved メリット ▪ 新規ワークスペースはUnity
Catalogへのアクセスが事前設定されて提供さ れ、デフォルトでアセットのガバナンスが確保されます ▪ アカウント管理者に「電話をかける」必要なしにワークスペースの 「利用を開始」できます ▪ Unity Catalogをベースとした最新のDatabricks機能にアクセスできます ▪ Hiveサポートを含むUC以前のワークロードとの完全互換性があります
©2023 Databricks Inc. — All rights reserved 概要 ワーク スペースでUCが
自動有効化 1 ワークスペース 専用のカタログ 2 ワークスペース管理者が カタログの所有者 3 Hiveサポートに 変更なし 4
©2023 Databricks Inc. — All rights reserved 動作原理
©2023 Databricks Inc. — All rights reserved 動作原理 ワーク スペース
1 UC カタログ 1 ストレージ WS管理者 UCメタストア あるリージョンに最初のワークスペースが作成さ れると、それとともに自動でメタストアも作成されま す 自動作成されたメタストアには、ワーク スペース分離を維持するために、ルート ストレージやメタストア管理者は設定されません 新規 ワークスペース
©2023 Databricks Inc. — All rights reserved 動作原理 ワークスペー ス
1 UC カタログ1 ストレージ WS管理者 ワークスペー ス 2 ストレージ WS管理者 UCメタストア 新規ワークスペースは同じ リージョンのUCメタストアに自 動でアタッチされます 新規ワーク スペース UC カタログ2
©2023 Databricks Inc. — All rights reserved 動作原理 ワークスペー ス1
UC カタログ1 ストレージ WS管理者 ワークスペー ス2 UC カタログ2 ストレージ WS管理者 UCメタストア ワークスペースとともに、ワークスペース名 のついた事前設定済みのカタログが提供さ れます カタログはデフォルトでワークスペースに 「紐づけ」られており、明示的に解放しない 限りそのワークスペースからしかアクセスで きないことを意味します
©2023 Databricks Inc. — All rights reserved 動作原理 ワークスペー ス1
UC カタログ1 ストレージ WS管理者 ワークスペー ス2 UC カタログ2 ストレージ WS管理者 ワークスペース管理者はカタログの所有権を 持ち、UCで新規カタログ、 ロケーション、コネクション、その他のルート レベルのオブジェクトを作成することができま す UCメタストア
©2023 Databricks Inc. — All rights reserved ワークスペー ス2 UC
カタログ2 ストレージ WS管理者 動作原理 ワークスペー ス1 UC カタログ1 ストレージ WS管理者 このカタログはワークスペース専用の ストレージを使用します: • Azure - DBFSに隣接する新規 コンテナ • AWS - ワークスペースストレージ配 下で分離されたプレフィクス UCメタストア
©2023 Databricks Inc. — All rights reserved 動作原理 ワークスペー ス1
UCカタログ1 ストレージ WS管理者 ワークスペー ス2 UC ストレージ WS管理者 ユーザーがカタログ/スキーマを指定せず に‘CREATE TABLE myTable’を実行した 場合、‘default’として設定されているカタ ログにテーブルが作成されます。 これは‘workspace default catalog’ という新たなワークスペース設定で制御さ れます。 Hiveを使い続けたい場合には、この 設定を変更します。 UCメタストア Hive
©2023 Databricks Inc. — All rights reserved Before vs After
コンポーネント 以前のリリース 新規リリース Unity Catalog ワークスペース作成後にアカウント管理者に よって有効化 ワークスペース作成時に自動で有効化 Hiveメタストア それぞれのワークスペースで自身の Hive メタストアを保持 それぞれのワークスペースで自身の Hive メタストアを保持 アイデンティティシステム ワークスペースごとのアイデンティティ システム、ローカルグループ アイデンティティフェデレーション , アカウントグルー プ (アカウント管理者、ワークスペース管理者に よって作成) デフォルトのカタログ Hive UI/APIで設定可能 (UCカタログかHiveを選択可 能) UCメタストアのストレージルート とメタストア管理者 必須 オプション (分散ガバナンスをサポート ) UCストレージ資格情報の作成 アカウント管理者のみ アカウント管理者、メタストア管理者、ワークスペー ス管理者、CREATE STORAGE CREDENTIAL権限 を持つユーザー UCカタログ作成 (コネクション、外部ロケーショ ン、共有にも適用) メタストア管理者、CREATE CATALOG CREDENTIAL 権限を持つユーザー メタストア管理者、ワークスペース管理者、 CREATE CATALOG CREDENTIAL権限を持つユー ザー
©2023 Databricks Inc. — All rights reserved Demo