第8回DataMeshLT#4 Snowflake-データメッシュガバナンス

SnowflakeUserGroupデタマネコミュニティ第8回活動で利用したLT資料の5本中4本目を公開します！

Transcript

1. © 2023 Snowflake Inc. All Rights Reserved 1 SNOWFLAKE DATA MESH DEEP DIVE Masaya Yanase - Principal Security Architect, Field CTO Office : CISSP
2. © 2023 Snowflake Inc. All Rights Reserved Data Mesh - 定義 データ・メッシュ: 大規模な分析データ管理 とアクセスに関する社会 工学的分散アプローチ Distributed domain-centric data ownership and architecture
3. © 2023 Snowflake Inc. All Rights Reserved Snowflake Account 1 : : : : : : Snowflake Account 2 Snowflake Account N Snowflake Organization（すべての所属アカウントをコントロール） Frankfurt … . Japan US Snowflake：分散配置可能なプラットフォーム 分散したチームが統一されたガバナンス配下でデータ利活用可能なプラットフォーム （分散配置しつつ相互接続可能）
4. © 2023 Snowflake Inc. All Rights Reserved ①シングルアカウント Cons • 適切なRBAC設計が必須 • アカウントパラメータがすべてのユーザ に影響 (PrivatePreviewなど) • 地理的・法的要件でCSP/Regionが異な る環境が必要な場合は実現不可 PROS: • メンテナンス負荷が低い • ガバナンス統制が容易 • ゼロコピークローンによるストレージ コスト圧縮
5. © 2023 Snowflake Inc. All Rights Reserved ②マルチアカウント Cons • ゼロコピークローンが使用できない • 異なるCSP/Regionへの共有の場合、デ ータの複製及びコンピュートリソースの 消費が必要 • データガバナンスの維持設計が複雑 PROS: • 開発環境などを明確に分けることが可能 • 地理的・法的要件を満たしやすい • 事業部門は自分たちのデータのみ管理で きる • アカウント設定の影響は限定的 ①と②の複合パターンも
6. © 2023 Snowflake Inc. All Rights Reserved マルチアカウント管理方法 集中型 ハイブリッド型 データメッシュ ドメインは独自のデータ製品 を管理・維持し、データの配 布は集中レイヤーの中で維持 データ製品を定義、作成、維 持する専門知識を持たないド メインがある場合に使用 単一ドメイン内で管理される適合し た共通データ 高い戦略的成熟度を必要とする
7. © 2023 Snowflake Inc. All Rights Reserved Snowflakeを用いたマルチアカウント運用例 (集中管理型) Snowflake Private Listing データソース LOB 各事業部 IT データソース <機能> • データコピーなし • アクセス制御、ログ履歴などの データガバナンス • GUI ベースでの登録操作 • メタデータ操作 <課題解決> ・全体最適化 ・データの集中管理が可能 ・ガバナンス統制の確保 ・周辺エコシステムの個別最適化 CoE 海外拠点 等 各事業部 IT ポリシー ポリシー ゼロデータアカウント (テンプレート) *CoE = CENTER OF EXCELLENCE Snowflake Account
8. © 2023 Snowflake Inc. All Rights Reserved Snowflakeを用いたマルチアカウント運用例 (ロール管理) Snowflake Private Listing データソース LOB 各事業部 IT データソース <機能> • データコピーなし • アクセス制御、ログ履歴などの データガバナンス • GUI ベースでの登録操作 • メタデータ操作 <課題解決> ・全体最適化 ・データの集中管理が可能 ・ガバナンス統制の確保 ・周辺エコシステムの個別最適化 CoE 海外拠点 等 各事業部 IT ポリシー ポリシー 各ドメイン管理 ゼロデータアカウント (テンプレート) 各ドメイン管理 Snowflake Account ACCOUNTADMIN ACCOUNTADMIN ACCOUNTADMIN CUSTOM ROLE CUSTOM ROLE CUSTOM ROLE CUSTOM ROLE CUSTOM ROLE CUSTOM ROLE ACCOUNTADMIN ACCOUNTADMIN ACCOUNTADMIN
9. © 2023 Snowflake Inc. All Rights Reserved ゼロデータアカウントによるポリシー制御 データガバナンス統制に必要なポリシーオブジェクトはゼロデータアカウントをテ ンプレートにしてオブジェクトレプリケーション Native App Connected App Managed App 3rd Party Apps Snowflake Data Cloud External Data Sources 3rd Party Apps Data Product with/without Native app Domain B Data Sources Data Product with/without Native app Domain A Data Sources ポリシー タグ 分類 監査 モニタリング Federated Gov CoE ユーザ ロール 認証ルール Zero Data Account BU#1 BU#2 BU#3 *DBオブジェクト以外の複製にはBC Editionが必要です
10. © 2023 Snowflake Inc. All Rights Reserved 統合監査ログ、メタデータ管理 Org-wide Auditing and Monitoring Metadata Account データ共有 企業全体レベルの 監査と監視 ドメインレベルの監査監視 (Snowflake機能もしくは3rdパーティ製品) Account = Domain Data Domain A Data Domain B Zero Data Account 企業ポリシー ガイドライン 標準化 Replication Policies and guidelines Auditing and Monitoring Data Product Auditing and Monitoring Data Product Auditing and Monitoring Data Product Local Account Usage Local Account Usage Local Account Usage • アクセス履歴 ◦ 読み書き ◦ ポリシーの適用状況 • オブジェクト依存関係 ◦ 内部依存、外部依存 • タグ付け状況 • ログイン履歴 • クエリ履歴
11. © 2023 Snowflake Inc. All Rights Reserved Organization Account 組織アカウントを一括で管理するためのアカウント”Organization Account” 開発中 PrPr PuPR GA LOB CoE LOB Organization Account 組織内のすべてのアカウントから収集 された組織レベルのデータの表示 組織全体のSnowflake Marketplaceを 有効化 アカウントの作成や削除など、組織内 のアカウントのライフサイクルの管理 サービスレベルの変更などのアカウン ト変更 アカウントレプリケーション有効化 Enterprise edition or higher. ORGANIZATION_USAGE • DATABASES View • LOGIN_HISTORY View • QUERY_HISTORY Viewなど Normal Account Normal Account
12. © 2023 Snowflake Inc. All Rights Reserved Organizational listings 開発中 PrPr PuPR GA 同じ組織内にのみ共有を制限可能にするPrivate Listing機能
13. © 2023 Snowflake Inc. All Rights Reserved THANK YOU