Microsoft Purview Data Governance について

Microsoft Purview Data Governance をひも解きます

Transcript

1. Microsoft MVP for Data Platform 永田 亮磨 (ZEAL CORPORATION) X: @ryomaru0825 Linkedin: ryoma-nagata-0825 Qiita: ryoma-nagata Microsoft Purview Data Governanceについて
2. 目次 05 費用について 01 製品としての位置づけ 02 重要概念について 03 機能について 04 Microsoft Fabric との活用例
3. 目次 05 費用について 01 製品としての位置づけ 02 重要概念について 03 機能について 04 Microsoft Fabric との活用例
4. M365 コンプライアンスソリューション + Azure Purview = Microsoft Purview Microsoft Purview とは? | Microsoft Learn Azure Purview M365 コンプライアンスソリューション 統合、リブランディング データ損失防止 内部リスク管理 情報保護 メタデータの自動収集・管理 データカタログ データアクセスポリシー データライフサイクル管理 電子情報開示と監査 コミュニケーションコンプライアンス
5. 従来のソリューションとのマッピング Microsoft Purview ポータル (https://purview.microsoft.com/home/applauncher) From Azure Purview From M365 コンプライアンスソリューション From M365 コンプライアンス ソリューション From Azure Purview From Azure Purview From Azure Purview From M365 コンプライアンス ソリューション From M365 コンプライアンスソリューション コンプライアンスとデータ ガバナンスの未来はここにあります: Microsoft Purview の概要 |Microsoft セキュリティ ブログ
6. Microsoft Purview データガバナンス 全体像 データマップ データ資産のスキャン・詳細なメタデータの付与を行い、組織全体のデー タ資産を管理する 統合カタログ データ資産をビジネスの文脈で整理・管理し、 利用価値を生み出す オンプレミス マルチクラウド SaaS アプリケーション Microsoft Purview データガバナンス ビジネスオーナー ガバナンスドメイン内でデータ製 品を管理し、利用者に提供 データ利用者 データシステムオーナー データアセットへの 接続・スキャンの管理 データガバナンス責任者 ソリューションの管理 データエステートの監視統制 *頻出ワードの補足 • データエステート:組織全体のデータ資産 • データアセット：個々のデータ資産 データ製品/データアセットを 発見・活用 メタデータのアクティベート メタデータの収集
7. データマップ データ資産のスキャン・詳細なメタデータの付与を行い、組織全体のデー タ資産を管理する 統合カタログ データ資産をビジネスの文脈で整理・管理し、 利用価値を生み出す Microsoft Purview データガバナンス メタデータのアクティベート Microsoft Purview データガバナンスポータルUI
8. データマップ データ資産のスキャン・詳細なメタデータの付与を行い、組織全体のデー タ資産を管理する 統合カタログ データ資産をビジネスの文脈で整理・管理し、 利用価値を生み出す Microsoft Purview データガバナンス メタデータのアクティベート クラシックポータルUI
9. 補足）DMBOKよりデータガバナンスの記載について データガバナンスの目標 1. 組織が自身のデータを資産として管理できるようにする 2. データマネジメントに関する原則、ポリシー、手続き、評価指標、ツール、責任について定義し、承認し、 伝達し、実施する 3. ポリシーの順守、データの利用、管理活動を監視し、導く DAMA International.『データマネジメント知識体系ガイド 第二版』.日経BP社.2018年,96p リスク管理 データ セキュリティ プライバシー コンプライアンス対応 データ品質改善 メタデータ管理 PJ効率化 データ契約管理
10. 目次 05 費用について 01 製品としての位置づけ 02 重要概念について 03 機能について 04 Microsoft Fabric との活用例
11. 無秩序なデータの連携による混線  組織全体でデータ活用が推進された結果、 それぞれのデータが無秩序に共有されることでインターフェースの濫立が発生し、データマネジメントは困難を極める  個別に設計されたデータ連携方式  利用者不在の秘伝のエンドポイント  未確認なデータ利用規約
12. ドメイン志向による統制  データ活用にガバナンスを適用する手段としてドメイン志向による統制が注目されている  このとき、ドメイン間のデータ交換に一定の標準化規則を設けることで全体の秩序が生まれる  ドメイン内外で消費されるデータはデータ製品として標準化される ドメインA ドメインB ドメインC ドメインD ドメインE ドメインF
13. ドメイン志向による統制  データ活用にガバナンスを適用する手段としてドメイン志向による統制が注目されている  このとき、ドメイン間のデータ交換に一定の標準化規則を設けることで全体の秩序が生まれる  ドメイン内外で消費されるデータはデータ製品として標準化される データ統合 サービス データ製品 ドメインA 業務アプリケーション セルフサービスデータ基盤 業務アプリケーション セルフサービスデータ基盤 ドメインB ドメインA ドメインB ドメインC ドメインD ドメインE ドメインF
14. データメッシュ  共通の統制＋ドメイン個々での柔軟なポリシーのもとでデータを管理し、 迅速性と柔軟な統制を両立する考え方  Data Mesh Principles and Logical Architecture (martinfowler.com) ドメインA ドメインB ドメインC ドメインD ドメインE ドメインG データ製品の生成 データガバナンス基盤 セルフサービスデータ基盤 データ製品の文書化 ドメイン横断の統制＋個々のポリシー定義 ドメイン個々でのデータ処理
15. 補足)データ製品=ドメインが保証するデータの提供ポイント  データ製品を共通のインターフェースとすることでドメイン内外のデータ利用が統制される  Understanding Data Modelling in Data Mesh | by Piethein Strengholt | Medium  これを進めるとデータを統合するためのグループとして業務に直接関係しないドメインも発生する  エンタープライズデータアーキテクチャなどの企業内の「同一エンティティ異ドメインデータ」を統合する活動がそれにあたる  このドメインは専用のバックオフィス(いわゆるCDO直轄チーム)として組織される場合がある
16. データメッシュによるセルフサービスデータ活用の統制と促進  データメッシュ：組織全体で一貫した統制に加えて、ドメイン個々で必要なポリ シーやルールの拡張を委任することで迅速性と統制を両立する  Data Mesh Principles and Logical Architecture (martinfowler.com) ドメインA ドメインB ドメインC ドメインD ドメインE ドメインG データ製品の生成 データガバナンス基盤 セルフサービスデータ基盤 データ製品の文書化 ドメイン全体で横断した統制 ドメイン個々でのデータ処理 Microsoft Fabric Microsoft Purview
17. Catalog of Catalog 相互運用性を高めることでデータメッシュの柔軟性が向上 単一プラットフォームによるデータメッシュ 複合プラットフォームによるデータメッシュ ドメイン間のデータ共有はプラットフォームの標準機能によって実 現 • プラットフォーム内のメタデータ整備のみ • ガバナンスを効かせることが容易 • ドメイン個々での製品選択の柔軟性は低下 標準化により相互運用性を確保することでドメイン間のデー タ共有を実現 • プラットフォーム横断型のガバナンス・メタデータ管理が必 要 • ドメイン個々で自由な選択 ドメインA ドメインB ドメインC ドメインD ドメインE ドメインG ドメインA ドメインB ドメインC ドメインD ドメインE ドメインG データ 提供標準 のどれかに固定
18. データメッシュ参考  Data Mesh Principles and Logical Architecture (martinfowler.com)  How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh (martinfowler.com)  クラウド規模の分析 - Azure 向けの Microsoft Cloud 導入フレームワーク - Cloud Adoption Framework | Microsoft Docs  ★データ基盤の新たな潮流：データファブリック ～データとAIの活用を加速させる新たなアプローチ ｜前編 データファブリックの概要 - アイマガジン｜i Magazine｜IS magazine  Data Fabric vs Data Mesh: 3 Key Differences, How They Help and Proven Benefits  データメッシュとデータファブリックを実現させるデータガバナンス  拡張データ管理: データ ファブリックとデータ メッシュ (ibm.com)  データ・ファブリックとは|アイビーエム (ibm.com)  ガートナーの2021年のトップデータと分析トレンド (gartner.com)  Using Data Fabric Architecture to Modernize Data Integration (gartner.com)  データファブリック:ナレッジグラフのキラーユースケース (datanami.com)  ★データファブリックとデータメッシュ：どこが違うのか？｜北原 祐司 / 「データとAIの民主化」を目指す Databricks｜note  データファブリックとは最新のエンタープライズデータアーキテクチャ (k2view.com)  James Serra's Blog  データ メッシュ: トポロジとドメインの粒度|ピエテイン・ストレングホルト・|データサイエンスに向けて (towardsdatascience.com)  ★データメッシュの概念について理解する - connecting the dots (hatenablog.com)  Data Mesh: Centralized ownership vs decentralized ownership | James Serra's Blog  成功するデータメッシュの構築 – 単なるテクノロジーイニシアチブ以上のもの|リンクトイン (linkedin.com)  Data Trends: Comparing Data Fabrics, Data Meshes, And Knowledge Graphs – Diffblog (diffbot.com)  Data Mesh: The Balancing Act of Centralization and Decentralization | by Piethein Strengholt | Mar, 2022 | Towards Data Science  Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics (cidrdb.org)
19. 目次 05 費用について 01 製品としての位置づけ 02 重要概念について 03 機能について 04 Microsoft Fabric との活用例
20. データガバナンス原則からビジネスデータカタログ機能を理解する Microsoft Purview データガバナンス 統合カタログ データ資産を 意味づけ、整理し、 公開することで、安全 に利用、保護できる ようにします。 データの適切な使用 とアクセスを促進し、 安全性とイノベーショ ンのバランスを取りま す。 日々のビジネスや イノベーションに必要 なデータを、ユーザーが 発見、承認できるよう にします。 ユーザーがデータの内 容と使用方法を理解 するための文書を提 供します。 データ品質や、データ マネジメントにおける 対応状況を維持し、 データの最新性と安 全性を保ちます。 データキュレーション データアクセス データの健全性 データ理解 データディスカバリ New Microsoft Purview Data Catalog (Preview) | Microsoft Learn
21. ビジネスの文脈でカタログ化を行う データキュレーション - データ資産を意味づけ、整理し、公開することで、安全に利用、保護できるようにします。 ガバナンス ドメイン  ビジネスの概念でデータ資産を整理し、 ドメイン個々でのデータ資産管理を 可能にします
22. ビジネスの文脈でカタログ化を行う データキュレーション - データ資産を意味づけ、整理し、公開することで、安全に利用、保護できるようにします。 データ製品  データ資産をグループ化し、 見つけやすくするとともに、 データの文脈とデータ活用に使える一 連のデータ資産のセットを提供します
23. データアクセスポリシーを一元的に適用する データアクセス - データの適切な使用とアクセスを促進し、安全性とイノベーションのバランスを取ります。 データアクセスポリシー  様々なスコープで継承、適用可能な ポリシーとアクセス要求を定義し、 組織のコンプライアンスに統制された データ活用を促進します
24. データアクセスポリシーを一元的に適用する データアクセス - データの適切な使用とアクセスを促進し、安全性とイノベーションのバランスを取ります。 重要なデータ要素  複数のデータ資産にまたがるデータ項目 をグループ化することで、 すべての重要なデータ要素に対して 一元的にポリシーやデータ品質基準を 適用できます
25. データカタログでデータを発見する データディスカバリ - 日々のビジネスやイノベーションに必要なデータを、ユーザーが発見、承認できるようにします。 データ資産・データ製品検索  データ資産を検索し、必要データを見つ けることができます。  データ製品に紐づけられた様々な側面 でフィルタをすることも可能です。
26. データカタログでデータを発見する データディスカバリ - 日々のビジネスやイノベーションに必要なデータを、ユーザーが発見、承認できるようにします。 セルフデータアクセス要求  データ製品画面にはアクセス要求のた めのボタンが含まれており、 要求を開始し、ポリシーに同意するため のフォームが提供されます
27. ビジネス価値中心にデータを理解する データ理解 - ユーザーがデータの内容と使用方法を理解するための文書を提供します。 用語集の用語  ガバナンスドメイン内で定義された用語 がデータカタログをビジネス語彙の側面 から強化します。 共通的な語彙が業務上のインター フェースの混乱を防ぎます OKR(Objective Key Result)  ガバナンスドメイン内のデータ活用をドラ イブするために、ビジネス的なバリューに よる目標を定義します  データ製品にひもづけられたOKRは その価値を明らかにします
28. データマネジメントの正常性を維持する データの健全性 -データ品質や、データマネジメントにおける対応状況を維持し、データの最新性と安全性を保ちます。 コントロールとアクション  コンプライアンスやデータマネジメントの 推奨事項、または事前に定義された データ品質ルールをベースラインとして、 データエステートの充実度(スコア)と対 処すべき問題を明らかにします  検出された問題の対処をアクションアイ テムとして管理します
29. データマネジメントの正常性を維持する データ品質  適時性や完全性など、標準的な要素 でデータ品質を測定・監視します  測定結果は時系列で追跡され、データ 品質改善を促進することで、安全な データが提供されます データの健全性 -データ品質や、データマネジメントにおける対応状況を維持し、データの最新性と安全性を保ちます。
30. 統合カタログとデータマップ データマップはPurviewソリューション全体のバックエンドとして メタデータ収集を効率化し、インフラストラクチャーとアクセス制御を提供する データマップ データ資産のスキャン・詳細なメタデータの付与を行い、組織全体のデー タ資産を管理する 統合カタログ データ資産をビジネスの文脈で整理・管理し、 利用価値を生み出す オンプレミス マルチクラウド SaaS アプリケーション Microsoft Purview データガバナンス メタデータのアクティベート メタデータの収集 データアセットにアクセス、 ビジネスメタデータの付与と表 示をするためのインターフェース データアセットを収集・蓄積し、 テクニカルメタデータの充実と アセット個々に対する細かい アクセス制御層を提供する 組織全体でのRBACや SaaSとしての設定を構成する
31. データマップによるメタデータの収集の効率化 IT管理の側面でデータの所有権をマップ ITの側面から全てのデータ資産を論理コ ンテナ化 詳細なメタデータのアクセス権に対応 ドメインとコレクションの階層で 役割を割り当てることで、所有権を分散 管理 ※ ガバナンスドメイン＝ビジネスでのグループ データマップコレクション＝IT資産のグルー プ
32. データマップによるメタデータの収集の効率化 様々なデータソースとファイル形式をユーザ 定義のスケジュールで定期スキャンし データ資産として収集 専用エージェントを介してオンプレ内の データソースや他社クラウドのスキャンにも 対応 組織全体のデータをスキャン
33. データマップによるメタデータの収集の効率化 組み込みのルールまたは、正規表現or辞 書による一致で自動的に分類を付与 付与された分類はカタログのフィルターとし て利用可能 分類規則により自動のアノテーション
34. 詳細な機能の説明と関係性 – 統合カタログ 統合カタログ データ資産正常性 データマップ Microsoft Purview データガバナンス ガバナンスドメイン 正常性コントロール ドメインと サブコレクション ソース管理 注釈管理 データ品質 アクセスポリシー ビジネス用語集 OKR カスタム属性 重要データ データ製品 スキャン アセット 正常性アクション メタデータ品質 レポート 監視 スキャンルールセット パターンルール 統合ランタイム 資格情報 系列の接続 分類 分類名 データソース キュレーション （編纂）、表示 ビジネスメタデータ付与 ガバナンスドメイン データカタログ内で、「ビジネス文脈」中心にアセットを整理するため の論理グループ 主な管理対象 • データ製品：アセットをパッケージ化して利用者に提供する。 データカタログのメインとなる成果物 • 重要データ：アセット、データ製品に紐づけて利用する。N個のアセットの 列をグループ化し、データ品質とポリシーを一元的に適用 • ビジネス用語集：アセット、データ製品に紐づけて利用する。ガバナンスド メイン内でビジネスユーザーの共通語彙として提供・統制 ガバナンスドメイン内で定義され、成果物に紐づけされるもの • OKR：目標と主要な結果を定義し、データの活用を促進する • データ品質：プロファイリング結果と品質の測定結果を提供する • アクセスポリシー：データの利用規約を定義する。ポリシーは用語や重要 データ要素からデータ製品に継承可能 • カスタム属性：必須の説明情報など、ドメイン固有のメタデータ項目を 定義する データ資産正常性 組織のデータカタログ状況を測定・調査・改善するツール群 主な管理対象 • 正常性コントロール：ガバナンスドメインまたは組織のデータカタログ全体 に品質ルールを適用し、測定スコアを算出する • 正常性アクション：データ品質または正常性コントロールの結果から抽出 された問題と対処内容をバックログ化として表示する • メタデータ品質：独自または組み込み済みの品質測定ルールを定義す る • レポート：カタログの利用状況/充実度やインベントリレポートなど、様々 な観点でデータガバナンスの状況を監視する
35. 詳細な機能の説明と関係性 – データマップ 統合カタログ データ資産正常性 データマップ Microsoft Purview データガバナンス ガバナンスドメイン 正常性コントロール ドメインと サブコレクション ソース管理 注釈管理 データ品質 アクセスポリシー ビジネス用語集 OKR カスタム属性 重要データ データ製品 スキャン アセット 正常性アクション メタデータ品質 レポート 監視 スキャンルールセット パターンルール 統合ランタイム 資格情報 系列の接続 分類 分類名 データソース ドメインとサブコレクション データマップ内に取り込み対象のデータソースや、 取り込まれたアセットのアクセス制御を管理するための親子構造 主な管理対象 • アセット：系列ソースや、スキャンにより取り込まれたデータ資産 • データソース：データソースをデータマップに紐付けて管理する • スキャン：紐づけられたデータソースに対するスキャンを構成する ソース管理 共通されるインフラストラクチャや再利用可能なスキャンルールを定義する 主な管理対象 • 系列の接続：Data Factoryなど、リネージ情報を送信するソースサービ スを管理する • パターンルール：共通の命名規則をもったファイル群など、アセットをグ ループ化（リソースセット）するためのルールを定義する • スキャンルールセット：分類規則など、スキャン時に使用する規則をグ ループ化して、データソース個々で再利用する • 統合ランタイム：スキャンに使用されるインフラストラクチャーを管理する • 資格情報：スキャンに使用される資格情報を管理する 監視 スキャン結果などアセット取り込み結果を監視する 注釈管理 スキャンルールセットに利用する分類と分類名を管理する 主な管理対象 • 分類：「電話番号」「住所」など、格納されたデータから特定可能なラ ベルを定義する • 分類規則：分類を割り当てるためのルールを定義する キュレーション （編纂）、表示 ビジネスメタデータ付与
36. 目次 05 費用について 01 製品としての位置づけ 02 重要概念について 03 機能について 04 Microsoft Fabric との活用例
37. 全体構成例：eコマースドメインでのデータ製品開発 業務アプリケーション データ製品 マーケティング eコマース 別ドメイン 業務アプリケーション Fabric ワークスペース 統合カタログ データマップ ガバナンスドメイン、データ製品 コレクション（技術ドメイン） マーケティング分析基盤 eコマース分析基盤 eコマース マーケティング Microsoft Purview データ統合 Fabric ワークスペース 利活用コレクション
38. コレクション（技術ドメイン） 補足）運用システムとのマッピング 業務アプリケーション データ製品 マーケティング eコマース 別ドメイン 業務アプリケーション Fabric ワークスペース 統合カタログ データマップ ガバナンスドメイン、データ製品 コレクション（技術ドメイン） eコマースシステム マーケティングシステム マーケティング分析基盤 eコマース分析基盤 eコマース マーケティング Microsoft Purview データ統合 Fabric ワークスペース 運用コレクション 利活用コレクション
39. ガバナンスドメインを作成し、データプロジェクトを開始する 【Purview 統合カタログ】”ガバナンス”ドメイン作成 ガバナンスドメインを定義して、 生成すべきデータ製品や、目標、 用語を定義する。 ビジネスの側面で整理、制御され る 用語を整備することで ガバナンスドメイン内で起き ている出来事の理解を助け る OKRを定義して、 ガバナンスドメイン内でのデー タ活用を促進する
40. データドメイン用のワークスペースを作成してデータ処理環境を準備する 【Fabric】セルフサービスデータ活用のためのワークスペース作成 Fabric内にもドメイン機能があり、 ワークスペースの整理が可能
41. プラットフォーム内のカタログを通じてデータ資産を再利用する 【Fabric】OneLake カタログ / リアルタイムハブからデータ活用の既存のデータソースを発見する
42. OKRを達成するためのデータを収集統合し、データ製品を開発する ワークスペースに格納されているア イテムの役割を描画、整理する 指標を分析するためのレポートを データ製品として開発 【Fabric】データ製品となるレポートの開発
43. ドメインとコレクションを構成し、メタデータソースを登録する 【Purview データマップ】コレクション作成 コレクションによりデータ資産を管理する階層構造を定 義IT管理の側面で整理、アクセス制御される 情報システムと業務システムで 大別し、情報システムはプラット フォームで整理
44. スキャンによるアセットの取り込み 【Purview データマップ】データソースに対してスキャンを構成・実行
45. データ製品を作成し、データ資産をアクティベートする 【Purview 統合カタログ】データ製品の作成 Copilot または手動で追加
46. データ製品を作成し、データ資産をアクティベートする 【Purview 統合カタログ】アクセスポリシーを設定して発行 承認先を必ず指定 ※実際のアクセス権はシステム 側で管理・制御
47. 補足）Databricks × Fabric による大規模データ管理とデータ製品開発  Microsoft Purview は Microsoft Fabric のプラットフォームガバナンスと、Databricks Unity Catalogによるプラットフォームレベルのガバナンスと 深く統合することでより大規模なセルフサービスデータプラットフォームに拡張可能 Microsoft Fabric Microsoft Purview Databricks メタデータの統合 ビジネスデータカタログによる利用規約の定義 ビジネスユーザーフレンドリーな体験と総合力の高さ データプロフェッショナルに最高効率の機能を提供 Catalog of Catalog Local Catalog Local Catalog プラットフォーム内で 最適化されたポリシーの定義
48. 目次 05 費用について 01 製品としての位置づけ 02 重要概念について 03 機能について 04 Microsoft Fabric との活用例
49. 無料 vs エンタープライズバージョン  Microsoft Purview ポータル (プレビュー) について説明します | Microsoft Learn
50. Purview データガバナンスの提供方式について  SaaS オファリングとしてリブランディングされているが、 費用や処理リソースはAzure リソースから供給される  Fabric についても類似のモデルとなる ※Fabric にはPower BI のための ユーザーライセンスの概念が追加される  Purview アカウントの数は テナントに一つのみである点は注意(現時点)  新しい Microsoft Purview ポータルについてよく寄せら れる質問 | Microsoft Learn Microsoft Purview Microsoft Fabric Microsoft Azure サブスクリプション Microsoft Entra ID テナント サブスクリプション Fabric 容量 Purview アカウント ワークスペース ワークスペース Fabric アイテム（成果物） ワークスペース に紐づけ テナントに一つの アカウントとして使用
51. 新しい価格モデルの同意について  既存の Purview 利用者は 価格改定アナウン スに従い、同意することで課金モデルが変更さ れ、新しい 統合カタログなどのPurview データ ガバナンス機能が利用可能となる  価格 - Microsoft Purview | Microsoft Azure  Microsoft Purview の課金モデルについて説 明します | Microsoft Learn  スキャンコストが無料化  コンピューティング課金はデータ品質処理がメイン  データ製品や、用語などに紐づけた試算が Governed Asset と して課金される  データマップ上の資産は Purview Data Security 課金対象の「At Rest Protection」により資産数として別途計上される※公式アナウンス確認中  Copilot の課金モデルは現在は未発表
52. Purview Data Governance → Purview Unified Catalog  2024/11/19 にリブランディングを発表  Safely activate your data estate with Microsoft Purview | Microsoft Community Hub
53. リソース  Microsoft Fabric と Microsoft Purview によるスケーラブルなデータ管理 |作 成者 Piethein Strengholt |中程度 (medium.com)  Episode 5: Connecting the dots with Microsoft Purview (youtube.com)  Microsoft Purview | Microsoft Learn  Microsoft Purview 用語集 | Microsoft Learn
54. OneLake Catalog  Fabric 上のデータについては OneLake Catalog により発見しやすさが向上予定  Introducing the new OneLake catalog: Your central hub for data discovery, management, and governance | Microsoft Fabric ブログ | Microsoft Fabric
55. リソース  Microsoft Fabric と Microsoft Purview によるスケーラブルなデータ管理 |作 成者 Piethein Strengholt |中程度 (medium.com)  Episode 5: Connecting the dots with Microsoft Purview (youtube.com)  Microsoft Purview | Microsoft Learn  Microsoft Purview 用語集 | Microsoft Learn
56. Thank you !