第8回DataMeshLT#5 データメッシュの魅力：原則から拓く新たな道

SnowflakeUserGroupデタマネコミュニティ第8回活動で利用したLT資料の5本中5本目を公開します！

Transcript

1. データメッシュの魅力 〜原則から拓く新たな道〜 インフォマティカ・ジャパン株式会社 ソリューションアーキテクト & エバンジェリスト 森本卓也（もりたく）
2. © Informatica. Proprietary and Confidential. Our Mission お客様のデータドリブンな DXを推進する Our Vision データに力を、ビジネスに革新を、 社会に価値創造を インフォマティカはデタマネ業界のリーダー 1993年創業のデータ統合・管理の分野における グローバルNo1の独立系リーディングカンパニー データマネジメント クラウド
3. © Informatica. Proprietary and Confidential. 5,000+ Customers 9 of Fortune 10 85 of Fortune 100 あらゆる業種業界の世界中のリーダー企業がインフォマティカを採用 TECHNOLOGY | SERVICES AUTO | TRANSPORTATION BANKING | INSURANCE RETAIL ENERGY | UTILITIES GOVT. | PUBLIC SECTOR | EDU. HEALTHCARE | PHARMA MANUFACTURING
4. © Informatica. Proprietary and Confidential. 自己紹介 (インフォマティカのデータマネジメント・エバンジェリスト) 【主たる活動履歴】 *イベントの講演実績は50＋、顧客実績は150＋ ▪データ関連イベント JDMC (データマネジメント2020-2024)、 DAMA、 CDO Club Japan、 IDC、 日経BP 他 ▪データエコシステム関連イベント Snowflake、 AWS、 Microsoft、 Google、Oracle 他 ▪講演テーマ データマネジメント、 データガバナンス、 データ戦略、 DataOps、 モダン・データアーキテクチャ 他 ▪その他 Twitterでのデータマネジメントのナレッジシェア活動 データマネジメントの記事寄稿 ・JDMC2024 「なぜ先進企業は生成AIと共にデータマネジメントの再構築を急ぐのか」 ・JDMC会員コラム 「心に沁みるデータマネジメントの名言10選＋α」 ・JBPress記事 「継続的なデータドリブン経営に必要なデータガバナンスとは」 ・Snowflake記事 「データエンジニアリングとは？ データを使いやすく整備するための…10の活動」 もりたく (森本 卓也) @moritata9
5. © Informatica. Proprietary and Confidential. 近年、海外のインフォマティカ周りでもデータメッシュ事例が増加 IW2023 Architecture Summit より (バイオテック） IW2023 Architecture Summit より (保険) Informação de uso publico Data Engineering and Data Mesh Architecture The data platform comes with a federated data governance solution, providing for total management over accounts, connections, security and access per business area. Cloud Data Governance and Catalog Data Lineage Data Catalog IW2023 Breakout Session より (銀行) Consuming Application Integrity Quality Checks Golden Source Business Application Raw landing zone Custom extraction (application component) ETL functions (raw-to-RDS) RDS ETL functions (optional) RDS Landing Zone Masked Zone Historical Zone Data Masking Application function Historical processing service ETL functions Schema or view generation Services Processing Zone Syntactic engine Virtualization functions Data Access Store Consumer-specific integrated datasets Business Intelligence & Advanced Analytics functions Central Metadata application functions Streaming ingestion LoGS metadata Business Metadata Security Metadata DSAA Metadata RDS Metadata Schema Metadata DQ Metadata Lineage Metadata Decomposition of Data Distribution Capability API functions Policy Enforcement Point Batch functions Query / Directaccess functions Ingestion Layer RDS Layer ConsumptionLayer Indexing & Search Service Data Marketplace Portal Ad-hoc querying functions Single-Sign on functions Logging & Monitoring Caching Services MarketplaceLayer Informatica Webinar “… Data Fabric/Mesh” より https://now.informatica.com/rs/867-MAO-634/images/Data%20Fabric-Mesh%20Architecture.pdf
6. © Informatica. Proprietary and Confidential. 近年、国内のインフォマティカ周りでもデータメッシュやりたい相談が増加 28 © Informatica. Proprietary and Confidential. デー タファブリックとデー タメッシュは同じではない lデー タ管理をサポー トする、機能・ツー ル・アー キ テクチャの組み合わせのこと l技術的な側⾯により重点を置く lビジネスユー ザー へのデー タ配信の最適化 （ ⾃動化） に注⼒ lメタデー タの⾃動解析とそれに続く統合フロー の ⽣成を⽀援するAIとM Lに強く注⽬ デー タファブリック lビジネスユー ザー も含む、分散型デー タ所有の 考え⽅に基づく4つの原則を持ったアプロー チ lデー タファブリックが技術的な意味合いが強 いのに対し、デー タメッシュは組織的・⽂化的 な意味合いが強い lデー タメッシュの実現のために、技術的なデリ バリー ・アー キ テクチャとしてデー タファブリックを 活⽤できる デー タメッシュ デー タファブリック Data Fabric モダンデー タスタック M odern Data Stack デー タメッシュ Data M esh DataOps アナリティクス, BI オペレー ション デー タサイエンス, AI/M L デー タ品質 ELT デー タレイク/ウェアハ ウス デー タインジェスチョン アプリケー ション ファイル イベント・ストリー ム デー タベー ス パブリッシュ/提供 あらゆるデー タ あらゆるユー ザー デー タプロダクトの分散管理（ ドメイン-事業別） フェデレー テッド・ガバナンス デー タマー ケットプレイス あらゆるデー タ あらゆるユー ザー ロー カルなメタデー タ ロー カルなデー タ グロー バル・ポリシー エンター プライズ・ デー タカタログ エンター プライズ・ マスタデー タ管理 デー タの永続化 デー タプロビジョニング デー タプロダクト共有 アクセス制御 セルフサー ビスのデー タ整備（ ドメイン-事業別） デー タ品質 デー タ統合、API統合 スチュワー ドシップ DataOps 公開されたデー タマー ケットプレイス メタデー タの拡張＆ナレッジグラフ管理 メタデー タの⾃動収集 AIデー タマネジメント＆レコメンデー ション デー タガバナンス＆コラボレー ション セルフサー ビスのデー タ整備＆配信 デー タの永続化 デー タの統合＆標準化 DataOps あらゆるデー タ あらゆるユー ザー モダン・デー タアー キテクチャの実現（ デー タファブリック、メッシュの標準化） 理想的なデー タ管理、複雑さを受⼊れる • あらゆるデー タを組合せて組織横断で活⽤ • アクティブ・メタデー タ駆動 • AIデー タマネジメントによる洞察と⾃動化 • あらゆるユー ザー に向けた公開デー タカタログ クラウド技術の進歩、変化を受⼊れる • クラウドレイクハ ウ ス中⼼ • クラウドネイティブな技術の集合 • 誰でもアジャイルに、簡単に使える ⾮中央主権的なデー タ管理、分散を受⼊れる • ドメイン別のデー タ、オー ナー シップの分散 • デー タプロダクト化 • セルフサー ビス・プラットフォー ム • 横断的なデー タガバナンス 27 © Informatica. Proprietary and Confidential. デー タファブリックとデー タメッシュの概念図の違い Data Fabric Architecture 拡張デー タカタログ 永続化レイヤー セマンティックの充実 アクティブメタデー タ ナレッジグラフ インサイトとレコメンデー ションエンジン デー タプリパレー ションとデー タデリバリー レイヤー オー ケストレー ションとDataOps 公開されたデー タカタログとデー タエンジニアリング あらゆるユー ザー あらゆるデー タ Data Mesh Architecture フェデレー テッドな ガバナンス グロー バル原則 ポリシー デー タ プロダクト デー タ ドメイン *セー ルス, サポー ト等 セルフサー ビス・インフラストラクチャ © Inform atica. Proprietary and Confidential. 統制された、ドメイン横断のデー タプロダクト共有に必要なメッシュ・アー キテクチャ デー タ消費者 アナリスト ビジネス ユー ザー 1 2 4 5 7 8 デー タプロダクトの⽣成： 取り込み、変換、クレンジング 1 段階的なデー タプロダクトの共有 ⾃動メタデー タスキ ャン、デー タ検出 及びリネー ジュ 2 デー タプロダクトの公開 3 デー タマー ケットプレイスでの探索、 アクセス依頼 4 アクセス依頼のレビュー と承認 5 アクセス権限の付与 6 アクセス⽅法の案内 7 デー タ活⽤ 8 デー タ提供者 デー タプロダクト デー タアクセス 6 メタデー タ デー タ ストリー ミングソー ス バッチソー ス デー タプロダクトの⽣成(Option)： マスター 関連付け、API開発 1' 1' デー タ統合＆ エンジニアリング デー タカタログ 発⾒する デー タ統合＆ エンジニアリング 統合する API＆ アプリ統合 ⾃動化する デー タ品質＆ オブザー バビリティ 綺麗にする マスタデー タ管理 & 360アプリ まとめる デー タガバナンス ＆プライバシー 統制する デー タアクセス 管理 保護する 3 デー タマー ケット プレイス 共有する
7. © Informatica. Proprietary and Confidential. しかし、デタマネを通じて何を目指したいのかが不明確なケースが多い OR データメッシュ、データファブリック やったら良いことありそう データの分散管理が 必要な課題が目の前にある ✓ 技術のたゆまぬ進歩と採用の難しさ ✓ データ規制の遵守の複雑化 ✓ クラウドサービス、API接続の増加と多様化 ✓ データの量と種類が年々倍増 ✓ データのRead/Writeの負荷の高まり ✓ 各事業部のDWHとBIのアーキテクチャの老朽化 ✓ 非機能要件としてスケールが困難なアプリケーション ✓ LOBにて高まるセルフサービスのニーズ ✓ 全社的なデータガバナンスの必要性の向上 ✓ 新たなビジネスモデル創出への期待 ✓ 高まる運用コストに対する経営陣からのプレッシャー
8. © Informatica. Proprietary and Confidential. データメッシュは手段であり目的ではない、デタマネ課題の整理から始めるべき 【手段】課題解決策としての データメッシュと４つの原則 【目的】データの分散管理を 必要とするデタマネ課題の解決 ✓ 技術のたゆまぬ進歩と採用の難しさ ✓ データ規制の遵守の複雑化 ✓ クラウドサービス、API接続の増加と多様化 ✓ データの量と種類が年々倍増 ✓ データのRead/Writeの負荷の高まり ✓ 各事業部のDWHとBIのアーキテクチャの老朽化 ✓ 非機能要件としてスケールが困難なアプリケーション ✓ LOBにて高まるセルフサービスのニーズ ✓ 全社的なデータガバナンスの必要性の向上 ✓ 新たなビジネスモデル創出への期待 ✓ 高まる運用コストに対する経営陣からのプレッシャー
9. © Informatica. Proprietary and Confidential. 他方、一般的なデタマネ相談からのデータメッシュのプチ紹介事案が増加 【相談】サイロ化した事業横断で データ共有をしたい 【紹介】個別の課題解決に 寄与するデータメッシュの原則 Data as a Product プロダクトとしてのデータ管理 ＋ データマーケットプレイス
10. © Informatica. Proprietary and Confidential. データメッシュの原則を分解してベストプラクティスとして扱うのはどうか 原則より、 ベストプラクティスを。 原則 ＝ 特別な場合は別として、一般に適用される根本的な法則のこと。 ベストプラクティス ＝ ある特定の工程や実践または実例にて、最善の方法や事例のこと。
11. © Informatica. Proprietary and Confidential. データメッシュの魅力 ＝ デタマネの世界における選択肢の提供 中央集権のデータ管理 が難しい場合、 (無理やり進めずに…) データの提供者と消費者 の関係が複雑な場合、 各事業ドメインでのデータ整備 を期待したい場合、 ドメイン横断のデータ活用 を推進したい場合、 ドメイン別の分散したデータ管理 を選択すればよい プロダクトとしてのデータ管理 を選択すればよい セルフサービスのデータ基盤 を選択すればよい 連邦型のデータガバナンス を選択すればよい 個別の要件/課題 対応するベストプラクティス
12. © Informatica. Proprietary and Confidential. API＆ アプリ統合 データ品質& オブザーバビリティ データカタログ データ統合 マスタデータ管理 &360アプリ データガバナンス ＆プライバシー 10K+ Metadata-Aware Connectors AI-Powered Metadata Intelligence & Automation Connectivity Metadata System of Record データマーケット プレイス Intelligent Data Management Cloud アクセス ＆統合 共有 ＆民主化 コネクト ＆自動化 発見 ＆理解 統制 ＆保護 あらゆる データ クレンジング ＆信頼 マスター ＆関連 Cloud Ecosystemと連携 データメッシュを簡単に実践できるデータマネジメント基盤 ® Enterprise Cloud On-premises Serverless
13. © Informatica. Proprietary and Confidential. ドメイン別の分散したデータ管理 ＝ マルチクラウド対応のデータマネジメント データユーザー データソース マルチドメイン マスタデータ管理 Match, Merge, Relation データマーケットプレイス & データプロダクト APIコンサンプション 360° アプリケーション 同期/ETL リバース ETL API & アプリケーション統合 | プロセス自動化 AI駆動 | 統合メタデータ | オーケストレーション | Elastic | セキュリティ その他 ツール Metadata Lineage Classification Policy/Role Workflow Profiling Observability Cleansing Access Mgm データ カタログ データ ガバナンス データ 品質 同期/ETL リバース ETL Silver Bronze Gold BI, AI/ML データレイク データウェアハウス ELT Solutions ＝ ドメイン毎の異なる データレイク、 データウェアハウス のテクノロジーの 組合せもサポート
14. © Informatica. Proprietary and Confidential. プロダクトとしてのデータ管理 ＝ データマーケットプレイス対応のカタログ データ提供者 (エキスパート)向け カタログ検索＆ガバナンス データの周りの透明性を保ち、 コラボレーションを促進 簡単ショッピング体験 セルフサービス、データ民主化を促進、 安心安全なショッピングモール データ消費者 (ビジネスユーザー)向け 収集 ビジネス×システムの 横断的なメタデータ収集・解析 可視化 データの傾向、関連性、 分類、リネージュ、品質を把握 統制 用語、責務、プロセス、 ポリシー、品質管理の制御 Cloud Data Governance and Catalog Cloud Data Marketplace 共有 厳選データ資産のみ公開、 口コミ、評価なども共有 活用 誰でも簡単に検索・発見、 欲しいデータ資産をリクエスト 保護 1クリック購入で利用申請、 レビュー後にすぐ活用開始 *Snowaflake Marketplaceが、社外向けデータプロダクト共有に強いのに対し、 InformaticaのData Marketplaceは、社内向けの共有に特化した機能を持ちます。
15. © Informatica. Proprietary and Confidential. セルフサービスのデータ基盤 ＝ ローコードノーコードで実現するデータ整備 ウィザード形式の一括取込みと同期処理 (SuperPipe for Snowflake) GUI形式のELT処理 (SQL ELT) ✓ SAP to Snowflake 連携なども、Snowflake ネイティブなSnowpipeを組み込んだ高速レプリケーション ✓ 一括ロード、CDC、変更データのリアルタイム複製、 スキーマドリフトなどにも対応し、ウィザード操作のみで実現 ✓ ローコードノーコード操作対応の非エンジニアも 操作可能なデータ変換 ✓ Snowflakeネイティブなクエリーを自動生成し、 Snowflake内で閉じた高速処理も可能
16. © Informatica. Proprietary and Confidential. 4 24 45 顧客マスタを中心に360°データが繋がる世界 クレンジング+関連付け 4 24 銀行 信託 証券 クレジット Eメール 電話番号 YM@gmail.com 09012345678 氏名 メールアドレス 斉藤花子 YM@gmail.com 姓 名 メールアドレス 齊藤 花子 ym@gmail.com 名前 連絡先 齊藤 太郎 +8190-1234-5678 齊藤花子 YM@gmail.com 齊藤 太郎 09012345678 連邦型のデータガバナンス ＝ 分析軸を統一するデータ品質、マスタデータ管理 データ品質マネジメント © Informatica. Proprietary and Confidential. マスタデータ管理
17. © Informatica. Proprietary and Confidential. ® and まとめ ： 必要なときに必要なデータメッシュの原則を、デタマネに組み込もう 個別ベストプラクティス 実践をサポートするテクノロジー ドメイン別の分散したデータ管理 を実践する プロダクトとしてのデータ管理 を実践する セルフサービスのデータ基盤 を実践する 連邦型のデータガバナンス を実践する あらゆるユーザー フェデレーテッド・ガバナンス グローバル・ポリシー エンタープライズ・ データカタログ エンタープライズ・ マスタデータ管理 データプロダクトの分散管理（ドメイン-事業別） クラウド別メタデータ クラウド別データ データの永続化 データマーケットプレイス プロビジョニング データプロダクト共有 アクセス制御 セルフサービスのデータ整備（ドメイン-事業別） データ品質 データ、API統合 スチュワードシップ DataOps あらゆるデータ