Share
Embed
Informaticaのデータガバナンス&データカタログサービス 「CDGC」入門
2024/07/23(火) に開催されたClassmethod Odyssey ONLINE(テック企業編)にて 「Informaticaのデータカタログ」 をテーマに 「Informaticaのデータガバナンス&データカタログサービス 「CDGC」入門」というタイトルでお話したセッション資料を公開いたします。
なべし
July 24, 2024
Transcript
50 slides
-
⾃⼰紹介 • 名前 ◦ 渡部晃季(わたなべこうき) • 所属 ◦ データ事業本部 ◦
ビジネスソリューション部 ◦ SAチーム • お仕事 ◦ データ分析基盤構築 ◦ Informaticaでのソリューション提案 4 -
メタデータとは?企業のDBを例に • メタデータは、⼀⾔でいうと「データについてのデータ」 ◦ 企業のDBデータの場合は、メタデータはラベル‧テーブルの型桁‧データの品質etc • メタデータがなければ‧‧‧ ◦ データの検索はできないし意味理解が困難で、データ分析のスピードが落ちる 7
CustomerId CustomerName Sales 1 くらすめそ子 234,480 2 くらにゃん 1,980,000 3 渡部 198 通貨単位は? 何の顧客? 整数?⽂字? -
メタデータ管理の課題 • メタデータの付与‧保守作業は時間がかかる • 部⾨‧システムごとにメタデータ管理⽅法が違う ◦ Excel‧PowerPoint‧Notion‧Slack‧担当者の頭の中‧存在しない • そもそもどこに資料があるかわからない ◦
資料がわからないので詳しい担当者に質問が集まってしまい、価値ある作業に時 間が捻出できなくなる 9 -
メタデータ管理の課題を解決するCDGC • メタデータの付与‧保守作業は時間がかかる ◦ →⾃動スキャンによるメタデータ割り当て • 部⾨ごとにメタデータ管理⽅法が違う ◦ →部⾨やシステム間でも統⼀されたメタデータ管理 •
そもそもどこに資料があるかわからない ◦ →強⼒な検索機能によるデータ発⾒ 10 -
CDGCで確認できるようになるメタデータ 11 CustomerId CustomerName Sales 1 くらすめそ子 234,480 2 くらにゃん
1,980,000 3 渡部 198 通貨単位は円 ⾳楽事業の顧 客 整数 チケットシステム のOracleDBから 流れてきたデータ 個⼈情報 データ品質の スコアが78点 -
メタデータ管理PJの進め⽅ ゴール設定 ‧あるべき姿の定義 17 STEP 01 STEP 07 STEP 06
STEP 05 STEP 04 STEP 03 STEP 02 ロードマップ策 定 ‧メタデータ公開まで の流れを策定 ‧PJ体制の定義 メタデータ評価 ‧効果測定 ‧業務効率効果の報告 メタデータ公開 ‧メタデータ公開 ‧周知やトレーニング 管理運⽤体制 ‧データ管理の役割設 計 ‧メタデータ公開⽅針 ‧メタデータ保守⽅針 メタデータ設計 と収集 ‧メタデータ管理環境 構築 ‧ラベリング設計 ‧メタデータ収集 対象メタデータ 洗い出し ‧メタデータ収集の対 象システムを定義 ‧メタデータとして収 集する項⽬の整理 -
ここで役⽴つCDGC ゴール設定 ‧あるべき姿の定義 18 STEP 01 STEP 07 STEP 06
STEP 05 STEP 04 STEP 03 STEP 02 ロードマップ策 定 ‧メタデータ公開まで の流れを策定 ‧PJ体制の定義 メタデータ評価 ‧効果測定 ‧業務効率効果の報告 メタデータ公開 ‧メタデータ公開 ‧周知やトレーニング 管理運⽤体制 ‧データ管理の役割設 計 ‧メタデータ公開⽅針 ‧メタデータ保守⽅針 メタデータ設計 と収集 ‧メタデータ管理環境 構築 ‧ラベリング設計 ‧メタデータ収集 対象メタデータ 洗い出し ‧メタデータ収集の対 象システムを定義 ‧メタデータとして収 集する項⽬の整理 -
- Kafka - MariaDB - Marketo using JDBC - Microsoft
Azure Blob Storage - Microsoft Azure Cosmos DB using JDBC - Microsoft Azure Data Factory - Microsoft Azure Data Lake Storage Gen2 - Microsoft Azure SQL Server - Microsoft Azure Synapse - Microsoft Azure SQL Server Script - Microsoft Azure Synapse Script - Microsoft Dynamics CRM using JDBC - Microsoft Fabric Data Warehouse - Preview catalog source - Microsoft Fabric Data Lakehouse - Preview catalog source - Microsoft Fabric OneLake - Preview catalog source - Microsoft OneDrive - Microsoft Power BI - Microsoft Purview - Microsoft SharePoint Online - Microsoft SQL Server - Microsoft SQL Server Analysis Services - Microsoft SQL Server Integration Services - Microsoft SQL Server Reporting Services - Microsoft SQL Server Script - MicroStrategy - MongoDB using JDBC - MySQL - Oracle - Oracle Business Intelligence - Oracle Cloud Infrastructure GoldenGate - Preview catalog source - Amazon Athena - Amazon DynamoDB using JDBC - Amazon Redshift - Amazon S3 - Apache Atlas - Apache Cassandra using JDBC - Apache Hive - AWS Glue - Databricks - Databricks Delta Lake - Dropped Support3 - dbt - Preview catalog source - erwin Data Modeler File - erwin Mart Server - File System - Google BigQuery - Google Cloud Storage - Google Looker - Greenplum - Hadoop Distributed File System - IBM Cognos - IBM Db2 for LUW - IBM Db2 for LUW Script - IBM Db2 for z/OS - IBM Db2 for z/OS using JDBC - IBM InfoSphere DataStage - IBM Netezza - IBM Netezza using JDBC - NetSuite using JDBC - IDERA ER/Studio Data Architect - Informatica Intelligent Cloud Services - Informatica PowerCenter 対応データソースを書き出してみた 20 - Oracle Cloud Object Storage - Oracle PL/SQL Script - PostgreSQL - Qlik Sense - Qlik Sense Cloud - QlikView - Salesforce - SAP BusinessObjects - SAP Business Warehouse (SAP BW) - SAP BW/4HANA - SAP ERP - SAP HANA Database - SAP PowerDesigner - SAP SuccessFactors using JDBC - SFTP File System - SingleStore using JDBC - Snowflake - Snowflake SQL Script - Sybase ASE using JDBC - Sybase IQ using JDBC - Tableau - Talend Data Integration - Teradata BTEQ Script - Teradata Database - Teradata FastExport Script - Teradata FastLoad Script - Teradata MultiLoad Script - TIBCO Spotfire - Workday using JDBC ‧これら以外にもカスタムでメタデータをスキャン可能 ‧続々データソース増加中 -
CDGCで収集するメタデータ 23 • ⾃動で取得してくれるもの(抜粋) ◦ データの型桁スキーマ情報などの、テクニカルメタデータ ◦ データの傾向を把握する、データプロファイリング ◦ データの品質を把握する、データ品質
◦ データに異常傾向があれば検知する、データオブザーバビリティ ◦ ⾃動的にデータへの意味づけ補助する、データ分類 • ⾃分で取得(割り当て)するもの(抜粋) ◦ ビジネスメタデータの割り当て ▪ ドメイン ▪ ビジネス⽤語 -
Excelによる⼀括メタデータ登録 26 • メタデータ登録‧更新はExcelファイルのインポートでも可能 ◦ 登録量が多い場合は、画⾯よりインポートの⽅が時短 テンプレート ファイルのダウ ンロード 登録メタデータ
の⼀括エクス ポート Excel上でメタ データ登録‧更 新 ⼀括インポート -
CDGCのアーキテクチャ 42 https://qiita.com/naka34/items/b55e67731c9df7b562d2より2024/07/18に引⽤ • メタデータはInformatica Cloud上に保存される • データアクセスはユーザー環境サーバ上のSecure Agentが担当(※サーバレス構成も可) •
Informaticaとの通信はインターネット通信もしくはプライベート通信が可能 ◦ AWS PrivateLink / Azure Private Link -
インフォマティカの料⾦ 44 • 具体的な料⾦は出せません。。 • インフォマティカはプリペイドからサービスを使⽤した分消費していく従量制課⾦ ⽅式 ◦ IPU(Informatica Processing
Unit)を事前購⼊する • それぞれのサービスでIPU消費体系が決まっている ◦ https://www.informatica.com/content/dam/informatica-com/en/docs/infor matica-cloud-and-product-description-schedule.pdf