Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Data Engineering Study 21 - Microsoft Fabric

Data Engineering Study 21 - Microsoft Fabric

2023/8/30 開催の Data Engineering Study #21 の後半セッション - Microsoft Fabric

More Decks by Hiroyuki Nakazato / 中里 浩之

Other Decks in Technology

Transcript

  1. Microsoft Fabric セッションのアジェンダ Microsoft Fabric 登場の背景 次世代 BI と先端テクノロジーの融合 レイク

    セントリックなアーキテクチャー AI Copilot (副操縦士) 搭載 ライセンスとキャパシティの考え方 1 2 3 4 5
  2. Microsoft Fabric セッションのアジェンダ Microsoft Fabric 登場の背景 次世代 BI と先端テクノロジーの融合 レイク

    セントリックなアーキテクチャー AI Copilot (副操縦士) 搭載 ライセンスとキャパシティの考え方 1 2 3 4 5
  3. Microsoft Fabric AI 時代のデータ分析 OneLake Data Factory Synapse Data Engineering

    Synapse Data Science Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator
  4. Microsoft Fabric セッションのアジェンダ Microsoft Fabric 登場の背景 次世代 BI と先端テクノロジーの融合 レイク

    セントリックなアーキテクチャー AI Copilot (副操縦士) 搭載 ライセンスとキャパシティの考え方 1 2 3 4 5
  5. Microsoft Fabric Power BI を中心としたストラテジー 使いやすさ、データの可視化・分析機能の深さで、 誰もが認めるリーダーになる Office 生産性スイート全体で 普遍的に使用

    Fabric 全体で統一される 実証済みのテクノロジー AI ドリブンの Copilot 体験と組み合わせて、 より迅速な洞察を実現
  6. Azure Data+AI PaaS データ ウェアハウス データ エンジニアリング データ統合 Azure で実証されたデータ分析テクノロジーとの融合

    リアルタイム分析 データ レイクハウス Power BI SaaS コラボレーション データ活用全体 でのコラボレーション コラボレーティブBI ビジネス連携 データ サイエンス ・ MLOps
  7. Microsoft Fabric セッションのアジェンダ Microsoft Fabric 登場の背景 次世代 BI と先端テクノロジーの融合 レイク

    セントリックなアーキテクチャー AI Copilot (副操縦士) 搭載 ライセンスとキャパシティの考え方 1 2 3 4 5
  8. インテリジェントなデータ基盤 OneLake “データのための OneDrive” 組織全体のための単一の SaaS レイク テナントで自動的にプロビジョニングされる すべてのワークロードは OneLake

    ワークスペース フォルダーに自動的にデータを保存する すべてのデータは直感的な階層型名前空間に 整理して格納される OneLake 上のデータは次の用途のために 自動的にインデックス化される:検出、 MIP ラベル、系列、PII スキャン、共有、 ガバナンス、コンプライアンス Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator
  9. One Copy すべてのコンピューティング エンジンはデータを OneLake に自動的に保存する OneLake 上のすべての構造化データは オープン スタンダードなデータ形式である

    Delta – Parquet 形式で保存される OneLake にデータが保存されると インポートやエクスポートを必要とせずに すべてのコンピューティング エンジンから直接アクセス可能 すべてのコンピューティング エンジンはネイティブ形式として Delta Parquet で動作するよう完全に最適化 One Security: すべてのコンピューティング エンジンに 共通のセキュリティ モデルを適用 サーバーレス コンピューティング カスタマー 360 ファイナンス サービス テレメトリー ビジネス KPI Delta – Parquet 形式 Delta – Parquet 形式 Delta – Parquet 形式 Delta – Parquet 形式 Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator T-SQL Spark KQL Analysis Services すべてのコンピューティング エンジンが同じデータにアクセス可能
  10. One Security (今後のロードマップ) すべてのコンピューティング エンジンに共通のセキュリティ モデルを適用 サーバーレス コンピューティング Spark T-SQL

    KQL Analysis Services One Security カスタマー 360 ファイナンス サービス テレメトリー ビジネス KPI Delta – Parquet 形式 Delta – Parquet 形式 Delta – Parquet 形式 Delta – Parquet 形式 Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator すべてのコンピューティング エンジンはデータを OneLake に自動的に保存する OneLake 上のすべての構造化データは オープン スタンダードなデータ形式である Delta – Parquet 形式で保存される OneLake にデータが保存されると インポートやエクスポートを必要とせずに すべてのコンピューティング エンジンから直接アクセス可能 すべてのコンピューティング エンジンはネイティブ形式として Delta Parquet で動作するよう完全に最適化 One Security: すべてのコンピューティング エンジンに 共通のセキュリティ モデルを適用
  11. カスタマー 360 ファイナンス サービス テレメトリー ビジネス KPI Data Factory Synapse

    Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator OneLake ショートカット OneLake を次のレベルに引き上げる OneLake でのデータ共有は OneDrive での ファイル共有と同じくらい簡単で データの重複が不要になる ショートカットを利用することで OneLake 内の データを移動することなく組み合わせられる ショートカットを利用することでデータの重複や 移動なしに Azure や他のクラウドに存在する データを即座にリンクできるため、OneLake は 初めてのマルチ クラウド データ レイクになる 業界標準の API のサポートにより OneLake データに任意のアプリケーションや サービスから直接アクセスできる Amazon S3 Google Cloud Storage (Coming soon) Azure Data Lake Storage Gen2
  12. OneLake データへのオープン アクセス Azure Databricks Azure HDInsight ADLS Gen2 互換

    ADLS Gen2 との互換性とショートカットにより既存の資産を効率的に活用 ショートカット ショートカット Azure Data Lake Storage Gen2 (ADLS Gen2) ADLS Gen2 対応アプリケーションの例 DFS API
  13. オンプレミス データ Azure サービス 150+ の多様なコネクターを用いて ノーコードでのデータの取込が可能 Amazon Redshift Google

    BigQuery Snowflake ADLS Gen2 Amazon S3 GCS (Coming Soon) 3 クラウドのオブジェクト ストレージを ショートカットとして登録可能
  14. デモ シナリオ ADLS Gen2 Amazon S3 売上ファクト テーブル (Delta Lake

    形式) 各種ディメンション テーブル (Delta Lake 形式) Microsoft Fabric ② ノートブック ③ SQL ④ Power BI OneLake ① ショートカット
  15. デモ シナリオ ADLS Gen2 Amazon S3 売上ファクト テーブル (Delta Lake

    形式) 各種ディメンション テーブル (Delta Lake 形式) Microsoft Fabric ② ノートブック ③ SQL ④ Power BI OneLake ① ショートカット
  16. デモ シナリオ ADLS Gen2 Amazon S3 売上ファクト テーブル (Delta Lake

    形式) 各種ディメンション テーブル (Delta Lake 形式) Microsoft Fabric ② ノートブック ③ SQL ④ Power BI OneLake ① ショートカット
  17. デモ シナリオ ADLS Gen2 Amazon S3 売上ファクト テーブル (Delta Lake

    形式) 各種ディメンション テーブル (Delta Lake 形式) Microsoft Fabric ② ノートブック ③ SQL ④ Power BI OneLake ① ショートカット
  18. Microsoft Fabric セッションのアジェンダ Microsoft Fabric 登場の背景 次世代 BI と先端テクノロジーの融合 レイク

    セントリックなアーキテクチャー AI Copilot (副操縦士) 搭載 ライセンスとキャパシティの考え方 1 2 3 4 5
  19. Copilot で生産性を加速させる Synapse Real Time Analytics Power BI Data Activator

    Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing OneLake Microsoft Fabric
  20. Microsoft Fabric セッションのアジェンダ Microsoft Fabric 登場の背景 次世代 BI と先端テクノロジーの融合 レイク

    セントリックなアーキテクチャー AI Copilot (副操縦士) 搭載 ライセンスとキャパシティの考え方 1 2 3 4 5
  21. 利用開始方法 Microsoft Fabric 方法 1 Power BI Premium 容量 方法

    2 無料試用版の Fabric 容量 方法 3 従量課金制の Fabric 容量
  22. コンピューティング Fabric 容量 価格の構成要素 Microsoft Fabric 容量ユニット (CU) を F2

    - F2048 でプロビジョニング すべての分析エンジンで CU を共有 一時停止 / 再開 / サイズ変更が可能 従量課金制 (最低 1 分からの秒単位課金) ストレージ OneLake すべてのデータを一か所に保存 従量課金制 (GB / 月あたりの料金)
  23. パブリック プレビュー参考価格 (US West 2) Microsoft Fabric パブリック プレビュー中の価格のため、一般提供までに変更となる可能性があります Fabric

    容量 OneLake ストレージ データ転送* * リージョンをまたぐ データ転送を行う場合、 リージョン間の Bandwidth 料金がかかります $0.023/GB/月 * 今後、予約容量を提供予定 SKU 容量ユニット (CU) 従量課金 (1 時間) 従量課金 (1 か月) F2 2 $0.36 $262.80 F4 4 $0.72 $525.60 F8 8 $1.44 $1,051.20 F16 16 $2.88 $2,102.40 F32 32 $5.76 $4,204.80 F64 64 $11.52 $8,409.60 F128 128 $23.04 $16,819.20 F256 256 $46.08 $33,638.40 F512 512 $92.16 $67,276.80 F1024 1024 $184.32 $134,553.60 F2048 2048 $368.64 $269,107.20
  24. よくある質問と回答 Azure のデータ分析関連サービスは今後どうなりますか? Microsoft は Azure Synapse Analytics や Azure

    Data Factory、 Azure Data Explorer、Azure Databricks などの堅牢で企業向けの データ分析関連の PaaS ソリューションを引き続き提供します。 Microsoft Fabric はデータ分析関連機能を一体化し、よりシンプルな SaaS ソリューションとして提供します。 お客様のニーズに応じて適切なソリューションを選択頂けます。 なお、Synapse や Data Factory からの移行を希望するユーザー向けの 移行パスを準備中です。 Q A
  25. 機能の提供状況 (2023 年 8 月現在) パブリック プレビュー Data Factory Synapse

    Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time analytics Copilot for Power BI (DAX) OneLake 一般提供 Power BI Data Activator Copilot for Microsoft Fabric Copilot for Power BI (full) プライベート プレビュー
  26. 今すぐ始めるには - aka.ms/TryFabric 製品サイト https://www.microsoft.com/ja-jp/microsoft-fabric プレビュー 試用版 開始手順 (Docs) https://learn.microsoft.com/ja-jp/fabric/get-started/fabric-trial

    Microsoft Fabric のドキュメント https://learn.microsoft.com/ja-jp/fabric/ Microsoft Learn - Microsoft Fabric の概要 https://learn.microsoft.com/ja-jp/training/paths/get-started-fabric/