Lock in $30 Savings on PRO—Offer Ends Soon! ⏳

Mirroring Azure Cosmos DB in Microsoft Fabric

miyake
April 20, 2024

Mirroring Azure Cosmos DB in Microsoft Fabric

Global Azure 2024 in Fukuoka の発表資料です。
https://jazug.connpass.com/event/313994/

miyake

April 20, 2024
Tweet

More Decks by miyake

Other Decks in Technology

Transcript

  1. About me ž Kazuyuki Miyake @kazuyukimiyake • CEO at ZEN

    Architects • Microsoft MVP / Microsoft Regional Director • Specialty : Azure Architecture Design • Blog: https://k-miyake.github.io/blog/
  2. このセッションについて ž 現在プレビュー中の Mirroring Azure Cosmos DB in Microsoft Fabric

    についてデモを通じて概要を紹介します ž 本セッションの資料(一部)は Cosmos DB チームから日本のコ ミュニティ向けに提供されたものを、三宅個人が翻訳(一部意訳) しています。 ž Special Thanks for Mark Brown and Anitha Adusumilli
  3. 現状: ビッグデータはサイロ化し多くの重複がある IT Data movement Sales Data movement Operations Data

    movement Marketing Data movement Data movement Data movement Data movement Data movement
  4. Microsoft Fabric The unified data platform for the era of

    AI Unified architecture Unified experience Unified governance Unified business model
  5. OneLake によるデータ統合 Data Factory Synapse Data Engineering Synapse Data Science

    Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator OneLake Service Telemetry Finance Customer 360 Business KPIs Serverless Compute Spark T-SQL KQL Analysis Services Amazon Google Azure Dataverse Multi-cloud shortcuts Microsoft Fabric Azure Databricks Azure HDI Azure AI Studio Open Access APIs
  6. Seamlessly ingest your databases and data warehouses into OneLake Zero-ETL

    Near real-time Available now, in preview Mirroring in Microsoft Fabric
  7. Mirroring + OneLake によるデータ統合の拡張 Connect your entire data estate Data

    Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator OneLake Service Telemetry Finance Customer 360 Business KPIs Serverless Compute Spark T-SQL KQL Analysis Services Amazon Google Azure Dataverse Multi-cloud shortcuts Microsoft Fabric Azure Databricks Azure HDI Azure AI Studio Open Access APIs Mirroring Snowflake Azure SQL DB Azure COSMOS DB And More…
  8. Mirroring in Microsoft Fabric Simplify near real-time analytics ETL 不要で既存のデータベースを

    Fabric に追加可能 データは Delta 形式で OneLake にほぼリ アルタイムにレプリケートされる OneLake レプリカによって Fabric のすべ ての体験がすぐに機能する レプリカは分析クエリーから運用データ ベースを保護する ソース データベース No-ETL Near real-time Fabric Spark Power BI Fabric DW 圧縮されたレプリカ Delta Parquet in Onelake ミラーリングされた データベース 増分レプリケーション
  9. Mirroring Pricing 無料対象 • レプリケーションにかかる Cosmos DB のコンピューティング • Fabric

    の SKU に対応するミラーリング用ストレージ容量 (F2 であれば 2 TB が無料) 課金対象 • Fabric: SQL, Power BI 等のコンピューティング体験 • Cosmos DB: 継続的バックアップ
  10. 参考: Azure Synapse Link との比較 Azure Synapse Link に対する Mirroring

    の利点 • オープンプラットフォーム:ミラーリングのデータはデルタ形式 • SQL と Spark でデルタを扱うためのクエリの改善 • 他のデータとの結合が容易 Azure Synapse Link と Mirroring は併用が可能 本番ワークロードでは Azure Synapse Linkを使う必要がある Mirroring は GA 後に本番ワークロードでの利用がサポートされる
  11. まとめ (制限事項や個人的コメントなど) ž NoSQL API の Cosmos DB のみ ž

    継続的バックアップが有効化されていること (比較的古い Cosmos DB アカウントで分析ストアが有効になっている場合は注意) ž パブリックネットワークアクセスが有効になっていること (サービスエンドポイントも NG なのでかなり厳しい制約(今後に期待)) ž TTL を設定している場合はミラーリングされたデータも削除対象 ž 入れ子になった JSON オブジェクトは、Fabric のウェアハウステー ブルの JSON 文字列になる (T-SQL のクエリが少し書きにくい・・)