Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Google Cloud Next '24 Recap in ZOZO Datastreamを...

Google Cloud Next '24 Recap in ZOZO Datastreamを使用したリアルタイムデータストリーミングの紹介 / realtime datastreaming with Datastream

Google Cloud Next '24のセッション: "Real-time operational data streaming for enabling analytics and generative AI apps using Datastream" で発表された内容を元に、サーバーレスの変更データキャプチャ(CDC)およびレプリケーションサービスのDatastreamについてご紹介します。

Takahito Sakuma

May 13, 2024
Tweet

Other Decks in Technology

Transcript

  1. © ZOZO, Inc. 3 • Datastreamとは ◦ 変更データキャプチャ(CDC)とは ◦ ユースケースの紹介

    • 事例紹介 • その他のストリーミング系機能の紹介 ◦ BigQuery continuous queries ◦ Apache Kafka for BigQuery • 今後試したいこと • まとめ 本日話すこと 引用元:https://techblog.zozo.com/entry/google-cloud-next-2024
  2. © ZOZO, Inc. 5 Datastreamとは サーバーレスで使いやすい変更データ キャプチャ(CDC)およびレプリケーション サービス データを確実に、かつ最小限のレイテンシで同期 •

    BigQuery • Cloud Storage • Dataflow ◦ Cloud SQL ◦ Spanner ◦ … Datastream • MySQL • PostgreSQL • Oracle • SQL Server(★) 引用元:https://cloud.google.com/datastream/docs/overview?hl=ja
  3. © ZOZO, Inc. 18 ZOZOでのDatastream利用例 • AWS Aurora MySQLからBigQueryにレプリケーション ZOZO

    データセンター Datastream BigQuery Aurora MySQL 参考:https://qiita.com/shiozaki/items/ff088ee14e55ca575100
  4. © ZOZO, Inc. 21 Apache Kafka for BigQuery • BigQueryと容易に統合可能なマネージドのApache

    Kafkaがプレビュー 参考:https://cloud.google.com/products/apache-kafka-for-bigquery Apache Kafka BigQuery
  5. © ZOZO, Inc. 27 まとめ • BigQueryがますます強力になっている ◦ continuous queriesすごそう

    • 運用DBをBigQueryに複製したいニーズが多そう ◦ そのための仕組みにDatastreamが便利 ◦ Apache Kafka for BigQueryにも期待