Upgrade to Pro — share decks privately, control downloads, hide ads and more …

GCPで行動ログ基盤 を開発している話

kaito2
September 30, 2019

GCPで行動ログ基盤 を開発している話

kaito2

September 30, 2019
Tweet

More Decks by kaito2

Other Decks in Technology

Transcript

  1. 話すこと • m3.com とは? • 行動ログ基盤 ◦ 背景 ◦ 概要

    ◦ 構成 ◦ 設計・移行で苦しんだトコロ • まとめ
  2. 行動ログ基盤(現状の課題) なぜつくっているか? (既存システムの課題) 1. 各システムとの結合が強い ◦ 表示可能なコンテンツを各サービスに問い合わせている (後述) 2. 他のシステムに相乗りする形で実装されている

    ◦ 当時の開発スピードが優先されていた 3. 細かいパーソナライズができていない ◦ 現状 「Aさんはニュースサービスが好き」 ◦ やりたい 「AさんはXXXに関するニュースが好き」
  3. Cloud Datastore の制約 • 一度に500エンティティまでしか書き込めない ◦ コンテンツなどをBulkで追加するのが厳しい • Kindごとの削除のコストが高い ◦

    Dataflowのジョブを起動する必要がある。 ▪ https://cloud.google.com/datastore/docs/bulk-delete • 基盤システムなので従量課金が厳しい(当たり前) BigTable を採用している
  4. まとめ • m3.com について • m3.com 上のアドの仕組みをリニューアルしている ◦ 様々な課題が ▪

    システムの密結合 ▪ パーソナライズに改善の余地 ◦ 行動ログ基盤をつくりリアルタイムなデータの活用を進める • 構築上の悩み ◦ Pub/Sub のトピック構成 ◦ DBの選定(Datastoreが厳しそう)