GCPで行動ログ基盤 を開発している話

Transcript

1. GCPで行動ログ基盤 を開発している話 エムスリー株式会社 岩月 海人
2. 自己紹介
3. 自己紹介 - 岩月海人 (@kaito_two) - エムスリー株式会社 - AI・機械学習チーム - どちらかというとデータエンジニア - 2019年 4月16日 新卒(?)入社 - 主にGCP関連の基盤を担当
4. 話すこと
5. 話すこと • m3.com とは? • 行動ログ基盤 ◦ 背景 ◦ 概要 ◦ 構成 ◦ 設計・移行で苦しんだトコロ • まとめ
6. m3.com とは?
7. m3.com とは? 医師限定会員サイト 医師向けYahooのようなイメージ(多分一つ前でもはなしてある) サイト内に複数サービス(現在20以上)への導線が存在する。
8. 行動ログ基盤 (移行中)
9. 行動ログ基盤 目的 m3.com のサービス横断の広告表出システムをリニューアルする 概要 • 対応サービスのコンテンツの中からユーザーに対しておすすめを表示(パーソナラ イズ) • ユーザーの行動ログからCVをリアルタイムに補足
10. 行動ログ基盤(現状の課題) なぜつくっているか? (既存システムの課題) 1. 各システムとの結合が強い ◦ 表示可能なコンテンツを各サービスに問い合わせている (後述) 2. 他のシステムに相乗りする形で実装されている ◦ 当時の開発スピードが優先されていた 3. 細かいパーソナライズができていない ◦ 現状 「Aさんはニュースサービスが好き」 ◦ やりたい 「AさんはXXXに関するニュースが好き」
11. 各システムとの結合が強い 既存の広告システム 表示可能コンテンツ の問い合わせ 表示可能なコンテンツを 各サービスに問い合わせ ?? ?? ??
12. (その他にもいくつか内部の事情があり) データパイプライン作ろう
13. 行動ログ基盤 | 構成
14. 行動ログ基盤 | 構成 ユーザーに表示したいコンテンツを登録
15. 行動ログ基盤 | 構成 パーソナライズされた 表示するコンテンツを提供
16. 行動ログ基盤 | 構成 各サービスの行動ログを送信
17. 行動ログ基盤 | 構成 Pub/Sub をサブスクリプションし、 行動ログからCVを判定
18. 行動ログ基盤 | 構成 Pub/Sub をサブスクリプションし、 行動ログからCVを判定 状態を取得・更新
19. 行動ログ基盤 | 構成
20. 行動ログ基盤 | 構成 ココ
21. API 構成 表示可能なコンテンツを取得 m3の各サービス
22. API 構成 取得した情報をもとに最適化 (ロジックをPlugableにする)
23. 設計・移行で悩んだトコロ
24. Pub/Sub のトピックを分割するか 現在は中央のトピックを立てている 関係ない Message でも呼び出される
25. Pub/Sub のトピックを分割するか Dataflow で分ける方法もあるが現状はしてない マシンリソースと Pub/Subのトラフィックがかかる
26. Cloud Datastore の制約 • 一度に500エンティティまでしか書き込めない ◦ コンテンツなどをBulkで追加するのが厳しい • Kindごとの削除のコストが高い ◦ Dataflowのジョブを起動する必要がある。 ▪ https://cloud.google.com/datastore/docs/bulk-delete • 基盤システムなので従量課金が厳しい(当たり前) BigTable を採用している
27. まとめ • m3.com について • m3.com 上のアドの仕組みをリニューアルしている ◦ 様々な課題が ▪ システムの密結合 ▪ パーソナライズに改善の余地 ◦ 行動ログ基盤をつくりリアルタイムなデータの活用を進める • 構築上の悩み ◦ Pub/Sub のトピック構成 ◦ DBの選定(Datastoreが厳しそう)
28. ありがとうございました