Upgrade to Pro — share decks privately, control downloads, hide ads and more …

History of the ML system in KARTE

kargo113
June 23, 2022

History of the ML system in KARTE

kargo113

June 23, 2022
Tweet

More Decks by kargo113

Other Decks in Technology

Transcript

  1.   |  © PLAID Inc. 2022.06.14  |  MLOps in KARTE  |    |  © PLAID Inc. 株式会社プレイドについて

    株式会社プレイド 東京都中央区銀座6-10-1 GINZA SIX 10F 設立:2011年10月 従業員:240名 ※2021年12月末時点
  2. 2022.06.14  |  MLOps in KARTE  |    |  © PLAID Inc. 6 Stats of KARTE

    データ規模も爆発的に増加 145 億UU 累計ユーザー数 ※1 0.x 秒/解析 解析速度 135,000 over 秒間トラッキング数 ※3 2.43 兆円 年間解析流通金額 ※2 ※1 ローンチ〜2022年3月までのユニークユーザー数の実績 ※2 EC領域における解析流通金額。 2021年3月〜2022年2月までの単年の実績 ※3 閲覧、クリック、購入など KARTEで計測しているユーザーの全イベントが 対象。ローンチ〜 2022年3月までにおける最大値
  3. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. 大事なこと 実験環境 バッチ予測 リアルタイム予測

    バッチ基盤拡張 積み重ねが大事! 精度監視 CI/CD Feature Store パイプライン
  4. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. ML基盤の変遷 西暦 内容 登壇

    2019/8 機械学習基盤の開発コンセプト Google Cloud Next Tokyo ’19 2020/6 パイプライン基盤(バッチ予測) Google Cloud Day Digital ’20 2020/12 リアルタイム予測 Google ML Summit ’20 2021/5 バッチ基盤拡張 Google Cloud Day Digital ’21 2022/4 Light MLOps Google Cloud Day Digital ’22
  5. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. パイプライン ML System Flask

    Server UI Images Container Registory KARTE System Kubernetes Engine KARTE System CI/CD Pipeline Github Actions 弊社開発者 Status Cloud Pub/Sub ML Pipeline AI Platform Pipeline Batch Train AI Platform Training Transform Train Inference KARTE Data BigQuery クライアント AI Platform Pipeline パイプライン基盤(バッチ予測)
  6. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. リアルタイム ML Pipeline System

    (Experiment, Train, Deploy) All Data BigQuery Experiment AI Platform Notebook ML Pipeline AI Platform Pipelines Batch Train AI Platform Training Metadata Cloud Firestore Artifacts Cloud Storage ML Realtime System Prediction API Cloud Run Event Data Cloud Spanner API trigger Cloud Pub/Sub Data Process Cloud Dataflow Prediction Result Cloud Bigtable Event Data Cloud Pub/Sub Core Server Compute Engine User Data Cloud Bigtable Core System エンドユーザー Web App リアルタイム予測
  7. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. バッチ基盤拡張 Analyist Session Summary

    BigQuery Batch Job GKE Admin GKE Autoscaling Batch Job Dataflow Reference Table Cloud Spanner Client Cache Tables By Conditions BigQuery ML Pipeline AI Platform Pipeline Cloud Bigtable Track GCE Autoscaling Analyze GCE Autoscaling Pub/Sub User KARTE Pockyevent BigQuery バッチ基盤拡張 Prediction Result BigQuery
  8. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. Light MLOps Data Scientist

    Client Cloud Storage Cloud Run JobFlow Work ows BigQuery KARTE Data BigQuery BigQuery Ve ex Workbench Simplify - Facebook - Instagram Light MLOps
  9. 2022.06.14  |  MLOps in KARTE  |    |  © PLAID Inc. 本日のテーマ 25 - コンセプト

    - 実験環境 - バッチ予測 - リアルタイム予測 - バッチ基盤拡張 具体的に 何から始めるべきか? 話すこと
  10. 2022.06.14  |  MLOps in KARTE  |    |  © PLAID Inc. notebook 29 notebook Vertex

    Workbenchで簡単に 探索的にデータ分析・可視化 データ権限周りは慎重に! notebook
  11. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. Light MLOps Ve ex

    Workbench 良さそうな結果が出そうだ! すぐにプロダクトに活用する方法はないか? Light MLOps
  12. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. BQ to BQ Data

    Scientist Client Cloud Storage Cloud Run JobFlow Work ows BigQuery KARTE Data BigQuery BigQuery Ve ex Workbench Simplify - Facebook - Instagram BQ to BQ を実現するには?
  13. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. ParaML [Case Study] Parameterised

    ML user_id name Loyal Score aaa Tanaka 0.98 bbb Suzuki 0.88 ccc Iwasaki 0.73 ddd Murakami 0.42 eee Takahashi 0.39 fff Okada 0.32 ggg Takeda 0.20 行動データ クライアント エンドユーザー スコアに応じて クーポン出し分け 紐付けテーブル 算出したスコア COUPON “A” COUPON “B”
  14. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. バッチ予測 ML System Flask

    Server UI Images Container Registory KARTE System Kubernetes Engine KARTE System CI/CD Pipeline Github Actions 弊社開発者 Status Cloud Pub/Sub ML Pipeline AI Platform Pipeline Batch Train AI Platform Training Transform Train Inference KARTE Data BigQuery クライアント AI Platform Pipeline バッチ予測基盤
  15. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. CI/CD CI/CDもこのタイミングで構築 CI/CD Pipeline

    Github Actions Service Account Cloud IAM Images Container Registory ML Pipeline AI Platform Pipeline Image pipeline
  16. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. 問い合わせ予測 [Case Study] リアルタイム問い合わせ予測

    Batch 予測 - 使用するデータが数日、数週間で 変化する場合 Realtime 予測 - 使用するデータが数秒で 変化する場合 1週間後 ロイヤル カスタマーになるか 20 秒後 問い合わせをするか
  17. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. 問い合わせ予測 [Case Study] リアルタイム問い合わせ予測

    検索結果画面 15 sec 検索画面 8 sec エンドユーザー 検索画面 10 sec 検索結果画面 20 sec うまく検索できていないユーザー行動 上記と類似したユーザー行動をリアルタイムに判別 ... ... event sequence
  18. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. ML Pipeline System (Experiment,

    Train, Deploy) All Data BigQuery Experiment AI Platform Notebook ML Pipeline AI Platform Pipelines Batch Train AI Platform Training Metadata Cloud Firestore Artifacts Cloud Storage ML Realtime System Prediction API Cloud Run Event Data Cloud Spanner API trigger Cloud Pub/Sub Data Process Cloud Dataflow Prediction Result Cloud Bigtable Event Data Cloud Pub/Sub Core Server Compute Engine User Data Cloud Bigtable Core System エンドユーザー Web App リアルタイム予測基盤 リアルタイム予測
  19. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. ① Core System から

    event data を受け取る ② event data を DB に保存 ③ 特定 event のみを抽出して、 Prediction API に リクエスト送信 ④ DB から生データを取得し、予測 ⑤ 予測結果を DB に書き込み ML Realtime System Prediction API Cloud Run Event Data Cloud Spanner API trigger Cloud Pub/Sub Data Process Cloud Dataflow Prediction Result Cloud Bigtable Event Data Cloud Pub/Sub ① ② ③ ④ ⑤ { "event_name": "view", "sync_date": “2020-11-29 23:50:23.142 UTC", "keys": { "api_key": "xxxxxx", "user_id": "user_B", "session_id": "yyyy_662", }, "page": "https://plaid.co.jp/", ... } event data 例 リアルタイム予測基盤 リアルタイム予測
  20. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. CJ探索 [Case Study] カスタマージャーニー探索

    ゴール (購入 etc.) に繋がりやすい「行動パターン」を遷移確率を元に分析することで なぜ? が見出せます
  21. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. バッチ基盤拡張 Analyist Session Summary

    BigQuery Batch Job GKE Admin GKE Autoscaling Batch Job Dataflow Reference Table Cloud Spanner Client Cache Tables By Conditions BigQuery ML Pipeline AI Platform Pipeline Cloud Bigtable Track GCE Autoscaling Analyze GCE Autoscaling Pub/Sub User KARTE Pockyevent BigQuery バッチ基盤拡張 Prediction Result BigQuery
  22. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. 基盤統合 Analyist KARTE Pockyevent

    BigQuery Session Summary BigQuery Batch Job GKE Admin GKE Autoscaling Batch Job Dataflow Reference Table Cloud Spanner Client ML Pipeline AI Platform Pipeline Prediction Result BigQuery 分析基盤側 ML基盤側 統合 既存分析基盤とML基盤の統合
  23. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. 大事なこと 実験環境 バッチ予測 リアルタイム予測

    バッチ基盤拡張 積み重ねが大事! 精度監視 CI/CD Feature Store パイプライン