Upgrade to Pro — share decks privately, control downloads, hide ads and more …

データ基盤の負債解消のためのリプレイス

 データ基盤の負債解消のためのリプレイス

Avatar for Livesense Inc.

Livesense Inc.

November 28, 2024
Tweet

More Decks by Livesense Inc.

Other Decks in Technology

Transcript

  1. 22年末のLivesense Analytics ※ざっくり Beanstalk ソース Search Console Livesense Brain プロダクト

    利⽤先 API Gateway SQS lambda Firehose EMR EC2 EventBridge Scheduler バックエンド オンプレ native app DB
  2. • Google Analytics 4への移⾏ • BigQueryとSQLでの加⼯ • 技術スタック統⼀ ◦ GKE/Cloud

    Run/Argo Workflows/Python/FastAPI • 詳細は リブセンスの「10年物」のデータ基盤を作り変えている話 にも記載 リプレイスの主な取り組み
  3. • There should be one-- and preferably only one --obvious

    way to do it. ◦ 何かをするのに、1つ‒‒理想的には1つだけの‒‒明確な⽅法があるべきだ (参考) • リプレイスで標準的な⽅法を構築 余談: Zen of Python
  4. 25年初のLivesense Analytics ※予定 Livesense Brain プロダクト Cloud Run PubSub GKE

    CloudBuild CloudDeploy Cronitor CloudMonitoring Search Console Terraform バックエンド native app DB ※検証中 ※検証中
  5. • ⼤きな改善に取り組みやすくなりつつある • SaaSのBigQuery連携も選択肢に ◦ GA4, fastly, Search Console ◦

    データ追加の負担減‧よりリッチな情報 • 解きたい課題に集中できつつある リプレイスの結果
  6. • Redash ◦ 利⽤者多‧クエリ多 ◦ データマート層を⼗分に拡充できてない ▪ やや複雑なクエリ - 利⽤者に負担

    ▪ テーブル定義変更も容易でない • Redshift ◦ プロダクトはAWS。利点もあるが… ◦ BQ や Snowflakeのほうが機能充実 ◦ BQでデータソースからマートまで⼀貫したデータ⽣成したい まだ課題
  7. 展望: 少し未来 Livesense Analytics Livesense Brain プロダクト Cloud Run PubSub

    Search Console GKE CloudBuild CloudDeploy Cronitor CloudMonitoring Terraform バックエンド native app DB
  8. • アナリティクスエンジニアリングの強化(採⽤) • データを使った業務の改善 ◦ クエリ‧分析の質向上、脱スプレッドシート ◦ データソース改善 • BigQuery移⾏へ

    ◦ Redshiftのインスタンス変更(dc2->ra3)‧Redshift Spectrumやめる ◦ 各種準備‧実装 • 効果的な推薦‧検索‧機械学習モデルの実装 ◦ MLOps、使いやすいML/AI基盤 今後