Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ基盤の負債解消のためのリプレイス
Search
Livesense Inc.
PRO
November 28, 2024
Technology
0
460
データ基盤の負債解消のためのリプレイス
https://livesense.connpass.com/event/333967/
Livesense Inc.
PRO
November 28, 2024
Tweet
Share
More Decks by Livesense Inc.
See All by Livesense Inc.
27新卒_Webエンジニア職採用_会社説明資料
livesense
PRO
0
3.2k
株式会社リブセンス・転職会議 採用候補者様向け資料
livesense
PRO
0
64
株式会社リブセンス 会社説明資料(報道関係者様向け)
livesense
PRO
0
1.5k
26新卒_総合職採用_会社説明資料
livesense
PRO
0
12k
株式会社リブセンス会社紹介資料 / Invent the next common.
livesense
PRO
1
40k
26新卒_Webエンジニア職採用_会社説明資料
livesense
PRO
1
13k
中途セールス職_会社説明資料
livesense
PRO
0
270
EM候補者向け転職会議説明資料
livesense
PRO
0
130
コロナで失われたノベルティ作成ノウハウを復活させた話
livesense
PRO
0
270
Other Decks in Technology
See All in Technology
社内お問い合わせBotの仕組みと学び
nish01
0
170
実装で解き明かす並行処理の歴史
zozotech
PRO
1
320
BtoBプロダクト開発の深層
16bitidol
0
270
SOC2取得の全体像
shonansurvivors
1
370
[2025-09-30] Databricks Genie を利用した分析基盤とデータモデリングの IVRy の現在地
wxyzzz
0
470
多野優介
tanoyusuke
1
420
ユニットテストに対する考え方の変遷 / Everyone should watch his live coding
mdstoy
0
120
Findy Team+のSOC2取得までの道のり
rvirus0817
0
330
後進育成のしくじり〜任せるスキルとリーダーシップの両立〜
matsu0228
6
2.3k
GA technologiesでのAI-Readyの取り組み@DataOps Night
yuto16
0
270
ZOZOのAI活用実践〜社内基盤からサービス応用まで〜
zozotech
PRO
0
170
10年の共創が示す、これからの開発者と企業の関係 ~ Crossroad
soracom
PRO
1
170
Featured
See All Featured
GraphQLとの向き合い方2022年版
quramy
49
14k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.2k
A Modern Web Designer's Workflow
chriscoyier
697
190k
Code Review Best Practice
trishagee
72
19k
BBQ
matthewcrist
89
9.8k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
890
The World Runs on Bad Software
bkeepers
PRO
71
11k
Faster Mobile Websites
deanohume
310
31k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.4k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Side Projects
sachag
455
43k
GitHub's CSS Performance
jonrohan
1032
460k
Transcript
データ基盤の負債解消のためのリプレイス 2024.11.28 技術部データプラットフォームグループ 富⼠⾕康
• 株式会社リブセンス 技術部データプラットフォームグループ グループリーダー • 2018年⼊社 • 以来、推薦システムの改善、 データ基盤の開発、 マネジメントなどに取り組む
富⼠⾕ 康 (Fujitani Ko)
• ⼈材系を中⼼に複数のプロダクト • プロダクトは各事業部、データ基盤は横断部署で運⽤ リブセンスのプロダクトとデータ基盤
データ基盤、⼤きく分けて2つ プロダクト Redshift プロダクト 外部データ Livesense Analytics: データ分析(収集、蓄積) Livesense Brain:
データ活用(推薦、機械学習) 22年〜大規模に刷新(中)
22年末のLivesense Analytics ※ざっくり Beanstalk ソース Search Console Livesense Brain プロダクト
利⽤先 API Gateway SQS lambda Firehose EMR EC2 EventBridge Scheduler バックエンド オンプレ native app DB
• 同じようなことやるのに技術いろいろ 課題 処理 ⾔語 Beanstalk lambda EMR ワークフロー EventBridge
Scheduler EC2 構成管理 Terraform CDK
• 同じ部署で別のクラウド ◦ 理由あったが⼤変 課題 Livesense Analytics Livesense Brain
• 開発体験が良くない ◦ ⼤きな変更‧モダン化も⼤変 ◦ リリース⼿順も様々 ◦ EOL対応も後⼿ 今までのデータ基盤
• データ‧事業の課題に集中できる環境 理想
• Google Analytics 4への移⾏ • BigQueryとSQLでの加⼯ • 技術スタック統⼀ ◦ GKE/Cloud
Run/Argo Workflows/Python/FastAPI • 詳細は リブセンスの「10年物」のデータ基盤を作り変えている話 にも記載 リプレイスの主な取り組み
• There should be one-- and preferably only one --obvious
way to do it. ◦ 何かをするのに、1つ‒‒理想的には1つだけの‒‒明確な⽅法があるべきだ (参考) • リプレイスで標準的な⽅法を構築 余談: Zen of Python
25年初のLivesense Analytics ※予定 Livesense Brain プロダクト Cloud Run PubSub GKE
CloudBuild CloudDeploy Cronitor CloudMonitoring Search Console Terraform バックエンド native app DB ※検証中 ※検証中
• ⼤きな改善に取り組みやすくなりつつある • SaaSのBigQuery連携も選択肢に ◦ GA4, fastly, Search Console ◦
データ追加の負担減‧よりリッチな情報 • 解きたい課題に集中できつつある リプレイスの結果
• Redash ◦ 利⽤者多‧クエリ多 ◦ データマート層を⼗分に拡充できてない ▪ やや複雑なクエリ - 利⽤者に負担
▪ テーブル定義変更も容易でない • Redshift ◦ プロダクトはAWS。利点もあるが… ◦ BQ や Snowflakeのほうが機能充実 ◦ BQでデータソースからマートまで⼀貫したデータ⽣成したい まだ課題
展望: 少し未来 Livesense Analytics Livesense Brain プロダクト Cloud Run PubSub
Search Console GKE CloudBuild CloudDeploy Cronitor CloudMonitoring Terraform バックエンド native app DB
• アナリティクスエンジニアリングの強化(採⽤) • データを使った業務の改善 ◦ クエリ‧分析の質向上、脱スプレッドシート ◦ データソース改善 • BigQuery移⾏へ
◦ Redshiftのインスタンス変更(dc2->ra3)‧Redshift Spectrumやめる ◦ 各種準備‧実装 • 効果的な推薦‧検索‧機械学習モデルの実装 ◦ MLOps、使いやすいML/AI基盤 今後