Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ基盤の負債解消のためのリプレイス
Search
Livesense Inc.
PRO
November 28, 2024
Technology
0
440
データ基盤の負債解消のためのリプレイス
https://livesense.connpass.com/event/333967/
Livesense Inc.
PRO
November 28, 2024
Tweet
Share
More Decks by Livesense Inc.
See All by Livesense Inc.
27新卒_Webエンジニア職採用_会社説明資料
livesense
PRO
0
2.4k
株式会社リブセンス・転職会議 採用候補者様向け資料
livesense
PRO
0
51
株式会社リブセンス 会社説明資料(報道関係者様向け)
livesense
PRO
0
1.5k
26新卒_総合職採用_会社説明資料
livesense
PRO
0
11k
株式会社リブセンス会社紹介資料 / Invent the next common.
livesense
PRO
1
37k
26新卒_Webエンジニア職採用_会社説明資料
livesense
PRO
1
13k
中途セールス職_会社説明資料
livesense
PRO
0
260
EM候補者向け転職会議説明資料
livesense
PRO
0
130
コロナで失われたノベルティ作成ノウハウを復活させた話
livesense
PRO
0
260
Other Decks in Technology
See All in Technology
Webアプリケーションにオブザーバビリティを実装するRust入門ガイド
nwiizo
5
720
[ JAWS-UG 東京 CommunityBuilders Night #2 ]SlackとAmazon Q Developerで 運用効率化を模索する
sh_fk2
3
370
会社紹介資料 / Sansan Company Profile
sansan33
PRO
6
380k
ガチな登山用デバイスからこんにちは
halka
1
230
なぜSaaSがMCPサーバーをサービス提供するのか?
sansantech
PRO
8
2.7k
実践!カスタムインストラクション&スラッシュコマンド
puku0x
0
330
250905 大吉祥寺.pm 2025 前夜祭 「プログラミングに出会って20年、『今』が1番楽しい」
msykd
PRO
1
660
Rustから学ぶ 非同期処理の仕組み
skanehira
1
130
Obsidian応用活用術
onikun94
1
450
AWSで推進するデータマネジメント
kawanago
1
1.3k
「何となくテストする」を卒業するためにプロダクトが動く仕組みを理解しよう
kawabeaver
0
300
Kiroと学ぶコンテキストエンジニアリング
oikon48
6
9.8k
Featured
See All Featured
Mobile First: as difficult as doing things right
swwweet
224
9.9k
Gamification - CAS2011
davidbonilla
81
5.4k
Facilitating Awesome Meetings
lara
55
6.5k
Context Engineering - Making Every Token Count
addyosmani
1
25
How to Ace a Technical Interview
jacobian
279
23k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
Thoughts on Productivity
jonyablonski
70
4.8k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
9
810
YesSQL, Process and Tooling at Scale
rocio
173
14k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
A designer walks into a library…
pauljervisheath
207
24k
A Tale of Four Properties
chriscoyier
160
23k
Transcript
データ基盤の負債解消のためのリプレイス 2024.11.28 技術部データプラットフォームグループ 富⼠⾕康
• 株式会社リブセンス 技術部データプラットフォームグループ グループリーダー • 2018年⼊社 • 以来、推薦システムの改善、 データ基盤の開発、 マネジメントなどに取り組む
富⼠⾕ 康 (Fujitani Ko)
• ⼈材系を中⼼に複数のプロダクト • プロダクトは各事業部、データ基盤は横断部署で運⽤ リブセンスのプロダクトとデータ基盤
データ基盤、⼤きく分けて2つ プロダクト Redshift プロダクト 外部データ Livesense Analytics: データ分析(収集、蓄積) Livesense Brain:
データ活用(推薦、機械学習) 22年〜大規模に刷新(中)
22年末のLivesense Analytics ※ざっくり Beanstalk ソース Search Console Livesense Brain プロダクト
利⽤先 API Gateway SQS lambda Firehose EMR EC2 EventBridge Scheduler バックエンド オンプレ native app DB
• 同じようなことやるのに技術いろいろ 課題 処理 ⾔語 Beanstalk lambda EMR ワークフロー EventBridge
Scheduler EC2 構成管理 Terraform CDK
• 同じ部署で別のクラウド ◦ 理由あったが⼤変 課題 Livesense Analytics Livesense Brain
• 開発体験が良くない ◦ ⼤きな変更‧モダン化も⼤変 ◦ リリース⼿順も様々 ◦ EOL対応も後⼿ 今までのデータ基盤
• データ‧事業の課題に集中できる環境 理想
• Google Analytics 4への移⾏ • BigQueryとSQLでの加⼯ • 技術スタック統⼀ ◦ GKE/Cloud
Run/Argo Workflows/Python/FastAPI • 詳細は リブセンスの「10年物」のデータ基盤を作り変えている話 にも記載 リプレイスの主な取り組み
• There should be one-- and preferably only one --obvious
way to do it. ◦ 何かをするのに、1つ‒‒理想的には1つだけの‒‒明確な⽅法があるべきだ (参考) • リプレイスで標準的な⽅法を構築 余談: Zen of Python
25年初のLivesense Analytics ※予定 Livesense Brain プロダクト Cloud Run PubSub GKE
CloudBuild CloudDeploy Cronitor CloudMonitoring Search Console Terraform バックエンド native app DB ※検証中 ※検証中
• ⼤きな改善に取り組みやすくなりつつある • SaaSのBigQuery連携も選択肢に ◦ GA4, fastly, Search Console ◦
データ追加の負担減‧よりリッチな情報 • 解きたい課題に集中できつつある リプレイスの結果
• Redash ◦ 利⽤者多‧クエリ多 ◦ データマート層を⼗分に拡充できてない ▪ やや複雑なクエリ - 利⽤者に負担
▪ テーブル定義変更も容易でない • Redshift ◦ プロダクトはAWS。利点もあるが… ◦ BQ や Snowflakeのほうが機能充実 ◦ BQでデータソースからマートまで⼀貫したデータ⽣成したい まだ課題
展望: 少し未来 Livesense Analytics Livesense Brain プロダクト Cloud Run PubSub
Search Console GKE CloudBuild CloudDeploy Cronitor CloudMonitoring Terraform バックエンド native app DB
• アナリティクスエンジニアリングの強化(採⽤) • データを使った業務の改善 ◦ クエリ‧分析の質向上、脱スプレッドシート ◦ データソース改善 • BigQuery移⾏へ
◦ Redshiftのインスタンス変更(dc2->ra3)‧Redshift Spectrumやめる ◦ 各種準備‧実装 • 効果的な推薦‧検索‧機械学習モデルの実装 ◦ MLOps、使いやすいML/AI基盤 今後