Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Google Cloudで作るニアリアルタイムアクセス解析基盤 GDG DevFest Tok...
Search
yumu
November 29, 2024
0
3.4k
Google Cloudで作るニアリアルタイムアクセス解析基盤 GDG DevFest Tokyo 2024 LT
yumu
November 29, 2024
Tweet
Share
More Decks by yumu
See All by yumu
分散オブジェクトで遊ぼう!〜dRubyで作るマルチプレイヤー迷路ゲーム〜 関西Ruby会議08
yumu
1
950
Ruby×AWSで作る動画変換システム 東京Ruby会議12
yumu
2
3.3k
アクセス解析基盤のデータストア選定奮闘記 CloudNative Days Winter 2024 船上LT会
yumu
0
190
minneのShoryuken活用 Kaigi on Rails 2024 スポンサーLT
yumu
3
1.9k
Rubyでも動画変換簡単にできるよ TokyuRuby会議15スポンサーLT
yumu
0
140
文系の私が新卒エンジニアになるまで
yumu
3
930
Featured
See All Featured
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
How to Think Like a Performance Engineer
csswizardry
25
1.8k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
770
Building a Scalable Design System with Sketch
lauravandoore
462
33k
The World Runs on Bad Software
bkeepers
PRO
70
11k
It's Worth the Effort
3n
185
28k
Intergalactic Javascript Robots from Outer Space
tanoku
272
27k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.2k
What's in a price? How to price your products and services
michaelherold
246
12k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Six Lessons from altMBA
skipperchong
28
3.9k
Transcript
Google Cloudで作る ニアリアルタイムアクセス解析基盤 yumu 2024.11.30 GDG DevFest Tokyo 2024 1
2 自己紹介 GMOペパボ minne事業部 プロダクト開発チーム 2023年 新卒入社 湯村 美吹香 Yumura Mifuka バックエンドが主戦場ですが、フロントやインフラもや
ります!クラウドネイティブになりたい。 • あだ名 : yumu • 好きな漫画 : メイドインアビス • X : @myumura3
3 minneの仕組み minneとは minne(ミンネ)は、ハンドメイド作品を「買いたい人」と「売りたい人」をつなぐ国内最大 のハンドメイドマーケットです。パソコンやスマートフォンを使って、簡単にハンドメイド作 品を販売・購入できます。
4 これまでのアクセス解析
5 アクセス解析リニューアルの背景 • データ反映が1日おき • 表示できる指標が限定的 これまでの課題 理想の姿 • リアルタイムで数値を確認
• より多くの指標を提供
6 既存のログ収集基盤 Rails App Fluentd Pub/Sub Dataflow BigQuery ・・・ minne
・・・ bigfoot
7 ニアリアルタイムアクセス解析のアーキテクチャ Pub/Sub Topic Pub/Sub Subscription Cloud Function Cloud Firestore
・・・ minne ・・・ bigfoot 行動ログをチェッ ク 値を格納 行動ログを GCFへpush
8 速報値と確定値の2段階構成 Pub/Sub Topic Pub/Sub Subscription Cloud Function Cloud Firestore
・・・ minne ・・・ bigfoot BigQuery DAGが行動ログを 集計 ・・・ minne ・・・ bigfoot 確定値 速報値
9 システムの特徴 • リアルタイム性 ◦ 数分以内での更新を実現 • 信頼性 ◦ メッセージングの信頼性
◦ データの整合性 • 運用コスト・スケーラビリティ ◦ フルマネージドサービスの利点 • コスト🤔 ◦ GCFの実行回数の分コストがかかる
10 新しいアクセス解析
11 Thank You! Thank You!