Upgrade to Pro — share decks privately, control downloads, hide ads and more …

dbtでGA4の生ログを扱いやすくする話

Avatar for Hirokazu Kobayashi Hirokazu Kobayashi
February 16, 2023
Technology
1.9k
2

 dbtでGA4の生ログを扱いやすくする話

2023-02-16に開催したJagu'e'r分科会でのLT発表スライドです

Avatar for Hirokazu Kobayashi

Hirokazu Kobayashi

February 16, 2023

More Decks by Hirokazu Kobayashi

See All by Hirokazu Kobayashi
dbtでアトリビューション分析
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
1.7k
Data Engineering Study #16 LT troccoデータカタログ
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
340
trocco Summer Update 2022 - 「dbt連携/グループ機能リニューアル」他ご紹介
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
450
DES#13 troccoデータカタログ＆PdM募集
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
180
データマネジメントを実現するためのサービス・OSSまとめ
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
670
広告・マーケROIを可視化するためにETL/データ整備した話
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
1.8k
AWS ETL祭り - AWS Glue活用事例@primeNumber
Avatar for Hirokazu Kobayashi hiro_koba_jp
6
6.5k

Other Decks in Technology

See All in Technology
【Claude Code】鹿野さんに聞く 私の推しの並行開発環境 大公開 / claude-code-parallel-2026-07-15
Avatar for tonkotsuboy_com tonkotsuboy_com
12
8.7k
AI Coding Agent時代のcdk-nagガードレール 〜組織ルールを強制CIで守り抜く設計の挑戦〜
Avatar for みずほリサーチ&テクノロジーズ株式会社 先端技術研究部 mhrtech
3
420
GoでCコンパイラを作った話
Avatar for repunit11 repunit
0
110
End-to-Endで考える信頼性 — LINEアプリにおける クライアント開発×SRE連携の実践
Avatar for maru maruloop
4
4.6k
2年前に削除したPHPクラスが、 ある日突然決済をエラーにした
Avatar for ykagano ykagano
1
300
Claude Code公式skillで 自分の仕事を少しずつ手放そう！（Claude Code開発ノウハウ大公開スペシャル by クラスメソッド）
Avatar for Kei Masaoka kaym
1
490
企業でAWS Organizationsを動かすための組織設計の考え方
Avatar for NRI Netcom nrinetcom
PRO
1
110
SRE本の知られざる名シーン / The Hidden Gems of Google SRE Book
Avatar for Narimichi Takamura nari_ex
1
420
10年目を迎えた「ABEMA」がどのように AI 活用を推進して、AI 駆動開発にシフトしているのか / How ABEMA, entering its 10th year, is promoting the use of AI and shifting toward AI-driven development
Avatar for Yusei Yamanaka miyukki
0
280
Gen3R: 3D Scene Generation Meets Feed-Forward Reconstruction
Avatar for Spatial AI Network spatial_ai_network
0
130
CSに"SLO"は要らない、経営層に"99.9%"は伝わらない - SREを全社に"翻訳"する3原則
Avatar for サイバーセキュリティクラウド cscengineer
PRO
1
5.1k
Type-safe IaC for Dart
Avatar for Nozomi Koborinai coborinai
0
160

Featured

See All Featured
Breaking role norms: Why Content Design is so much more than writing copy - Taylor Woolridge
Avatar for UX Y'all uxyall
0
350
Context Engineering - Making Every Token Count
Avatar for Addy Osmani addyosmani
9
1k
Agile Actions for Facilitating Distributed Teams - ADO2019
Avatar for Mark Kilby mkilby
0
220
Conquering PDFs: document understanding beyond plain text
Avatar for Ines Montani inesmontani
PRO
4
2.9k
Optimizing for Happiness
Avatar for Tom Preston-Werner mojombo
378
71k
Improving Core Web Vitals using Speculation Rules API
Avatar for Sergey Chernyshev sergeychernyshev
21
1.5k
Groundhog Day: Seeking Process in Gaming for Health
Avatar for Sebastian Deterding codingconduct
0
250
How to Ace a Technical Interview
Avatar for Jacob Kaplan-Moss jacobian
281
24k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
Avatar for Tammy Everts tammyeverts
55
3.4k
Ethics towards AI in product and experience design
Avatar for Skipper Chong Warson skipperchong
2
330
A brief & incomplete history of 
UX Design for the World Wide Web: 1989–2019
Avatar for Jason CranfordTeague jct
2
420
ラッコキーワード サービス紹介資料
Avatar for ラッコ株式会社 rakko
1
3.9M

Transcript

  1. GA4 x dbt Jagu'e'r LT 2023/02 GA4の生ログの弱点と、それを補うdbtパッケージを試してみ た

  2. 小林 寛和 株式会社primeNumber 取締役執行役員 CPO hiro_koba_jp 慶應義塾大学卒業後、2014年より株式会社リブセンス へ入社し、データエンジニアとして同社分析基盤 立ち上げをリード。 trocco®のプロダクト発案者で、現プロダクト責任者。

    Data Engineering Studyの共同主催者も務める。

  3. Agenda GA4の生ログの概要と、課題 1 dbtでGA4の生ログをより使いやすく 2 まとめ 3

  4. GA4の生ログの概要と、課題

  5. GA4のさまざまな使い方 Google AnalyticsのブラウザUIから見る Looker Studioとかでつないで可視化する GA4のBigQuery Exportを使い、生ログからデータ分析 ©2023 primeNumber Inc.

    All Rights Reserved. Confidential. 5

  6. GA4のさまざまな使い方 Google AnalyticsのブラウザUIから見る Looker Studioとかでつないで可視化する GA4のBigQuery Exportを使い、生ログからデータ分析 ©2023 primeNumber Inc.

    All Rights Reserved. Confidential. 6

  7. GA4の生ログの弱点 データ構造が扱いにくい event_timestampがUNIXTIMEなので変換が必要 ログがいつ来るのか分からない・タイムラグがある ©2023 primeNumber Inc. All Rights Reserved.

    Confidential. 7

  8. データ構造が扱いにくい

  9. 集計しようとすると・・・

  10. GA4の生ログを使いやすくするために、 dbtというツールを使ってみた

  11. 先程の弱点を解決するには ひたすらクエリで頑張る 1 扱いやすい形に整形してから使う 2 ©2023 primeNumber Inc. All Rights

    Reserved. Confidential. 11

  12. 先程の弱点を解決するには ひたすらクエリで頑張る 1 扱いやすい形に整形してから使う 2 ©2023 primeNumber Inc. All Rights

    Reserved. Confidential. 12

  13. データウェアハウス層を作っ て 扱いやすくしたい もう少し専門用語でいうと ©2023 primeNumber Inc. All Rights Reserved.

    Confidential. 13

  14. GA4のスキーマなんて全世界共通なんだし、 誰かがいい感じの作ってくれてるんじゃない の？

  15. dbt-ga4なるものが！！！

  16. とりあえず使ってみ た

  17. 導入手順 dbtのプロジェクトを作る packages.ymlにdbt-ga4パッケージを追加 dbt_project.ymlでご自身のGA4の設定を記載 dbt deps実行 dbt build実行 1 2

    3 4 5 ©2023 primeNumber Inc. All Rights Reserved. Confidential. 17

  18. めちゃくちゃ楽

  19. 成果物を、もう少し詳し く

  20. 全体像 BigQuery Export GA4 BigQuery生ログテーブル (データレイク層) 整形後のテーブル (データウェアハウス 層) dbt-ga4

    ©2023 primeNumber Inc. All Rights Reserved. Confidential. 20
  21. None
  22. None

  23. スタースキーマっぽくなってる dim_sessions dim_users fct_session fct_pages ©2023 primeNumber Inc. All Rights

    Reserved. Confidential. 23
  24. None
  25. None
  26. None

  27. できればこうして欲しかった 1行がページビュー単位など、イベント別にテ ーブルを用意する dim_sessionに情報もたせ過ぎない パーティショニング対応 タイムラグ問題は解決していない・・・ 探索的な分析をする最小粒度なので デバイスや国・地域などもディメンションテーブル化 ©2023 primeNumber

    Inc. All Rights Reserved. Confidential. 27

  28. 最後に宣伝を・・・

  29. None

  30. trocco「Web行動ログ収集SDK」 Web分析に必要なデータを取得 1タグでPV、イベント、メール開封ログなどが収集可能 GAと同じデータが生ログで、任意のDWHに蓄積 セッションやチャネルの定義はGAを踏襲 お好きなDWH（BigQuery/Redshift）に10分以内に転送 BigQueryのパーティショニングにも各種対応 広告アトリビューション分析が可能 重複のない、正確なコンバージョン数の集計に必要な アトリビューション分析が行なえます。

    広告アトリビューション分析の詳細は担当営業まで お問い合わせ下さい ©2023 primeNumber Inc. All Rights Reserved. Confidential. 30

  31. この辺の話に興味ある方、つながってくださ い！ (DMもウェルカムです) Twitter: @hiro_koba_jp ©2023 primeNumber Inc. All Rights

    Reserved. Confidential. 31

  32. ご清聴ありがとうございました