Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
2025.11.4 Data Engineering Summit 前夜祭 データエンジニアあ...
Search
Kei Takahashi
November 05, 2025
91
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
2025.11.4 Data Engineering Summit 前夜祭 データエンジニアあるある言いたい
2025.11.4 Data Engineering Summit 前夜祭 データエンジニアあるある言いたい
Kei Takahashi
November 05, 2025
Transcript
15 slides
© DMM.com データエンジニアあるある言いたい 2025.11.4 Data Engineering Summit 前夜祭
© DMM.com LTの目的 2 データエンジニアの“あるある”で共鳴することで、 Data Engineering Summitの前前夜を盛り上げたい!
© DMM.com 登壇者 3 高 橋 慶 @takaha4k 所属 開発統括本部 データ基盤開発部(マネージャー)
出身地 兵庫県 相生市 年齢 35歳 職歴 DMM.com(2024-現在)← 化学メーカー(新卒から10年間)
© DMM.com DMMデータ基盤の主な技術スタック 4 Vertex AI Dataflow Pub/Sub Compos er
BigQuery Datastre am Look er Dataplex Cloud Build Storage Functions
© DMM.com DMMデータ基盤の概略 オンプレ
© DMM.com 数字で見るDMMデータ基盤 6 2025.11.4時点 保存レコード数 5.8兆件 今年度平均 (BQとLooker) 月間ジョブ実行数
25万回以上 今年度平均 (BQとLooker) 月間ユニークユーザー 970名以上
© DMM.com データエンジニアあるある あくまでDMM社内での観測に基づくものであり、ご参考までにご覧ください。 7
© DMM.com 8 とあるBigQueryプロジェクトのデータセット配下のBQテーブル あるある1
© DMM.com 9 とあるBigQueryプロジェクトのデータセット配下のBQテーブル あるある1 ちゃんと運用を固めずに民主化すると あとで整理・整頓・清掃が大変がち
© DMM.com 10 あるある2 500行を超える SQL コメントのない マジックナンバー散見 とあるデータマートクエリ テストコードもない
© DMM.com 11 あるある2 500行を超える SQL コメントのない マジックナンバー散見 とあるデータマートクエリ テストコードもない
データマートのクエリ、 秘伝のタレ化して、社内文化財になりがち
© DMM.com 他あるあるネタ データソースのカラムが唐突に変更され、データパイプラインがコケがち データオーナーにテーブルインデックスを貼ってもらうなどのDB変更、敬遠されがち ユーザのリテラシーで、BigQueryコスト左右されがち データ利用者が増えれば嬉しい一方で、問い合わせが増えて回らなくなりがち DMMのエンジニア、モンスターハンター好きがち 12
© DMM.com もっとDMMについて知りたい方へ 13 https://pitta.me/matches/xXlwBYbLmnNc https://inside.dmm.com/articles/data-infrastructure-development-department-interview/
© DMM.com データエンジニアのポジションもオープンしました 14 #DMM データエンジニア 採用中! https://dmm-corp.com/recruit/engineer/172/
© DMM.com ありがとうございました。 前前夜祭、盛り上がっていきましょう!! 15
More Decks by Kei Takahashi
See All by Kei Takahashi
「正しいデータ」の定義をAI エージェントとつくるGoogleADKによるデータ品質定義の実践
takaha4k
0
100
AI Readyなデータ基盤構築は、なぜ大企業では進みづらいのか ─現場での試行錯誤から考える、乗り越え方のヒント
takaha4k
0
440
20240927_bq-sushi-dmm登壇資料
takaha4k
0
31
5兆レコードを超える DMMデータ基盤の開発と運用のリアル
takaha4k
2
71
知られざるDMMデータエンジニアの生態 〜かつてツチノコと呼ばれし者〜
takaha4k
5
3.1k
Featured
See All Featured
The World Runs on Bad Software
bkeepers
PRO
72
12k
How to audit for AI Accessibility on your Front & Back End
davetheseo
0
650
How to build an LLM SEO readiness audit: a practical framework
nmsamuel
2
990
Between Models and Reality
mayunak
4
600
Winning Ecommerce Organic Search in an AI Era - #searchnstuff2025
aleyda
2
2.2k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.9k
Digital Ethics as a Driver of Design Innovation
axbom
PRO
2
550
How to Get Subject Matter Experts Bought In and Actively Contributing to SEO & PR Initiatives.
livdayseo
1
250
Side Projects
sachag
456
43k
Raft: Consensus for Rubyists
vanstee
143
7.9k
First, design no harm
axbom
PRO
2
1.4k
Chasing Engaging Ingredients in Design
codingconduct
0
400