Upgrade to Pro — share decks privately, control downloads, hide ads and more …

2025.11.4 Data Engineering Summit 前夜祭 データエンジニアあ...

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for Kei Kei
November 05, 2025
58
0

2025.11.4 Data Engineering Summit 前夜祭 データエンジニアあるある言いたい

2025.11.4 Data Engineering Summit 前夜祭 データエンジニアあるある言いたい

Avatar for Kei

Kei

November 05, 2025

More Decks by Kei

See All by Kei
AI Readyなデータ基盤構築は、なぜ大企業では進みづらいのか ─現場での試行錯誤から考える、乗り越え方のヒント
Avatar for Kei takaha4k
0
220
20240927_bq-sushi-dmm登壇資料
Avatar for Kei takaha4k
0
8
５兆レコードを超える DMMデータ基盤の開発と運用のリアル
Avatar for Kei takaha4k
2
25
知られざるDMMデータエンジニアの生態 〜かつてツチノコと呼ばれし者〜
Avatar for Kei takaha4k
5
2.5k

Featured

See All Featured
Effective software design: The role of men in debugging patriarchy in IT @ Voxxed Days AMS
Avatar for Kenny Baas-Schwegler baasie
0
280
AI Search:
Where Are We & What Can We Do About It?
Avatar for Aleyda Solis aleyda
0
7.2k
Taking LLMs out of the black box: A practical guide to human-in-the-loop distillation
Avatar for Ines Montani inesmontani
PRO
3
2.1k
DevOps and Value Stream Thinking: Enabling flow, efficiency and business value
Avatar for Helen Beal helenjbeal
1
160
Testing 201, or: Great Expectations
Avatar for Joseph Mastey jmmastey
46
8.1k
Navigating Team Friction
Avatar for Lara Hogan lara
192
16k
B2B Lead Gen: Tactics, Traps & Triumph
Avatar for Sophie Logan marketingsoph
0
96
Building Adaptive Systems
Avatar for Chris Keathley keathley
44
3k
Being A Developer After 40
Avatar for Adrian Kosmaczewski akosma
91
590k
Self-Hosted WebAssembly Runtime for Runtime-Neutral Checkpoint/Restore in Edge–Cloud Continuum
Avatar for Yuki Nakata chikuwait chikuwait
0
440
Why You Should Never Use an ORM
Avatar for John Nunemaker jnunemaker
PRO
61
9.8k
Redefining SEO in the New Era of Traffic Generation
Avatar for Szymon Słowik szymonslowik
1
260

Transcript

  1. © DMM.com データエンジニアあるある言いたい 2025.11.4 Data Engineering Summit 前夜祭

  2. © DMM.com LTの目的 2 データエンジニアの“あるある”で共鳴することで、 Data Engineering Summitの前前夜を盛り上げたい！

  3. © DMM.com 登壇者 3 高 橋　慶 @takaha4k 所属 開発統括本部 データ基盤開発部（マネージャー）

    出身地 兵庫県 相生市 年齢 35歳 職歴 DMM.com（2024-現在）← 化学メーカー（新卒から10年間）

  4. © DMM.com DMMデータ基盤の主な技術スタック 4 Vertex AI Dataflow Pub/Sub Compos er

    BigQuery Datastre am Look er Dataplex Cloud Build Storage Functions

  5. © DMM.com DMMデータ基盤の概略 オンプレ

  6. © DMM.com 数字で見るDMMデータ基盤 6 2025.11.4時点 保存レコード数 5.8兆件 今年度平均 (BQとLooker) 月間ジョブ実行数

    25万回以上 今年度平均 (BQとLooker) 月間ユニークユーザー 970名以上

  7. © DMM.com データエンジニアあるある あくまでDMM社内での観測に基づくものであり、ご参考までにご覧ください。 7

  8. © DMM.com 8 とあるBigQueryプロジェクトのデータセット配下のBQテーブル あるある１

  9. © DMM.com 9 とあるBigQueryプロジェクトのデータセット配下のBQテーブル あるある１ ちゃんと運用を固めずに民主化すると あとで整理・整頓・清掃が大変がち

  10. © DMM.com 10 あるある２ 500行を超える SQL コメントのない マジックナンバー散見 とあるデータマートクエリ テストコードもない

  11. © DMM.com 11 あるある２ 500行を超える SQL コメントのない マジックナンバー散見 とあるデータマートクエリ テストコードもない

    データマートのクエリ、 秘伝のタレ化して、社内文化財になりがち

  12. © DMM.com 他あるあるネタ データソースのカラムが唐突に変更され、データパイプラインがコケがち データオーナーにテーブルインデックスを貼ってもらうなどのDB変更、敬遠されがち ユーザのリテラシーで、BigQueryコスト左右されがち データ利用者が増えれば嬉しい一方で、問い合わせが増えて回らなくなりがち DMMのエンジニア、モンスターハンター好きがち 12

  13. © DMM.com もっとDMMについて知りたい方へ 13 https://pitta.me/matches/xXlwBYbLmnNc https://inside.dmm.com/articles/data-infrastructure-development-department-interview/

  14. © DMM.com データエンジニアのポジションもオープンしました 14 #DMM データエンジニア 採用中！ https://dmm-corp.com/recruit/engineer/172/

  15. © DMM.com ありがとうございました。 前前夜祭、盛り上がっていきましょう！！ 15