2025.11.4 Data Engineering Summit 前夜祭 データエンジニアあるある言いたい

2025.11.4 Data Engineering Summit 前夜祭 データエンジニアあるある言いたい

Transcript

1. © DMM.com データエンジニアあるある言いたい 2025.11.4 Data Engineering Summit 前夜祭
2. © DMM.com LTの目的 2 データエンジニアの“あるある”で共鳴することで、 Data Engineering Summitの前前夜を盛り上げたい！
3. © DMM.com 登壇者 3 高 橋　慶 @takaha4k 所属 開発統括本部 データ基盤開発部（マネージャー） 出身地 兵庫県 相生市 年齢 35歳 職歴 DMM.com（2024-現在）← 化学メーカー（新卒から10年間）
4. © DMM.com DMMデータ基盤の主な技術スタック 4 Vertex AI Dataflow Pub/Sub Compos er BigQuery Datastre am Look er Dataplex Cloud Build Storage Functions
5. © DMM.com DMMデータ基盤の概略 オンプレ
6. © DMM.com 数字で見るDMMデータ基盤 6 2025.11.4時点 保存レコード数 5.8兆件 今年度平均 (BQとLooker) 月間ジョブ実行数 25万回以上 今年度平均 (BQとLooker) 月間ユニークユーザー 970名以上
7. © DMM.com データエンジニアあるある あくまでDMM社内での観測に基づくものであり、ご参考までにご覧ください。 7
8. © DMM.com 8 とあるBigQueryプロジェクトのデータセット配下のBQテーブル あるある１
9. © DMM.com 9 とあるBigQueryプロジェクトのデータセット配下のBQテーブル あるある１ ちゃんと運用を固めずに民主化すると あとで整理・整頓・清掃が大変がち
10. © DMM.com 10 あるある２ 500行を超える SQL コメントのない マジックナンバー散見 とあるデータマートクエリ テストコードもない
11. © DMM.com 11 あるある２ 500行を超える SQL コメントのない マジックナンバー散見 とあるデータマートクエリ テストコードもない データマートのクエリ、 秘伝のタレ化して、社内文化財になりがち
12. © DMM.com 他あるあるネタ データソースのカラムが唐突に変更され、データパイプラインがコケがち データオーナーにテーブルインデックスを貼ってもらうなどのDB変更、敬遠されがち ユーザのリテラシーで、BigQueryコスト左右されがち データ利用者が増えれば嬉しい一方で、問い合わせが増えて回らなくなりがち DMMのエンジニア、モンスターハンター好きがち 12
13. © DMM.com もっとDMMについて知りたい方へ 13 https://pitta.me/matches/xXlwBYbLmnNc https://inside.dmm.com/articles/data-infrastructure-development-department-interview/
14. © DMM.com データエンジニアのポジションもオープンしました 14 #DMM データエンジニア 採用中！ https://dmm-corp.com/recruit/engineer/172/
15. © DMM.com ありがとうございました。 前前夜祭、盛り上がっていきましょう！！ 15