Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
知られざるDMMデータエンジニアの生態 〜かつてツチノコと呼ばれし者〜
Search
Sponsored
·
Ship Features Fearlessly
Turn features on and off without deploys. Used by thousands of Ruby developers.
→
Kei Takahashi
January 20, 2025
Programming
3.1k
5
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
知られざるDMMデータエンジニアの生態 〜かつてツチノコと呼ばれし者〜
Kei Takahashi
January 20, 2025
Transcript
26 slides
© DMM.com 知られざるDMMデータエンジニアの生態 〜かつてツチノコと呼ばれし者〜 datatech-jp Casual Talks #6 2025.1.20 (月)
合同会社DMM.com 開発統括本部データ基盤開発部 高橋 慶
© DMM.com 登壇者 2 高 橋 慶 TAKAHASHI Kei 出身地 兵庫県
相生市(机バンバン市長でおなじみ) 職歴 DMM.com(2024~現在) ← 化学メーカー(2014~2024) 所属 開発統括本部 データ基盤開発部(Manager)
© DMM.com 本LTの狙い 3 datatech-jpに貢献し、 コミュニティを盛り上げていきたい 本LTで何か得るものがあれば、 お土産としてお持ち帰りいただきたい
© DMM.com なぜコミュニティに貢献するのか 4
© DMM.com 前説 5 なぜツチノコなのか
© DMM.com なぜツチノコなのか 6 田籠さんのブログで ”ツチノコ” と言われる (出所) https://tagomoris.hatenablog.com/entry/2013/12/20/123054
© DMM.com なぜツチノコなのか 7 ノリで作った社内専用サイト ”ツチノコブログ” が誤って全公開 偉い人のつぶやきによって拡散されて、DMMのエンジニアはツチノコと認知されるように (出所) https://x.com/dmm_matsue/status/367241690060308481
© DMM.com 前説 8 弊社のデータ基盤と組織について
© DMM.com データ基盤の主な技術・サービス 9 Vertex AI Dataflow Pub/Sub Composer BigQuery
Datastream Looker Dataplex Cloud Build Storage Functions
© DMM.com ぜひDMM insideもご覧いただければ! 10 2024.12.12 DMM INSIDE: https://inside.dmm.com/articles/data-infrastructure-development-department-interview/
© DMM.com 本題 11 ツチノコ(DMMのデータエンジニア)、何やっているの?
© DMM.com バーチャルオフィス 社内ワークフロー・タスクマネジメント コミュニケーション・ミーティング アイディエーション・スプリントイベント ドキュメンテーション・プレゼンテーション コーディング・コードレビュー 検証・本番作業 DMMデータエンジニアの主なツール
12
© DMM.com 13 もっと詳しく生態を知りたいんですけど (ここで10分経過したぐらいだとLT順調)
© DMM.com バーチャルオフィスで何でも議論 14 子どもが産まれたとか、家を買ったとか、設計やコードの疑問点を聞いたりとか
© DMM.com コラボレーションツールによる協働 15 チーミングからデータパイプライン設計、メタデータ戦略、業務フロー見直し、ふりかえりなど
© DMM.com Slackに作業ログ 16 誰が・いつ・何をやっているのかが分かる。 どこで困っているか分かるので、サポートに入りやすい。
© DMM.com ノウハウはConfluenceで整理 17 Slackでは情報が流れてしまうため、 得られた知見はConfluenceで整理して共有
© DMM.com (補足)CI/CD高速化したい背景 毎月約150本のプルリクエストをmainブランチへマージ(※Revertは除く) PRオープンしてから、大体24時間以内にはマージ 18
© DMM.com アラート対応 19 本番環境で発生したエラーを迅速に対応
© DMM.com Lookerダッシュボード監視 20 BigQueryの利用状況を監視して是正依頼
© DMM.com Slack問い合わせ対応 21 BigQueryのエラーに関する問い合わせ BigQueryデータセットへの閲覧権限付与
© DMM.com 新しい技術を検証・導入 22 BigQueryのプレビュー機能 「history-based optimizations」や「Pipe query syntax」 sqruffを検証したところ不安定な挙動のため、
実用化できず (まだ安定していたSQLFluffを導入)
© DMM.com スキルアップ施策、盛りだくさん 23 会社全体で データ基盤ウェビナー データ組織で アジャイルデータモデリング本の輪読会
© DMM.com 会食イベントを毎月やっている 24 経営層↔現場や、他部署↔自部署の良い交流機会となっている
© DMM.com 発表のまとめ 25 前説 • はてなブログとX(旧Twitter)がキッカケで、DMMはツチノコと呼ばれるようになった • DMMデータ基盤は、Google Cloudネイティブなデータ基盤
• あらゆる事業のデータが基盤に集約されており、テーブル約5,000件、約4兆レコードと規模がデカい • DMMデータ組織は、機能別3グループの6チーム(3~5名)構成 • DMM insideで、データ組織が何やっているかシリーズ記事での発信を始めた 本題 • DMMデータエンジニアのツールを紹介 • DMMデータエンジニアの働き方を紹介 • Gatherでワイワイ • Miroでワイワイ • Slackで作業ログ • Confluenceでナリッジ共有 • アラート対応・Lookerダッシュボード監視・問い合わせ対応 • 毎月約150本のPRの9割を24時間以内にマージ • プレビュー機能やOSSなど新しい技術を検証・導入 • 会社全体や部内でスキルアップ施策いろいろ • 毎月社内で会食イベント(参加無料)
© DMM.com おわりに 26 みんなでdatatech-jpを盛り上げていきましょ! 持ち帰れるものが1つでもあれば幸いです!
More Decks by Kei Takahashi
See All by Kei Takahashi
「正しいデータ」の定義をAI エージェントとつくるGoogleADKによるデータ品質定義の実践
takaha4k
0
100
AI Readyなデータ基盤構築は、なぜ大企業では進みづらいのか ─現場での試行錯誤から考える、乗り越え方のヒント
takaha4k
0
440
2025.11.4 Data Engineering Summit 前夜祭 データエンジニアあるある言いたい
takaha4k
0
91
20240927_bq-sushi-dmm登壇資料
takaha4k
0
31
5兆レコードを超える DMMデータ基盤の開発と運用のリアル
takaha4k
2
71
Other Decks in Programming
See All in Programming
プロジェクトコードをキレイキレイしよう!暗黙的な参照を読み解く静的解析
ostk0069
0
220
SODA - FACT BOOK(JP)
sodainc
1
40k
Engineering Biometric UX Across Android Versions | DroidKnights 2026
ryunen344
1
220
エラーチャンネルのボールを拾い続けて鍛えるエンジニアの地力 / phpcon-niigata2026
meihei3
1
500
止まらない比較を止める — 余帰納法で無限ストリームを比べる
tarao
0
210
baseline으로 마이그레이션, 리팩토링 안전하게 맡기기
fornewid
1
1.1k
コード生成時代のAPI定義を支えるRequest Spec移行
pvcresin
0
300
まずはコードより業務と向き合う:テーブル解体のためにPdMを呼んだ話
sakawe_ee
0
270
はじめてのPLATEAU
nokonoko1203
1
670
RaspberryPi 5で軽くはじめるk3sとtailscaleを用いたホームサーバー構築 (1)
nasum
0
430
AIコーディング時代のKotest ユニットテストから APIレベルの仕様固定化テストへ
ooga04
0
330
[DroidKnights 2026] Workflow AX: From Auto-Documented Policies to E2E Testing
raeminkang
0
610
Featured
See All Featured
Accessibility Awareness
sabderemane
1
310
DBのスキルで生き残る技術 - AI時代におけるテーブル設計の勘所
soudai
PRO
68
61k
The untapped power of vector embeddings
frankvandijk
2
2k
Leveraging LLMs for student feedback in introductory data science courses - posit::conf(2025)
minecr
1
490
The AI Search Optimization Roadmap by Aleyda Solis
aleyda
2
6.5k
How to optimise 3,500 product descriptions for ecommerce in one day using ChatGPT
katarinadahlin
PRO
3
3.9k
Beyond borders and beyond the search box: How to win the global "messy middle" with AI-driven SEO
davidcarrasco
3
310
Building Better People: How to give real-time feedback that sticks.
wjessup
371
20k
What's in a price? How to price your products and services
michaelherold
247
13k
How Software Deployment tools have changed in the past 20 years
geshan
3
35k
Stop Working from a Prison Cell
hatefulcrawdad
274
21k
End of SEO as We Know It (SMX Advanced Version)
ipullrank
3
4.5k