Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Data Platform
Search
Yuki
August 21, 2020
Technology
1
410
Data Platform
8/22日に開催したDMM meet upでの資料です。
Yuki
August 21, 2020
Tweet
Share
More Decks by Yuki
See All by Yuki
唯一の“源泉”を創るデータ統合プロジェクトのリアル
yuki_saito
1
170
改訂新版 データ分析基盤入門
yuki_saito
7
740
品質特性から眺める データ分析基盤入門
yuki_saito
4
460
データエンジニアと作るデータ文化
yuki_saito
5
3k
Pythonとsparkで学ぶpyspark 速習講座
yuki_saito
2
250
AWS データレイク事例祭り 登壇資料
yuki_saito
8
3.7k
ミライのデータエンジニア
yuki_saito
1
940
Other Decks in Technology
See All in Technology
金融サービスにおける高速な価値提供とAIの役割 #BetAIDay
layerx
PRO
1
740
Rubyの国のPerlMonger
anatofuz
3
730
Vision Language Modelと自動運転AIの最前線_20250730
yuyamaguchi
3
1.2k
製造業の課題解決に向けた機械学習の活用と、製造業特化LLM開発への挑戦
knt44kw
0
160
AI によるドキュメント処理を加速するためのOCR 結果の永続化と再利用戦略
tomoaki25
0
410
データモデリング通り #2オンライン勉強会 ~方法論の話をしよう~
datayokocho
0
110
마라톤 끝의 단거리 스퍼트: 2025년의 AI
inureyes
PRO
1
690
Google Cloud で学ぶデータエンジニアリング入門 2025年版 #GoogleCloudNext / 20250805
kazaneya
PRO
14
3k
Jamf Connect ZTNAとMDMで実現! 金融ベンチャーにおける「デバイストラスト」実例と軌跡 / Kyash Device Trust
rela1470
0
150
僕たちが「開発しやすさ」を求め 模索し続けたアーキテクチャ #アーキテクチャ勉強会_findy
bengo4com
0
2k
反脆弱性(アンチフラジャイル)とデータ基盤構築
cuebic9bic
3
160
【OptimizationNight】数理最適化のラストワンマイルとしてのUIUX
brainpadpr
1
260
Featured
See All Featured
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
880
Art, The Web, and Tiny UX
lynnandtonic
301
21k
Java REST API Framework Comparison - PWX 2021
mraible
32
8.8k
GitHub's CSS Performance
jonrohan
1031
460k
Raft: Consensus for Rubyists
vanstee
140
7k
Git: the NoSQL Database
bkeepers
PRO
431
65k
A Modern Web Designer's Workflow
chriscoyier
695
190k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Navigating Team Friction
lara
188
15k
BBQ
matthewcrist
89
9.8k
Transcript
© DMM.com Data Platform データ本部 データインフラ部 DREグループ 斎藤 友樹 1
© DMM.com 斎藤 友樹 (サイトウ ユウキ) 2児のパパ 一年くらい前にふらりと入社 子供と遊ぶのが好き リモートになって生産性爆上がり
twitter @yuki_saito_en(前職では禁止されてた) 2 自己紹介 第2子 わたし 奥さん 第1子
© DMM.com ちょっと前の話 BQ.BQ.BQ. BQ
© DMM.com ここまでの長い旅路は省略 データ基盤はAWSに決めました 「Amazon Web Services、“Powered by AWS”ロゴ、[およびかかる資料で使用されるその他のAWS商標] は、米国その他の諸国における、
Amazon.com, Inc.またはその関連会社の商標です。」
© DMM.com AWSで作り込んでいる途中(行動ログAPIはGCP) 「Amazon Web Services、“Powered by AWS”ロゴ、[およびかかる資料で使用されるその他のAWS商標] は、米国その他の諸国における、 Amazon.com,
Inc.またはその関連会社の商標です。」
© DMM.com データの活用を強制すべく DRE (6名,途中から7名) の戦いをいくつか紹介
© DMM.com 取組み No.1 行動ログAPI クラウド化 DONE
© DMM.com prd #E8EAF6 行動ログ VS DRE 2020 1Q eagle-api
Kubernetes Engine Cloud Load Balancing Cloud DNS Cloud Bigtable data pipeline Cloud Pub/Sub Cloud Dataflow Cloud Storage on-premises hq Kubernetes cluster ML Real-time ML Business Analysis Logging Cloud Dataflow
© DMM.com 行動ログ VS DRE 比較表 ただリリースに際して色々やらかしたのはナイショ デプロイ回数 rps コミュニケーション
コスト with 他部 旧シス テム 0 謎 jenkins でざわざわ 10,000くらい(風の噂) 10h/week 新シス テム たくさん github actions でちょちょいと 20,000まで確認済み 0~2h/month
© DMM.com 取組み No.2 オンプレお掃除大作戦 ~ almost DONE ~
© DMM.com オンプレサーバ VS DRE 2019 3Q 172 などなど。。。。 これらの組み合わせにより構成された10を超え
る人智を超越したプロダクト軍 (本番のみ) * 2 * 2 * 2
© DMM.com オンプレサーバ VS DRE 2019 4Q end 65 なんとか普通くらいに
持ってきたぞ。 (本番のみ) * 2
© DMM.com オンプレサーバ VS DRE 2020 2Q~3Q 10 (くらい。たぶん) 他事業部のオンプレ資産活用
ための最低限の構成に (本番のみ)
© DMM.com 取組み No.3 データより大きいデータ。メタデータ拡充 ~ just getting started~
© DMM.com メタデータ VS DRE 2019 4Q end No メタデータ
提供ありなし 1 ビジネスメタデータ あり(保守性に難) 2 テクニカルメタデータ なし 3 データ品質 なし 4 データプロファイリング なし
© DMM.com メタデータ VS DRE 2020 2Q No メタデータ 提供あり/なし
1 ビジネスメタデータ あり(保守性に難) 2 テクニカルメタデータ なし 3 データ品質 あり(ほんの一部) 4 データプロファイリング なし
© DMM.com ありがとうございました!