Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Data Platform
Search
Yuki
August 21, 2020
Technology
520
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Data Platform
8/22日に開催したDMM meet upでの資料です。
Yuki
August 21, 2020
Transcript
17 slides
© DMM.com Data Platform データ本部 データインフラ部 DREグループ 斎藤 友樹 1
© DMM.com 斎藤 友樹 (サイトウ ユウキ) 2児のパパ 一年くらい前にふらりと入社 子供と遊ぶのが好き リモートになって生産性爆上がり
twitter @yuki_saito_en(前職では禁止されてた) 2 自己紹介 第2子 わたし 奥さん 第1子
© DMM.com ちょっと前の話 BQ.BQ.BQ. BQ
© DMM.com ここまでの長い旅路は省略 データ基盤はAWSに決めました 「Amazon Web Services、“Powered by AWS”ロゴ、[およびかかる資料で使用されるその他のAWS商標] は、米国その他の諸国における、
Amazon.com, Inc.またはその関連会社の商標です。」
© DMM.com AWSで作り込んでいる途中(行動ログAPIはGCP) 「Amazon Web Services、“Powered by AWS”ロゴ、[およびかかる資料で使用されるその他のAWS商標] は、米国その他の諸国における、 Amazon.com,
Inc.またはその関連会社の商標です。」
© DMM.com データの活用を強制すべく DRE (6名,途中から7名) の戦いをいくつか紹介
© DMM.com 取組み No.1 行動ログAPI クラウド化 DONE
© DMM.com prd #E8EAF6 行動ログ VS DRE 2020 1Q eagle-api
Kubernetes Engine Cloud Load Balancing Cloud DNS Cloud Bigtable data pipeline Cloud Pub/Sub Cloud Dataflow Cloud Storage on-premises hq Kubernetes cluster ML Real-time ML Business Analysis Logging Cloud Dataflow
© DMM.com 行動ログ VS DRE 比較表 ただリリースに際して色々やらかしたのはナイショ デプロイ回数 rps コミュニケーション
コスト with 他部 旧シス テム 0 謎 jenkins でざわざわ 10,000くらい(風の噂) 10h/week 新シス テム たくさん github actions でちょちょいと 20,000まで確認済み 0~2h/month
© DMM.com 取組み No.2 オンプレお掃除大作戦 ~ almost DONE ~
© DMM.com オンプレサーバ VS DRE 2019 3Q 172 などなど。。。。 これらの組み合わせにより構成された10を超え
る人智を超越したプロダクト軍 (本番のみ) * 2 * 2 * 2
© DMM.com オンプレサーバ VS DRE 2019 4Q end 65 なんとか普通くらいに
持ってきたぞ。 (本番のみ) * 2
© DMM.com オンプレサーバ VS DRE 2020 2Q~3Q 10 (くらい。たぶん) 他事業部のオンプレ資産活用
ための最低限の構成に (本番のみ)
© DMM.com 取組み No.3 データより大きいデータ。メタデータ拡充 ~ just getting started~
© DMM.com メタデータ VS DRE 2019 4Q end No メタデータ
提供ありなし 1 ビジネスメタデータ あり(保守性に難) 2 テクニカルメタデータ なし 3 データ品質 なし 4 データプロファイリング なし
© DMM.com メタデータ VS DRE 2020 2Q No メタデータ 提供あり/なし
1 ビジネスメタデータ あり(保守性に難) 2 テクニカルメタデータ なし 3 データ品質 あり(ほんの一部) 4 データプロファイリング なし
© DMM.com ありがとうございました!
More Decks by Yuki
See All by Yuki
データ分析基盤の信頼を支える視点と設計
yuki_saito
2
1.4k
唯一の“源泉”を創るデータ統合プロジェクトのリアル
yuki_saito
1
1.2k
改訂新版 データ分析基盤入門
yuki_saito
7
930
品質特性から眺める データ分析基盤入門
yuki_saito
4
540
データエンジニアと作るデータ文化
yuki_saito
5
3.3k
Pythonとsparkで学ぶpyspark 速習講座
yuki_saito
2
320
AWS データレイク事例祭り 登壇資料
yuki_saito
8
4.2k
ミライのデータエンジニア
yuki_saito
1
1k
Other Decks in Technology
See All in Technology
こんなに変わった! AWSネットワークの常識
shotashiratori
16
11k
SORACOM × AWS IoT Core でSREする
butadora
0
110
文書画像からの情報抽出を行うエージェントを、軌跡の正解データ無しで作れるか
sansantech
PRO
2
210
お風呂場をサーバルームにしよう
yusuke427
0
360
さようならSSH鍵、こんにちはゼロトラスト ― AIフレンドリーで快適な自宅鯖SSH
atalie2m
14
7.1k
これからのデータエンジニアの役割について考える / Rethinking the Role of Data Engineers in the AI Era
okiyuki99
1
540
AIネイティブ組織の作り方。1人のPOとAIから始める、自社での実験
ama_ch
2
1.2k
変更差分を読むために環境を整備しよう
pipepasta
1
470
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
17
120k
2026-11-16 JAWS-UG コンテナ支部 #31 ゆるLT大会 ECR のライフサイクルポリシーを いい感じに設定したい / ECR Lifecycle policy
masasuzu
2
530
MCPでネットワーク障害調査を自動化する前に直すべき3つのこと
yama3133
1
630
[関西Kaggler会 20261113] 続・コミュニティコンペのススメ
nejumi
0
150
Featured
See All Featured
AI: The stuff that nobody shows you
jnunemaker
PRO
12
1.3k
HTML-Aware ERB: The Path to Reactive Rendering @ RubyCon 2026, Rimini, Italy
marcoroth
6
940
SEO for Brand Visibility & Recognition
aleyda
0
4.9k
Chasing Engaging Ingredients in Design
codingconduct
0
400
Balancing Empowerment & Direction
lara
6
1.4k
How to Get Subject Matter Experts Bought In and Actively Contributing to SEO & PR Initiatives.
livdayseo
1
250
Jamie Indigo - Trashchat’s Guide to Black Boxes: Technical SEO Tactics for LLMs
techseoconnect
PRO
0
760
Kristin Tynski - Automating Marketing Tasks With AI
techseoconnect
PRO
0
590
Between Models and Reality
mayunak
4
590
Money Talks: Using Revenue to Get Sh*t Done
nikkihalliwell
0
560
Build The Right Thing And Hit Your Dates
maggiecrowley
39
3.5k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
254
23k