Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ミライのデータエンジニア
Search
Yuki
November 18, 2019
Technology
1
940
ミライのデータエンジニア
DMM meetup #14 (
https://dmm.connpass.com/event/152326/
) での資料です。
Yuki
November 18, 2019
Tweet
Share
More Decks by Yuki
See All by Yuki
改訂新版 データ分析基盤入門
yuki_saito
7
720
品質特性から眺める データ分析基盤入門
yuki_saito
4
450
データエンジニアと作るデータ文化
yuki_saito
5
2.9k
Pythonとsparkで学ぶpyspark 速習講座
yuki_saito
2
240
AWS データレイク事例祭り 登壇資料
yuki_saito
7
3.7k
Data Platform
yuki_saito
1
400
Other Decks in Technology
See All in Technology
25分で解説する「最小権限の原則」を実現するための AWS「ポリシー」大全
opelab
9
2.1k
ユーザーのプロフィールデータを活用した推薦精度向上の取り組み
yudai00
0
460
AWS アーキテクチャ作図入門/aws-architecture-diagram-101
ma2shita
28
9.4k
AIのAIによるAIのための出力評価と改善
chocoyama
0
420
DroidKnights 2025 - Jetpack XR 살펴보기: XR 개발은 어떻게 이루어지는가?
heesung6701
1
160
VISITS_AIIoTビジネス共創ラボ登壇資料.pdf
iotcomjpadmin
0
140
CIでのgolangci-lintの実行を約90%削減した話
kazukihayase
0
340
監視のこれまでとこれから/sakura monitoring seminar 2025
fujiwara3
10
2.8k
本部長の代わりに提案書レビュー! KDDI営業が毎日使うAIエージェント「A-BOSS」開発秘話
minorun365
PRO
14
2.2k
標準技術と独自システムで作る「つらくない」SaaS アカウント管理 / Effortless SaaS Account Management with Standard Technologies & Custom Systems
yuyatakeyama
2
900
【TiDB GAME DAY 2025】Shadowverse: Worlds Beyond にみる TiDB 活用術
cygames
0
710
強化されたAmazon Location Serviceによる新機能と開発者体験
dayjournal
2
140
Featured
See All Featured
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
107
19k
Scaling GitHub
holman
459
140k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
16
940
Building Flexible Design Systems
yeseniaperezcruz
328
39k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.8k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
657
60k
What's in a price? How to price your products and services
michaelherold
245
12k
A Modern Web Designer's Workflow
chriscoyier
693
190k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Git: the NoSQL Database
bkeepers
PRO
430
65k
Transcript
© DMM.com ミライのデータエンジニア プラットフォーム事業本部ビッグデータ部 DREチーム 斎藤 友樹 1
© DMM.com 斎藤 友樹 (サイトウ ユウキ) 2019/08 中途入社 2児のパパ(予定) 登山好き
子供と遊ぶのが好き 黄色いゾウさんの運用やってます 2 自己紹介 第1子 わたし 奥さん
© DMM.com DMMのデータエンジニア 3
© DMM.com こんなシステムを守っている人たち 4 サイト内の行動ログ ページ遷移、カート追加、購入完了など) 商品情報など各システムの テーブル 各事業部 DMM各システム
データ提供 On-Prem データエンジニア 分析基盤 開発/運用 分析 分析基盤
© DMM.com データドリブンの浸透 データ 加工して データ ちょうだい 新しこと やりたい VS
あわわ。。
© DMM.com イマの基盤の課題 利用者増加 (社員1500人中、アカウント保有者600人 etc) 要求の高度化 ・多様化(既存基盤の運用とのアンバランス) Data Redundancy(On-Prem
& クラウド2箇所に点在) A interfaceはオンプレ B interfaceはAthena 6
© DMM.com ミライのデータエンジニア 7 7
© DMM.com ミライへの分析基盤コンセプト Self-Service SSOT &
© DMM.com ミライの分析基盤 利用者増加 (社員1500人中、アカウント保有者600人) いつ何時誰の挑戦でも受ける 要求の高度化・多様化 (既存基盤の運用とのバランス) Self-Service Data
Redundancy(On-Prem & クラウド2箇所に存在) 利用されるデータが単一であるSSOTを目指す 9
© DMM.com ミライへの技術
© DMM.com prd #E8EAF6 ミライに向けて 行動ログ収集基盤 On GCP eagle-api Kubernetes
Engine Cloud Load Balancing Cloud DNS Cloud Bigtable data pipeline Cloud Pub/Sub Cloud Dataflow Cloud Storage on-premises hq Kubernetes cluster ML Cloud Pub/Sub Real-time ML Business Analysis Logging
© DMM.com ミライに向けて Google Cloud Platformへ 12 リソースモンスターな 処理(ETL,Compaction,etc) はオンプレで
BigQuery (storage API) as SSOT GPU Kubernetes Engine Cloud Dataflow Cloud Dataproc BigQuery on-premises Cloud Dataprep Cloud Storage AI Platform Cloud Data Catalog DistCp orchestration CDP
© DMM.com もっとミライの データエンジニア 13
© DMM.com 始まりの一枚(ということにしている)
© DMM.com ミライの データエンジニア募集中 15
© DMM.com Hadoop マイグレーション
© DMM.com クラウドマイグレーション
© DMM.com 詳しいお話聞きたい人でも何でも おしゃべりしたいです! クラウド移行への決心を機に、 リクルート内容の刷新も https://dmm-corp.com/recruit/359 Hadoopのクラウドマイグレーション などビッグイベント目白押しです! 18
一緒に ミライの基盤を 作り上げる人を募集中!
© DMM.com 19