Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ミライのデータエンジニア
Search
Yuki
November 18, 2019
Technology
1
950
ミライのデータエンジニア
DMM meetup #14 (
https://dmm.connpass.com/event/152326/
) での資料です。
Yuki
November 18, 2019
Tweet
Share
More Decks by Yuki
See All by Yuki
唯一の“源泉”を創るデータ統合プロジェクトのリアル
yuki_saito
1
510
改訂新版 データ分析基盤入門
yuki_saito
7
750
品質特性から眺める データ分析基盤入門
yuki_saito
4
470
データエンジニアと作るデータ文化
yuki_saito
5
3k
Pythonとsparkで学ぶpyspark 速習講座
yuki_saito
2
260
AWS データレイク事例祭り 登壇資料
yuki_saito
8
3.8k
Data Platform
yuki_saito
1
420
Other Decks in Technology
See All in Technology
スタートアップの現場で実践しているテストマネジメント #jasst_kyushu
makky_tyuyan
0
110
会社を支える Pythonという言語戦略 ~なぜPythonを主要言語にしているのか?~
curekoshimizu
3
630
Wasmの気になる最新情報
askua
0
180
Observability — Extending Into Incident Response
nari_ex
1
100
AIエージェントによる業務効率化への飽くなき挑戦-AWS上の実開発事例から学んだ効果、現実そしてギャップ-
nasuvitz
1
320
AI-Readyを目指した非構造化データのメダリオンアーキテクチャ
r_miura
1
300
Linux カーネルが支えるコンテナの仕組み / LF Japan Community Days 2025 Osaka
tenforward
1
120
SQLAlchemy の select(User).where(User.id =="123") を理解してみる/sqlalchemy deep dive
3l4l5
3
320
混合雲環境整合異質工作流程工具運行關鍵業務 Job 的經驗分享
yaosiang
0
170
ヘンリー会社紹介資料(エンジニア向け) / company deck for engineer
henryofficial
0
340
様々なファイルシステム
sat
PRO
0
230
Okta Identity Governanceで実現する最小権限の原則 / Implementing the Principle of Least Privilege with Okta Identity Governance
tatsumin39
0
170
Featured
See All Featured
Facilitating Awesome Meetings
lara
57
6.6k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
16
1.7k
How GitHub (no longer) Works
holman
315
140k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
249
1.3M
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
36
6.1k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.6k
It's Worth the Effort
3n
187
28k
Automating Front-end Workflow
addyosmani
1371
200k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
132
19k
Producing Creativity
orderedlist
PRO
347
40k
Transcript
© DMM.com ミライのデータエンジニア プラットフォーム事業本部ビッグデータ部 DREチーム 斎藤 友樹 1
© DMM.com 斎藤 友樹 (サイトウ ユウキ) 2019/08 中途入社 2児のパパ(予定) 登山好き
子供と遊ぶのが好き 黄色いゾウさんの運用やってます 2 自己紹介 第1子 わたし 奥さん
© DMM.com DMMのデータエンジニア 3
© DMM.com こんなシステムを守っている人たち 4 サイト内の行動ログ ページ遷移、カート追加、購入完了など) 商品情報など各システムの テーブル 各事業部 DMM各システム
データ提供 On-Prem データエンジニア 分析基盤 開発/運用 分析 分析基盤
© DMM.com データドリブンの浸透 データ 加工して データ ちょうだい 新しこと やりたい VS
あわわ。。
© DMM.com イマの基盤の課題 利用者増加 (社員1500人中、アカウント保有者600人 etc) 要求の高度化 ・多様化(既存基盤の運用とのアンバランス) Data Redundancy(On-Prem
& クラウド2箇所に点在) A interfaceはオンプレ B interfaceはAthena 6
© DMM.com ミライのデータエンジニア 7 7
© DMM.com ミライへの分析基盤コンセプト Self-Service SSOT &
© DMM.com ミライの分析基盤 利用者増加 (社員1500人中、アカウント保有者600人) いつ何時誰の挑戦でも受ける 要求の高度化・多様化 (既存基盤の運用とのバランス) Self-Service Data
Redundancy(On-Prem & クラウド2箇所に存在) 利用されるデータが単一であるSSOTを目指す 9
© DMM.com ミライへの技術
© DMM.com prd #E8EAF6 ミライに向けて 行動ログ収集基盤 On GCP eagle-api Kubernetes
Engine Cloud Load Balancing Cloud DNS Cloud Bigtable data pipeline Cloud Pub/Sub Cloud Dataflow Cloud Storage on-premises hq Kubernetes cluster ML Cloud Pub/Sub Real-time ML Business Analysis Logging
© DMM.com ミライに向けて Google Cloud Platformへ 12 リソースモンスターな 処理(ETL,Compaction,etc) はオンプレで
BigQuery (storage API) as SSOT GPU Kubernetes Engine Cloud Dataflow Cloud Dataproc BigQuery on-premises Cloud Dataprep Cloud Storage AI Platform Cloud Data Catalog DistCp orchestration CDP
© DMM.com もっとミライの データエンジニア 13
© DMM.com 始まりの一枚(ということにしている)
© DMM.com ミライの データエンジニア募集中 15
© DMM.com Hadoop マイグレーション
© DMM.com クラウドマイグレーション
© DMM.com 詳しいお話聞きたい人でも何でも おしゃべりしたいです! クラウド移行への決心を機に、 リクルート内容の刷新も https://dmm-corp.com/recruit/359 Hadoopのクラウドマイグレーション などビッグイベント目白押しです! 18
一緒に ミライの基盤を 作り上げる人を募集中!
© DMM.com 19