Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Databricksで挑む!SEGAのデータ活用の次なる一歩
Search
Databricks Japan
January 28, 2025
2
400
Databricksで挑む!SEGAのデータ活用の次なる一歩
JEDAI 2025 新年会 Meetup! 発表資料
https://jedai.connpass.com/event/342295/
Databricks Japan
January 28, 2025
Tweet
Share
More Decks by Databricks Japan
See All by Databricks Japan
JEDAI Meetup! Databricks AI/BI概要
databricksjapan
0
75
Databricks AI/BIクイックワークショップ 環境セットアップガイド
databricksjapan
1
58
Databricks AI/BIクイックワークショップ
databricksjapan
1
230
[2024年10月版] Notebook 2.0のご紹介 / Notebook2.0
databricksjapan
1
1.8k
Databricksによるデータサイエンスと機械学習 / Data Science With Databricks
databricksjapan
2
90
Azure Databricksアカウント & Unity Catalogメタストア概要 / Azure Databricks Account and Unity Catalog Metastore Overview
databricksjapan
0
98
[2024年12月版] Unity Catalogセットアップガイド / Unity Catalog Setup Guide
databricksjapan
0
400
[2024年12月版] Databricks Express Setup手順 / Databricks Express Setup
databricksjapan
1
130
Azure Databricksの最新機能アップデート
databricksjapan
1
140
Featured
See All Featured
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Documentation Writing (for coders)
carmenintech
67
4.6k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
46
2.3k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
40
2k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.5k
A better future with KSS
kneath
238
17k
Building Applications with DynamoDB
mza
93
6.2k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.7k
Agile that works and the tools we love
rasmusluckow
328
21k
A designer walks into a library…
pauljervisheath
205
24k
Transcript
Databricksで挑む! SEGAのデータ活用の次なる一歩 移行プロジェクトと 未来への展望 株式会社セガ JA Studios 第2事業本部 戦略企画部 データエンジニアリングセクション
萬 和貴 ・ 槌屋 琢
株式会社セガ JA Studios 第2事業本部 戦略企画部 データエンジニアリングセクション セクションマネージャー 萬 和貴
登壇者紹介 データ基盤の課題と進化 Databricksで変わる組織の関わり 今後の展望
データ基盤の 課題と進化
主なデータの種別 モバイルゲームのユーザー行動ログデータ rawデータサイズ PB(ペタバイト)クラス rawデータ蓄積量 1兆レコード超 (1 Trillion)
システムの大まかな構成 ※Apolloとは 社内の共通KPI ダッシュボード
DWH抜粋 ~進化前 raw data data mart Output BI tools +NPrinting
Data Warehouse DataRobot Analysis & ML env Data Analyst Data Engineer
データ分析・AI活用における分析基盤の課題 環境課題:機械学習環境が統合されていない 運用課題:ビッグデータ活用の自由度が低い システム課題:Redshiftのリソース余り問題
ビジネスニーズへの適用 ①当時SEGAではグローバル化の波が急速に押し寄せていた ②アメリカやヨーロッパ事業所のデータ活用ニーズが発生 ③でも、データは Excel にしかない! 英語ヨクワカラナイ 他拠点のデータを活用できるシステムが求められるように それを解決するソリューションが・・ データメッシュ!
DWH抜粋 ~進化後 raw data data mart Output BI tools +NPrinting
DataRobot Data Engineer Data Analyst Create self table Analysis & ML env
DATA FEDERATION Snowflake
実際に変えてみて データ基盤からデータHubへと進化 -フェデレーション対象は現在7つのシステムに -データ集約作業が不要、保持しないのでAWS S3コストも削減 スケーラビリティとパフォーマンスの向上 -集計所要時間は従来比50%、でもコスト比は70% アナリストの作業効率が大幅アップ -Notebookが便利すぎる -ジョブもメールもアナリスト任せ
エンジニアは次のアクションへ
・導入ステップや管理は玄人志向 要エンジニア ・パイプラインを構築すると値が張る 良くないところも一応
DATABRICKSで変わる 組織の関わり
株式会社セガ JA Studios 第2事業本部 戦略企画部 データエンジニアリングセクション 槌屋 琢
Databricksを導入して組織の関わりがどう変わったのか 戦略企画部とは データエンジニアリングセクション インフラ整備 データ集計処理作成 データマート作成 ビジネスアナリティクスセクション データ分析
テーブル設計 BIツールを使った可視化
集計テーブル作成までのやりとり Databricks導入前 データエンジニア アナリスト • データ取得の相談 • テーブル設計 • 集計処理作成
• チェック その他色々……
集計テーブル作成までのやりとり Databricks導入前 データエンジニア アナリスト • データ取得の相談 • テーブル設計 • 集計処理作成
• チェック その他色々…… やり取りが多数発生
集計テーブル作成までのやりとり Databricks導入後 データエンジニア アナリスト 基本的なデータ集計はアナリストのみで完結 アナリスト 欲しい時に欲しいデータが作れる様に • 独自データマート作成 •
jobによる定期集計実行 エンジニア • 基本KPI集計の実装 • 技術サポート • トレンドの調査 • 新機能の検証
アナリストだけで色々出来る様になった アナリスト • 独自テーブルの実装 Unity Catalogの利用により、独自テーブルを自 由に作成可能に • Jobを使った定期集計処理作成 数クリックで定期実行の設定が可能に
• ダッシュボード作成 スケジュール設定による自動更新とチーム内へ 定期メール配信 • Jobを使った異常検知 閾値を超えた際にMS Teamsへ自動通知
Databricks導入 新たな問題も アナリストが自由に操作できる環境を提供 その結果、作業効率は飛躍的に向上したが 新たな課題や弊害も発生
Databricks導入 デメリット アナリスト よーし、すごいノート出来たからjobに設定しちゃお! 毎朝9時 実行時間40時間 処理結果:エラー
Databricks導入 対策 Jobやクラスター使用状況の監視を強化 • 監視用ダッシュボード • アラートの設定 • クエリ履歴の監視 •
使用状況のヒアリング 勉強会の開催 • Databricksハンズオン • SQL講習 サンプルコードの拡充 • Pythonを使った集計 • 効率的なSQLの書き方
現在の取り組み
Databricks環境のグループ内展開 ヨーロッパ グループ会社 マーケ ティング アナリスト ゲーム 運営担当 ゲーム 開発担当
デザイナー アナリストのみならず、 ゲームの運営・開発、 デザイナー、マーケなど 幅広いメンバーがアカウ ントを持ち、 Databricks環境を活用 さらに近年、 ヨーロッパにある グループ会社にも開放し 共同での開発を実施
Databricks Apps の活用 Databricksのコンソール画面を操作するのは難易度が高い・・・ そんな方に向けて、Databricks Appsによるデータ提供を開始
Databricks導入 将来的な取り組み -Genieによる対話型のKPIデータ抽出 -Databricksの機械学習モデル管理を使ったプロセスへ移行 技術面 ビジネス面 -社内に点在するデータの整理、リスト化 -将来的にはDatabricksを経由してそれらを利用可能に -国外拠点も巻き込んで、グループ全体で推進
Thank you for your attention.