Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Databricks 導入から Genie 活用まで、全部やった話

CyberAgent PRO
June 30, 2026
2.1k

Databricks 導入から Genie 活用まで、全部やった話

CyberAgent PRO

June 30, 2026

Transcript

20 slides
  1. 自己紹介 上妻 靖広 (こうづま やすひろ) 所属: バックエンドエンジニアチーム 職種: サーバサイドエンジニア 2014 サイバーエージェント入社

    (アメーバ事業本部に所属) ソーシャルゲーム開発に従事 2017 アドテク本部(現、AI事業本部)に異動 LINEボット等の開発・運用に従事 2020 技術本部(現、グループ IT推進本部)に異動 決済基盤の開発・運用に従事 2023 GOODROID に異動 ネイティブアプリの開発経て、サーバサイド業務に従事 現在に至る
  2. 以前の課題:サイロ化されたツールがもたらす「負」のループ 【作業の滞留】  手動集計のループ 生データ出力(CSV)  手動転記 スプレッドシート集計  関数・マクロ

    予算策定・スペンド分析  【コミュニケーションの滞留】  データ抽出依頼  プランナーデータ抽出依頼  データ抽出依頼  コミュニケーションコスト増  エンジニア(作業中断 )  SQL 抽出実行  プランナーへ納品  ツールごとの「 データのサイロ化 」が、 人間の作業とコミュニケーションをせき止めていた
  3. グループ別アクセス制御と 5つのスキーマ分類 【Unity Catalogによる一元管理】 個人ごとではなく、「エンジニア」や「プランナー」といった、職能グループ単位 で、安全に開発環境と本番環 境カタログの参照権限をシンプルに一元制御してます 【5つの用途別スキーマ分類】  S3

    ソース  log_action (行動ログ)  cache_ranking (ランキングキャッシュ )  RDBMS ソース  rdbms_master (最新マスター直参照 )  rdbms_status (Snapshot での履歴管理)  rdbms_history (日付差分ロード) データの「 性質と取得元 」に合わせて入り口を美しく整理する
  4. 不変のソースによるデータの再構築・リセット機能の担保 【再現性重視】 不変のソースから再生可能 バグ混入や仕様変更等、過去に遡ってデータを再構築したい事 態に対応するため、S3 上の生ログや RDBMS 等の過去ソース を加工せずに永続保持 万が一、不具合が発生した場合は、テーブルを初期化して、不

    変ソースからデータを再流入させる冪等設計 【全データ完全再構築時間】 2, 3時間程度 初期フェーズでデータ不具合が発生した際も、 安全に全データを復旧した実績あり 普段は差分取り込みで高速ロード 障害時は数時間程度で全データ再構築を可能にする安全設計
  5. AI アシスタントの自動スキーマ推論活用による開発高速化 【本番運用フェーズ(安定 ETL 実行)】  安定稼働を重視 • 確定スキーマで、データの特性に合わせて並列ロード •

    余計な自動処理を排した、堅牢なパイプライン設計 • 運用の予測可能性を最大化 設計準備はAI自動推論で極限までスマートに 本番運用では確定したスキーマ情報で堅牢に 【開発フェーズ( AI 自動スキーマ推論)】 実績 手作業で 1時間近くかかるスクリプト作成が、 数分〜十数分程度に短縮  テンプレート  AIアシスタント  スクリプト生成
  6. サイロ化の解消:データの取得元に引きずられない一元管理 【再現性重視】 不変のソースから再生可能 バグ混入や仕様変更等、過去に遡ってデータを再構築したい事 態に対応するため、S3上の生ログやRDBMS等の過去ソースを 加工せずに永続保持 万が一、不具合が発生した場合は、テーブルを初期化して、不 変ソースからデータを再流入させる冪等設計 【全データ完全再構築時間】 2,

    3時間程度 初期フェーズでデータ不具合が発生した際も、 安全に全データを復旧した実績あり 【以前:ツール別の分断と不便】  データのサイロ化 • RDBMS は個別の BI ツール、行動ログは Athena で分析 • スキャンコストや速度面の課題が顕在化 • ツール分断による複数ソースの横断紐付けの困難化 【現在: Databricks一元統合の成果】  Databricks Workflowsで一元管理 S3 も RDBMS もすべてが同じ場所で綺麗に結合 普段は差分取り込みで高速ロード 障害時は数時間程度で全データ再構築を可能にする安全設計 毎日新規レコード 億単位 累計レコード 数百億規模
  7.  データの信頼性 安全な再現設計 不変ソースの永続保護とスナップショット 履歴管理により、障害時も柔軟にデータ を再構築できる安心感を確立した  開発効率の向上 スピード感の向上 Unity

    Catalog によるカタログアクセスの 一元的な権限管理と、自動スキーマ推論 機能の活用により、定義作成工数を大 幅に削減した  サイロ化解消 ツール分断の撲滅 Athena 等の複数ツールのサイロ化、ク エリコスト、および速度への懸念をクリア し、膨大なデータを自由に紐付けられる ようになった 安全で高速に繋がるデータ分析基盤が整い、 ここから業務への活用が始まる! まとめ:誰もが迷わず、安全に使えるデータプラットフォーム
  8. 改善①:データ抽出依頼の解消と双方の負荷軽減 Before 中継コストの発生  プランナー  データ抽出依頼  エンジニア 作業を中断し

    SQL を組み立てる  生データの引き渡し  プランナー After セルフサービス抽出  プランナー  Genie スペースへ自然言語で直接アクセス 【生データの自律取得】 エンジニアは、過去のクエリ定義をインプットした「Genie ス ペース」をあらかじめ提供するだけで完結 エンジニアを介さないデータ抽出が、 双方の本来のフォーカス を引き出す
  9. 改善②:手動コピペから並列抽出へのシフト Before 手動コピペ集計に拘束  CSV エクスポート  複雑な関数を組んで手動コピペ集計  毎回数時間の拘束

    After システムへの処理移譲  Genie へデータ抽出を依頼  処理をバックグラウンドで進行  時間の圧倒的な有効活用 プランナーは並行して別のクリエイティブな業務を進行する ことが可能になった 集計のための拘束時間を解消し、 並行して別の業務を進行できる環境 を作る
  10. 改善③:プランナーが自ら実行するレベルデザインの調整 日常的な自律的キャッチアップ  プロデューサー視点 : 新機能・イベント施策の効果や DAU推移を日常的に把握  プランナー視点 :

    レベルデザイン通りのプレイかを毎日定点チェック 分析敷居の圧倒的な低下  SQL 不要の対話型 IF: チャット形式で会話するだけで直感的にデータを出力  多角的な可視化 : マトリックス表示や相関関係を即座に生成  自律的な仮説検証サイクルの構築  データは待つものではなく 自ら引き出してゲームバランスを最適化するツール へ
  11. 改善④:Slack 用 Genie アプリによる『データ民主化』 日常コミュニケーションの中でのデータ活用  Web ブラウザを開き、 Databricks にログインして操作する手間の撲滅

     Slack チャンネルのスレッドから問いかけるだけで完結 職能を超えたリアルタイムなチャットアプリ CS/開発担当 : 「ユーザ: xxxxx の昨日のログインログとアイテム取得履歴を 出して」  Genie App がデータをテーブル形式で即レス返却 エンジニア : 「エラーコード:xxxxx の発生頻度と、主な発生モジュールを分 析して」  Genie App が発生推移と上位集計テキストを即レス返却 Databricks にログインする手間を省き、 誰もがいつものチャットツールからデータへアクセスできる状態 を作る
  12. まとめ:データ活用プロセスの自律化がもたらした価値 【プロセス自律化:中継コストの解消】  エンジニアを介さないセルフサービス エンジニアを介さず、必要なデータを自ら直接抽出可能 な環境を実現  Slack 連携によるデータの民主化 他職種へデータアクセスの裾野が広がり、自律して数字

    を動かせる仕組みを構築 【本来業務への集中:時間の創出】  手動作業をシステムへ完全移譲 コピペ集計による拘束時間を排除。処理を自動化し、ミス も撲滅  クリエイティブ業務への集中 浮いた時間をレベルデザインチェックや不具合特定など の本来の職能に充当 人手によるデータの中継や手動コピペを排除し 全員が自身の本来の職能にフォーカスする
  13. 今後の展望 【データ統合の拡張】 一元化の推進 Lakeflow Connect を活用した Google Workspace 連携 非構造化データやゲーム外分析までカタ

    ログへ統合拡張 【ガバナンスと展開】 資産化の設計 ノートブック/ダッシュボード等のスクリプト のコード管理 ブラックボックス化を軽減し、職能に応じた 安全なアクセス制御を展開 【エージェントの自律化】 知能の進化 仕様や文脈を完全学習 自然言語で即答する「スーパーバイザー エージェント」で高度な意思決定を支援 データソースを広げ、 ノウハウを資産化 し エージェントをインテリジェントに進化させる
  14. 【サイロ化の解消】 データの統合 散在していた各データソースを一元管理 SQL 一発でログ、マスター、ステータスを 自在に結合し、横断的なクロス分析を可 能に 【定常業務の自動化】 自律化 抽出依頼の中継プロセスや手動コピペ

    集計を解消 欲しい人が Genie からデータを直接引き 出せるセルフサービスデータアクセスを 確立 全体のまとめ 【データ主導の意思決定】 攻めの運用 分析の敷居を劇的に下げ、プランナー自 らが高度なクロス分析を回し、レベルデ ザインなどの仮説検証を日々迅速に行う アグレッシブな環境へ 美しいデータプラットフォームは 最高のエンターテインメントを作る武器 になる

More Decks by CyberAgent