モダンデータスタックの理想と現実の間で～1.3億人Vポイントデータ基盤の現在地とこれから～

12/22に開催されたAEON TECH HUB #22 モダンデータ基盤の最前線：現場から学ぶ実践と挑戦
登壇資料

Transcript

1. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. 2025.12.22 ～1.3億人Vポイントデータ基盤の現在地とこれから～ モダンデータスタックの理想と現実の間で
2. Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved 2 自己紹介 Xで色々発信しています 良ければフォローお願いします
3. Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved 3 本日お話すること 1. Vポイントについて 2. 分析基盤の現在地 3. これからの取組み
4. Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved 4 本日お話すること 1. Vポイントについて 2. 分析基盤の現在地 3. これからの取組み
5. Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved 5 About Vポイントについて 5 ：日本最大級の会員規模 年代構成比 年間利用V会員数（名寄せ後） V会員数（有効ID数） 1億 3,000 万人 6,310 万人 規模 日本総人口の 50.7%
6. Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved 6 ライフスタイルアンケートの回答情報：年収・既未婚・子どもありなし 等 志向性（ライフスタイル推計値） 衣食住遊働などを中心に多数の項目で実購買履歴からスコアリング 会員基本情報：性別、年齢、生年月日、居住地 等 アクションスポットデータ（活動地） 購買履歴と住所情報を掛け合わせた、居住地ではない「活動地」の特定・行動分析 生活属性 基本属性 1秒単位のTV視聴データ：地デジ、BSのLIVE・録画視聴 等。視聴者購買分析も可能 マンションデータと連携：賃料平米単価、売買価格、築年数 等 マンション Yahoo! JAPANとの連携：インターネット上の行動履歴からの推計データ 等 電話帳 電話帳データと連携：個人事業主（美容院、歯医者…等）などの特定が可能 TV視聴 WEB行動 最大1.3億人の会員情報 属性 連携データ その他 Value ：多様なライフスタイル情報 Vポイントについて
7. Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved 7 Vポイントについて Solution ：Vポイントを活用したカスタマーエンゲージメントサイクルの実現
8. Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved 8 本日お話すること 1. Vポイントについて 2. 分析基盤の現在地 3. これからの取組み
9. Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved 9 モダンデータスタックとはなんでしょうか？
10. Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved 10 モダンデータスタックとは 目的 組織の自走化 個人の知識に依存せず、組織全体がデータを活用できる状態 手段 技術の組み合わせ アーキテクチャの最新化ではなく、組織に最適な組み合わせ 方法 理想と現実の間で最適を探る 最新技術と既存資産、ベストプラクティスと組織フィット 結論 最善（理想）ではなく、最適（組織の自走化を最大化する選択）の追求 データを使ったプロセスが適切に自走化している状態を生み出すための 組織ごとの最適な技術の組み合わせ
11. Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved 11 Azure Synapse Analytics 2015 2017 2021 2025 Phase1:オンプレ改善時代 Phase2:クラウド移行時代 Phase3:Snowflake統合時代 事業成長で全Exadataがパンク 分析特化DBのVerticaを導入し、 Exadataの負荷分散 性能2倍以上 EOSLに合わせ、段階的にクラウドリフト 性能問題で一年遅延するなど困難なPJに リソース追加などで乗り切る 最終的にExadata3本をSynapse移行 DB統合と合わせ、データ連携を整理 最終的に性能2倍 コスト30％削減 真の柔軟性のある基盤へ ❶Vertica先行移行 ❷Synapseのリプレイス ❸オンプレ環境の完全廃止 大きな問題なく移行完了 性能2倍以上 コスト50％削減 リードタイム1日短縮 10年間に渡り、段階的にモダン化 IT主導による 実務検証不足 PoCから 事業部門参画 自走化以前に事業を止めていた時代 なんとか歩けるように立て直し なんとか走れるように改善した時代 難産な移行を完了し、BIなども導入 制約のない自由に走れる基盤へ 内製化シフトなど自走化を推進
12. Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved 12 Snowflakeをなぜ選んだのか？ アーキテクチャの先進性 ・コンピュート／ストレージ分離 ・マイクロパーティションによるI/Oボトルネックの最小化 ・サイロ化したDWH群を統合しても競合しないアーキテクチャ 移植性の高さとスケーラビリティ ・Oracle Exadata／Azure Synapse／Verticaからの統合（PoCしてSQLの互換性も全て評価） ・3DBを移植するための互換性や柔軟性の高さ ・統合後も性能・安定性・コストをクリアできる信頼感（各DB,サービス単位で段階的PoCにて実証） 柔軟なコスト／性能、運用負担の少なさ ・複雑な移行パスに対して、従量課金で全てコントロールできる ・ワークロードが競合せず、それぞれの部門が制約なく自由に分析できる ・インフラの保守が不要で、ベンダーに依存せず、データエンジニアが自分たちで保守運用できる Databricks 2020年時点ではDWH機能が弱く、移行候補になりえなかった ※その後、データサイエンス／AIの開発運用基盤として導入 BigQuery GCPへのプラットフォーム移行が必要で難易度から断念 ※その後、GA4などWeb分析のできるように事業部門側で導入 RedShift 3DBの統合先としては、アーキテクチャやコスト硬直性も懸念があった
13. Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved 13 ポイント提携企業 現在の分析基盤の構成 GCP On-premise マイクロサービス群 社外分析サービス オウンドメディア配信管理 利用企業 100社～ メディア部門 20名 アナリスト 100名 全社員 600名 サイエンティスト 20名～ Bronze Silver Gold MLOps 大規模ML Delta Table データ提供（Data Sharing） 提携企業 正規化・共通化 集計・加工 売上予測 ELT処理 ｱﾄﾞﾎｯｸ分析 各種ダッシュボード 全社KPI データエンジニア 8名 データ企画 伴走 技術支援 導入支援 外部向けETL パイプライン CRM部門 10名 PDCA シナリオ 360度分析 メタデータ 管理 コスト管理 ガバナンス
14. Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved 14 データ活用への取組み 役割とスキルに応じたツールを提供し、データ活用を浸透させる（＝組織を自走させる） 採用理由 ・当時のBIデファクト製品 ・学びの自走化（DATA Saber） 現在 ・全社BI、事業KPI ・分析ASPフロントにも利用 全社員 600名 Creater 150名 データサイエンティスト 20名 採用理由 ・大規模モデル開発 ・インフラ構築運用の解放 現在 ・1.3億人のﾗｲﾌｽﾀｲﾙ推計 ・各モデルのMLOps データアナリスト 100名 採用理由 ・GUI統計分析のモダン化 ・アナリスト業務の効率化 現在 ・CRM分析パイプライン ・需要予測（これから） データエンジニア 8名 採用理由 ・Azure基盤のデファクト ・内製開発の推進 現在 ・外部ETL処理の内製化 ・DataOpsの中心機能
15. Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved 15 ・データモデリングを重視し、データ基盤側は取込後すぐ活用できる状態に ・データマートを地道に整備（Prepare_Data：準備済データ（PPデータ）と呼称） ・サービスの開発段階からデータエンジニアが参画して、リリース＝データ利用開始 データモデリングへの取組み 上流でのデータモデリングを積極的に実施 2010 2012 2017 2019 提携先レイアウト共通化 データマート推進 ポイントシステム再構築 販売管理システム再構築 ビジネス要件に基づいた設計を行い、 堅牢なデータモデルを構築 共通フォーマットを設計し、提携企業 数十社の売上明細データや商品マスタ のデータレイアウトを標準化 データの品質と分析効率を向上 個社ごとのビジネスルールを吸収する 共通マート（Silver層）を構築 アナリスト用のデータマートを標準化 業務フローに基づき、データモデルを一 から設計 分析基盤にすぐ利用できるデータモデル 組織全体でデータを扱いやすくすることで、データ活用の自走化を促進
16. Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved 16 本日お話すること 1. Vポイントについて 2. 分析基盤の現在地 3. これからの取組み
17. Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved 17 分析＋データ基盤の最適化 他にもありますが 優先度高いものを紹介 データ活用＝組織の自走化への更なる挑戦 Big Queryのサイロ化 リアルタイム連携 非構造化データ 事業管轄のGA4/FireBaseデータの活用 が滞る エンジニア側で巻き取り、データを再 整備する アプリ分析やWeb分析をアナリスト・ 事業部門が自走できるように 日次連携データが多く、リアルタイム のデータ活用が進んでいない ポイント基盤から分析基盤へのスト リーム連携 更なる顧客体験の実現に向けた基盤の 拡張を行い、より制約なくサービス企 画できるように 組織に散在する非構造化データの情報 化ができていない 非構造化データもデータ基盤のスコー プにして整備できる環境を検討 組織の暗黙知・形式知を統合し、個人 の知識に依存しない自立した組織を実 現できるように 課 題 対 策 目 標
18. Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved 18 Big Query基盤の整備 事象：事業部管轄のBig Query運用メンバーが不足 課題：マート作成やメタデータ整備が滞り、迅速な意思決定のボトルネックに 目標：エンジニア側で巻き取り、データ分析に必要な要素を整備 部門間で話し合い、方向性を合意（組織最適ではなく、自走化のあるべき姿へ） データモデルの整理 →どのような分析が可能かを可視化 データリネージュ、項目定義の整備 →Bronze層のデータ構造を明確化 整形済データマートの整備 →分析しやすいSilver層を提供 数週間単位の非効率な分析 →迅速なデータ分析の実現
19. Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved 19 リアルタイム連携への挑戦 事象：レガシーなポイントシステムからの実績連携が日次連携（締め処理後の確定データのみ連携） 課題：提携先店頭での利用後すぐの顧客体験を作ることに制約がある 目標：リアルタイムに取得できるAPIログの情報化（顕在させ、活用できる状態） 顧客体験をより向上させるための基盤整備（事業部門の制約を少なくして、より自由に顧客体験を企画） 実績の多いFluent bitの安定構成で良いのか？ほかの選択肢はないか？PoCで複数検証予定 1. 機能性：数万QPSのトランザクションに対応可能か 2. 安定性：24/365の安定稼働、リソース消費やレイテンシの期待SLAを満たせるか 3. 将来性：今後数年での陳腐化や隆盛化のトレンド予測 リアルタイムの顧客体験を拡大
20. Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved 20 非構造化データも統合したデータ基盤へ 分析基盤 従来のデータ基盤 これからのデータ基盤 データ基盤 BI/BA/AIツール BI/BA/AIツール AIエージェント（サポート／自律） 構造化データ中心 構造化・非構造化データ統合 業務サポート 暗黙知を形式知化し、 AIが手厚く支援 業務効率化 複雑な業務を AIで効率良く実施 業務自動化 機械的に判断し、 業務を自動実行 業務高度化 業務プロセスを 素早く高品質に データ分析だけに留まらず、組織の暗黙知・形式知をデータ化し、組織全体を自律、自走させる 2025～ 2025～ 2026～ 2026～ ＋
21. Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved 21 組織の自走化を実現するための4つの原則 ① 目的を見失わない：組織の自走化 ・技術は手段、目的は組織がデータプロセスを自走できること ・個人の知識に依存しない、組織全体のデータドリブン化 ② 組織ごとに最適な組み合わせを探る ・アーキテクチャの最新化ではなく、自走化を最大化する組み合わせ ・一律の正解はない、組織の成熟度・文化・課題に応じて変わる ・時間軸を持ち、段階的に進化させる（10年間の実践） ③ 理想と現実の間で意思決定する ・最新技術と既存資産のバランス ・ベストプラクティスと組織フィット ・技術負債をいつ解消すべきか（EOSL、財務観点とペインのバランス） 結論 最善（理想）ではなく、最適（組織の自走化を最大化する選択）の追求 ④ 継続的に観測し、適応し続ける ・技術も組織の課題も進化し続ける ・課題を探し、時間軸を持ち、テクノロジーを観測し、意思決定していく
22. Copyright - © CCC MK HOLDINGS Co.,Ltd. all rights reserved 22 ご清聴ありがとうございました