Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ZOZOTOWN の推薦における KPI モニタリング/KPI monitoring for ...
Search
Yu Sato
December 25, 2024
Technology
1
2.5k
ZOZOTOWN の推薦における KPI モニタリング/KPI monitoring for ZOZOTOWN recommendations
第47回 MLOps 勉強会
https://mlops.connpass.com/event/335228/
Yu Sato
December 25, 2024
Tweet
Share
More Decks by Yu Sato
See All by Yu Sato
GitHub Copilot のテクニック集/GitHub Copilot Techniques
rayuron
54
28k
Other Decks in Technology
See All in Technology
キャディでのApache Iceberg, Trino採用事例 -Apache Iceberg and Trino Usecase in CADDi--
caddi_eng
0
170
TechLION vol.41~MySQLユーザ会のほうから来ました / techlion41_mysql
sakaik
0
150
Amazon Bedrockで実現する 新たな学習体験
kzkmaeda
1
380
Workflows から Agents へ ~ 生成 AI アプリの成長過程とアプローチ~
belongadmin
3
170
VCpp Link and Library - C++ breaktime 2025 Summer
harukasao
0
220
~宇宙最速~2025年AWS Summit レポート
satodesu
1
1.2k
Windows 11 で AWS Documentation MCP Server 接続実践/practical-aws-documentation-mcp-server-connection-on-windows-11
emiki
0
690
初めてのAzure FunctionsをClaude Codeで作ってみた / My first Azure Functions using Claude Code
hideakiaoyagi
1
180
AIエージェント最前線! Amazon Bedrock、Amazon Q、そしてMCPを使いこなそう
minorun365
PRO
10
3.8k
AWS Summit Japan 2025 Community Stage - App workflow automation by AWS Step Functions
matsuihidetoshi
1
140
第9回情シス転職ミートアップ_テックタッチ株式会社
forester3003
0
130
JSX - 歴史を振り返り、⾯⽩がって、エモくなろう
pal4de
3
1.1k
Featured
See All Featured
Reflections from 52 weeks, 52 projects
jeffersonlam
351
20k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
4
200
Designing Experiences People Love
moore
142
24k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Being A Developer After 40
akosma
90
590k
Docker and Python
trallard
44
3.4k
Building Applications with DynamoDB
mza
95
6.5k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Scaling GitHub
holman
459
140k
Raft: Consensus for Rubyists
vanstee
140
7k
Transcript
第47回 MLOps 勉強会 株式会社ZOZO 技術本部 データシステム部 推薦基盤ブロック ML エンジニア 佐藤
優羽 Copyright © ZOZO, Inc. 1 ZOZOTOWN の推薦における KPI モニタリング
© ZOZO, Inc. ZOZOTOWN の商品をおすすめする AI を作っています。 SNS: https://x.com/rayuron 趣味:
生成 AI、ブレイキン、DJ、DTM... 株式会社ZOZO 技術本部 データシステム部 推薦基盤ブロック ML エンジニア 佐藤 優羽 2
© ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3.
ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 3 目次
© ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3.
ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 4 目次
© ZOZO, Inc. • ファッションEC • 1,600以上のショップ、9,000以上のブランドの取り扱い • 常時102万点以上の商品アイテム数と毎日平均2,600点以上の新着 商品を掲載(2024年9月末時点)
• ブランド古着のファッションゾーン「ZOZOUSED」や コスメ専門モール「ZOZOCOSME」、シューズ専門ゾーン 「ZOZOSHOES」、ラグジュアリー&デザイナーズゾーン 「ZOZOVILLA」を展開 • 即日配送サービス • ギフトラッピングサービス • ツケ払い など https://zozo.jp/ 5
© ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3.
ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 6 目次
© ZOZO, Inc. ZOZOTOWN 内の商品を押下し た際、遷移先ページの下部にあ る枠のこと おすすめアイテム枠では詳細面 で表示されている商品に基づく 推薦商品が表示される
7 1. 商品詳細面おすすめアイテム枠 Scroll
© ZOZO, Inc. 8 2. ホーム面モジュール ZOZOTOWN を起動した時に最初に 開かれるページ モジュールと呼ばれる単位で施策ごと
の商品をグルーピングしている ホーム面上部のモールタブと性別タブ の組み合わせで表示されるモジュール が異なる モジュール scroll モール 性別
© ZOZO, Inc. メールや LINE、プッシュ通知等の コンテンツをパーソナライズする 配信タイミングもユーザーごとに パーソナライズされている 9 3.
マーケティングオートメーション(MA) クーポンメールのイメージ
© ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3.
ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 10 目次
© ZOZO, Inc. • おすすめ商品のインプレッション数 • おすすめ商品のクリック数 • おすすめ商品経由のカート追加数 •
おすすめ商品経由のお気に入り数 • おすすめ商品経由の注文数 • おすすめ商品経由の売上 • CTR • CVR • おすすめ表示商品のカバレージ • … 11 1. 商品詳細面おすすめアイテム枠 Scroll アプリ商品詳細面の例
© ZOZO, Inc. 12 2. ホーム面モジュール モジュール scroll モール 性別
• モジュールインプレッション数 • モジュールクリック数 • モジュール経由注文数 • モジュール経由カート追加数 • モジュール経由お気に入り数 • モジュール経由売上 • CTR • CVR • 表示商品の多様性 • 表示商品のカバレージ • 商品のセレンディピティ • …
© ZOZO, Inc. • 配信数 • 開封数 • 流入数 •
注文数 • CTR • CVR • … 13 3. マーケティングオートメーション(MA) クーポンメールのイメージ
© ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3.
ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 14 目次
© ZOZO, Inc. 元々は... • Looker で固定値の異常検知 • スプレッドシート等で定性的な確認 15
KPI モニタリング 背景と課題 ▶
© ZOZO, Inc. 動的な閾値で異常検知をしたい 16 1. トレンドを考慮した異常検知が不可能 ▶▶ ⚠ 固定の閾値で異常検知
© ZOZO, Inc. 17 2. モニタリングの設定が面倒 異常値判定のための設定項目 が多く面倒なので設定項目を 少なくしたい
© ZOZO, Inc. 対応者がシステムを作った人に限られて しまうという属人化の問題が発生 アラート対応フローが不明確なので 明確にしたい 18 3. アラート対応フローが不明確
© ZOZO, Inc. Slack に定期配信している ダッシュボードのサマリが 活用されていない 定期的に施策の KPI を把握し
定性的な異常検知を するためにも 活用されるようにしたい 19 4. サマリの定期配信が形骸化
© ZOZO, Inc. 20 KPI モニタリング 課題解決のアプローチ
© ZOZO, Inc. 異常検知には時系列データの予測手法である を採用 ▼ 採用理由 1. 不確定区間(Uncertainty Intervals)を使い異常検知が可能
2. 欠損値を入力可能 3. 季節性やトレンドの特徴量を使用可能 ◦ 休日や ZOZOWEEK などのイベントを考慮可能 4. 社内での使用経験がある 21 1. 異常検知の自動化
© ZOZO, Inc. システム構成 22 1. 異常検知の自動化 1. 意図した期間でデータが挿入されているか? 2.
挿入されたデータが異常値かどうか? =
© ZOZO, Inc. 23 1. 異常検知の自動化 パイプラインで異常を検知 した際に指標名とグラフと ダッシュボードのリンクを Slack
に通知する
© ZOZO, Inc. 設定項目の単位を KPI 単位からテーブル単位に変更 24 2. 設定の簡素化 ▶
© ZOZO, Inc. 25 2. 設定の簡素化
© ZOZO, Inc. アラート発生時の対応を 以下の3つのパターンに分岐 1. データに問題 2. モデルに問題 3.
アラートの設定に問題 26 3. アラート対応フローの整備
© ZOZO, Inc. 27 3. アラート対応フローの整備 簡単に説明すると... 1. データに問題 ◦
データを修正 2. モデルに問題 ◦ パラメータチューニング 3. アラートの設定に問題 ◦ 指標の見直し ◦ 設定の変更
© ZOZO, Inc. 参照: 優れた分析機能とシンプルな請求書の提供 ダッシュボードを見る会とは... チームメンバーが週1で集まり チームが関係するプロダクトの KPI やコストに異常値がないか
を確認する会 28 4. ダッシュボードを見る会
© ZOZO, Inc. 29 課題解決のアプローチ
© ZOZO, Inc. • メール配信実績のトレンドに気づけた • メール配信システムで障害が起きていることが分かった • 意図しないデータのスキーマの変更が分かった •
意図しない bot アクセスが増えていることが分かった • 推薦システムが落ちており、推薦テーブルが作成できていないことが分かった • 意図しないコスト増加に気づけて、将来のコスト増加を止められた • 副次的な効果 ◦ ファッションのドメイン知識がついた ◦ システムのコスト感が分かった • … 30 効果
© ZOZO, Inc. • アラートは発生しないが実は異常値である場合の捕捉が難しい ◦ 定期的なパラメータチューニング • アラートが発生するが異常値ではない場合が多い ◦
定性的に問題なければ無視する • アラートの対応方法が未完全 ◦ 具体的にパターン化する 31 課題と展望
© ZOZO, Inc. 32 まとめ 元々は... • Looker で固定値の異常検知 •
スプレッドシート等で定性的な確認 ▶▶
© ZOZO, Inc. 33 まとめ
© ZOZO, Inc. 34 発表は以上です。 ご清聴ありがとうございました。
None