Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
タイミーのBraze活用 ~PUSH通知を活用したレコメンド~
Search
ozeshun
September 01, 2024
Technology
2
490
タイミーのBraze活用 ~PUSH通知を活用したレコメンド~
ozeshun
September 01, 2024
Tweet
Share
More Decks by ozeshun
See All by ozeshun
タイミーのレコメンドにおける ABテストの運用
ozeshun
4
570
タイミーにおける H3を活用したレコメンドの改善事例
ozeshun
5
3.4k
Other Decks in Technology
See All in Technology
Cline、めっちゃ便利、お金が飛ぶ💸
iwamot
19
18k
AIエージェント完全に理解した
segavvy
4
260
Cloud Native PG 使ってみて気づいたことと最新機能の紹介 - 第52回PostgreSQLアンカンファレンス
seinoyu
2
200
ISUCONにPHPで挑み続けてできるようになっ(てき)たこと / phperkaigi2025
blue_goheimochi
0
140
Multitenant 23ai の全貌 - 機能・設計・実装・運用からマイクロサービスまで
oracle4engineer
PRO
2
120
20250328_OpenAI製DeepResearchは既に一種のAGIだと思う話
doradora09
PRO
0
150
OPENLOGI Company Profile for engineer
hr01
1
22k
LINE Notify互換のボットを作った話
kenichirokimura
0
180
AWS のポリシー言語 Cedar を活用した高速かつスケーラブルな認可技術の探求 #phperkaigi / PHPerKaigi 2025
ytaka23
7
1.5k
17年のQA経験が導いたスクラムマスターへの道 / 17 Years in QA to Scrum Master
toma_sm
0
400
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
20k
頻繁リリース × 高品質 = 無理ゲー? いや、できます!/20250306 Shoki Hyo
shift_evolve
0
150
Featured
See All Featured
A Tale of Four Properties
chriscoyier
158
23k
Code Review Best Practice
trishagee
67
18k
Building Your Own Lightsaber
phodgson
104
6.3k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
The Cost Of JavaScript in 2023
addyosmani
48
7.6k
Art, The Web, and Tiny UX
lynnandtonic
298
20k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
160
15k
Become a Pro
speakerdeck
PRO
27
5.2k
Measuring & Analyzing Core Web Vitals
bluesmoon
6
320
The Invisible Side of Design
smashingmag
299
50k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.3k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
Transcript
2024/08/29 タイミーのBraze活用 ~ PUSH通知を活用したレコメンド ~
自己紹介 株式会社タイミー プロダクトマーケティングG 松本 華奈 ▼プロフィール 新卒でファッション通販サイトを運営する会社に入社し、PMとして キャリアをスタート。総合通販を運営する会社に転職後、マーケティ ングツール全般のシステム周りを担当したことでマーケティング職へ の関心が高まり、2024年4月にタイミーに入社。
現在はプロダクトマーケティングG内のCRM担当として従事。
目次 • タイミーについて • タイミーとBraze • レコメンデーション施策
タイミーについて
None
6
タイミーとBraze
導入1年半で作ったキャンバスとキャンペーンの合計… 2,000個超
Brazeの活用方法内訳 今まで ほぼアドホックな配信(作業者が マンパワーで対応していた💪) ⇩⇩⇩ 過去の配信を経て、結果のよかっ たもののオートメーション化を推 進中🤖 アドホック配信 オートメーション配信
カスタムアトリ ビュート カタログ オートメーション配信時のデータ構成 ワーカーに付随する情報 例)レコメンドデータ、顧 客属性情報など… クライアントの情報 例)店舗名、URL、 残募集数など…
カスタムアト リビュート カタログ セレクション セレクション セレクション キャンペーン キャンバス キャンペーン
レコメンデーション施策
自己紹介 12 小関 俊祐(Shunsuke Ozeki)/ @ozeshun_ - お仕事 - 2022年にDSとしてタイミーに入社
- MLモデルの改善、ML pipelineの構築、 推薦API基盤の運用など幅広くやってます - 最近検索にも手を出し始めました - 趣味 - 野球全般。ロッテ、レンジャースが好き - 海外旅行 - 個人開発
目次 • 施策の概要 • 施策を実現したシステム • 施策の効果検証 • まとめ
施策の概要
施策の概要 直近で必要な稼働人数が足りていない店舗で、働いてくれそうなワーカーさんに 申し込みを訴求するPUSH配信をBraze経由で自動化する施策を行いました 明日の稼働が 埋まらなそう... 必要な人が集まった🙌 機械学習で働いてくれそうな ワーカーさんを予測 働ける お仕事ないかな
予測結果を連携 予測結果を元に PUSH配信 PUSH配信きっかけで 働きに行く
施策前に存在していた課題 1. 稼働が足りていない店舗があった時に、CSMからの依頼ベースでPUSH配信を人力で行っていた ので、工数が嵩んでいた 2. CSMからの依頼ベースでPUSH配信を行っていたので、稼働が埋まっていないのに何も施策を打 てていない店舗が存在していた 3. PUSH配信の対象のワーカーを手動で選んでいたので、溜まった稼働履歴などの豊富なデータを 活用出来ていなかった
→ 上記の課題を今回の機械学習を用いたPUSH配信の自動化によって解決しようとした
施策を実現したシステム
Brazeを活用したPUSH配信自動化システムの全体図 - BigQuery上に蓄積したワーカー・店舗のデータを抽出 - Vertex AI Pipelinesで予測モデルの構築・モデルによる予測を行い、BigQueryに予測結果を書き込む - 最後に「クラウドデータ取り込み」機能を使って、BigQueryからBrazeへ転送 BQ
to Brazeへの連携が手軽な事もあり、 2週間足らずで実装できました 🙌
Brazeのクラウドデータ取り込み機能の注意点 1. 成功・失敗通知先に指定できるのがメールアドレスのみで、slackのchを直接指定できない - slackのインテグレーションからメールアドレスを発行すれば、slackに通知は飛ばせるが、失敗 時にメンションを飛ばすなどの工夫をするのがちょっと大変 - (私達はGASで実装しました) 2. 失敗を意図的に起こすことが難しいので、失敗通知のデバッグが出来ない
- 取り込み元のデータを削除しても失敗と判定されないなど失敗の判定基準が寛容 - 失敗と判定されても Braze からは詳細なエラーメッセージが見れない 3. UPDATED_AT, EXTERNAL_ID以外に連携する情報は、PAYLOADカラムにJSON形式で格納する必要 がある → 1, 2については、良い方法をご存知の方がいらっしゃれば教えていただけると嬉しいです! なければ今後の機能追加に期待しております! 参考: クラウドデータ取り込み機能
施策の効果検証
実験設計 店舗を以下の群に分けて、1ヶ月間のABテストを実施した Test 群 - 今回のPUSH配信を適用する Control 群 - 何もしない
21
実験の結果 Test群において - 成果が出たこと - 以下の条件に当てはまる店舗において、KPIの向上が観測出来た - 周辺に居住しているワーカーが少なめな店舗 - 特殊な資格を必要とする店舗 -
成果がはっきりと出ず今後もっと深堀していきたいこと - 周辺に居住しているワーカーが多い店舗に対する効果的なPUSH配信の仕方 - どういったワーカーに PUSH が効果的なのか? - どういったワーカーとクライアントの組み合わせに PUSH が効果的なのか? 22
まとめ
まとめ 今回行った施策 - 直近で必要な稼働人数が足りていない店舗で、働いてくれそうなワーカーさんに 申し込みを訴求するPUSH配信をBraze経由で自動化する施策行った 施策をどう実現したか - Google Cloudのサービス(BigQuery, Vertex
AI Pipelines, Cloud Composer)と Brazeを連携して、蓄積したデータとMLモデルを活用したPUSH配信を実現した 施策の結果 - 特定の性質を持つ店舗に対してKPIの向上が見られた 24