Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
タイミーのBraze活用 ~PUSH通知を活用したレコメンド~
Search
ozeshun
September 01, 2024
Technology
2
190
タイミーのBraze活用 ~PUSH通知を活用したレコメンド~
ozeshun
September 01, 2024
Tweet
Share
More Decks by ozeshun
See All by ozeshun
タイミーのレコメンドにおける ABテストの運用
ozeshun
4
320
タイミーにおける H3を活用したレコメンドの改善事例
ozeshun
5
2.9k
Other Decks in Technology
See All in Technology
スクラム導入の舞台裏:QAエンジニアがスクラムマスターになるまで
bubo1201
0
110
普通の Web エンジニアのための様相論理入門 #yapcjapan / YAPC Hakodate 2024
ytaka23
2
320
Causal Impactを用いたLINE Pay UIの効果検証とABテスト実施への貢献
lycorptech_jp
PRO
3
490
VS CodeでF1〜12キーつかってますか? / Do you use the F1-12 keys in VS Code?
74th
2
260
クレジットカードを製造する技術
yutadayo
22
8.3k
Product Utilization of Large Language Models Starting Today
ymatsuwitter
2
590
【shownet.conf_】クロージングセッション
shownet
PRO
0
220
Rubyはなぜ「たのしい」のか? / Why is Ruby a programmers' best friend? #tqrk15
expajp
4
1.7k
Slackbot × RAG で実現する社内情報検索の最適化
howdy39
1
140
第45回 MLOps 勉強会 - ML Test Score を用いた機械学習システムの定量的なアセスメント
masatakashiwagi
3
180
Create Inquiry via Bedrock / 生成 AI で問い合わせ品質は変わるのか?思いついてぱっと作ったものを供養してみる
kazzpapa3
1
200
C# 13 / .NET 9 の新機能 (RC 1 時点)
nenonaninu
1
1.1k
Featured
See All Featured
The World Runs on Bad Software
bkeepers
PRO
65
11k
Web development in the modern age
philhawksworth
205
10k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.8k
Imperfection Machines: The Place of Print at Facebook
scottboms
263
13k
Building an army of robots
kneath
302
42k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
32k
A designer walks into a library…
pauljervisheath
201
24k
Ruby is Unlike a Banana
tanoku
96
11k
Designing for humans not robots
tammielis
249
25k
[RailsConf 2023] Rails as a piece of cake
palkan
49
4.7k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.2k
What's new in Ruby 2.0
geeforr
341
31k
Transcript
2024/08/29 タイミーのBraze活用 ~ PUSH通知を活用したレコメンド ~
自己紹介 株式会社タイミー プロダクトマーケティングG 松本 華奈 ▼プロフィール 新卒でファッション通販サイトを運営する会社に入社し、PMとして キャリアをスタート。総合通販を運営する会社に転職後、マーケティ ングツール全般のシステム周りを担当したことでマーケティング職へ の関心が高まり、2024年4月にタイミーに入社。
現在はプロダクトマーケティングG内のCRM担当として従事。
目次 • タイミーについて • タイミーとBraze • レコメンデーション施策
タイミーについて
None
6
タイミーとBraze
導入1年半で作ったキャンバスとキャンペーンの合計… 2,000個超
Brazeの活用方法内訳 今まで ほぼアドホックな配信(作業者が マンパワーで対応していた💪) ⇩⇩⇩ 過去の配信を経て、結果のよかっ たもののオートメーション化を推 進中🤖 アドホック配信 オートメーション配信
カスタムアトリ ビュート カタログ オートメーション配信時のデータ構成 ワーカーに付随する情報 例)レコメンドデータ、顧 客属性情報など… クライアントの情報 例)店舗名、URL、 残募集数など…
カスタムアト リビュート カタログ セレクション セレクション セレクション キャンペーン キャンバス キャンペーン
レコメンデーション施策
自己紹介 12 小関 俊祐(Shunsuke Ozeki)/ @ozeshun_ - お仕事 - 2022年にDSとしてタイミーに入社
- MLモデルの改善、ML pipelineの構築、 推薦API基盤の運用など幅広くやってます - 最近検索にも手を出し始めました - 趣味 - 野球全般。ロッテ、レンジャースが好き - 海外旅行 - 個人開発
目次 • 施策の概要 • 施策を実現したシステム • 施策の効果検証 • まとめ
施策の概要
施策の概要 直近で必要な稼働人数が足りていない店舗で、働いてくれそうなワーカーさんに 申し込みを訴求するPUSH配信をBraze経由で自動化する施策を行いました 明日の稼働が 埋まらなそう... 必要な人が集まった🙌 機械学習で働いてくれそうな ワーカーさんを予測 働ける お仕事ないかな
予測結果を連携 予測結果を元に PUSH配信 PUSH配信きっかけで 働きに行く
施策前に存在していた課題 1. 稼働が足りていない店舗があった時に、CSMからの依頼ベースでPUSH配信を人力で行っていた ので、工数が嵩んでいた 2. CSMからの依頼ベースでPUSH配信を行っていたので、稼働が埋まっていないのに何も施策を打 てていない店舗が存在していた 3. PUSH配信の対象のワーカーを手動で選んでいたので、溜まった稼働履歴などの豊富なデータを 活用出来ていなかった
→ 上記の課題を今回の機械学習を用いたPUSH配信の自動化によって解決しようとした
施策を実現したシステム
Brazeを活用したPUSH配信自動化システムの全体図 - BigQuery上に蓄積したワーカー・店舗のデータを抽出 - Vertex AI Pipelinesで予測モデルの構築・モデルによる予測を行い、BigQueryに予測結果を書き込む - 最後に「クラウドデータ取り込み」機能を使って、BigQueryからBrazeへ転送 BQ
to Brazeへの連携が手軽な事もあり、 2週間足らずで実装できました 🙌
Brazeのクラウドデータ取り込み機能の注意点 1. 成功・失敗通知先に指定できるのがメールアドレスのみで、slackのchを直接指定できない - slackのインテグレーションからメールアドレスを発行すれば、slackに通知は飛ばせるが、失敗 時にメンションを飛ばすなどの工夫をするのがちょっと大変 - (私達はGASで実装しました) 2. 失敗を意図的に起こすことが難しいので、失敗通知のデバッグが出来ない
- 取り込み元のデータを削除しても失敗と判定されないなど失敗の判定基準が寛容 - 失敗と判定されても Braze からは詳細なエラーメッセージが見れない 3. UPDATED_AT, EXTERNAL_ID以外に連携する情報は、PAYLOADカラムにJSON形式で格納する必要 がある → 1, 2については、良い方法をご存知の方がいらっしゃれば教えていただけると嬉しいです! なければ今後の機能追加に期待しております! 参考: クラウドデータ取り込み機能
施策の効果検証
実験設計 店舗を以下の群に分けて、1ヶ月間のABテストを実施した Test 群 - 今回のPUSH配信を適用する Control 群 - 何もしない
21
実験の結果 Test群において - 成果が出たこと - 以下の条件に当てはまる店舗において、KPIの向上が観測出来た - 周辺に居住しているワーカーが少なめな店舗 - 特殊な資格を必要とする店舗 -
成果がはっきりと出ず今後もっと深堀していきたいこと - 周辺に居住しているワーカーが多い店舗に対する効果的なPUSH配信の仕方 - どういったワーカーに PUSH が効果的なのか? - どういったワーカーとクライアントの組み合わせに PUSH が効果的なのか? 22
まとめ
まとめ 今回行った施策 - 直近で必要な稼働人数が足りていない店舗で、働いてくれそうなワーカーさんに 申し込みを訴求するPUSH配信をBraze経由で自動化する施策行った 施策をどう実現したか - Google Cloudのサービス(BigQuery, Vertex
AI Pipelines, Cloud Composer)と Brazeを連携して、蓄積したデータとMLモデルを活用したPUSH配信を実現した 施策の結果 - 特定の性質を持つ店舗に対してKPIの向上が見られた 24