Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
会社訪問アプリ「Wantedly Visit」における新規ユーザーの行動量に基づいた推薦方策の選択
Search
Yudai Hayashi
March 01, 2024
Technology
0
1.7k
会社訪問アプリ「Wantedly Visit」における新規ユーザーの行動量に基づいた推薦方策の選択
DEIM2024での技術報告の際のスライドです
Yudai Hayashi
March 01, 2024
Tweet
Share
More Decks by Yudai Hayashi
See All by Yudai Hayashi
相互推薦システムでのPseudo Label を活用したマッチ予測精度向上の取り組み
yudai00
1
700
Wantedly Visitにおけるフリーワード検索時の推薦のオンライン化事例紹介
yudai00
1
200
RustとPyTorchで作る推論サーバー
yudai00
11
7.1k
BigQueryで作る簡単なFeature Store
yudai00
2
340
プロダクトのコードをPandasからPolarsへ書き換えた話
yudai00
8
3.5k
データサイエンティストになって得た学び
yudai00
1
220
社内での継続的な機械学習勉強会の開催のコツ
yudai00
2
740
Polarsを活用した機械学習ジョブの高速化
yudai00
1
320
Voyagerを利用した宿画像の最近傍探索による候補生成
yudai00
1
230
Other Decks in Technology
See All in Technology
問題解決に役立つ数理工学
recruitengineers
PRO
7
2k
お問い合わせ対応の改善取り組みとその進め方
masartz
1
360
銀行でDevOpsを進める理由と実践例 / 20250317 Masaki Iwama
shift_evolve
1
110
ルートユーザーの活用と管理を徹底的に深掘る
yuobayashi
6
720
3/26 クラウド食堂LT #2 GenU案件を通して学んだ教訓 登壇資料
ymae
1
200
Cloud Native PG 使ってみて気づいたことと最新機能の紹介 - 第52回PostgreSQLアンカンファレンス
seinoyu
1
180
IAMのマニアックな話 2025 ~40分バージョン ~
nrinetcom
PRO
8
910
モノリスの認知負荷に立ち向かう、コードの所有者という思想と現実
kzkmaeda
0
110
KCD Brazil '25: Enabling Developers with Dapr & Backstage
salaboy
1
120
Go の analysis パッケージで自作するリファクタリングツール
kworkdev
PRO
1
410
Symfony in 2025: Scaling to 0
fabpot
2
170
OPENLOGI Company Profile
hr01
0
61k
Featured
See All Featured
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.2k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
4
490
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.1k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
GraphQLの誤解/rethinking-graphql
sonatard
70
10k
KATA
mclloyd
29
14k
Reflections from 52 weeks, 52 projects
jeffersonlam
349
20k
GraphQLとの向き合い方2022年版
quramy
45
14k
The Language of Interfaces
destraynor
157
24k
Code Reviewing Like a Champion
maltzj
522
39k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
11
610
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.4k
Transcript
© 2024 Wantedly, Inc. 会社訪問アプリ「Wantedly Visit」におけ る新規ユーザーの行動量に基づいた推薦 方策の選択 DEIM 2024
技術報告 [T3-C-8-05] Mar. 2024 - 林 悠大 (ウォンテッドリー株式会社)
© 2024 Wantedly, Inc. INTERNAL ONLY Agenda 1. 企業紹介 ◦
会社とプロダクトの紹介 ◦ プロダクトにおけるデータサイエンスの活用事例 ◦ アカデミアにおける活動 2. 新規ユーザーへの推薦の難しさと重要性 ◦ コールドスタート問題に対処する重要性 ◦ Wantedly Visitにおける「ユーザーが選択した興味」による推薦 3. 新規ユーザーに提供する推薦を行動量によって変える取り組み ◦ コンテンツベース推薦と行動ベース推薦の切り替えタイミングを ユーザーごとに最適化 ◦ オンラインテストの結果と考察
© 2024 Wantedly, Inc. INTERNAL ONLY 自己紹介 林 悠大 経歴 •
2022年3月:東京大学大学院工学系研究科でPh.D 取得 • 2022年4月:ウォンテッドリー株式会社にデータ サイエンティストとして新卒入社。推薦システム の開発に従事 趣味 • 音楽を聴くこと • ウイスキー
© 2023 Wantedly, Inc. 究極の適材適所により、 シゴトでココロオドルひとをふやす © 2024 Wantedly, Inc.
私たちのミッション
© 2024 Wantedly, Inc. INTERNAL ONLY • 個人と企業がフラットな目線で出会えることで、 より魅力的な場所を見つけることが可能に 会社に遊びに行こう
ミッションや価値観への共感でマッチング • 会社の Why と What が伝えられる場所 • 人と会社を「想い」でマッチング 「話を聞きに行く」体験 会社訪問アプリ「Wantedly Visit」
© 2024 Wantedly, Inc. INTERNAL ONLY 事例紹介:推薦システムの開発・改善
© 2024 Wantedly, Inc. INTERNAL ONLY アカデミアにおける活動 RecSys2023への参加と論文読み会の協賛 国内学会のスポンサー https://event.dbsj.org/
deim2023 DEIM2023 JSAI2023 https://www.ai-gakkai.or.jp/jsai2023/sponsor/
© 2024 Wantedly, Inc. INTERNAL ONLY Agenda 1. 企業紹介 ◦
会社とプロダクトの紹介 ◦ プロダクトにおけるデータサイエンスの活用事例 ◦ アカデミアにおける活動 2. 新規ユーザーへの推薦の難しさと重要性 ◦ コールドスタート問題に対処する重要性 ◦ Wantedly Visitにおける「ユーザーが選択した興味」による推薦 3. 新規ユーザーに提供する推薦を行動量によって変える取り組み ◦ コンテンツベース推薦と行動ベース推薦の切り替えタイミングを ユーザーごとに最適化 ◦ オンラインテストの結果と考察
© 2024 Wantedly, Inc. INTERNAL ONLY 新規ユーザーに対する推薦の重要性と難しさ 新規ユーザー • インタラクション情報が無いので、行動
情報を利用した効果的な推薦が難しい → コールドスタート問題 • ユーザーの属性情報などを活用したコン テンツベース推薦が行われることが多い 新規ユーザーにはサービスの利用意欲が高いユーザーが多く、 利用初期に良い体験をすることが長期的視点から非常に重要
© 2024 Wantedly, Inc. INTERNAL ONLY コンテンツベース推薦と行動ベース推薦 適切なタイミングでコンテンツから行動ベースの推薦へと切り替える ことでユーザーの体験を向上させられる可能性 コンテンツベース推薦
行動ベース推薦 行動情報がなくてもユーザー の嗜好を大まかに捉えられる ユーザーの細かい嗜好の 違いを捉えるのが苦手 ユーザーの細かい嗜好の 違いを捉えられる 行動情報が少ないと良い 推薦を提供できない メリット デメリット
© 2024 Wantedly, Inc. INTERNAL ONLY Wantedly Visitにおけるコンテンツベース推薦 • オンボーディング時に興味のある
ワードを選択してもらう • 選択した興味に応じて募集を推薦 (コンテンツベース推薦) 登録直後から関心のある募集が たくさん表示される体験
© 2024 Wantedly, Inc. INTERNAL ONLY これまでの行動ベース推薦への切り替え手法 ユーザー登録 1日目 2日目
3日目 コンテンツ ベース 行動ベース • ユーザー登録からの経過日数に応じて 行動ベースの推薦へと移行 • 新規ユーザーの行動量はおおよそ均質 だという仮定 ユーザーごとの行動傾向の違いは十分 に考慮できていなかった 新規ユーザーの見る募集のランキング中の方策の比率
© 2024 Wantedly, Inc. INTERNAL ONLY これまでの行動ベース推薦への切り替え手法 たくさん募集を見て回る人 ゆっくり募集を見る人 なかなか自分の嗜好を理解してくれ
ないので応募せずに離脱する たまたま反応した募集に引っ張られて 興味のない募集ばかりが出るように なった 意欲が高いユーザーに意欲の高いうちに良い推薦が出せない ことは大きな損失 どのユーザーでも一定のペースで置き換えが進むと...
© 2024 Wantedly, Inc. INTERNAL ONLY Agenda 1. 企業紹介 ◦
会社とプロダクトの紹介 ◦ プロダクトにおけるデータサイエンスの活用事例 ◦ アカデミアにおける活動 2. 新規ユーザーへの推薦の難しさと重要性 ◦ コールドスタート問題に対処する重要性 ◦ Wantedly Visitにおける「ユーザーが選択した興味」による推薦 3. 新規ユーザーに提供する推薦を行動量によって変える取り組み ◦ コンテンツベース推薦と行動ベース推薦の切り替えタイミングを ユーザーごとに最適化 ◦ オンラインテストの結果と考察
© 2024 Wantedly, Inc. INTERNAL ONLY どのようにして「ユーザーごとの切り替え最適化」を行うか 意欲が高い新規ユーザーに「早く」良い推薦を届けるという 観点から、ルールベースでの切り替えをする判断 ルールベース
バンディット • ユーザーの反応を受けながら 方策を調整可能 • フィードバックにノイズが含 まれる場合に収束が遅くなる • 収束速度をある程度制御で きる • ユーザーの反応を方策選択 の調整に十分活用できない
© 2024 Wantedly, Inc. INTERNAL ONLY ログ蓄積による行動ベース推薦の性能変化の事前実験 ユーザーを行動量によってセグメントわけ 評価指標:nDCG •
コンテンツベースランキングはユー ザーの行動量にほとんど依存しない • 行動ベースランキングはユーザーの 行動量が一定値を超えたときに興味 によるランキングの性能を上回る 閾値前後で出す方策を変化させることで よりよい切り替えが実現できると期待
© 2024 Wantedly, Inc. INTERNAL ONLY オンラインテストによる検証 新規ユーザーを対象としてA/Bテストを実施 • control
◦ 登録からの経過日数に応じ てコンテンツベースの割合 を減らしていく • treatment ◦ 行動量が一定値を超えたと きにコンテンツベース推薦 を出さなくする
© 2024 Wantedly, Inc. INTERNAL ONLY オンラインテストによる検証 新規ユーザーの応募行動を活発化させる効果が観測された 意欲の高いユーザーの体験を向上させることができたか? •
活発に行動するユーザーが最初に応募するまでの日数を短縮 → 自分の行動に即した募集がより早く表示されるようになることで、応募し たいと思う募集に出会えるまでの期間を短縮できたと予想 • 登録後に長期的に利用するユーザーが増加 → 登録初期に良い体験をすることができたことで長期的なサービス利用意欲 が高まったと予測
© 2024 Wantedly, Inc. INTERNAL ONLY まとめ • 課題:意欲が高い新規ユーザーに対して、意欲が高いうちに十分良い推薦 を届けられていない
• 対処法:新規ユーザーの行動量に応じて提供する推薦モデルの比率を調整 • 結果:ユーザーの応募行動を促進 • 考察:意欲的なユーザーに早く良い募集を推薦することで体験が向上し、 その後の継続的なサービス利用につながった
© 2024 Wantedly, Inc. INTERNAL ONLY We are hiring!