Wantedly Visitにおけるフリーワード検索時の推薦のオンライン化事例紹介

MIXIさんとウォンテッドリーの合同イベント「エンジニアが語る プロダクトへの AI / ML 導入・活用事例」 で発表した内容です

Transcript

1. © 2024 Wantedly, Inc. Wantedly Visitにおけるフリーワード 検索時の推薦のオンライン化事例紹介 エンジニアが語る プロダクトへの AI / ML 導入・活用事例 Jan. 15 2025 - Yudai Hayashi
2. © 2024 Wantedly, Inc. INTERNAL ONLY 自己紹介 林　悠大 • 経歴： ◦ 東京大学工学系研究科でPh.D取得 ◦ 2022年にウォンテッドリーにデータ サイエンティストとして新卒入社。 推薦システムの開発を行う • X: @python_walker
3. © 2024 Wantedly, Inc. INTERNAL ONLY 発表内容 • Wantedly Visitのスカウト検索機能についての紹介 • フリーワード検索で使っていた推薦システムの課題 • 推薦システムのオンライン推論化による課題解決 ◦ 何をしたか ◦ どのようにプロジェクトを進めていったか • 結果 • まとめ
4. © 2024 Wantedly, Inc. INTERNAL ONLY Wantedly Visitのスカウト検索機能 候補者一覧画面 フリーワードを使って条件にあう 候補者を探せる 検索でヒットした候補者の カードが一覧に順番に表示 される
5. © 2024 Wantedly, Inc. INTERNAL ONLY フリーワード検索の課題 誰が検索しても同じユーザー のランキングを目にする
6. © 2024 Wantedly, Inc. INTERNAL ONLY フリーワード検索の課題 採用担当者によって欲しい人材 の像は異なる パーソナライズされていない ことで候補者の見つけづらさ が存在
7. © 2024 Wantedly, Inc. INTERNAL ONLY フリーワード検索の課題 キーワード検索結果のパーソナライズには技術的な困難があった • ランキングはバッチジョブによって事前 計算してBigQueryに結果を格納 • もしもパーソナライズしようとすると例 えば... ◦ 1,000人のリクルーター ◦ 10,000キーワード ◦ 10,000ユーザーを並び替え ◦ → 1,000 億行のデータを持ってお く必要がある 事前計算する前提でパーソナライズするの はデータ量的に困難
8. © 2024 Wantedly, Inc. INTERNAL ONLY どうやって課題を解決したか - オンライン推論化 ユーザーリクエスト時にランキングを計算す るシステム(オンライン推論)を構築 • 計算に必要なembeddingだけを事前に計 算 • リクエスト時に推論サーバーでスコアを 計算してランキングを返す
9. © 2024 Wantedly, Inc. INTERNAL ONLY どうやってプロジェクトを進めたか プロジェクトのリスクを最小化し、価値を高速に検証するために2フェーズに分けて進行 元々 GBDT系 モデル バッチ ジョブ embedding ベース バッチ ジョブ Phase-1 embedding ベース 推論サーバー Phase-2 • Phase-1 (中身のロジックの変更) ◦ 推論モデルをembeddingベースの ものに変更 ◦ 一部のリクルーターを対象にパー ソナライズ • Phase-2 (システム構成の変更) ◦ バッチ推論からオンライン推論へ と移行 ◦ より広いリクルーターを対象に パーソナライズ
10. © 2024 Wantedly, Inc. INTERNAL ONLY Phase 2まで完了して得られた結果 • プロジェクト開始から10人日で最初のオフラインテスト結果を出せていた ◦ 高速に価値の検証が実現できていた ◦ はやく検証することで大きな手戻りが発生するリスクを軽減することができた • 利用企業の採用担当者の体験改善を実現 ◦ パーソナライズにより、同じキーワードでも異なるユーザーを見るようになっ た (表示ユーザー数が10 %以上の増加) ◦ スカウトの送信数も増加 → より魅力的な候補者が推薦できていた ◦ スカウトを受け取るユーザー数、マッチングの成立数も増加 ▪ これまでスカウトが欲しかったが送られていなかったユーザーが採用担当 者の目に入るようになった
11. © 2024 Wantedly, Inc. INTERNAL ONLY まとめ • 大きなアーキテクチャ変更に対して、少しずつ価値を検証しながら進めていくこと で顧客課題の緩和を実現することができた • embeddingベースのシステムに移行したことによって、今後の改善の選択肢を広げ ることができた ◦ Neural Network ◦ LLM ◦ … • オンライン推論化によって新しくできるようになったことだけでなく、レスポンス タイムなどの制約でできなくなったことも存在する。推薦性能とユーザビリティの バランスを取りつつ推薦性能をあげていくことが今後の課題