Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LLMを活用した推薦システムの改善: 課題と初期導入のアプローチ
Search
Higuchi kokoro
April 25, 2023
Programming
4
4.2k
LLMを活用した推薦システムの改善: 課題と初期導入のアプローチ
LLM(GPT, PaLM等) with MLOps LT大会!!!
登壇資料
https://mlops.connpass.com/event/279156/
Higuchi kokoro
April 25, 2023
Tweet
Share
More Decks by Higuchi kokoro
See All by Higuchi kokoro
Pythonによるネットワーク分析の基礎とコミュニティサクセスへの応用
zerebom
4
1.1k
Polarsの成長: v0.14からv1.0までの変遷と今後の展望
zerebom
1
800
ダッシュボードを使ってもらうには、 現場へのヒアリングが重要だと 改めて気づいた話
zerebom
4
1.8k
非同期処理でLLMにもっと働いてもらおう
zerebom
2
1.7k
使い回しやすい 2-stage recommender systemの デザインパターンを考えて実装した話
zerebom
3
1.8k
WantedlyでFeature Storeを導入する際に考えたこと
zerebom
4
5.4k
論文紹介: Cross-Market Product Recommendation
zerebom
1
180
Pythonでのパッケージング: エコシステムの理解と現場での活用 PyCon APAC2023
zerebom
2
2.2k
ChatGPTとの会話のデータ分析: 開発対話を最適化するための指針と特性
zerebom
1
2.3k
Other Decks in Programming
See All in Programming
Package Traits
ikesyo
1
130
DevFest - Serverless 101 with Google Cloud Functions
tunmise
0
130
今年のアップデートで振り返るCDKセキュリティのシフトレフト/2024-cdk-security-shift-left
tomoki10
0
320
歴史と現在から考えるスケーラブルなソフトウェア開発のプラクティス
i10416
0
240
range over funcの使い道と非同期N+1リゾルバーの夢 / about a range over func
mackee
0
200
毎日13時間もかかるバッチ処理をたった3日で60%短縮するためにやったこと
sho_ssk_
1
490
PHPカンファレンス 2024|共創を加速するための若手の技術挑戦
weddingpark
0
110
短期間での新規プロダクト開発における「コスパの良い」Goのテスト戦略」 / kamakura.go
n3xem
2
210
PHPとAPI Platformで作る本格的なWeb APIアプリケーション(入門編) / phpcon 2024 Intro to API Platform
ttskch
0
360
Flatt Security XSS Challenge 解答・解説
flatt_security
0
580
テストコード書いてみませんか?
onopon
2
290
Compose UIテストを使った統合テスト
hiroaki404
0
120
Featured
See All Featured
Testing 201, or: Great Expectations
jmmastey
41
7.2k
KATA
mclloyd
29
14k
For a Future-Friendly Web
brad_frost
176
9.5k
We Have a Design System, Now What?
morganepeng
51
7.3k
The Power of CSS Pseudo Elements
geoffreycrofte
74
5.4k
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
No one is an island. Learnings from fostering a developers community.
thoeni
19
3.1k
Faster Mobile Websites
deanohume
305
30k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.4k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
3
230
Intergalactic Javascript Robots from Outer Space
tanoku
270
27k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
27
1.5k
Transcript
© 2023 Wantedly, Inc. LLMを活用した推薦システムの改善: 課題と初期導入のアプローチ LLM(GPT, PaLM等) with MLOps
LT大会!!! Apr. 25 2023 - Kokoro Higuchi(@zerebom_3)
© 2023 Wantedly, Inc. 自己紹介 • 樋口 心(Higuchi Kokoro) •
Data Scientist @Wantedly ◦ 推薦システムの設計・実装・評価 • 趣味: 🎾🏂🍻🎮 + LLMいじり • Twitter: @zerebom_3 • GitHub: @zerebom
© 2023 Wantedly, Inc. 今日話すこと • 推薦システムとは? • LLMを活用した推薦システムの改善例 •
導入に対する課題 • 初期導入のアプローチ
© 2023 Wantedly, Inc. 推薦システムとは? 複数の候補から価値のあるものを 選び出し、意思決定を支援する システム ※ ※引用元:
推薦システム実践入門 ―仕事で使える導入ガイド https://www.oreilly.co.jp/books/9784873119663/
© 2023 Wantedly, Inc. 推薦システムとは? 10数万の募集から、 複数の候補から価値の あるものを選び出す
© 2023 Wantedly, Inc. 推薦システムとは? 意思決定を支援できるように 情報を適切に説明・提示する
© 2023 Wantedly, Inc. LLMと推薦システム 価値あるものを選び出すこと, 意思決定の支援どちらでも、 LLMの活用でこれまでにない価値創出ができるのでは? ex •
対話を通じたインタラクティブな推薦結果の調節
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例 • より具体的にイメージするために、仕事探しの 推薦システムにおいてLLM活用アイディアを考えてみた •
紹介する例は個人の構想ベースのものであり、組織を代表するも のではないです。 また、導入・検証には至ってはないです🙏
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例: 対話を通じた推薦 価値あるアイテムの選出 意思決定支援
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例: 対話を通じた推薦 説明性の付与 自然言語を 使った推薦結果の
調整 推薦後の アクション 実行 価値あるアイテムの選出 意思決定支援
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例1: 推薦に対する説明性の付与 推薦システムに対する理解と信頼性を向上させるために、根拠を明確にする
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例2: 自然言語を使った推薦結果の調整 ユーザーのニーズに合わせた情報抽出・条件変更が動的に可能にする
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例3: その他 • 情報が不十分な(コールドスタート)ユーザのデータ拡張 ◦
プロフィールが十分に埋まってないユーザのスキル推定 • 推薦後のアクションを同一インタフェース上で実現 ◦ 応募など心理的ハードルが高い意思決定を支援
© 2023 Wantedly, Inc. 推薦システムにおけるLLMの活用の課題 • 柔軟な推薦には多くのアイテムとの関連度計算が必要 ◦ ただしLLMへの入力データが多いとAPI費用・応答時間が上昇 •
アイテムに対する不適切な説明は厳禁 ◦ この仕事はおすすめしないです、などと LLMが言ってしまうと、 プラットフォームとしての信頼性がなくなる
© 2023 Wantedly, Inc. リスクや費用を回避しつつ柔軟な推薦を行うための初期アプローチ • 予め、他の仕組みでLLMへの入力情報を選定しておく ◦ ex) 3-stageの推薦システム(2-stage
+ LLM) • LLMに解かせるタスクや入出力を限定する ◦ ×: 回答: {LLM_answer} ◦ ◎: あなたにおすすめの募集は ${LLM_suggested_item}で理由は ${LLM_suggested_reason}です。
© 2023 Wantedly, Inc. 初期導入のアプローチ例: 自然言語を使った推薦リストのフィルタリング • ユーザの入力をデータ操作 クエリに変換するだけのタスクを解 かせる
• ユーザの依頼文だけが入力になる ので、高速に応答可能 • LLMの出力を直接使わないので、 リスク軽減
© 2023 Wantedly, Inc. まとめ • LLM × 推薦システムはこれまでにない価値創出ができそう ◦
説明性の付与 ◦ 自然言語での推薦結果の調節 • ただし実運用には様々な壁がある ◦ 柔軟な推薦のために多数のデータを渡したいが困難 ◦ LLMの発言内容の精査 • LLMに与えるタスクの選定や既存システムとの繋ぎこみ方が肝要 • 新しい技術が出続けるので、適宜最適な組み合わせを選ぶ ◦ Agent, Cache, Indexing, Finetune, etc…