Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LLMを活用した推薦システムの改善: 課題と初期導入のアプローチ
Search
Higuchi kokoro
April 25, 2023
Programming
4
4k
LLMを活用した推薦システムの改善: 課題と初期導入のアプローチ
LLM(GPT, PaLM等) with MLOps LT大会!!!
登壇資料
https://mlops.connpass.com/event/279156/
Higuchi kokoro
April 25, 2023
Tweet
Share
More Decks by Higuchi kokoro
See All by Higuchi kokoro
Polarsの成長: v0.14からv1.0までの変遷と今後の展望
zerebom
1
500
ダッシュボードを使ってもらうには、 現場へのヒアリングが重要だと 改めて気づいた話
zerebom
4
1.5k
非同期処理でLLMにもっと働いてもらおう
zerebom
2
1.3k
使い回しやすい 2-stage recommender systemの デザインパターンを考えて実装した話
zerebom
3
1.3k
WantedlyでFeature Storeを導入する際に考えたこと
zerebom
4
5.1k
論文紹介: Cross-Market Product Recommendation
zerebom
1
140
Pythonでのパッケージング: エコシステムの理解と現場での活用 PyCon APAC2023
zerebom
2
1.8k
ChatGPTとの会話のデータ分析: 開発対話を最適化するための指針と特性
zerebom
1
2.2k
実務のデータ分析でハマったことと対策 / Kichijoji.pm 31
zerebom
1
2.3k
Other Decks in Programming
See All in Programming
Mergeable Libraryで 高速なアプリ起動を実現しよう!
giginet
PRO
1
1.9k
GoのIteratorに詳しくなってしまう
inatonix
1
180
令和トラベルにおけるLLM活用事例:社内ツール開発から得た学びと実践
ippo012
0
110
The Sequel to a Dream of Ruby Parser's Grammar
ydah
1
190
現代のVueとTypeScript - 型安全の活用術
minako__ph
4
3.1k
rbs-inlineを導入してYARDからRBSに移行する
euglena1215
1
200
connect-go で面倒くささと戦う / 2024-08-27 #newmo_layerx_go
izumin5210
2
600
快適な開発と高セキュリティを実現するCryptoKitを活用したCoreDataのデータ暗号化術
grandbig
1
300
ECMAScript仕様を読むのに必要な知識 - ダイジェスト版
syumai
4
2.5k
Uncharted packages (Laravel Live Denmark)
freekmurze
0
140
ECMAScript、Web標準の型はどう管理されているか / How ECMAScript and Web standards types are maintained
petamoriken
3
370
Amazon Neptuneで始める初めてのグラフDB ー グラフDBを使う意味を考える ー
satoshi256kbyte
2
130
Featured
See All Featured
Docker and Python
trallard
39
3k
Robots, Beer and Maslow
schacon
PRO
157
8.1k
Designing on Purpose - Digital PM Summit 2013
jponch
113
6.8k
How to train your dragon (web standard)
notwaldorf
85
5.6k
Done Done
chrislema
180
16k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
27
8.9k
Build The Right Thing And Hit Your Dates
maggiecrowley
29
2.2k
Building Adaptive Systems
keathley
36
2.1k
Why You Should Never Use an ORM
jnunemaker
PRO
53
8.9k
Clear Off the Table
cherdarchuk
90
320k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
45
4.8k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
354
29k
Transcript
© 2023 Wantedly, Inc. LLMを活用した推薦システムの改善: 課題と初期導入のアプローチ LLM(GPT, PaLM等) with MLOps
LT大会!!! Apr. 25 2023 - Kokoro Higuchi(@zerebom_3)
© 2023 Wantedly, Inc. 自己紹介 • 樋口 心(Higuchi Kokoro) •
Data Scientist @Wantedly ◦ 推薦システムの設計・実装・評価 • 趣味: 🎾🏂🍻🎮 + LLMいじり • Twitter: @zerebom_3 • GitHub: @zerebom
© 2023 Wantedly, Inc. 今日話すこと • 推薦システムとは? • LLMを活用した推薦システムの改善例 •
導入に対する課題 • 初期導入のアプローチ
© 2023 Wantedly, Inc. 推薦システムとは? 複数の候補から価値のあるものを 選び出し、意思決定を支援する システム ※ ※引用元:
推薦システム実践入門 ―仕事で使える導入ガイド https://www.oreilly.co.jp/books/9784873119663/
© 2023 Wantedly, Inc. 推薦システムとは? 10数万の募集から、 複数の候補から価値の あるものを選び出す
© 2023 Wantedly, Inc. 推薦システムとは? 意思決定を支援できるように 情報を適切に説明・提示する
© 2023 Wantedly, Inc. LLMと推薦システム 価値あるものを選び出すこと, 意思決定の支援どちらでも、 LLMの活用でこれまでにない価値創出ができるのでは? ex •
対話を通じたインタラクティブな推薦結果の調節
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例 • より具体的にイメージするために、仕事探しの 推薦システムにおいてLLM活用アイディアを考えてみた •
紹介する例は個人の構想ベースのものであり、組織を代表するも のではないです。 また、導入・検証には至ってはないです🙏
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例: 対話を通じた推薦 価値あるアイテムの選出 意思決定支援
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例: 対話を通じた推薦 説明性の付与 自然言語を 使った推薦結果の
調整 推薦後の アクション 実行 価値あるアイテムの選出 意思決定支援
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例1: 推薦に対する説明性の付与 推薦システムに対する理解と信頼性を向上させるために、根拠を明確にする
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例2: 自然言語を使った推薦結果の調整 ユーザーのニーズに合わせた情報抽出・条件変更が動的に可能にする
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例3: その他 • 情報が不十分な(コールドスタート)ユーザのデータ拡張 ◦
プロフィールが十分に埋まってないユーザのスキル推定 • 推薦後のアクションを同一インタフェース上で実現 ◦ 応募など心理的ハードルが高い意思決定を支援
© 2023 Wantedly, Inc. 推薦システムにおけるLLMの活用の課題 • 柔軟な推薦には多くのアイテムとの関連度計算が必要 ◦ ただしLLMへの入力データが多いとAPI費用・応答時間が上昇 •
アイテムに対する不適切な説明は厳禁 ◦ この仕事はおすすめしないです、などと LLMが言ってしまうと、 プラットフォームとしての信頼性がなくなる
© 2023 Wantedly, Inc. リスクや費用を回避しつつ柔軟な推薦を行うための初期アプローチ • 予め、他の仕組みでLLMへの入力情報を選定しておく ◦ ex) 3-stageの推薦システム(2-stage
+ LLM) • LLMに解かせるタスクや入出力を限定する ◦ ×: 回答: {LLM_answer} ◦ ◎: あなたにおすすめの募集は ${LLM_suggested_item}で理由は ${LLM_suggested_reason}です。
© 2023 Wantedly, Inc. 初期導入のアプローチ例: 自然言語を使った推薦リストのフィルタリング • ユーザの入力をデータ操作 クエリに変換するだけのタスクを解 かせる
• ユーザの依頼文だけが入力になる ので、高速に応答可能 • LLMの出力を直接使わないので、 リスク軽減
© 2023 Wantedly, Inc. まとめ • LLM × 推薦システムはこれまでにない価値創出ができそう ◦
説明性の付与 ◦ 自然言語での推薦結果の調節 • ただし実運用には様々な壁がある ◦ 柔軟な推薦のために多数のデータを渡したいが困難 ◦ LLMの発言内容の精査 • LLMに与えるタスクの選定や既存システムとの繋ぎこみ方が肝要 • 新しい技術が出続けるので、適宜最適な組み合わせを選ぶ ◦ Agent, Cache, Indexing, Finetune, etc…