Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LLMを活用した推薦システムの改善: 課題と初期導入のアプローチ
Search
Higuchi kokoro
April 25, 2023
Programming
4
4.2k
LLMを活用した推薦システムの改善: 課題と初期導入のアプローチ
LLM(GPT, PaLM等) with MLOps LT大会!!!
登壇資料
https://mlops.connpass.com/event/279156/
Higuchi kokoro
April 25, 2023
Tweet
Share
More Decks by Higuchi kokoro
See All by Higuchi kokoro
Pythonによるネットワーク分析の基礎とコミュニティサクセスへの応用
zerebom
4
1.1k
Polarsの成長: v0.14からv1.0までの変遷と今後の展望
zerebom
1
870
ダッシュボードを使ってもらうには、 現場へのヒアリングが重要だと 改めて気づいた話
zerebom
4
1.9k
非同期処理でLLMにもっと働いてもらおう
zerebom
2
1.8k
使い回しやすい 2-stage recommender systemの デザインパターンを考えて実装した話
zerebom
3
1.9k
WantedlyでFeature Storeを導入する際に考えたこと
zerebom
4
5.5k
論文紹介: Cross-Market Product Recommendation
zerebom
1
190
Pythonでのパッケージング: エコシステムの理解と現場での活用 PyCon APAC2023
zerebom
2
2.3k
ChatGPTとの会話のデータ分析: 開発対話を最適化するための指針と特性
zerebom
1
2.3k
Other Decks in Programming
See All in Programming
CSS Linter による Baseline サポートの仕組み
ryo_manba
1
110
color-scheme: light dark; を完全に理解する
uhyo
5
390
ファインディの テックブログ爆誕までの軌跡
starfish719
2
1.1k
AIの力でお手軽Chrome拡張機能作り
taiseiue
0
170
AWS Organizations で実現する、 マルチ AWS アカウントのルートユーザー管理からの脱却
atpons
0
150
データベースのオペレーターであるCloudNativePGがStatefulSetを使わない理由に迫る
nnaka2992
0
170
Honoをフロントエンドで使う 3つのやり方
yusukebe
7
3.3k
バックエンドのためのアプリ内課金入門 (サブスク編)
qnighy
8
1.8k
Spring gRPC について / About Spring gRPC
mackey0225
0
220
GoとPHPのインターフェイスの違い
shimabox
2
190
Open source software: how to live long and go far
gaelvaroquaux
0
640
2024年のkintone API振り返りと2025年 / kintone API look back in 2024
tasshi
0
220
Featured
See All Featured
Scaling GitHub
holman
459
140k
Making the Leap to Tech Lead
cromwellryan
133
9.1k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
2.1k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Visualization
eitanlees
146
15k
Unsuck your backbone
ammeep
669
57k
KATA
mclloyd
29
14k
Making Projects Easy
brettharned
116
6k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
6
550
Embracing the Ebb and Flow
colly
84
4.6k
What's in a price? How to price your products and services
michaelherold
244
12k
A Tale of Four Properties
chriscoyier
158
23k
Transcript
© 2023 Wantedly, Inc. LLMを活用した推薦システムの改善: 課題と初期導入のアプローチ LLM(GPT, PaLM等) with MLOps
LT大会!!! Apr. 25 2023 - Kokoro Higuchi(@zerebom_3)
© 2023 Wantedly, Inc. 自己紹介 • 樋口 心(Higuchi Kokoro) •
Data Scientist @Wantedly ◦ 推薦システムの設計・実装・評価 • 趣味: 🎾🏂🍻🎮 + LLMいじり • Twitter: @zerebom_3 • GitHub: @zerebom
© 2023 Wantedly, Inc. 今日話すこと • 推薦システムとは? • LLMを活用した推薦システムの改善例 •
導入に対する課題 • 初期導入のアプローチ
© 2023 Wantedly, Inc. 推薦システムとは? 複数の候補から価値のあるものを 選び出し、意思決定を支援する システム ※ ※引用元:
推薦システム実践入門 ―仕事で使える導入ガイド https://www.oreilly.co.jp/books/9784873119663/
© 2023 Wantedly, Inc. 推薦システムとは? 10数万の募集から、 複数の候補から価値の あるものを選び出す
© 2023 Wantedly, Inc. 推薦システムとは? 意思決定を支援できるように 情報を適切に説明・提示する
© 2023 Wantedly, Inc. LLMと推薦システム 価値あるものを選び出すこと, 意思決定の支援どちらでも、 LLMの活用でこれまでにない価値創出ができるのでは? ex •
対話を通じたインタラクティブな推薦結果の調節
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例 • より具体的にイメージするために、仕事探しの 推薦システムにおいてLLM活用アイディアを考えてみた •
紹介する例は個人の構想ベースのものであり、組織を代表するも のではないです。 また、導入・検証には至ってはないです🙏
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例: 対話を通じた推薦 価値あるアイテムの選出 意思決定支援
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例: 対話を通じた推薦 説明性の付与 自然言語を 使った推薦結果の
調整 推薦後の アクション 実行 価値あるアイテムの選出 意思決定支援
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例1: 推薦に対する説明性の付与 推薦システムに対する理解と信頼性を向上させるために、根拠を明確にする
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例2: 自然言語を使った推薦結果の調整 ユーザーのニーズに合わせた情報抽出・条件変更が動的に可能にする
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例3: その他 • 情報が不十分な(コールドスタート)ユーザのデータ拡張 ◦
プロフィールが十分に埋まってないユーザのスキル推定 • 推薦後のアクションを同一インタフェース上で実現 ◦ 応募など心理的ハードルが高い意思決定を支援
© 2023 Wantedly, Inc. 推薦システムにおけるLLMの活用の課題 • 柔軟な推薦には多くのアイテムとの関連度計算が必要 ◦ ただしLLMへの入力データが多いとAPI費用・応答時間が上昇 •
アイテムに対する不適切な説明は厳禁 ◦ この仕事はおすすめしないです、などと LLMが言ってしまうと、 プラットフォームとしての信頼性がなくなる
© 2023 Wantedly, Inc. リスクや費用を回避しつつ柔軟な推薦を行うための初期アプローチ • 予め、他の仕組みでLLMへの入力情報を選定しておく ◦ ex) 3-stageの推薦システム(2-stage
+ LLM) • LLMに解かせるタスクや入出力を限定する ◦ ×: 回答: {LLM_answer} ◦ ◎: あなたにおすすめの募集は ${LLM_suggested_item}で理由は ${LLM_suggested_reason}です。
© 2023 Wantedly, Inc. 初期導入のアプローチ例: 自然言語を使った推薦リストのフィルタリング • ユーザの入力をデータ操作 クエリに変換するだけのタスクを解 かせる
• ユーザの依頼文だけが入力になる ので、高速に応答可能 • LLMの出力を直接使わないので、 リスク軽減
© 2023 Wantedly, Inc. まとめ • LLM × 推薦システムはこれまでにない価値創出ができそう ◦
説明性の付与 ◦ 自然言語での推薦結果の調節 • ただし実運用には様々な壁がある ◦ 柔軟な推薦のために多数のデータを渡したいが困難 ◦ LLMの発言内容の精査 • LLMに与えるタスクの選定や既存システムとの繋ぎこみ方が肝要 • 新しい技術が出続けるので、適宜最適な組み合わせを選ぶ ◦ Agent, Cache, Indexing, Finetune, etc…