Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LLMを活用した推薦システムの改善: 課題と初期導入のアプローチ
Search
Higuchi kokoro
April 25, 2023
Programming
4
3.9k
LLMを活用した推薦システムの改善: 課題と初期導入のアプローチ
LLM(GPT, PaLM等) with MLOps LT大会!!!
登壇資料
https://mlops.connpass.com/event/279156/
Higuchi kokoro
April 25, 2023
Tweet
Share
More Decks by Higuchi kokoro
See All by Higuchi kokoro
ダッシュボードを使ってもらうには、 現場へのヒアリングが重要だと 改めて気づいた話
zerebom
3
1.4k
非同期処理でLLMにもっと働いてもらおう
zerebom
2
1.1k
使い回しやすい 2-stage recommender systemの デザインパターンを考えて実装した話
zerebom
3
1.2k
WantedlyでFeature Storeを導入する際に考えたこと
zerebom
4
4.8k
論文紹介: Cross-Market Product Recommendation
zerebom
1
120
Pythonでのパッケージング: エコシステムの理解と現場での活用 PyCon APAC2023
zerebom
2
1.5k
ChatGPTとの会話のデータ分析: 開発対話を最適化するための指針と特性
zerebom
1
2.1k
実務のデータ分析でハマったことと対策 / Kichijoji.pm 31
zerebom
1
2.2k
RecSys2022 論文読み会 | 【紹介】Tutorial: Psychology-informed Recommender Systems
zerebom
0
790
Other Decks in Programming
See All in Programming
イベント駆動アーキテクチャ導入の手引きと共通の落とし穴 / Guide to Implementing Event-Driven Architecture and Common Pitfalls
nrslib
11
3.9k
SPLから始める「データ構造」入門
o0h
PRO
6
790
GoogleI/O2024 LT報告会資料
shinsukefujita1126
0
190
What's new in Xcode 16 ダイジェスト
enomotok
0
200
チームの成長を促すためのスプリントレトロスペクティブの活用法 / How to use sprint retrospectives to promote team growth
mackey0225
4
550
Web 開発における Deno Fresh の活用例:ペアプロタイマー timer.team の開発
lef237
1
610
Kotlin Standard Library Gems
antonarhipov
2
280
Kotlin Script 활용하기
kciter
0
110
Converting AST
yui_knk
4
150
dockerの豆知識を沢山話す
mal0961
3
250
Micro Frontends for Java Microservices - KCDC 2024
mraible
PRO
0
170
Gradle Version Catalog with KTS [KotlinConf'24 Global]
junjaboy
0
100
Featured
See All Featured
Why Our Code Smells
bkeepers
PRO
331
56k
Documentation Writing (for coders)
carmenintech
61
4.1k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
42
4.6k
A designer walks into a library…
pauljervisheath
201
24k
Fashionably flexible responsive web design (full day workshop)
malarkey
399
65k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
The Invisible Customer
myddelton
115
12k
Principles of Awesome APIs and How to Build Them.
keavy
122
16k
Rails Girls Zürich Keynote
gr2m
91
13k
A Modern Web Designer's Workflow
chriscoyier
689
190k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
359
22k
Art, The Web, and Tiny UX
lynnandtonic
290
19k
Transcript
© 2023 Wantedly, Inc. LLMを活用した推薦システムの改善: 課題と初期導入のアプローチ LLM(GPT, PaLM等) with MLOps
LT大会!!! Apr. 25 2023 - Kokoro Higuchi(@zerebom_3)
© 2023 Wantedly, Inc. 自己紹介 • 樋口 心(Higuchi Kokoro) •
Data Scientist @Wantedly ◦ 推薦システムの設計・実装・評価 • 趣味: 🎾🏂🍻🎮 + LLMいじり • Twitter: @zerebom_3 • GitHub: @zerebom
© 2023 Wantedly, Inc. 今日話すこと • 推薦システムとは? • LLMを活用した推薦システムの改善例 •
導入に対する課題 • 初期導入のアプローチ
© 2023 Wantedly, Inc. 推薦システムとは? 複数の候補から価値のあるものを 選び出し、意思決定を支援する システム ※ ※引用元:
推薦システム実践入門 ―仕事で使える導入ガイド https://www.oreilly.co.jp/books/9784873119663/
© 2023 Wantedly, Inc. 推薦システムとは? 10数万の募集から、 複数の候補から価値の あるものを選び出す
© 2023 Wantedly, Inc. 推薦システムとは? 意思決定を支援できるように 情報を適切に説明・提示する
© 2023 Wantedly, Inc. LLMと推薦システム 価値あるものを選び出すこと, 意思決定の支援どちらでも、 LLMの活用でこれまでにない価値創出ができるのでは? ex •
対話を通じたインタラクティブな推薦結果の調節
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例 • より具体的にイメージするために、仕事探しの 推薦システムにおいてLLM活用アイディアを考えてみた •
紹介する例は個人の構想ベースのものであり、組織を代表するも のではないです。 また、導入・検証には至ってはないです🙏
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例: 対話を通じた推薦 価値あるアイテムの選出 意思決定支援
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例: 対話を通じた推薦 説明性の付与 自然言語を 使った推薦結果の
調整 推薦後の アクション 実行 価値あるアイテムの選出 意思決定支援
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例1: 推薦に対する説明性の付与 推薦システムに対する理解と信頼性を向上させるために、根拠を明確にする
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例2: 自然言語を使った推薦結果の調整 ユーザーのニーズに合わせた情報抽出・条件変更が動的に可能にする
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例3: その他 • 情報が不十分な(コールドスタート)ユーザのデータ拡張 ◦
プロフィールが十分に埋まってないユーザのスキル推定 • 推薦後のアクションを同一インタフェース上で実現 ◦ 応募など心理的ハードルが高い意思決定を支援
© 2023 Wantedly, Inc. 推薦システムにおけるLLMの活用の課題 • 柔軟な推薦には多くのアイテムとの関連度計算が必要 ◦ ただしLLMへの入力データが多いとAPI費用・応答時間が上昇 •
アイテムに対する不適切な説明は厳禁 ◦ この仕事はおすすめしないです、などと LLMが言ってしまうと、 プラットフォームとしての信頼性がなくなる
© 2023 Wantedly, Inc. リスクや費用を回避しつつ柔軟な推薦を行うための初期アプローチ • 予め、他の仕組みでLLMへの入力情報を選定しておく ◦ ex) 3-stageの推薦システム(2-stage
+ LLM) • LLMに解かせるタスクや入出力を限定する ◦ ×: 回答: {LLM_answer} ◦ ◎: あなたにおすすめの募集は ${LLM_suggested_item}で理由は ${LLM_suggested_reason}です。
© 2023 Wantedly, Inc. 初期導入のアプローチ例: 自然言語を使った推薦リストのフィルタリング • ユーザの入力をデータ操作 クエリに変換するだけのタスクを解 かせる
• ユーザの依頼文だけが入力になる ので、高速に応答可能 • LLMの出力を直接使わないので、 リスク軽減
© 2023 Wantedly, Inc. まとめ • LLM × 推薦システムはこれまでにない価値創出ができそう ◦
説明性の付与 ◦ 自然言語での推薦結果の調節 • ただし実運用には様々な壁がある ◦ 柔軟な推薦のために多数のデータを渡したいが困難 ◦ LLMの発言内容の精査 • LLMに与えるタスクの選定や既存システムとの繋ぎこみ方が肝要 • 新しい技術が出続けるので、適宜最適な組み合わせを選ぶ ◦ Agent, Cache, Indexing, Finetune, etc…