Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LLMを活用した推薦システムの改善: 課題と初期導入のアプローチ
Search
Higuchi kokoro
April 25, 2023
Programming
4
4.3k
LLMを活用した推薦システムの改善: 課題と初期導入のアプローチ
LLM(GPT, PaLM等) with MLOps LT大会!!!
登壇資料
https://mlops.connpass.com/event/279156/
Higuchi kokoro
April 25, 2023
Tweet
Share
More Decks by Higuchi kokoro
See All by Higuchi kokoro
PMになって痛感した未知の未知とその対策
zerebom
1
360
Pythonによるネットワーク分析の基礎とコミュニティサクセスへの応用
zerebom
4
1.2k
Polarsの成長: v0.14からv1.0までの変遷と今後の展望
zerebom
1
900
ダッシュボードを使ってもらうには、 現場へのヒアリングが重要だと 改めて気づいた話
zerebom
4
2k
非同期処理でLLMにもっと働いてもらおう
zerebom
2
1.9k
使い回しやすい 2-stage recommender systemの デザインパターンを考えて実装した話
zerebom
3
1.9k
WantedlyでFeature Storeを導入する際に考えたこと
zerebom
4
5.6k
論文紹介: Cross-Market Product Recommendation
zerebom
1
200
Pythonでのパッケージング: エコシステムの理解と現場での活用 PyCon APAC2023
zerebom
2
2.3k
Other Decks in Programming
See All in Programming
WordPress Playground for Developers
iambherulal
0
120
Devinのメモリ活用の学びを自社サービスにどう組み込むか?
itarutomy
0
1.7k
php-fpm がリクエスト処理する仕組みを追う / Tracing-How-php-fpm-Handles-Requests
shin1x1
5
820
なぜselectはselectではないのか
taiyow
2
310
ベクトル検索システムの気持ち
monochromegane
30
8.9k
AI Agentを利用したAndroid開発について
yuchan2215
0
210
아직도 SOLID 를 '글'로만 알고 계신가요?
sh1mj1
0
360
体得しよう!RSA暗号の原理と解読
laysakura
3
530
Devin入門と最近のアップデートから見るDevinの進化 / Introduction to Devin and the Evolution of Devin as Seen in Recent Update
rkaga
7
3.7k
複数ドメインに散らばってしまった画像…! 運用中のPHPアプリに後からCDNを導入する…!
suguruooki
0
430
AHC 044 混合整数計画ソルバー解法
kiri8128
0
300
GDG Super.init(version=6) - From Where to Wear : 모바일 개발자가 워치에서 발견한 인사이트
haeti2
0
560
Featured
See All Featured
Intergalactic Javascript Robots from Outer Space
tanoku
270
27k
Producing Creativity
orderedlist
PRO
344
40k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Mobile First: as difficult as doing things right
swwweet
223
9.5k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
16
1.1k
How to Ace a Technical Interview
jacobian
276
23k
KATA
mclloyd
29
14k
How to Think Like a Performance Engineer
csswizardry
22
1.5k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
7
620
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
7.1k
Raft: Consensus for Rubyists
vanstee
137
6.8k
Transcript
© 2023 Wantedly, Inc. LLMを活用した推薦システムの改善: 課題と初期導入のアプローチ LLM(GPT, PaLM等) with MLOps
LT大会!!! Apr. 25 2023 - Kokoro Higuchi(@zerebom_3)
© 2023 Wantedly, Inc. 自己紹介 • 樋口 心(Higuchi Kokoro) •
Data Scientist @Wantedly ◦ 推薦システムの設計・実装・評価 • 趣味: 🎾🏂🍻🎮 + LLMいじり • Twitter: @zerebom_3 • GitHub: @zerebom
© 2023 Wantedly, Inc. 今日話すこと • 推薦システムとは? • LLMを活用した推薦システムの改善例 •
導入に対する課題 • 初期導入のアプローチ
© 2023 Wantedly, Inc. 推薦システムとは? 複数の候補から価値のあるものを 選び出し、意思決定を支援する システム ※ ※引用元:
推薦システム実践入門 ―仕事で使える導入ガイド https://www.oreilly.co.jp/books/9784873119663/
© 2023 Wantedly, Inc. 推薦システムとは? 10数万の募集から、 複数の候補から価値の あるものを選び出す
© 2023 Wantedly, Inc. 推薦システムとは? 意思決定を支援できるように 情報を適切に説明・提示する
© 2023 Wantedly, Inc. LLMと推薦システム 価値あるものを選び出すこと, 意思決定の支援どちらでも、 LLMの活用でこれまでにない価値創出ができるのでは? ex •
対話を通じたインタラクティブな推薦結果の調節
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例 • より具体的にイメージするために、仕事探しの 推薦システムにおいてLLM活用アイディアを考えてみた •
紹介する例は個人の構想ベースのものであり、組織を代表するも のではないです。 また、導入・検証には至ってはないです🙏
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例: 対話を通じた推薦 価値あるアイテムの選出 意思決定支援
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例: 対話を通じた推薦 説明性の付与 自然言語を 使った推薦結果の
調整 推薦後の アクション 実行 価値あるアイテムの選出 意思決定支援
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例1: 推薦に対する説明性の付与 推薦システムに対する理解と信頼性を向上させるために、根拠を明確にする
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例2: 自然言語を使った推薦結果の調整 ユーザーのニーズに合わせた情報抽出・条件変更が動的に可能にする
© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例3: その他 • 情報が不十分な(コールドスタート)ユーザのデータ拡張 ◦
プロフィールが十分に埋まってないユーザのスキル推定 • 推薦後のアクションを同一インタフェース上で実現 ◦ 応募など心理的ハードルが高い意思決定を支援
© 2023 Wantedly, Inc. 推薦システムにおけるLLMの活用の課題 • 柔軟な推薦には多くのアイテムとの関連度計算が必要 ◦ ただしLLMへの入力データが多いとAPI費用・応答時間が上昇 •
アイテムに対する不適切な説明は厳禁 ◦ この仕事はおすすめしないです、などと LLMが言ってしまうと、 プラットフォームとしての信頼性がなくなる
© 2023 Wantedly, Inc. リスクや費用を回避しつつ柔軟な推薦を行うための初期アプローチ • 予め、他の仕組みでLLMへの入力情報を選定しておく ◦ ex) 3-stageの推薦システム(2-stage
+ LLM) • LLMに解かせるタスクや入出力を限定する ◦ ×: 回答: {LLM_answer} ◦ ◎: あなたにおすすめの募集は ${LLM_suggested_item}で理由は ${LLM_suggested_reason}です。
© 2023 Wantedly, Inc. 初期導入のアプローチ例: 自然言語を使った推薦リストのフィルタリング • ユーザの入力をデータ操作 クエリに変換するだけのタスクを解 かせる
• ユーザの依頼文だけが入力になる ので、高速に応答可能 • LLMの出力を直接使わないので、 リスク軽減
© 2023 Wantedly, Inc. まとめ • LLM × 推薦システムはこれまでにない価値創出ができそう ◦
説明性の付与 ◦ 自然言語での推薦結果の調節 • ただし実運用には様々な壁がある ◦ 柔軟な推薦のために多数のデータを渡したいが困難 ◦ LLMの発言内容の精査 • LLMに与えるタスクの選定や既存システムとの繋ぎこみ方が肝要 • 新しい技術が出続けるので、適宜最適な組み合わせを選ぶ ◦ Agent, Cache, Indexing, Finetune, etc…