Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
メルカリのLLMを使ったサービス開発の進め方
Search
oshima
June 22, 2023
Technology
0
250
メルカリのLLMを使ったサービス開発の進め方
LLM活用の現状と課題 -言語モデルをプロダクトに取り入れる【メルカリ×PKSHA×カラクリ】
https://findy.connpass.com/event/285976/
での発表資料
oshima
June 22, 2023
Tweet
Share
More Decks by oshima
See All by oshima
CCSE2023 大規模言語モデルのZero-shot Learningを用いたデータ構築と開発への応用
yujioshima
2
420
生成系AI/LLM に関する 注目アップデート ~MS Build 2023 編~
yujioshima
5
2.5k
MLOps勉強会 そのEdgeAIはUXを 改善できるか
yujioshima
1
1.2k
Mercar Gears MercariにおけるEdgeAIについて
yujioshima
0
180
CCSE2020 メルカリにおけるEdgeAIを用いた 新たなUXの開発
yujioshima
0
290
MLSE モバイル向け機械学習モデル管理基盤
yujioshima
2
3.1k
Other Decks in Technology
See All in Technology
Jetpack Compose Modifier 徹底解説 / Jetpack Compose Modifier
wiroha
0
200
「認証認可」という体験をデザインする ~Nekko Cloud認証認可基盤計画
logica0419
2
450
watsonx.ai Dojo 環境準備について
oniak3ibm
PRO
0
340
Privacy Sandbox on Android / DroidKaigi 2024
7pairs
1
270
DroidKaigi 2024 たすけて!ViewModel
mhidaka
5
960
たった1人からはじめる【Agile Community of Practice】~ソース原理とFearless Changeを添えて~
ktc_corporate_it
1
500
学術機関におけるID連携とOpenID Connect
fujie
0
280
技術的負債解消の取り組みと専門チームのお話
bengo4com
0
340
Discovering AI Models
picardparis
4
3.9k
再考 アクターモデル/ reconsider actor model
ytake
0
360
LINEヤフーのフロントエンド組織・体制の紹介
lycorp_recruit_jp
1
1.2k
より快適なエラーログ監視を目指して
leveragestech
4
1.5k
Featured
See All Featured
Typedesign – Prime Four
hannesfritz
39
2.3k
5 minutes of I Can Smell Your CMS
philhawksworth
202
19k
Code Review Best Practice
trishagee
62
16k
The Straight Up "How To Draw Better" Workshop
denniskardys
230
130k
The Brand Is Dead. Long Live the Brand.
mthomps
53
38k
Web Components: a chance to create the future
zenorocha
309
42k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
32k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
278
13k
Designing for humans not robots
tammielis
248
25k
Documentation Writing (for coders)
carmenintech
65
4.3k
Making the Leap to Tech Lead
cromwellryan
128
8.8k
Principles of Awesome APIs and How to Build Them.
keavy
125
16k
Transcript
メルカリのLLMを使ったサービ ス開発の進め方 株式会社メルカリ 大嶋
自己紹介 大嶋@メルカリ 2014~2019 NTT研究所 • OSS活動 • ML Ops 2019
~ 株式会社メルカリ • ~2022 EdgeAI チーム テックリード • 生成AI/LLMチーム テックリード 2
開発中の機能:SEO改善 ページのコンテンツを反映したい • 日傘と傘で重複 • ブランド名の書き方 など カテゴリ X ブランド名の組み合わせ
LLMでいい感じのタイトルを生成 3
開発中の機能:商品情報サジェスト 商品に不足している情報がありそうなら提案 例:定価 ルールベースの実装をLLMで推定に 4
LLMは必要か? それって小さめな • 分類モデル • 要約モデル で十分なのでは? 5
LLMは必要か? それって小さめな • 分類モデル • 要約モデル で十分なのでは? Yes だがLLMでやる意義があると思っている 6
なぜLLMを使うのか/使ったのか LLM = Chatbot ではない LLM導入の価値 • PoCコストの劇的な低減 • LLMがないと実現できない体験
えっ!? 7
PoCコストの劇的な低減 LLMは広範なタスクを高い精度でこなせる データ作成 モデル学習 リリース 効果検証 ルールベース・人手で代替 リリース 効果検証 やりたいこと
Feasibility check 検証がでるまでに時間・コストがかかる 精度不足や代替可能性の問題 8
PoCコストの劇的な低減 LLMは広範なタスクを高い精度でこなせる データ作成 モデル学習 リリース 効果検証 LLM + Few shot
で代替 リリース 効果検証 やりたいこと Feasibility check 検証がでるまでに時間・コストがかかる それなりの精度でかなり多くのタスクの PoCが可能 9
LLMでないと実現できない体験 複雑なパイプラインの構築 • LLMによる情報抽出 • Evidenceの検索 • LLMによる生成 いずれも簡単ではない 小規模な機能でコンポーネントの知見を貯める
Build and maintain your company Copilot with Azure ML and GPT-4 10
LLMがないとできない体験のための準備 • どのレイヤ/コンポーネントか意識 • API・モデルの特性の理解 • FineTuningの必要性 The era of
the AI Copilot 11
まとめ • LLM ≠ Chatbot • リリースしないと分からない • リリースしたけど分からなかった 12