Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
メルカリのLLMを使ったサービス開発の進め方
Search
oshima
June 22, 2023
Technology
0
250
メルカリのLLMを使ったサービス開発の進め方
LLM活用の現状と課題 -言語モデルをプロダクトに取り入れる【メルカリ×PKSHA×カラクリ】
https://findy.connpass.com/event/285976/
での発表資料
oshima
June 22, 2023
Tweet
Share
More Decks by oshima
See All by oshima
CCSE2023 大規模言語モデルのZero-shot Learningを用いたデータ構築と開発への応用
yujioshima
2
420
生成系AI/LLM に関する 注目アップデート ~MS Build 2023 編~
yujioshima
5
2.5k
MLOps勉強会 そのEdgeAIはUXを 改善できるか
yujioshima
1
1.2k
Mercar Gears MercariにおけるEdgeAIについて
yujioshima
0
180
CCSE2020 メルカリにおけるEdgeAIを用いた 新たなUXの開発
yujioshima
0
300
MLSE モバイル向け機械学習モデル管理基盤
yujioshima
2
3.1k
Other Decks in Technology
See All in Technology
2024-10-30-reInventStandby_StudyGroup_Intro
shinichirokawano
1
350
生成AIとAWS CDKで実現! 自社ブログレビューの効率化
ymae
2
200
バイセルにおけるAI活用の取り組みについて紹介します/Generative AI at BuySell Technologies
kyuns
1
210
サイバーエージェントにおける生成AIのリスキリング施策の取り組み / cyber-ai-reskilling
cyberagentdevelopers
PRO
1
140
現実のRuby/Railsアップグレード
takeyuweb
3
4.8k
Kubernetes Summit 2024 Keynote:104 在 GitOps 大規模實踐中的甜蜜與苦澀
yaosiang
0
280
Sidekiq vs Solid Queue
willnet
11
7.1k
とあるユーザー企業におけるリスクベースで考えるセキュリティ業務のお話し
4su_para
2
280
ガチ勢によるPipeCD運用大全〜滑らかなCI/CDを添えて〜 / ai-pipecd-encyclopedia
cyberagentdevelopers
PRO
2
160
Hotwire光の道とStimulus
nay3
5
2.3k
Trusted Types API と Vue.js
lycorptech_jp
PRO
1
310
Why and Why not of enabling swap in Kubernetes
hwchiu
0
480
Featured
See All Featured
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
26
2k
YesSQL, Process and Tooling at Scale
rocio
167
14k
We Have a Design System, Now What?
morganepeng
50
7.2k
For a Future-Friendly Web
brad_frost
174
9.4k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
13
1.9k
The Language of Interfaces
destraynor
154
24k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
355
29k
Mobile First: as difficult as doing things right
swwweet
222
8.9k
Why You Should Never Use an ORM
jnunemaker
PRO
53
9k
Designing on Purpose - Digital PM Summit 2013
jponch
115
6.9k
RailsConf 2023
tenderlove
29
870
Build The Right Thing And Hit Your Dates
maggiecrowley
32
2.4k
Transcript
メルカリのLLMを使ったサービ ス開発の進め方 株式会社メルカリ 大嶋
自己紹介 大嶋@メルカリ 2014~2019 NTT研究所 • OSS活動 • ML Ops 2019
~ 株式会社メルカリ • ~2022 EdgeAI チーム テックリード • 生成AI/LLMチーム テックリード 2
開発中の機能:SEO改善 ページのコンテンツを反映したい • 日傘と傘で重複 • ブランド名の書き方 など カテゴリ X ブランド名の組み合わせ
LLMでいい感じのタイトルを生成 3
開発中の機能:商品情報サジェスト 商品に不足している情報がありそうなら提案 例:定価 ルールベースの実装をLLMで推定に 4
LLMは必要か? それって小さめな • 分類モデル • 要約モデル で十分なのでは? 5
LLMは必要か? それって小さめな • 分類モデル • 要約モデル で十分なのでは? Yes だがLLMでやる意義があると思っている 6
なぜLLMを使うのか/使ったのか LLM = Chatbot ではない LLM導入の価値 • PoCコストの劇的な低減 • LLMがないと実現できない体験
えっ!? 7
PoCコストの劇的な低減 LLMは広範なタスクを高い精度でこなせる データ作成 モデル学習 リリース 効果検証 ルールベース・人手で代替 リリース 効果検証 やりたいこと
Feasibility check 検証がでるまでに時間・コストがかかる 精度不足や代替可能性の問題 8
PoCコストの劇的な低減 LLMは広範なタスクを高い精度でこなせる データ作成 モデル学習 リリース 効果検証 LLM + Few shot
で代替 リリース 効果検証 やりたいこと Feasibility check 検証がでるまでに時間・コストがかかる それなりの精度でかなり多くのタスクの PoCが可能 9
LLMでないと実現できない体験 複雑なパイプラインの構築 • LLMによる情報抽出 • Evidenceの検索 • LLMによる生成 いずれも簡単ではない 小規模な機能でコンポーネントの知見を貯める
Build and maintain your company Copilot with Azure ML and GPT-4 10
LLMがないとできない体験のための準備 • どのレイヤ/コンポーネントか意識 • API・モデルの特性の理解 • FineTuningの必要性 The era of
the AI Copilot 11
まとめ • LLM ≠ Chatbot • リリースしないと分からない • リリースしたけど分からなかった 12