Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
メルカリのLLMを使ったサービス開発の進め方
Search
oshima
June 22, 2023
Technology
0
280
メルカリのLLMを使ったサービス開発の進め方
LLM活用の現状と課題 -言語モデルをプロダクトに取り入れる【メルカリ×PKSHA×カラクリ】
https://findy.connpass.com/event/285976/
での発表資料
oshima
June 22, 2023
Tweet
Share
More Decks by oshima
See All by oshima
CCSE2023 大規模言語モデルのZero-shot Learningを用いたデータ構築と開発への応用
yujioshima
2
450
生成系AI/LLM に関する 注目アップデート ~MS Build 2023 編~
yujioshima
5
2.6k
MLOps勉強会 そのEdgeAIはUXを 改善できるか
yujioshima
1
1.3k
Mercar Gears MercariにおけるEdgeAIについて
yujioshima
0
240
CCSE2020 メルカリにおけるEdgeAIを用いた 新たなUXの開発
yujioshima
0
330
MLSE モバイル向け機械学習モデル管理基盤
yujioshima
2
3.2k
Other Decks in Technology
See All in Technology
Oracle Cloud Infrastructure:2025年6月度サービス・アップデート
oracle4engineer
PRO
2
240
【TiDB GAME DAY 2025】Shadowverse: Worlds Beyond にみる TiDB 活用術
cygames
0
1.1k
低レイヤを知りたいPHPerのためのCコンパイラ作成入門 完全版 / Building a C Compiler for PHPers Who Want to Dive into Low-Level Programming - Expanded
tomzoh
4
3.2k
25分で解説する「最小権限の原則」を実現するための AWS「ポリシー」大全 / 20250625-aws-summit-aws-policy
opelab
9
1.1k
SalesforceArchitectGroupOsaka#20_CNX'25_Report
atomica7sei
0
170
“社内”だけで完結していた私が、AWS Community Builder になるまで
nagisa53
1
390
Clineを含めたAIエージェントを 大規模組織に導入し、投資対効果を考える / Introducing AI agents into your organization
i35_267
4
1.6k
20250625 Snowflake Summit 2025活用事例 レポート / Nowcast Snowflake Summit 2025 Case Study Report
kkuv
1
310
PHP開発者のためのSOLID原則再入門 #phpcon / PHP Conference Japan 2025
shogogg
4
730
ひとり情シスなCTOがLLMと始めるオペレーション最適化 / CTO's LLM-Powered Ops
yamitzky
0
430
AWS Summit Japan 2025 Community Stage - App workflow automation by AWS Step Functions
matsuihidetoshi
1
260
Wasm元年
askua
0
140
Featured
See All Featured
Practical Orchestrator
shlominoach
188
11k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
53k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
The Straight Up "How To Draw Better" Workshop
denniskardys
234
140k
Become a Pro
speakerdeck
PRO
28
5.4k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.6k
Automating Front-end Workflow
addyosmani
1370
200k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
124
52k
Facilitating Awesome Meetings
lara
54
6.4k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.3k
Visualization
eitanlees
146
16k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.6k
Transcript
メルカリのLLMを使ったサービ ス開発の進め方 株式会社メルカリ 大嶋
自己紹介 大嶋@メルカリ 2014~2019 NTT研究所 • OSS活動 • ML Ops 2019
~ 株式会社メルカリ • ~2022 EdgeAI チーム テックリード • 生成AI/LLMチーム テックリード 2
開発中の機能:SEO改善 ページのコンテンツを反映したい • 日傘と傘で重複 • ブランド名の書き方 など カテゴリ X ブランド名の組み合わせ
LLMでいい感じのタイトルを生成 3
開発中の機能:商品情報サジェスト 商品に不足している情報がありそうなら提案 例:定価 ルールベースの実装をLLMで推定に 4
LLMは必要か? それって小さめな • 分類モデル • 要約モデル で十分なのでは? 5
LLMは必要か? それって小さめな • 分類モデル • 要約モデル で十分なのでは? Yes だがLLMでやる意義があると思っている 6
なぜLLMを使うのか/使ったのか LLM = Chatbot ではない LLM導入の価値 • PoCコストの劇的な低減 • LLMがないと実現できない体験
えっ!? 7
PoCコストの劇的な低減 LLMは広範なタスクを高い精度でこなせる データ作成 モデル学習 リリース 効果検証 ルールベース・人手で代替 リリース 効果検証 やりたいこと
Feasibility check 検証がでるまでに時間・コストがかかる 精度不足や代替可能性の問題 8
PoCコストの劇的な低減 LLMは広範なタスクを高い精度でこなせる データ作成 モデル学習 リリース 効果検証 LLM + Few shot
で代替 リリース 効果検証 やりたいこと Feasibility check 検証がでるまでに時間・コストがかかる それなりの精度でかなり多くのタスクの PoCが可能 9
LLMでないと実現できない体験 複雑なパイプラインの構築 • LLMによる情報抽出 • Evidenceの検索 • LLMによる生成 いずれも簡単ではない 小規模な機能でコンポーネントの知見を貯める
Build and maintain your company Copilot with Azure ML and GPT-4 10
LLMがないとできない体験のための準備 • どのレイヤ/コンポーネントか意識 • API・モデルの特性の理解 • FineTuningの必要性 The era of
the AI Copilot 11
まとめ • LLM ≠ Chatbot • リリースしないと分からない • リリースしたけど分からなかった 12