Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
メルカリのLLMを使ったサービス開発の進め方
Search
oshima
June 22, 2023
Technology
0
280
メルカリのLLMを使ったサービス開発の進め方
LLM活用の現状と課題 -言語モデルをプロダクトに取り入れる【メルカリ×PKSHA×カラクリ】
https://findy.connpass.com/event/285976/
での発表資料
oshima
June 22, 2023
Tweet
Share
More Decks by oshima
See All by oshima
CCSE2023 大規模言語モデルのZero-shot Learningを用いたデータ構築と開発への応用
yujioshima
2
450
生成系AI/LLM に関する 注目アップデート ~MS Build 2023 編~
yujioshima
5
2.7k
MLOps勉強会 そのEdgeAIはUXを 改善できるか
yujioshima
1
1.3k
Mercar Gears MercariにおけるEdgeAIについて
yujioshima
0
240
CCSE2020 メルカリにおけるEdgeAIを用いた 新たなUXの開発
yujioshima
0
340
MLSE モバイル向け機械学習モデル管理基盤
yujioshima
2
3.2k
Other Decks in Technology
See All in Technology
Autify Company Deck
autifyhq
2
44k
今だから言えるセキュリティLT_Wordpress5.7.2未満を一斉アップデートせよ
cuebic9bic
2
170
CDK Vibe Coding Fes
tomoki10
1
650
公開初日に Gemini CLI を試した話や FFmpeg と組み合わせてみた話など / Gemini CLI 初学者勉強会(#AI道場)
you
PRO
0
1.5k
Transformerを用いたアイテム間の 相互影響を考慮したレコメンドリスト生成
recruitengineers
PRO
2
540
AWS CDK 入門ガイド これだけは知っておきたいヒント集
anank
5
800
【あのMCPって、どんな処理してるの?】 AWS CDKでの開発で便利なAWS MCP Servers特集
yoshimi0227
6
1k
振り返りTransit Gateway ~VPCをいい感じでつなげるために~
masakiokuda
4
220
サービスを止めるな! DDoS攻撃へのスマートな備えと最前線の事例
coconala_engineer
1
200
QAを早期に巻き込む”って どうやるの? モヤモヤから抜け出す実践知
moritamasami
2
130
本当にわかりやすいAIエージェント入門
segavvy
7
4.2k
Microsoft Fabric ガバナンス設計の一歩目を考える
ryomaru0825
1
130
Featured
See All Featured
Site-Speed That Sticks
csswizardry
10
710
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.3k
Optimizing for Happiness
mojombo
379
70k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.5k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Making Projects Easy
brettharned
116
6.3k
Making the Leap to Tech Lead
cromwellryan
134
9.4k
Navigating Team Friction
lara
187
15k
Git: the NoSQL Database
bkeepers
PRO
431
65k
Art, The Web, and Tiny UX
lynnandtonic
300
21k
Transcript
メルカリのLLMを使ったサービ ス開発の進め方 株式会社メルカリ 大嶋
自己紹介 大嶋@メルカリ 2014~2019 NTT研究所 • OSS活動 • ML Ops 2019
~ 株式会社メルカリ • ~2022 EdgeAI チーム テックリード • 生成AI/LLMチーム テックリード 2
開発中の機能:SEO改善 ページのコンテンツを反映したい • 日傘と傘で重複 • ブランド名の書き方 など カテゴリ X ブランド名の組み合わせ
LLMでいい感じのタイトルを生成 3
開発中の機能:商品情報サジェスト 商品に不足している情報がありそうなら提案 例:定価 ルールベースの実装をLLMで推定に 4
LLMは必要か? それって小さめな • 分類モデル • 要約モデル で十分なのでは? 5
LLMは必要か? それって小さめな • 分類モデル • 要約モデル で十分なのでは? Yes だがLLMでやる意義があると思っている 6
なぜLLMを使うのか/使ったのか LLM = Chatbot ではない LLM導入の価値 • PoCコストの劇的な低減 • LLMがないと実現できない体験
えっ!? 7
PoCコストの劇的な低減 LLMは広範なタスクを高い精度でこなせる データ作成 モデル学習 リリース 効果検証 ルールベース・人手で代替 リリース 効果検証 やりたいこと
Feasibility check 検証がでるまでに時間・コストがかかる 精度不足や代替可能性の問題 8
PoCコストの劇的な低減 LLMは広範なタスクを高い精度でこなせる データ作成 モデル学習 リリース 効果検証 LLM + Few shot
で代替 リリース 効果検証 やりたいこと Feasibility check 検証がでるまでに時間・コストがかかる それなりの精度でかなり多くのタスクの PoCが可能 9
LLMでないと実現できない体験 複雑なパイプラインの構築 • LLMによる情報抽出 • Evidenceの検索 • LLMによる生成 いずれも簡単ではない 小規模な機能でコンポーネントの知見を貯める
Build and maintain your company Copilot with Azure ML and GPT-4 10
LLMがないとできない体験のための準備 • どのレイヤ/コンポーネントか意識 • API・モデルの特性の理解 • FineTuningの必要性 The era of
the AI Copilot 11
まとめ • LLM ≠ Chatbot • リリースしないと分からない • リリースしたけど分からなかった 12