Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
CCSE2020 メルカリにおけるEdgeAIを用いた 新たなUXの開発
Search
oshima
December 11, 2020
Technology
0
340
CCSE2020 メルカリにおけるEdgeAIを用いた 新たなUXの開発
oshima
December 11, 2020
Tweet
Share
More Decks by oshima
See All by oshima
CCSE2023 大規模言語モデルのZero-shot Learningを用いたデータ構築と開発への応用
yujioshima
2
450
メルカリのLLMを使ったサービス開発の進め方
yujioshima
0
280
生成系AI/LLM に関する 注目アップデート ~MS Build 2023 編~
yujioshima
5
2.7k
MLOps勉強会 そのEdgeAIはUXを 改善できるか
yujioshima
1
1.3k
Mercar Gears MercariにおけるEdgeAIについて
yujioshima
0
250
MLSE モバイル向け機械学習モデル管理基盤
yujioshima
2
3.2k
Other Decks in Technology
See All in Technology
金融サービスにおける高速な価値提供とAIの役割 #BetAIDay
layerx
PRO
0
220
Kiroから考える AIコーディングツールの潮流
s4yuba
2
560
【CEDEC2025】『Shadowverse: Worlds Beyond』二度目のDCG開発でゲームをリデザインする~遊びやすさと競技性の両立~
cygames
PRO
1
170
手動からの解放!!Strands Agents で実現する総合テスト自動化
ideaws
3
420
会社もクラウドも違うけど 通じたコスト削減テクニック/Cost optimization strategies effective regardless of company or cloud provider
aeonpeople
2
410
公開初日に個人環境で試した Gemini CLI 体験記など / Gemini CLI実験レポート
you
PRO
3
1.2k
Wasmで社内ツールを作って配布しよう
askua
0
170
風が吹けばWHOISが使えなくなる~なぜWHOIS・RDAPはサーバー証明書のメール認証に使えなくなったのか~
orangemorishita
10
3.1k
From Live Coding to Vibe Coding with Firebase Studio
firebasethailand
1
340
GMOペパボのデータ基盤とデータ活用の現在地 / Current State of GMO Pepabo's Data Infrastructure and Data Utilization
zaimy
2
130
「AI駆動開発」のボトルネック『言語化』を効率化するには
taniiicom
1
230
データエンジニアがクラシルでやりたいことの現在地
gappy50
3
780
Featured
See All Featured
Bash Introduction
62gerente
613
210k
We Have a Design System, Now What?
morganepeng
53
7.7k
Building Applications with DynamoDB
mza
95
6.5k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
530
Six Lessons from altMBA
skipperchong
28
3.9k
Documentation Writing (for coders)
carmenintech
72
4.9k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
For a Future-Friendly Web
brad_frost
179
9.8k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
Transcript
メルカリにおけるEdgeAIを用いた 新たなUXの開発 CCSE2020 大嶋悠司
自己紹介 大嶋 悠司 2019/12 ~ Tech Lead of EdgeAI team
in Mercari • EgeAI機能開発/研究・モデル作成・プラットフォーム構築 • OSS活動: ◦ Kubeflow katib (owner) ◦ Docker infrakit (maintainer) • Github: YujiOshima • Twitter: @overs_5121
発表の流れ • EdgeAIとは・EdgeAIチームの取り組み • 機能開発(要件定義) • 機能開発(POC開発) • 機能開発(技術課題洗い出し)
EdgeAIとは MLモデルの推論を端末上で行う 1 sec 〜 〜 50ms インタラクティブなUXを実現
EdgeAIチームの取り組み 画像分類: アイテムを撮影すると即座にカテゴリを推定 MLの推論を端末上で行うことでインタラクティブなUXを実現 リリース済み
EdgeAIチームの取り組み 自然言語(IME): 入力に基づき動的に表示を調整 トライアル中 MLの推論を端末上で行うことでインタラクティブなUXを実現
EdgeAIチームの取り組み 物体検出・追跡: カメラに映る物体をリアルタイムに追跡 この機能の開発を例に 開発中 MLの推論を端末上で行うことでインタラクティブなUXを実現
開発の流れ 要件定義 社内ユーザテスト POC作成 技術課題洗い出し
要件定義
10 売れるかチェック アイテムを撮影すると • 売れている価格平均 • 売り切れ率 がわかる UXを改善し利用率を上げたい
11 利用率を向上のために 結果表示 タップ 領域検出 類似商品検索 写真撮影 カメラ画面 売れるかチェックのステップを分解
12 ボトルネックの調査 結果表示 タップ 領域検出 類似商品検索 写真撮影 カメラ画面 ここでやめてしまうお客様が多い 写真の撮影は想定以上にハードルが高いのでは?
写真撮影のステップをなくせないか
13 ボトルネックの調査 結果表示 タップ 領域検出 類似商品検索 写真撮影 カメラ画面
14 ボトルネックの調査 結果表示 タップ 領域検出 類似商品検索 写真撮影 カメラ画面
15 領域検出を端末上で行う 結果表示 タップ 類似商品検索 領域検出 カメラ画面
16 POC作成+ユーザテスト
17 領域検出を端末上で行う
18 • 物体検出の精度は十分 • タップすればいいことが伝わりにくい 社内ユーザテスト 物体検出とともに売れやすい価格などの 情報提示もリアルタイムに行いたい
19 領域検出を端末上で行う 結果表示 タップ 類似商品検索 領域検出 カメラ画面
20 情報提示までリアルタイムに 結果表示 類似商品検索 領域検出 カメラ画面
21 情報提示までリアルタイムに 結果表示 類似商品検索 領域検出 カメラ画面 画像転送に時間が かかる
22 特徴量抽出 情報提示までリアルタイムに 結果表示 類似商品検索 領域検出 カメラ画面 011010 010101 011...
23 特徴量抽出 情報提示までリアルタイムに 結果表示 類似商品検索 領域検出 カメラ画面 011010 010101 011...
転送量を大幅に軽減
24
25 技術課題洗い出し
26 リリースのために解決すべき課題 • モデルサイズと精度のトレードオフ • 端末の熱・電池消費の問題
27 モデルサイズと精度のバランス アーキテクチャ Precision/mAP Recall/AR@100 モデルサイズ SSD-mobilenetv2 0.56 0.66 18MB
SSDLite-mobilenetv2 0.56 0.67 12MB SSDLite-mobilenetv3-small 0.38 0.5 3.7MB SSDLite-mobiledet 0.59 0.71 13.8MB モデルの精度だけを追求することはできない 実行デバイスで推論速度も違う
28 Edgeモデル検証用プラットフォーム モデル学習 参考:MLSE モバイル向け機械学習モデル管理基盤
29 Edgeモデル検証用プラットフォーム モデル学習 参考:MLSE モバイル向け機械学習モデル管理基盤 精度・モデルサイズや 実デバイス上の推論速度を可視化
30 デバイスごとのベンチマーク iPhone 11 iPhone 8 CoreML GPU CPU XNNPack
31 端末の熱・電池消費の問題 30 FPS ・・・
32 端末の熱・電池消費の問題 参考: Mediapipeを活用したストリーミング推論の事例紹介-カメラをかざして家の中から売れるアイテムを探そう 端末上での処理をパイプラインで表現 • 並列化 • 重い処理の計算頻度を下げる
33 端末の熱・電池消費の問題
34 まとめ • どこまでを端末上で行うか,どれくらいの精度が必要か ◦ ユーザテストとPOCを繰り返す • 端末上での処理能力や熱の問題 ◦ MLの精度の追求は難しい
◦ サイズ検証や実機ベンチマークを自動化 ◦ UXを損なわないレベルで計算コストを下げるチューニング 課題 • リリース後のログの設計 • モデルの更新基盤