Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MLOps勉強会 そのEdgeAIはUXを 改善できるか
Search
oshima
October 14, 2021
Technology
1
1.2k
MLOps勉強会 そのEdgeAIはUXを 改善できるか
第12回 MLOps 勉強会の資料です
oshima
October 14, 2021
Tweet
Share
More Decks by oshima
See All by oshima
CCSE2023 大規模言語モデルのZero-shot Learningを用いたデータ構築と開発への応用
yujioshima
2
420
メルカリのLLMを使ったサービス開発の進め方
yujioshima
0
250
生成系AI/LLM に関する 注目アップデート ~MS Build 2023 編~
yujioshima
5
2.5k
Mercar Gears MercariにおけるEdgeAIについて
yujioshima
0
180
CCSE2020 メルカリにおけるEdgeAIを用いた 新たなUXの開発
yujioshima
0
290
MLSE モバイル向け機械学習モデル管理基盤
yujioshima
2
3.1k
Other Decks in Technology
See All in Technology
o1のAPIで実験してみたが 制限きつすぎて辛かった話
pharma_x_tech
0
210
実務における脅威モデリングを考えよう
nikinusu
0
670
Road to Single Activity
yurihondo
2
240
Segment Anything Model 2
tenten0727
3
710
プロダクトエンジニアを支えるための開発生産性向上施策
tsukakei
0
150
たった1人からはじめる【Agile Community of Practice】~ソース原理とFearless Changeを添えて~
ktc_corporate_it
1
500
再考 アクターモデル/ reconsider actor model
ytake
0
360
不動産売買取引におけるAIの可能性とプロダクトでのAI活用
zabio3
0
270
可視化により内部品質をあげるAIドキュメントリバース/20240910 Hiromitsu Akiba
shift_evolve
0
220
持続可能なソフトウェア開発を支える『GitHub CI/CD実践ガイド』
tmknom
8
1.4k
DevRelの始め方
moongift
PRO
2
390
Mocking in Rust Applications
taiki45
2
410
Featured
See All Featured
The Mythical Team-Month
searls
218
43k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
246
1.3M
A designer walks into a library…
pauljervisheath
201
24k
Build your cross-platform service in a week with App Engine
jlugia
228
18k
The Brand Is Dead. Long Live the Brand.
mthomps
53
38k
Ruby is Unlike a Banana
tanoku
96
11k
Into the Great Unknown - MozCon
thekraken
29
1.4k
Art, The Web, and Tiny UX
lynnandtonic
294
20k
Build The Right Thing And Hit Your Dates
maggiecrowley
30
2.3k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
0
120
Dealing with People You Can't Stand - Big Design 2015
cassininazir
363
22k
Fireside Chat
paigeccino
31
2.9k
Transcript
そのEdgeAIはUXを 改善できるか 株式会社メルカリ 大嶋
whoami 大嶋 悠司 Tech Lead of EdgeAI team in Mercari
• Github: YujiOshima • Twitter: @overs_5121
そのEdgeAIはUXを改善できるか
なぜクライアントサイドにAIを導入するのか {プライバシー / ネットワーク / サーバ料金} を気にせずMLをつけっぱなしにできる 例:スマートスピーカーのwakeワード 「OK Google」「Hey Siri」
TV会議の背景ぼかし
つけっぱなしだと Button Upload より曖昧・楽なユーザアクションを拾うことができる より自然なインタラクション より良いタイミングの情報提示
その機能はどのようにUXを改善するか
かざして売れるかチェック カメラをかざすだけで カテゴリや売られている値段がわかる ネイティブアプリ版,webアプリ版を開発 ネイティブ Web 「撮影」というアクションの排除
効果はありそうか 結果表示 物体検出 写真撮影 カメラ画面 ここでの離脱が 30% 程度で最も多い! EdgeAIしない場合のフロー 次のアイテムの情報を見るにはまた最初から
離脱率や検索されたアイテム数を指標に改善を測れそう!!
かざして売れるかチェックの実装
体験を悪化させないか
EdgeAI導入による体験の悪化 • アプリサイズの増加 • 発熱・電池消費
アプリサイズ アプリサイズの増加はアプリのDL数を低下させる* * https://segment.com/blog/mobile-app-size-effect-on-downloads/ ** https://android-developers.googleblog.com/2021/07/announcing-androids-updateable-fully.html MLモデル TF Liteなどの ライブラリ
対策 • 軽量なモデルの選定,軽量化 • モデルの量子化 • ライブラリビルドのチューニング • TensorFlow Lite for Android**
発熱・電池消費 ML推論によって発熱・電池消費の増加が起こる モデル推論 前処理 後処理 対策 • GPU, ANE*など適切なデバイスの選択 •
負荷の高い処理と低い処理を組み合わせる • 体験を維持しながら処理頻度を落とす** * https://developer.apple.com/jp/machine-learning/core-ml/ ** MediaPipeを使ったARアプリ開発事例
期待する性能を実現できるか
EdgeAIの体験を支えるもの • モデルの精度 • ユーザのデバイス上でのモデルの推論速度 • ユーザのデバイス上でのモデル推論を含む機能全体のパフォーマンス ユーザサイドでパフォーマンスが担保できることが重要
かざして売れるかチェックの場合 • MLモデル単体での推論速度 • MLモデル単体での精度 • Trackingのパフォーマンス • Trackingの精度 を実機で確認したい!
お客さまが使う端末の種類はいっぱいある・・
JetFire 我々のチームで開発・運用するEdgeAI用プラットフォーム
JetFire
モデル単体の検証
モデルを組み込んだロジックの検証
モデルの改善はUXの改善 評価はJetFireで自動化 JetFireで評価された実装であればアプリに組み込める モデル学習 モデル評価 機能実装 機能評価
UIは期待する体験を実現できるか
メルカリステーションにおける先行リリース お客さまアンケートの実施
お客さまの声をもとにUIを改善 改善点 • 提示した情報をすぐ消さない • 加速度情報から検出タイミングの調整 • 検出できないときにガイドを表示 アンケートスコアが改善! Usability
: 4.23 → 4.45 Responsiveness : 4.33 → 4.58
UXは改善できたか
ユーザログ分析 KPIは • 離脱率の低減 • 売れるかチェックで検索されたアイテムの数 Guardrail metricsとして • 全体の出品数
参考:メルカリにおけるA/Bテスト標準化への取り組み
結果 離脱率,検索されたアイテム数 ともに改善! 特にアイテムの数は 8倍近くに! 🎉🎉🎉🎉 「かざす」UIは有効だったと言えそう!
次回作にご期待ください ユーザのログを詳細に追うと • 出品までつながったお客さまがまだ少ない • 再度機能を使ってくれたお客さまが少ない 仮説を立てて改善を繰り返す・・・ 俺たちの戦いはこれからだ!!