MLOps勉強会 そのEdgeAIはUXを 改善できるか

第12回 MLOps 勉強会の資料です

Transcript

1. そのEdgeAIはUXを 改善できるか 株式会社メルカリ　大嶋
2. whoami 大嶋 悠司 Tech Lead of EdgeAI team in Mercari • Github: YujiOshima • Twitter: @overs_5121
3. そのEdgeAIはUXを改善できるか
4. なぜクライアントサイドにAIを導入するのか ｛プライバシー / ネットワーク / サーバ料金｝ を気にせずMLをつけっぱなしにできる 例：スマートスピーカーのwakeワード　「OK Google」「Hey Siri」 TV会議の背景ぼかし
5. つけっぱなしだと Button Upload より曖昧・楽なユーザアクションを拾うことができる より自然なインタラクション より良いタイミングの情報提示
6. その機能はどのようにUXを改善するか
7. かざして売れるかチェック カメラをかざすだけで カテゴリや売られている値段がわかる ネイティブアプリ版，webアプリ版を開発 ネイティブ Web 「撮影」というアクションの排除
8. 効果はありそうか 結果表示 物体検出 写真撮影 カメラ画面 ここでの離脱が 30% 程度で最も多い！ EdgeAIしない場合のフロー 次のアイテムの情報を見るにはまた最初から 離脱率や検索されたアイテム数を指標に改善を測れそう！！
9. かざして売れるかチェックの実装
10. 体験を悪化させないか
11. EdgeAI導入による体験の悪化 • アプリサイズの増加 • 発熱・電池消費
12. アプリサイズ アプリサイズの増加はアプリのDL数を低下させる* * https://segment.com/blog/mobile-app-size-effect-on-downloads/ ** https://android-developers.googleblog.com/2021/07/announcing-androids-updateable-fully.html MLモデル TF Liteなどの ライブラリ 対策 • 軽量なモデルの選定，軽量化 • モデルの量子化 • ライブラリビルドのチューニング • TensorFlow Lite for Android**
13. 発熱・電池消費 ML推論によって発熱・電池消費の増加が起こる モデル推論 前処理 後処理 対策 • GPU, ANE*など適切なデバイスの選択 • 負荷の高い処理と低い処理を組み合わせる • 体験を維持しながら処理頻度を落とす** * https://developer.apple.com/jp/machine-learning/core-ml/ ** MediaPipeを使ったARアプリ開発事例
14. 期待する性能を実現できるか
15. EdgeAIの体験を支えるもの • モデルの精度 • ユーザのデバイス上でのモデルの推論速度 • ユーザのデバイス上でのモデル推論を含む機能全体のパフォーマンス ユーザサイドでパフォーマンスが担保できることが重要
16. かざして売れるかチェックの場合 • MLモデル単体での推論速度 • MLモデル単体での精度 • Trackingのパフォーマンス • Trackingの精度 を実機で確認したい！ お客さまが使う端末の種類はいっぱいある・・
17. JetFire 我々のチームで開発・運用するEdgeAI用プラットフォーム
18. JetFire
19. モデル単体の検証
20. モデルを組み込んだロジックの検証
21. モデルの改善はUXの改善 評価はJetFireで自動化 JetFireで評価された実装であればアプリに組み込める モデル学習 モデル評価 機能実装 機能評価
22. UIは期待する体験を実現できるか
23. メルカリステーションにおける先行リリース お客さまアンケートの実施
24. お客さまの声をもとにUIを改善 改善点 • 提示した情報をすぐ消さない • 加速度情報から検出タイミングの調整 • 検出できないときにガイドを表示 アンケートスコアが改善！ Usability : 4.23 → 4.45 Responsiveness : 4.33 → 4.58
25. UXは改善できたか
26. ユーザログ分析 KPIは • 離脱率の低減 • 売れるかチェックで検索されたアイテムの数 Guardrail metricsとして • 全体の出品数 参考：メルカリにおけるA/Bテスト標準化への取り組み
27. 結果 離脱率，検索されたアイテム数　ともに改善！ 特にアイテムの数は 8倍近くに！　🎉🎉🎉🎉 「かざす」UIは有効だったと言えそう！
28. 次回作にご期待ください ユーザのログを詳細に追うと • 出品までつながったお客さまがまだ少ない • 再度機能を使ってくれたお客さまが少ない 仮説を立てて改善を繰り返す・・・ 俺たちの戦いはこれからだ！！