Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
モバイルアプリで機械学習入門/introduction-to-machine-learning...
Search
marchin
December 09, 2021
Programming
0
410
モバイルアプリで機械学習入門/introduction-to-machine-learning-in-mobile-app
marchin
December 09, 2021
Tweet
Share
More Decks by marchin
See All by marchin
ブラックフライデーで購入したPixel9で、Gemini Nanoを動かしてみた
marchin1989
1
580
Amazon Athenaで気軽に始める データ分析/athena-data-analytics
marchin1989
0
500
WebAPI開発のためのOpenAPI入門/entry-open-api
marchin1989
1
1.2k
AWS Glueではじめるデータレイク
marchin1989
0
560
やさしく入門するOAuth2.0/easy-entry-oauth
marchin1989
7
1.3k
1時間半で克服するJavaScriptの非同期処理/async_javascript_kokufuku
marchin1989
2
1.3k
自動テストでモックするって、なにそれ?おいしいの?/what_is_mocking
marchin1989
1
1k
たぶんもう怖くないGit/maybe-not-afraid-of-git-anymore
marchin1989
2
2.1k
Other Decks in Programming
See All in Programming
命名をリントする
chiroruxx
1
540
為你自己學 Python
eddie
0
490
Findy Team+ Awardを受賞したかった!ベストプラクティス応募内容をふりかえり、開発生産性向上もふりかえる / Findy Team Plus Award BestPractice and DPE Retrospective 2024
honyanya
0
120
快速入門可觀測性
blueswen
0
470
Beyond ORM
77web
11
1.5k
Fibonacci Function Gallery - Part 2
philipschwarz
PRO
0
200
アクターシステムに頼らずEvent Sourcingする方法について
j5ik2o
6
650
Amazon S3 NYJavaSIG 2024-12-12
sullis
0
130
PHPカンファレンス 2024|共創を加速するための若手の技術挑戦
weddingpark
0
110
良いユニットテストを書こう
mototakatsu
11
3.5k
20年もののレガシープロダクトに 0からPHPStanを入れるまで / phpcon2024
hirobe1999
0
960
Androidアプリのモジュール分割における:x:commonを考える
okuzawats
1
260
Featured
See All Featured
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Build The Right Thing And Hit Your Dates
maggiecrowley
33
2.5k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
1
150
The Cost Of JavaScript in 2023
addyosmani
46
7.1k
A Tale of Four Properties
chriscoyier
157
23k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
28
2.2k
RailsConf 2023
tenderlove
29
960
Embracing the Ebb and Flow
colly
84
4.5k
Measuring & Analyzing Core Web Vitals
bluesmoon
5
190
KATA
mclloyd
29
14k
No one is an island. Learnings from fostering a developers community.
thoeni
19
3.1k
Reflections from 52 weeks, 52 projects
jeffersonlam
348
20k
Transcript
モバイルアプリで機械学習入門 ML Kitを使ったカメラアプリ実装
自己紹介 - 名前: 阿部 - 仕事: 主にAndroidエンジニア - 最近はサーバサイド Kotlinの仕事も始めました
- 趣味 - コーヒー、ビール、アニメ、ゲーム、読書、 etc... - Twitter: @marchin_1989
アジェンダ - on-device machine learning とは - MLKitの紹介 - MLKit
Face Detectionの機能の説明とデモンストレーション
on-device machine learning(on-device ML)とは - サーバ側ではなく、モバイルといったクライアントサイドで機械学習を行うこと
- 要件によるが以下のようなことを検討して決める。 クライアント(on-device)、サーバ、どちらでMLするか クライアント (on-device ML) リアルタイムに処理したい (ネットワーク通信の遅延がない ) データをサーバにあげたくない
ネットワークに繋げられない サーバ マシンパワーが必要 常に最新のモデルを使う必要がある 学習済みモデルを守りたい
on-device MLの例(スマホアプリ) - Google翻訳 - YouTube(AR Beauty Try-On) 出典: ITmedia
NEWS https://www.itmedia.co.jp/news/articles/1906/20/news069.html 出典: Google Play https://play.google.com/store/apps/details?id=com.google.android.apps.translate
on-device MLの機能を実装するためのフレームワーク - モバイル端末上で推論するためのフレー ムワーク。 - tensor flowで作ったモデルをtensor flow liteのモデルに変換できる
- Android, iOS, IoTデバイスで利用可能 - TensorFLow hubに学習済みのモデルが 提供されていたりする - よくある機械学習のユースケースと学習済み モデルをラップして、使いやすくしたもの。 - 機能によってはカスタムの TensorFlow Lite のモデルが使える。 - Android, iOSで利用可能
on-device MLをスクラッチで作成すると... 出典: Google I/O 2021 TensorFlowセッション ML Kit: Turnkey
APIs to use on-device ML in mobile apps | Session https://www.youtube.com/watch?v=CQ8iEqblWtY
ML Kitを使うと... 出典: Google I/O 2021 TensorFlowセッション ML Kit: Turnkey
APIs to use on-device ML in mobile apps | Session https://www.youtube.com/watch?v=CQ8iEqblWtY
ML Kitの機能 出典: Google Developers blog https://developers.googleblog.com/2021/03/ml-kit-is-now-in-ga-introducing-selfie.html
ML Kitの機能 出典: Google Developers blog https://developers.googleblog.com/2021/03/ml-kit-is-now-in-ga-introducing-selfie.html
Face detectionの機能 - 顔認識 - 画像内のどこに顔があるのか認識(複数の顔も可能) - 顔のトラッキング - 一度認識した顔を、流れてくる画像に対してトラッキングしてくれる。
- ランドマーク - 顔の輪郭や、左目、右目、眉毛、口、鼻の位置などが画像内のどこにあるか - 分類 - 目が開いているのか、閉じているのか - 笑っているのか 出典: ML Kit Guides https://developers.google.com/ml-kit/vision/face-detection/face-detection-concepts
Face detectionの実装 - 依存モジュールを組み込む - 推論対象のイメージを渡す - 推論結果を処理する
Face detectionの実装
作ってみた(デモ) - 笑顔を認識して、自動で写真を撮ってくれるカメラアプリ(Android) - セルフィーでボタンが押しづらい - 全員笑ってる写真を撮りたい etc - Face
detectionを使う - https://developers.google.com/ml-kit/vision/face-detection
サンプルアプリの実装の概略 - CameraXを利用 - FaceDetectorがMLKitのクラス
TensorFlow Lite or MLKit? - まずはMLKitがおすすめ - 認識精度、パフォーマンスが悪いなど要件が合わなければ TensorFlow Liteを検討
- 自前でモデルを作ったとしても、推論結果をアプリで使いやすいように実装する必要がある - MLKitが認識できない例 - どの国の国旗か - どの会社のロゴか - その人が誰なのか - どのブランドの製品なのか - どの昆虫の種類なのか
on-device ML向けのモデルを作るには? - TensorFlowでモデルを作り、TensorFlow Liteに変換 - AutoML - TensorFlow Lite
Model Maker - 転移学習を用いて、 on-device向けにモデルを作成できるライブラリ。
on-device MLを組み込むときに迷ったら - On-Device Machine Learning - https://developers.google.com/learn/topics/on-device-ml - プラットフォームやユースケースを選ぶと、適切な方法を提示してくれる。
まとめ - まずはMLKitがおすすめ - やりたいことに応じて、自分でモデルを作るか検討しましょう