Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
モバイルアプリで機械学習入門/introduction-to-machine-learning...
Search
marchin
December 09, 2021
Programming
0
430
モバイルアプリで機械学習入門/introduction-to-machine-learning-in-mobile-app
marchin
December 09, 2021
Tweet
Share
More Decks by marchin
See All by marchin
ブラックフライデーで購入したPixel9で、Gemini Nanoを動かしてみた
marchin1989
1
690
Amazon Athenaで気軽に始める データ分析/athena-data-analytics
marchin1989
0
540
WebAPI開発のためのOpenAPI入門/entry-open-api
marchin1989
1
1.3k
AWS Glueではじめるデータレイク
marchin1989
0
600
やさしく入門するOAuth2.0/easy-entry-oauth
marchin1989
8
1.6k
1時間半で克服するJavaScriptの非同期処理/async_javascript_kokufuku
marchin1989
2
1.4k
自動テストでモックするって、なにそれ?おいしいの?/what_is_mocking
marchin1989
1
1.1k
たぶんもう怖くないGit/maybe-not-afraid-of-git-anymore
marchin1989
2
2.3k
Other Decks in Programming
See All in Programming
Unlock the Potential of Swift Code Generation
rockname
0
260
Ruby's Line Breaks
yui_knk
2
1.2k
Exit 8 for SwiftUI
ojun9
0
140
個人開発の学生アプリが企業譲渡されるまで
akidon0000
0
580
Compose Hot Reload is here, stop re-launching your apps! (Android Makers 2025)
zsmb
1
520
AIコーディングエージェントを 「使いこなす」ための実践知と現在地 in ログラス / How to Use AI Coding Agent in Loglass
rkaga
3
520
Road to RubyKaigi: Making Tinny Chiptunes with Ruby
makicamel
4
430
gen_statem - OTP's Unsung Hero
whatyouhide
1
210
生成AIを使ったQAアプリケーションの作成 - ハンズオン補足資料
oracle4engineer
PRO
3
240
The Efficiency Paradox and How to Save Yourself and the World
hollycummins
0
110
Contribute to Comunities | React Tokyo Meetup #4 LT
sasagar
0
500
SEAL - Dive into the sea of search engines - Symfony Live Berlin 2025
alexanderschranz
1
140
Featured
See All Featured
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.7k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.3k
A Modern Web Designer's Workflow
chriscoyier
693
190k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Fontdeck: Realign not Redesign
paulrobertlloyd
83
5.5k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
21k
Making the Leap to Tech Lead
cromwellryan
133
9.2k
The Language of Interfaces
destraynor
157
25k
Site-Speed That Sticks
csswizardry
5
500
Transcript
モバイルアプリで機械学習入門 ML Kitを使ったカメラアプリ実装
自己紹介 - 名前: 阿部 - 仕事: 主にAndroidエンジニア - 最近はサーバサイド Kotlinの仕事も始めました
- 趣味 - コーヒー、ビール、アニメ、ゲーム、読書、 etc... - Twitter: @marchin_1989
アジェンダ - on-device machine learning とは - MLKitの紹介 - MLKit
Face Detectionの機能の説明とデモンストレーション
on-device machine learning(on-device ML)とは - サーバ側ではなく、モバイルといったクライアントサイドで機械学習を行うこと
- 要件によるが以下のようなことを検討して決める。 クライアント(on-device)、サーバ、どちらでMLするか クライアント (on-device ML) リアルタイムに処理したい (ネットワーク通信の遅延がない ) データをサーバにあげたくない
ネットワークに繋げられない サーバ マシンパワーが必要 常に最新のモデルを使う必要がある 学習済みモデルを守りたい
on-device MLの例(スマホアプリ) - Google翻訳 - YouTube(AR Beauty Try-On) 出典: ITmedia
NEWS https://www.itmedia.co.jp/news/articles/1906/20/news069.html 出典: Google Play https://play.google.com/store/apps/details?id=com.google.android.apps.translate
on-device MLの機能を実装するためのフレームワーク - モバイル端末上で推論するためのフレー ムワーク。 - tensor flowで作ったモデルをtensor flow liteのモデルに変換できる
- Android, iOS, IoTデバイスで利用可能 - TensorFLow hubに学習済みのモデルが 提供されていたりする - よくある機械学習のユースケースと学習済み モデルをラップして、使いやすくしたもの。 - 機能によってはカスタムの TensorFlow Lite のモデルが使える。 - Android, iOSで利用可能
on-device MLをスクラッチで作成すると... 出典: Google I/O 2021 TensorFlowセッション ML Kit: Turnkey
APIs to use on-device ML in mobile apps | Session https://www.youtube.com/watch?v=CQ8iEqblWtY
ML Kitを使うと... 出典: Google I/O 2021 TensorFlowセッション ML Kit: Turnkey
APIs to use on-device ML in mobile apps | Session https://www.youtube.com/watch?v=CQ8iEqblWtY
ML Kitの機能 出典: Google Developers blog https://developers.googleblog.com/2021/03/ml-kit-is-now-in-ga-introducing-selfie.html
ML Kitの機能 出典: Google Developers blog https://developers.googleblog.com/2021/03/ml-kit-is-now-in-ga-introducing-selfie.html
Face detectionの機能 - 顔認識 - 画像内のどこに顔があるのか認識(複数の顔も可能) - 顔のトラッキング - 一度認識した顔を、流れてくる画像に対してトラッキングしてくれる。
- ランドマーク - 顔の輪郭や、左目、右目、眉毛、口、鼻の位置などが画像内のどこにあるか - 分類 - 目が開いているのか、閉じているのか - 笑っているのか 出典: ML Kit Guides https://developers.google.com/ml-kit/vision/face-detection/face-detection-concepts
Face detectionの実装 - 依存モジュールを組み込む - 推論対象のイメージを渡す - 推論結果を処理する
Face detectionの実装
作ってみた(デモ) - 笑顔を認識して、自動で写真を撮ってくれるカメラアプリ(Android) - セルフィーでボタンが押しづらい - 全員笑ってる写真を撮りたい etc - Face
detectionを使う - https://developers.google.com/ml-kit/vision/face-detection
サンプルアプリの実装の概略 - CameraXを利用 - FaceDetectorがMLKitのクラス
TensorFlow Lite or MLKit? - まずはMLKitがおすすめ - 認識精度、パフォーマンスが悪いなど要件が合わなければ TensorFlow Liteを検討
- 自前でモデルを作ったとしても、推論結果をアプリで使いやすいように実装する必要がある - MLKitが認識できない例 - どの国の国旗か - どの会社のロゴか - その人が誰なのか - どのブランドの製品なのか - どの昆虫の種類なのか
on-device ML向けのモデルを作るには? - TensorFlowでモデルを作り、TensorFlow Liteに変換 - AutoML - TensorFlow Lite
Model Maker - 転移学習を用いて、 on-device向けにモデルを作成できるライブラリ。
on-device MLを組み込むときに迷ったら - On-Device Machine Learning - https://developers.google.com/learn/topics/on-device-ml - プラットフォームやユースケースを選ぶと、適切な方法を提示してくれる。
まとめ - まずはMLKitがおすすめ - やりたいことに応じて、自分でモデルを作るか検討しましょう