Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SSDを用いた食材リアルタイム検知 &レシピレコメンドシステム
Search
hayataka
April 07, 2024
Science
0
10
SSDを用いた食材リアルタイム検知 &レシピレコメンドシステム
東大・松尾研主宰「Deep Learning 基礎講座2018」での最終課題発表ポスター
https://deeplearning.jp/lectures/dlb2018/
hayataka
April 07, 2024
Tweet
Share
More Decks by hayataka
See All by hayataka
どうすれば私たちは、R&D活動の計量・評価を 健全に活用できるだろうか?
hayataka88
0
11
IKIGAI BOX やさしさでつながる、スキル、お仕事マッチング FOR 介護施設入居者
hayataka88
0
15
Science of Scienceおよび科学計量学に関する研究論文の俯瞰可視化_LT版
hayataka88
0
490
Science of Scienceおよび科学計量学に関する研究論文の俯瞰可視化_ポスター版
hayataka88
0
52
東大・松尾研主催 LLM Summer 2023 コンペ解法 (11位 – 20位枠での優秀賞)
hayataka88
0
180
生成AIと一緒につくる知財図鑑Podcast
hayataka88
0
150
ChatGPTとNoteableによる科学技術情報分析
hayataka88
3
3.3k
「俯瞰」可視化が情報探索・分析を変える
hayataka88
4
1.4k
好奇心に基づく研究推進や社会成果還元を見据えたデータ活用 スタートアップ情報解析と研究者ネットワーク解析
hayataka88
0
180
Other Decks in Science
See All in Science
SCOTT: Self-Consistent Chain-of-Thought Distillation
meshidenn
0
320
最新のAI技術を使った材料シミュレーションで材料研究現場に変革を
matlantis
0
460
AI(人工知能)の過去・現在・未来 —AIは人間を超えるのか—
tagtag
1
190
2023-10-03-FOGBoston
lcolladotor
0
170
論文輪読会 第16回 "NeRF:Representing Scenes as Neural"
academix
0
460
名古屋市立大学データサイエンス学部 夏のオープンキャンパス模擬授業20230818
ncu_ds
0
1.1k
DEIM2024 チュートリアル ~AWSで生成AIのRAGを使ったチャットボットを作ってみよう~
yamahiro
3
660
Yasuke
drawsbygba
0
610
マルチモーダルモデルと自動運転 車載モデルのコスト・スループット・レイテンシ / LLM in Production Meetup #2 20231023
yuyamaguchi
1
1k
Pandas 2 vs Polars vs Dask (PyDataGlobal 2023 December)
ianozsvald
0
450
勉強会資料 / “Asymptotic Statistics” Section 2.1
asymptotic_minato
0
230
遺伝子発現プロファイルに基づく新しい薬物間相互作用予測法
tagtag
0
100
Featured
See All Featured
StorybookのUI Testing Handbookを読んだ
zakiyama
13
4.6k
Web development in the modern age
philhawksworth
203
10k
Design by the Numbers
sachag
274
18k
VelocityConf: Rendering Performance Case Studies
addyosmani
321
23k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
21
1.9k
Bootstrapping a Software Product
garrettdimon
PRO
302
110k
Fashionably flexible responsive web design (full day workshop)
malarkey
398
65k
Gamification - CAS2011
davidbonilla
76
4.6k
Imperfection Machines: The Place of Print at Facebook
scottboms
261
12k
Rebuilding a faster, lazier Slack
samanthasiow
74
8.2k
Building Flexible Design Systems
yeseniaperezcruz
320
37k
Transcript
SSDによる リアルタイム検知 1. 目的 食材写真からレシピを推薦するサービスは数多くあるが、画像をキレイに撮影 するのは面倒。冷蔵庫の中身をそのまま動画スキャンできれば便利なのでは ないか。 1 レシピレコメンドアプリ例(ライオン) ref)
https://reed.lion.co.jp/search/ 動画撮影による食材検知&レシピ推薦 2. アプローチ 3. SSDモデル構築 食材をキレイに撮影する手間を省くため、①の冷蔵庫内動画からリアルタイムに検 知にするSSDモデル構築に注力した。なお、②は簡易的に実施した。 冷蔵庫の中身 動画撮影 レシピAPI※から 検知した食材を含む レシピをランダム取得 1 2 R-CNN Fast(er) R-CNN YOLO You Only Look Once SSD Single Shot MultiBox Detector Single Stage 直接各物体のクラス・位 置推定 高速 多オブジェクト可能 Aと同等の精度 Bより高速 多オブジェクト可能 Two Stage 物体候補推定 →候補毎に物体クラス・位 置推定 先駆け的な存在 遅い 特徴 タイプ アルゴリズム A B C ❖ ディープラーニング系物体検知アルゴリズム比較 ❖ フロー メンバー各人が自身の冷蔵庫の中身をスマホで動画撮影し、アノテーション ツールを使って、学習データを作成(計1030枚)。 1 2 3 4 データ準備 モデル学習 評価&考察 改善案 • labeling_for_object_detec tion:Processingを用い たツール。Githubで公 開。 • VoTT:マイクロソフト製。 動画から直接アノテー ション可能。出力データ に不要データが含まれ る等、一部使いにくい部 分がある。 アノテーションツール 学習データ内訳 Github(https://github.com/rykov8/ssd_keras) に公開されているssd_kerasを利 用してSSDモデルを学習。 • 学習・検証に利用していないテストデータにおいて、正解と推定結果で、bboxのIoU(重なり度合い)が 0.5以上であれば、ラベル比較をする。その他はBackgroundと認識されたと仮定。下記の混合行列は、 各正解ラベルがどのように推定されたか割合を示す。 • 課題①:少し似ているものはデータが多いものに引っ張られる傾向(Apple→Tomato、Enoki→しめじ、 Greenpepper→Aspara等) • 課題:②Cabbage→Shimeji、Spinach→Cucumberと包装等によって誤認識がされる可能性 • 課題:③そもそもBackgroundと認識されている場合が多く、領域推定に課題 • 食材 件数 Tomato 593 Carrot 559 Pumpkin 232 Spinach 188 Shimeji 165 Asparagus 142 Apple 135 Egg 122 Turnip 114 Cucumber 84 Broccoli 80 食材 件数 Leek 9 Pork 6 Chicken 5 Firefly_Squid 5 Squid 5 Beaf 4 Ume 4 食材 件数 Mushroom 72 Celery 71 Onion 55 Beansprouls 48 Enoki 47 Greenpepper 43 Daikon 39 Paprika 28 Cabbage 23 Milk 15 Orange 10 学習時 • アーキテクチャ: SSD300 • 損失関数: 位置特定誤差 (Smooth L1)と 確信度誤差 (Softmax)の重み付き和 • 最適化: Adam • バッチサイズ: 4 Configuration 損失推移 ※ EDAMAN Recipe Search API https://www.edamam.com/ データ加工 モデル工夫 新データ& モデル 観点 A-1. 学習データのバイアス低減 A-2. 高周波ノイズフィルタ(包装、ラップ等)【課題①】 A-3. 包装有無の両学習データの準備【課題②】 A-4. カット済み食材の学習(GANによる画像生成等) B-1. 他DL物体検知アルゴリズム(YOLO等) B-2. ハイパーパラメータ最適化 C-1. パッケージ文字認識による食材検知 C-2. 3次元形状の認識【課題③】 C-3. 食材の個数・量推定 C-4. 複数検知モデルのアンサンブル 改善案 A B C 評価&考察を踏まえつつ、下記のような改善案が考えられる。 SSDを用いた食材リアルタイム検知 &レシピレコメンドシステム チーム7 Deep Learning Day 2019.3.30 ※ 黄:正解、赤:誤認識割合No.1、青:誤認識割合No.2 検証時 正解\推定 Backgr ound Aspara gus Apple Broccol i Carrot Cabbag e Cucmb er Enoki Mushro om Onion Spinach Shimeji Tomato Apple 32 0 8 0 0 0 0 0 0 0 0 0 60 Carrot 33 0 0 0 67 0 0 0 0 0 0 0 0 Cabbage 35 12 0 6 0 12 0 6 0 0 0 29 0 Enoki 50 0 0 0 0 17 0 0 17 0 0 17 0 Greenpepper 87 13 0 0 0 0 0 0 0 0 0 0 0 Onion 56 0 0 0 0 0 0 11 0 28 0 6 0 Spinach 32 5 0 0 0 0 39 0 0 0 24 0 0 Tomato 41 0 0 0 0 0 0 0 0 0 0 0 59