Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[SORACOMUG]S+Cameraを利用して在庫チェックをやってみた / Inventor...
Search
Takanori Suzuki
February 04, 2020
Technology
0
60
[SORACOMUG]S+Cameraを利用して在庫チェックをやってみた / InventoryManagement-with-SORACOM-SCAMERA
SORACOM UG Tokyo #14
SORACOM S+Cameraを利用して在庫チェックをやってみた
Takanori Suzuki
February 04, 2020
Tweet
Share
More Decks by Takanori Suzuki
See All by Takanori Suzuki
ChatGPTとKarateで実現するシン・BDD / Realizing New BDD through ChatGPT and Karate
takanorig
2
3k
KarateによるBDDベースのAPIテスト / BDD based API-Testing with Karate
takanorig
1
630
AIカメラで社内販売の品切れを検知して残念な結果になるのを回避した話 / Detecting out of stock items with using AI Camera
takanorig
0
1.9k
フル・サーバーレスでサービスを作る話 / Make the full-stack-serverless service
takanorig
1
260
IoTサービスのエッジからクラウドまでServerlessFrameworkで構築する / Deploying-IoT-Service-from-Edge-to-Cloud-with-ServerlessFramework
takanorig
0
270
Karateによる UI Test Automation 革命 / UITests-Automation-with-Karate
takanorig
0
200
スマート工場に向けたIoTデータ分析の実際のところ / SmartFactory-IoT-Data-Analytics
takanorig
0
100
人生がときめくAPIテスト自動化 with Karate / SparkingJoy-for-API-Testing-Automation-with-Karate
takanorig
0
540
マイクロサービスにおけるテスト自動化 with Karate / Microservices-Testing-Automation-with-Karate
takanorig
1
1.8k
Other Decks in Technology
See All in Technology
Javaにおける関数型プログラミンへの取り組み
skrb
5
110
セキュリティ監視の内製化 効率とリスク
mixi_engineers
PRO
4
640
[RSJ24] Object Segmentation from Open-Vocabulary Manipulation Instructions Based on Optimal Transport Polygon Matching with Foundation Models
keio_smilab
PRO
0
120
Staff Engineer / 20240827 Yuichiro Masui
shift_evolve
0
150
2024年版 運用者たちのLLM
nwiizo
3
290
手軽に始める? おうちサーバーのすゝめ
nyagasan
0
180
エンジニア採用ノウハウ0から継続的な採用に至るまで / Try recruiting engineers
ohageeq
0
130
Datadogの便利な使い方 - 意外と知らない?CoScreenとCloudcraft
taijihagino
PRO
1
600
データウェアハウス製品のSnowflakeでPythonが動くって知ってました?
foursue
1
150
Eventual Detection Engineering
ken5scal
0
390
ログラスが面白いと思う理由をマネージャーがエモく語ってみる / 20240829 vs LT
yoshikiiida
1
520
いまからでも遅くない! コンテナでWebアプリケーションを 動かしてみよう(1)Gitハンズオン
nomu
0
280
Featured
See All Featured
[RailsConf 2023] Rails as a piece of cake
palkan
44
4.6k
Happy Clients
brianwarren
96
6.6k
Statistics for Hackers
jakevdp
793
220k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
109
6.9k
Infographics Made Easy
chrislema
239
18k
Fireside Chat
paigeccino
31
2.9k
The Art of Programming - Codeland 2020
erikaheidi
48
13k
The Power of CSS Pseudo Elements
geoffreycrofte
71
5.2k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
29
2.5k
Atom: Resistance is Futile
akmur
261
25k
Teambox: Starting and Learning
jrom
131
8.7k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
27
8.9k
Transcript
1 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
SORACOM S+ Camera を利⽤して 在庫チェックをやってみた 2020/02/04 Acroquest Technology Co., Ltd. 鈴⽊ 貴典 SORACOM UG #14
Copyright © Acroquest Technology Co., Ltd. All rights reserved. 2
⾃⼰紹介 n 所属 • Acroquest Technology Co., Ltd. n 主な業務分野 • システムアーキテクト • IoTサービス開発 • ビッグデータ処理プラットフォーム • サーバーレス・アーキテクチャ n バックグラウンド • エンタープライズ/ミッションクリティカル • SEPG/開発/マネジメント • Java/Python 鈴⽊ 貴典 シニアテクニカルアーキテクト Acro = 先端を quest = 探究する
Acroquestのミッション・ビジョン Copyright © Acroquest Technology Co., Ltd. All rights reserved.
3 テクノロジストチームとして ビジネスの⾰新的価値創出に挑戦する ビジョン Acroquestの創り出す技術で 地球を感動で進化させる ミッション
TorrentioVideo 産業向け 映像・動画解析 AIソリューション S+ Camera AI パートナー
在庫チェックの⼤変さ Copyright © Acroquest Technology Co., Ltd. All rights reserved.
5 ① その場に⾏かないと分からない →⼈の時間が取られる ② 商品が⽋品になるとクレームになる →顧客満⾜度の低下になる ③ スペースを有効活⽤したい →空き状況を把握する必要あり
画像解析を利⽤した在庫チェック Copyright © Acroquest Technology Co., Ltd. All rights reserved.
6 ① ⾒た⽬の内容で チェックができる ② 常に最新の情報を 得ることができる ③ ハンディ―ターミナル 等の⾼価な設備投資が 不要である Pros. ① 在庫といっても対象の モノのカタチは様々 ② 通信⼿段(ネット ワーク)の確保が 難しい場合がある ③ 倉庫などの場所が 離れている Cons.
モチベーション Copyright © Acroquest Technology Co., Ltd. All rights reserved.
7 S+ Camera を利⽤すれば解決できることが多いのでは︖ ① 簡単に設置したい ② リモートからコントール できるようにしたい ③ 固定アルゴリズムではなく お客様や⽬的に応じて 処理内容を変更したい ※回転/⾓度の調整は⼿動です。
パンの品切れチェックに活かしてみた Copyright © Acroquest Technology Co., Ltd. All rights reserved.
8 ① フロアが違ったり、席が遠かったりすると その場まで⾏って商品が無かったときの ガッカリ感が強い ② パンの仕⼊れ担当としても 常に残数を気にしてられない これまでの課題
パン品切れチェックの構成 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
9 事前準備 稼働時の動作 • パンの物体検出のためのモデルを TorrentioVideoで作成 (今回はTensorFlowを利⽤) • S+ Camera上で エッジ処理が動作するように TorrentioVideo(エッジモジュール) をインストール • モデルのデプロイ • 定期的なカメラ画像の撮影 • パンが無くなったときの 検知と通知
モデル⽣成とエッジ処理の検証 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
10 ②撮影した画像を Harvest Files にUP ④⽣成したモデルを S+ Cameraにデプロイ Harvest Napter ①画像を撮影 ③撮影した画像を使って 学習+モデル⽣成 ⑤エッジAIの処理を 検証 Mosaic
モデル⽣成とエッジ処理の検証 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
11 ②撮影した画像を Harvest Files にUP ④⽣成したモデルを S+ Cameraにデプロイ Harvest Napter ①画像を撮影 ③撮影した画像を使って 学習+モデル⽣成 ⑤エッジAIの処理を 検証 Mosaic 検証のサイクルを 素早く回せる
パン品切れチェックIoTが完成︕ Copyright © Acroquest Technology Co., Ltd. All rights reserved.
12 • パンの種類まで学習させるのは 商品⼊れ替え時の⼿間が⼤きくかかるので キャビネット中の位置で種類を判定する ようにした。 • 解析した画像を、定期的に Harvest Files に アップし、状況を確認できるようにした。 • ⽋品になったときは、MS Teams に通知する。
今回の構築でハマったポイント Copyright © Acroquest Technology Co., Ltd. All rights reserved.
13 ①Mosaic上にPythonパッケージを pipインストールすることが できなかった(scikit-learnなど) α版のInventoryAgent を提供して 頂き、無事にインストール成功。 解決 ②デプロイに失敗する問題が発⽣ (デプロイ⽤シェルが毎回エラー) デプロイサイズが⼤き過ぎた様⼦。 Napterを使って、SCPで直接 S+Cameraにデプロイした。 解決 ③カメラで取得した画像に ⾚みがかかった状態になる カメラ⾃体に⾚外線遮断フィルタ がないため、そのようになる様⼦。 ※暗い場所でも撮影しやすいカメラを利⽤ しているそうです。 解決
S+ Cameraを使って良かったこと Copyright © Acroquest Technology Co., Ltd. All rights
reserved. 14 エッジ+カメラ+電源がひとつに まとまっているのでが簡単 リモートからデプロイできるので 学習⇔検証のサイクルが早い • SIMを挿して電源を繋げば すぐに開始できる • SORACOM Mosaic上で 画像の撮影も簡単にできる • リモートからでもPoCが可能 • Harvest Filesとの連係は便利 セキュリティ的にも安⼼ • デプロイするのに 外部からの接続ポートを空けて おかなくても良い
今後やりたいこと Copyright © Acroquest Technology Co., Ltd. All rights reserved.
15 現状の Raspberry Pi3ベースだと リアルタイムでの解析性能は 3〜4FPSぐらいが限界 ※カメラ⾃体のフレームレートは 30〜90FPS S+ Camera Raspberry Pi4版 (USB3.0) Coral Accelerator Edge TPU + リアルタイムでの 映像解析にチャレンジ︕ ⾼速に動く対象を 解析するのは難しい
おまけ – AI猫カメラ Copyright © Acroquest Technology Co., Ltd. All
rights reserved. 16 Interfaceにて連載(CQ出版社, 2018年) • Raspberry Pi を使って 猫を検知 • 猫カフェにカメラを設置し、 ⽇常の様⼦をSNSでファン に発信 • 猫がカメラフレーム内に いるときだけ撮影・通知 • ⼈が映り込んでいるとき には “あえて” 通知を しないようにしている (プライバシー保護)
Evolve the Earth with Emotion of Technology Copyright © Acroquest
Technology Co., Ltd. All rights reserved. 17 ご清聴ありがとうございました。