AIカメラで社内販売の品切れを検知して残念な結果になるのを回避した話 / Detecting out of stock items with using AI Camera

SORACOM IoT Meetup #3
https://soracom.connpass.com/event/220554/

AIカメラで社内販売の品切れを検知して残念な結果になるのを回避した話
#soracom

1. 1 Copyright © Acroquest Technology Co., Ltd. All rights reserved. AIカメラで社内販売の品切れを検知して 残念な結果になるのを回避した話 2021/09/07 Acroquest Technology Co., Ltd. 鈴木 貴典 SORACOM IoT Meetup #3
2. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 2 自己紹介 ◼ 所属 • Acroquest Technology Co., Ltd. ◼ 主な業務分野 • システムアーキテクト • IoTサービス開発 • ビッグデータ処理プラットフォーム • サーバーレス・アーキテクチャ ◼ 好きなSORACOMサービス 鈴木 貴典 シニアテクニカルアーキテクト Acro = 先端を quest = 探究する SORACOM Beam SORACOM Napter
3. Acroquestのミッション・ビジョン Copyright © Acroquest Technology Co., Ltd. All rights reserved. 3 テクノロジストチームとして ビジネスの革新的価値創出に挑戦する ビジョン Acroquestの創り出す技術で 地球を感動で進化させる ミッション
4. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 4 「働きがいのある会社(GPTW)」 ランキング(従業員25～99人部門) １位 を 3回 受 賞 １位 １位 １位
5. Acroquestの事業内容 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 5 IoT革新事業 人々の生活基盤を 変革する事業 あらゆるモノからリアルタイムな データ分析を実現する 顧客価値創造事業 企業のビジネスを 変革する事業 あらゆるデータをビジネス活用し 新たな価値創造を実現する AIソリューション事業 業務のありかたを 変革する事業 あらゆる産業で映像解析によって 自動化・効率化を実現する プラットフォーム 開発事業 ビジネスを 加速させる 開発事業 マイクロサービスアーキテクチャによる開発や DevOps実践などの活動を通して ビジネスを強化するITシステムの構築を行う
6. こんな状況になったことありませんか？ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 6 • 席が離れている • フロアが異なる 小腹がすいたので オフィス内販売で 何か買おうかな 欲しかった商品は 品切れか・・・
7. こんな状況になったことありませんか？ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 7 品切れになっている から急いで補充して 欲しいんですけど！ • 急いで補充 • 担当者が不在
8. パンの品切れチェックをAIカメラで検知してみる Copyright © Acroquest Technology Co., Ltd. All rights reserved. 8 ① 席が遠かったり、フロアが違ったりすると その場まで行って商品が無かったときの ガッカリ感が強い ② パンの仕入れ担当としても 常に残数を気にしてられない これまでの課題
9. パンの品切れチェックをAIカメラで検知してみる Copyright © Acroquest Technology Co., Ltd. All rights reserved. 9 S+ Camera を利用すれば解決できそう！ ① 簡単に設置したい ② 独自のAIモデルを適用したい ③ リモートで運用できるようにしたい
10. パン品切れチェックIoTの構成 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 10 事前準備 • パンの物体検出のためのモデルを TorrentioVideo（自社サービス）で作成 • S＋ Camera上でエッジ処理が動作するように TorrentioVideo（エッジモジュール）を インストール • モデルのデプロイ 稼働時の動作 • 定期的なカメラ画像の撮影 • パンが品切れになったときの 検知と通知
11. モデル生成とエッジ処理の検証 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 11 ②撮影した画像を Harvest Files にUP ④生成したモデルを S＋ Cameraにデプロイ Harvest Napter ①画像を撮影 ③撮影した画像を使って 学習＋モデル生成 ⑤エッジAIの処理を 検証 Mosaic
12. モデル生成とエッジ処理の検証 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 12 ②撮影した画像を Harvest Files にUP ④生成したモデルを S＋ Cameraにデプロイ Harvest Napter ①画像を撮影 ③撮影した画像を使って 学習＋モデル生成 ⑤エッジAIの処理を 検証 Mosaic 検証のサイクルを 素早く回せる
13. パン品切れチェックIoTが完成！ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 13 • どのパンが品切れになったか、 分かるようにしている • パンが品切れになると、仕入れ担当に MS Teams で通知される ※ 構築してくれたメンバはあんンパン派だった ようですが、私はカレーパン派です
14. パン品切れチェックIoTが完成！ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 14 • パンの種類まで学習させるのは 商品入れ替え時の手間が大きくかかるので キャビネット中の位置で種類を判定する ようにした • 解析した画像を、定期的に Harvest Files に アップし、動作状況をリモートからでも 確認できるようにした （個数をカウントできるようにしたかったけど、 今回はキャビネのカタチから、あきらめた） 工夫をした点
15. 今回の構築でハマったポイント Copyright © Acroquest Technology Co., Ltd. All rights reserved. 15 ①デバイス側へのPythonモジュール インストールなどで詰まった PC上で同様の構成で検証した。 ※Dockerを使えば簡単だったかも ②デプロイに失敗する問題が発生 （デプロイ用シェルが毎回エラー） デプロイサイズが大き過ぎた様子。 Napterを使って、SCPで直接 S+Cameraにデプロイした。 ③カメラで取得した画像に 赤みがかかった状態になる カメラ自体に赤外線遮断フィルタ がないため、そのようになる様子。 ※暗い場所でも撮影しやすいカメラを利用 しているそうです。
16. S＋ Cameraを使って良かったこと Copyright © Acroquest Technology Co., Ltd. All rights reserved. 16 エッジ＋カメラ＋電源がひとつに まとまっているのでが簡単 リモートからデプロイできるので 学習⇔検証のサイクルが早い • SIMを挿して電源を繋げば すぐに開始できる • SORACOM Mosaic上で 画像の撮影も簡単にできる • リモートからでもPoCが可能 • Harvest Filesとの連係は便利 セキュリティ的にも安心 • デプロイするのに 外部からの接続ポートを空けて おかなくても良い
17. 在庫チェックに対するIoT／AIの利便性 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 17 ① その場に行かないと分からない →人の時間が取られる ② 様々なモノが対象になる →人でないと判断がしにくい ③ 在庫の数にズレが生じる →人のミスやチェック時間の隔たり ① IoT技術の活用により リモートで対応ができる ② 画像解析AIを使って人の眼と 近い内容で判断できる ③ 常時自動で記録して過去情報も トレースできる
18. Evolve the Earth with Emotion of Technology Copyright © Acroquest Technology Co., Ltd. All rights reserved. 18 人がやらなくても良いことは IoT／AIを活用して 業務ハック！