Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

「AITRIOS」でトカゲの活動量を可視化

ほしの
October 22, 2024

 「AITRIOS」でトカゲの活動量を可視化

SONY社が提供しているエッジAIカメラ「AITRIOS」を利用して、リクガメの活動量の測定に挑みます。
また、「AITRIOS」の概要と利用方法について紹介します。

ほしの

October 22, 2024
Tweet

More Decks by ほしの

Other Decks in How-to & DIY

Transcript

  1. 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 会場デモ:トカゲの活動量可視化 左認識 右認識 {'1': {'C': 0, 'P':

    0.99609375, 'X': 149, 'Y': 104, 'x': 260, 'y': 202}} または{} {'1': {'C': 0, 'P': 0.49102134, 'X’: 121, ‘Y’: 73, ‘x’: 190, 'y’: 184}} または{} Device001 Device002 認識したカメラに応じて、M5StickCplusのディスプレイに認識結果を反映 検出デバイス 位置 スコア 表示 M5と無線で接続するため、デバイスの配置がしやすい 複数のデバイスにモデルが簡単に展開/連携できる TOF(8x8)なんぞとは比べ物にならない4K解像度の圧倒的情報量!! USB-C USB-C
  2. 「AITRIOS」ができること 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 AIモデル作成 カメラ撮影 推論結果送信 推論結果解析 物体認識 (人によるラベリング)

    TensorFlow Lite モデルインポート 映像+推論結果 推論結果のみ クラウド送信 (AITRIOSサービス またはAzure) ローカルサーバー送信 (HTTP) Data Hub経由で 推論結果取得 FlatBuffersを用いた デシリアライズ (Python他) 事前準備 AIによる画像データの推論 開発作業が必要
  3. 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 推論結果は1KB未満。 ということは・・・ Cloud (Azure) Edge IoT Hub

    (処理済みデバイス データ受信) SQL Database アプリで利用 推論履歴等 Stream Analytics (複数デバイス間 計算処理) Azure IoT Edge Module/Runtime Azure Functions (Deserialize) Stream Analytics (時系列計算処理) 閾値判定/ デバイス制御 アクション 30FPS推論 Insights の送信 画像画像1枚(5MB)で5000推論相当。データ容量が低いため、Edge側で推論結果を時系列処理し、高 いレスポンスなデバイス制御と、複数のデバイス間で起きたことをクラウド側で共有する。 ロボットや デバイスの目
  4. 害獣検知のリファレンスアーキ 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 AITRIOS KUMA SOL 複数デバイスによる検出トレースのイメージ(検知したデバイスと時系列から動きを把握) Console Rest

    API Console XX地域 PJ 推論終了 StopUpload InferenceResult 推論開始 StartUpload InferenceResult Object Detection (KUMA Model) Command Parameter (地域共通) WiFi/Internet 自宅庭/店舗入り口等 自宅庭/店舗入り口等 自宅庭/店舗入り口等 Microsoft Azure Azure Event Hubs AITRIOS NS イベントデータ デバイス 推論日時 推論結果 Azure Blob Storage AITRIOS NS AITRIOSコンテナ デバイス 撮影日時 画像(JPG) Azure Functions 熊行動範囲想定 ロジック ジオフェンシング ロジック 別技術へ置き換え可能 Azure Notification 熊発生通知 (SMS/SNS) Azure WebApps 熊発生Webサイト (マップ表示) 自動音声 アナウンス トラップ 起動 PC/ スマホ等
  5. 爬虫類の幸せを爬虫類マニアと共に築くために デジタル技術の活用を研究すること、 それが星野総合研究所の使命。 AITRIOSで実現できる世界観 犯罪を検知した場合に、推論結果をAITRIOS経由でDevice 2 Device連携し、犯罪者をトラッキング。 特徴がついた犯罪者を検知したDeviceが行動を抑制することで軽犯罪を抑制し、治安悪化を防ぐ。 SekAIichi Secure

    Safe 対応デバイス群(犯罪検知後、ルールに基づき監視/重大な場合は設備利用を抑制) 犯罪検知 犯罪者トラッキング/行動予測 防犯カメラ等 (既製品) 自動ドア、自動 改札 店舗/屋内 施設 信号機/道路 自動車等 PCカメラ/ スマホ モニタリング 位置情報通知 ドア開閉制限 電源制御 SekAIichi Secure Safe Consortium BlockChain(近距離におけるAITRIOS画像特徴データの共有) SekAIichi Secure Safe Cloud(遠距離AITRIOS画像特徴データの共有) 共有と展開 サービスの実現構成イメージ
  6. やってみたい! では、どう進めたらよいか? ①デバイスの購入 ②AITRIOS コンソールの契約 (法人前提) ③デバイスの接続 (初見殺し) ④FWの最新化 ⑤AIモデル作成と

    デプロイ ⑥カメラ撮影 ⑦推論結果送信 ⑧推論結果解析 ※ラズパイ版モデルは、AITRIOSのサービスと現時点では接続できず、ローカル利用のみとなります。
  7. 開発を促進するアクセラレーターを作ってます。 Reference Usecase/Mock:アイディア創出の参考事例等 Tool/Library:具現化を加速するアクセラレータ <Utility> デシリアライズAPI(Az関数) デシリアライズ(Python) <Infra> WebApp Base(Docker)

    スマホEd(HTTP連携) <Sample Code> M5Stack連携 <Low code> Power Platfrom連携 (AITRIOS Controller) 作成済み Architecture/Design Reference:システム設計/テクノロジースタック HTTP Local Store + IoT(IoT家電パターン) Cloud Share + Big Data Analytics(Event Data蓄積/ストリーム分析) 農作業モニタリング 獣害検知 ライドシェア 作物モニタリング 病害虫モニタリング 害獣認識/マーキ ング/害獣捕獲通 知/監視 目的別乗車人数計 測/オートリルート 連動 クマキタヨ App MockApp MockApp 介護通知 脱衣所の 混雑モニタリング 脱衣所管理App AI Model : 人数カウント 危険領域侵入検知 危険領域の 人物検知 MockApp AI Model : 物体認識