用Raspberry Pi玩轉Edge AI

這是我們在 2024 年 MakerPRO 主辦的 MAI 開發者大會分享的主題。

MAI 開發者大會以「Make AI a Reality」為精神，希望架起AI技術與應用的橋樑，廣邀開發社群先進擔任講者，2天共20場演講，為AI開發者及AI Maker們領路。

本次分享將介紹 Edge AI，再說明從 YOLO 看 Raspberry Pi 的 Edge AI 方式，並以 Google Coral Accelerator 做加速。

活動頁面
* https://makerpro.cc/maidevforum/

活動摘要和錄影
* https://makerpro.cc/2024/06/2024-mai-talks-how-to-use-raspberry-pit-for-edge-ai-projects/

Transcript

1. 1 用 Raspberry Pi 玩轉 Edge AI 台灣樹莓派 <sosorry@piepie.com.tw> 2024/05/17 @Make AI a Reality
2. 姓名標示 — 非商業性 — 相同方式分享 CC (Creative Commons) 姓名標示 — 你必須給予 適當表彰、提供指向本授權 條款的連結，以及 指出（本作品的原始版本）是否已 被變更。你可以任何合理方式為前述表彰，但不得以 任何方式暗示授權人為你或你的使用方式背書。 非商業性 — 你不得將本素材進行商業目的之使 用。 相同方式分享 — 若你重混、轉換本素材，或依本 素材建立新素材，你必須依本素材的授權條款來 散布你的貢獻物。
3. 3 • Raspberry Pi 官方經銷商 • 專注 Raspberry Pi 應用與推廣 , 舉辦社群活動 關於我們
4. 4 • Edge AI 介紹 • Raspberry Pi 介紹 • 從 YOLO 看 Raspberry Pi 的 Edge AI • 結語 大綱
5. 5 Internet of Things https://www.youtube.com/watch?v=KUwif0Z8Ot4
6. 6 • 智慧手環內的 IMU 收到加速度 / 角速度資訊 • 原始數據透過 LPWA 低功耗技術傳到雲端運算姿態 • 使用者透過儀表板看到各種姿態結果 IoT 情境 / 智慧手環 https://www.youtube.com/watch?v=KUwif0Z8Ot4
7. 7 • 但由於頻寬或電力限制 , 通常只傳送取樣後的資料 IoT 情境 / 智慧手環 https://www.youtube.com/watch?v=KUwif0Z8Ot4
8. 8 • 如果可以即時做訊號運算 , 會有更多有趣的發現 • 並且只傳送推論後的結果將降低資料傳送量 IoT 情境 / 智慧手環 https://www.youtube.com/watch?v=KUwif0Z8Ot4 tinyML/Edge AI
9. 9 • 機器學習 ( 處理結構化資料 ): 資料 > 特徵擷取 > 模型 > 答案 • 深度學習 ( 處理非結構化資料 ): 資料 > 模型 ( 特徵擷取自學 )> 答案 機器學習 vs. 深度學習 https://bit.ly/3VFLRs9
10. 運算量對應適合的 ARM 系列處理器 https://www.arm.com/blogs/blueprint/ai-for-iot-devices 資料輸入量 振動 偵測 關鍵字 偵測 感測器 融合 異常 偵測 物件 偵測 Cortex-M Today Cortex-M55 手勢 偵測 生物 識別 語音 辨識 物件 分類 即時 辨識 Cortex-M and Ethon-U55 Cortex-A, Mali And Ethon-N 運算量 TOP/S
11. • 信用卡大小般的電腦 Raspberry Pi 是什麼 ? http://www.flickr.com/photos/fotero/7697063016/
12. • Raspberrypi.org 基金會所設計開發 • 公開的 datasheet & 線路圖 & 原始碼 • 以低價硬體 & 自由軟體刺激電腦科學教育 Raspberry Pi 是 ...
13. Raspberry Pi Family https://infosec.exchange/@slh/102368284825610438 最早量產 最多人使用
14. 14 • 更快 :CPU 從 1.4GHz 升級到 1.5GHz • 更多選擇 : 記憶體有 1G/2G/4G/8G 可選 Raspberry Pi 4 在 2019/6/24 發布 https://www.raspberrypi.org/blog/raspberry-pi-4-on-sale-now-from-35/
15. 15 初期主要是創客或學校使用 https://www.raspberrypi.com/news/vote-top-20-raspberry-pi-projects-magpi/
16. 16 用 Raspberry Pi 或 CM 量產的產品 https://pallavaggarwal.in/10-products-using-raspberry-pi-compute-module/
17. 你不知道的 i 郵箱 https://www.facebook.com/groups/raspberrypi.taiwan/posts/1557558384430791/
18. Raspberry Pi Edge AI
19. • YOLO 是 Joseph Redmon 在 2015 年基於深度學 習的物體檢測演算法 , 高效並能即時檢測 YOLO v1 https://arxiv.org/pdf/1506.02640.pdf
20. • 2023 年由 Ultralytics 釋出 , 更快更準確 • 強大的泛化能力 , 在不同的資料集和應用場景中表現穩定 • 支援主流深度學習框架 , 如 PyTorch 和 TensorFlow YOLO v8 https://github.com/ultralytics/ultralytics
21. • 有物件偵測、分割、姿態偵測、分類等預訓練模型 多種模型可選 https://docs.ultralytics.com/models/yolov8/
22. • 整合資料蒐集、標記、訓練、佈署模型 Ultralytics 一條龍服務 https://docs.ultralytics.com/modes/export/
23. • # raspios_full_arm64-2024-03-15.img • $ sudo apt-get update • $ python3 -m venv yolov8-venv • $ source ~/yolov8-venv/bin/activate • $ pip3 install ultralytics 安裝容易 https://docs.ultralytics.com/quickstart/
24. 24 範例程式 from ultralytics import YOLO model = YOLO("model.pt") results = model.predict("image.jpg") • print(results)
25. • $ python3 yolov8.py v8s.pt 1280x720.mp4 Pi 4/2GB + YOLOv8 初體驗
27. • $ python3 yolov8.py v8n.pt 1280x720.mp4 模型從 YOLOv8s.pt 到 YOLOv8n.pt
28. • $ python3 yolov8.py v8n.pt 320x180.mp4 解析度從 1280x720 到 320x180
29. 29 全新 Pi 5 在 2023/09/23 發布
30. 硬體新設計 https://www.elecrow.com/blog/raspberry-pi-5-vs-raspberry-pi-4-what-are-their-differences.html
31. • Pi 4: Broadcom BCM2711 quad-core Cortex- A72 (ARM v8), 64-bit SoC @ 1.8GHz (28nm) • Pi 5: Broadcom BCM2712 quad-core Cortex- A77 (ARM v8), 64-bit SoC @ 2.4GHz (16nm) • 數字提昇約 33% • 實際約提昇 2-3 倍 全新 BCM2712 處理器
32. Pi 4 和 Pi 5 的效能評比 https://www.raspberrypi.com/news/benchmarking-raspberry-pi-5/
33. • $ python3 yolov8.py v8n.pt 640x360.mp4 Pi 5/8GB + YOLOv8
34. • 使用 Google Edge TPU coprocessor • 4 TOPS (int8); 2 TOPS per watt • 有物件偵測、分割、姿態偵測、分類等預訓練模型 • 只支援 tflite-tpu 格式 Google Coral USB Accelerator https://coral.ai/docs/edgetpu/models-intro/#compatibility-overview
35. • $ python3 yolov8.py 192.tflite 640x360.mp4 使用 Accelerator 加速運算
36. DEMO
37. USB3.0 有更大的頻寬 https://www.hackster.io/news/the-big-benchmarking-roundup-a561fbfe8719 單位 : 毫秒
38. • $ python3 yolov8.py 192.tflite 640x360.mp4 接在 USB3.0 可發揮全速 21.32
39. • Raspberry Pi AI Camera(SONY IMX500, 12MP) 還可以再快嗎？ https://reurl.cc/QRZWdO
40. • 每一種裝置都有適合的場景發揮運算能力 • 適當的優化技巧 , 也可以讓 Raspberry Pi 很 AI • 邊緣的事 , 就交給邊緣運算的設備去做 結語
41. 41 Raspberry Pi Rocks the World Thanks