Vision.framework - 商品画像からのテキスト検出と並列化実装への試み

2023.05.22 DeNA×STORES×ラクマ iOS Meetup!!

Transcript

1. ʙ Vision.framework ͷ׆༻ࣄྫ ʙ ঎඼ը૾͔ΒͷςΩετݕग़ͱ ฒྻԽ࣮૷΁ͷࢼΈ 2023.05.22 DeNA×STORES×ϥΫϚ iOS Meetup!! Hiromu Tsuruta @ Rakuten Rakuma
2. 　　　　　　　　　　　　　　　　　　 <Company> 　　　　　　　　　　　　　　　　　　 ・Rakuten Group, Inc 　　　　　　　　　　<Application> 　　　　　　　　　　・Rakuma 　　　<Role> 　　　・iOS Developer 　　　・Developer Relations 　　　　　　　　　　　　　　　　　 <Account> 　　　　　　　　　　　　　　　　　　 ・Twitter：@hcrane14
3. Vision.framework ͱ͸ 🤔
4. Quote: https://developer.apple.com/documentation/vision
5. Apply computer vision algorithms to perform a variety of tasks on input images and video. The Vision framework performs face and face landmark detection, text detection, barcode recognition, image registration, and general feature tracking. Vision also allows the use of custom Core ML models for tasks like classi fi cation or object detection.
7. Vision.framework ͷྺ࢙
8. iOS11: Vision.framework ͷొ৔ɻCore ML ͱ૊Έ߹Θͤͯจࣈೝࣝɻ iOS13: จࣈೝ͕ࣝՄೳʹͳΔɻͨͩ͠ɺӳޠͷΈɻ iOS14: 7ͭͷݴޠʹରԠ͢Δɻ೔ຊޠ͸ະରԠɻ iOS16: 14ͭͷݴޠʹରԠ͢Δɻ೔ຊޠʹ΋ରԠɻ ※จࣈೝࣝʹؔͯ͠ͷΈ
9. Vision.framework ͷ׆༻ྫ
10. PayPayϑϦϚ Quote: fi ndy-code.io/events/dtOzzlRgwookF?fr=event_20230208
11. ϥΫϚͰͷ׆༻ྫ
12. ※·ͩϦϦʔε͸͞Ε͍ͯ·ͤΜ
13. Vision.framework ͷ࣮૷
14. VNDetectFaceRectanglesRequest VNDetectFaceLandmarksRequest VNDetectRectanglesRequest VNDetectBarcodesRequest VNDetectTextRectanglesRequest
 … Request VNImageRequestHandler
 VNSequenceRequestHandler
 … VNFaceObservation
 VNImageAlignmentObservation
 VNRectangleObservation
 VNBarcodeObservation
 … RequestHandler Observation
15. Example ֤ Observation ͷ਌ΫϥεͰ͋Δ VNObservation ͷ഑ྻ͔͠औಘͰ͖ͳ͍
16. Helper Extension ը૾͔Βೝࣝͨ͠ςΩετͷ݁Ռ ؍ଌͨ͠ςΩετͷީิΛऔಘ
17. .topCandidates ͷڍಈ
18. Image Model Quote: https://www.rakuteneagles.jp/news/detail/202300285435.html
19. .topCandidates(1)
20. .topCandidates(4)
21. .topCandidates(4) ߴ ௿ ਫ਼౓
22. Vision.framework ͷ ࣮૷ʹ͓͍ͯͷ՝୊ 👀
23. ϥΫϚͰ͸ ࠷େ̍̌ຕͷ ը૾Λग़඼Ͱ͖Δ ը૾ʹΑͬͯ͸ɺςΩ ετ͕ฦͬͯ͘Δͷʹ 0.5ඵ͔͔ͬͨΓ͢Δ ͜ͱ΋͋Δ
24. ॲཧΛฒྻԽ͢Δ
25. Recognizer TaskGroup Task Task Finish ɾ ɾ ɾ AsyncStream Task Start
26. ※ίʔυ͸Ұ෦Λলུ͍ͯ͠·͢ Request ͱ RequestHandler Λ AsyncThrowingStream Λ࢖ͬͯɺasync ʹରԠͤ͞Δ
27. ฦ͖ͬͯͨ஋Λ AsyncThrowingStream ʹྲྀ͢ ※ίʔυ͸Ұ෦Λলུ͍ͯ͠·͢
28. ※ίʔυ͸Ұ෦Λলུ͍ͯ͠·͢ TaskGroup ͰॲཧΛฒྻ࣮ߦ͢Δ
29. ※ίʔυ͸Ұ෦Λলུ͍ͯ͠·͢ ݺͼग़͠ݩͷؔ਺͸εοΩϦʂ
30. ϦϦʔεָ͓͠Έʹʂ
31. Vision.framework ͸͍͍ͧʂʂ
32. Fin