日本産業技術教育学会（第66回全国大会）発表資料「画像認識AIを活用した枝豆選別機の授業実践 」

Transcript

1. 1 ©2023 特定非営利活動法人みんなのコード 
 画像認識AIを活用した枝豆選別機の授業実践
 ◦千石 一朗1，古内 利明2，板垣 翔大3，安藤 明伸4 1NPO法人みんなのコード　 2宮教大附属中　3宮教大　4広島工大
2. 2 ©2023 特定非営利活動法人みんなのコード 
 発表の流れ
 1. はじめに（授業実践の背景）
 2. 枝豆選別機の概要
 ◦ ハードウェア
 ◦ ソフトウェア
 3. 授業実践
 4. 結論と今後の課題

3. 3 ©2023 特定非営利活動法人みんなのコード 
 はじめに

4. 4 ©2023 特定非営利活動法人みんなのコード 
 D(3)計測と制御のプログラミングによる問題の解決
 H29年 学習指導要領
 H20年 学習指導要領
 （3） 計測・制御のプログラミングによる問題の解 決
 (ア)　計測・制御システムの仕組み，安全・適切 な制作，動作の確認，デバッグ等
 (イ)　問題の発見と課題の設定，計測・制御シ ステムの構想と情報処理の手順の具体 化，制作の過程や結果の評価，改善及 び修正
 （3）プログラムによる計測・制御
 (ア)コンピュータを利用した計測・制御の基 本的な仕組み
 (イ) 情報処理の手順と，簡単なプログラム の作成

5. 5 ©2023 特定非営利活動法人みんなのコード 
 画像認識AIの活用事例
 • 運転支援システムや自動運転
 日本電気株式会社 https://jpn.nec.com/techrep/journal/g19/n01/190118.html 株式会社モルフォ https://www.morphoinc.com/news/denso-morpho-cooperate-adas-ai • コンビニなどでの画像認識POS

6. 6 ©2023 特定非営利活動法人みんなのコード 
 D(4)社会の発展と情報の技術
 （ア）生活や社会，環境との関わりを踏まえて，技術の概念を理解すること。 （イ）技術を評価し，適切な選択と管理・運用の在り方や，新たな発想に基づく改良と応用に ついて考えること。
 【解説】人工知能の活用について，人間の労働環 境や安全性，経済性の視点から，その利用方法 を検討するなど〜（省略）〜提言をまとめさせたり する活動が考えられる
7. 7 ©2023 特定非営利活動法人みんなのコード 
 D(3)計測と制御のプログラミングによる問題の解決
 1. 周囲の物理量を取得
 イラストAC https://www.ac-illust.com/ 入力 出力 株式会社ソラコム https://users.soracom.io/ja-jp/resources/icon-set/ 2. コンピュータが判断
 3. アクチュエータが作動
 フリーアイコン素材 icon-pit https://icon-pit.com/pictogram
8. 8 ©2023 特定非営利活動法人みんなのコード 
 D(3)計測と制御のプログラミングによる問題の解決
 Loose Drawing https://loosedrawing.com/ 入力 出力 1. カメラで画像取得
 2. 画像認識AIが形状を判断
 3. コンピュータが判断
 4. アクチュエータが作動
 イラストAC https://www.ac-illust.com/
9. 9 ©2023 特定非営利活動法人みんなのコード 
 枝豆選別機の概要

10. 10 ©2023 特定非営利活動法人みんなのコード 
 ハードウェア

11. 11 ©2023 特定非営利活動法人みんなのコード 
 枝豆選別機の概要
 • Windows PC
 • アーテックロボ2.0
 • Webカメラ（USB接続）
 • ベルトコンベア
 
 ※選別機は完成した状態で
 班ごとに配布

12. 12 ©2023 特定非営利活動法人みんなのコード 
 アーテックロボ2.0
 • 赤外線センサ×1
 • サーボモータ×2
 • DCモータ×1
 P1
 赤外線センサ
 To PC
 アーテックロボ2.0
 https://www.artec-kk.co.jp/artecrobo2/ja/

13. 13 ©2023 特定非営利活動法人みんなのコード 
 Webカメラ
 • ロジクール C270n をUSB接続
 • ベルトコンベアの直上から枝豆を撮影
 ロジクール https://www.logicool.co.jp/ja-jp/products/webcams/hd-webcam-c270n.960-001265.html カメラからの映像

14. 14 ©2023 特定非営利活動法人みんなのコード 
 基本的な動作原理
 1. 赤外線センサで通過を検知
 2. Webカメラで形状を判断
 3. 2粒の枝豆を弾く
 4. 3粒の枝豆を弾く
 ※2〜3粒の枝豆以外はベルトコンベアの　端 から落ちる

15. 15 ©2023 特定非営利活動法人みんなのコード 
 ベルトコンベア (指導者が製作)
 • 3DCAD（Shaper3D）で設計
 • アーテックブロックと組み合わせて軸を作成
 • フィラメントの消費量、出力時間に課題あり
 株式会社アーテック https://www.artec-kk.co.jp/artecrobo/ja/product/product_07.php
16. 16 ©2023 特定非営利活動法人みんなのコード 
 ベルトコンベア (指導者が製作)
 • 3Dプリントの部品を縮小
 • 水道パイプの部品を流用
 • ゴムシート（0.5mm厚）
 

17. 17 ©2023 特定非営利活動法人みんなのコード 
 ベルトコンベア (指導者が製作)
 • ゴムシートでベルトを作成
 • 端をテープで固定
 

18. 18 ©2023 特定非営利活動法人みんなのコード 
 アーム
 • アーテックロボのサーボモータ
 • アーテックブロックで腕を作成
 • サーボモータの角度を制御
 • 対象物をアームで弾き飛ばすしくみ

19. 19 ©2023 特定非営利活動法人みんなのコード 
 ソフトウェア

20. 20 ©2023 特定非営利活動法人みんなのコード 
 プログラミング環境（studuino:bit）
 • 様々なOSに対応
 • 今回はブラウザ版
 • Scratchと同じ操作
 
 ※基本となるプログラムは　こ ちらから提示

21. 21 ©2023 特定非営利活動法人みんなのコード 
 画像認識AI（ML2Scratch）
 • TensorFlow.jsを使った機械学習をScratchから簡単に 利用できる
 • Scratchの拡張機能として用意されている
 • Webカメラからの画像を識別させる
 • 学習履歴をJSON形式のファイルで保存できる

22. 22 ©2023 特定非営利活動法人みんなのコード 
 授業実践

23. 23 ©2023 特定非営利活動法人みんなのコード 
 単元の目標
 (1) アクティビティ図を用いてシステムを構成する技能を身に付ける。また、画像認識プ ログラムを作成・実行することで、プログラムをデバッグする技能を身に付ける。
 (2) 画像認識させるための計測・制御システムを考え、解決策を構想し、制作図に表現 し、試作を通じて具現化することで、課題を解決する力を養う。
 (3) 栽培装置を制作する体験やAIを用いた自動選別機を導入した農家の話を聞くこと で、AIの意義や可能性を考える。

24. 24 ©2023 特定非営利活動法人みんなのコード 
 指導計画（全6回）
 時数 学習活動 1 自動化の必要性を考える。また何を人間がやるべきかを考える。 2 機械学習を体験させる。 3 実際の社会からの 要求から，問題点を見いだし，課題を設定する。 また，条件を踏まえて課題の解決策を構想する。 4 構想した計測・制御システムを基に，実際に動作させながら適切なものへと制作する。 自動で枝豆を選別する学習モデルを作成する(機械学習をさせる)。 5 制作したプログラムの動作確認及びデバッグを行い，枝豆選別装置を制作する。 6 身近な不便さから，問題点を見いだし，課題を設定するまた，条件を踏まえて課題の解決策を 構想する。
25. 25 ©2023 特定非営利活動法人みんなのコード 
 農家の方のインタビュー
 • 自動化の必要性を考える
 
 https://youtu.be/FSZLF8YQc_E?si=iP5Wa_GtMaJngy0y
26. 26 ©2023 特定非営利活動法人みんなのコード 
 機械学習の体験
 • Teachable Machine
 https://teachablemachine.withgoogle.com/
27. 27 ©2023 特定非営利活動法人みんなのコード 
 プログラミング①
 1の赤外線 センサ 1の赤外線 センサ
28. 28 ©2023 特定非営利活動法人みんなのコード 
 プログラミング②
 2の判定 （ML2Scratch） 2の判定 （ML2Scratch）
29. 29 ©2023 特定非営利活動法人みんなのコード 
 プログラミング③
 2粒を弾く サーボモータ 2粒を弾く サーボモータ 3粒を弾く サーボモータ 3粒を弾く サーボモータ
30. 30 ©2023 特定非営利活動法人みんなのコード 
 画像認識AIの学習
 • カメラの直下に枝豆を置く
 • PCで撮影
 • ML2Scratchで学習
 • 分担して行っている
 • 向きを変えるなど工夫している

31. 31 ©2023 特定非営利活動法人みんなのコード 
 アームの形状変更
 • アームの長さや向きを変更する
 • ブロックを追加する生徒もあり

32. 32 ©2023 特定非営利活動法人みんなのコード 
 結論と今後の課題

33. 33 ©2023 特定非営利活動法人みんなのコード 
 結論について
 • 画像認識AIを用いた分別作業を自動化するシステムを作れた
 ◦ 分別したいものを学習させれば他に流用可能
 • 社会でのAIの活用を模擬的に体験して学ぶことができた
 • 正確さ、効率については検証できなかった
 ◦ 正しく・効率よく識別させるために必要なもの、条件等の比較
 
 

34. 34 ©2023 特定非営利活動法人みんなのコード 
 今後の課題
 • 宮教大附属小ではTeachable Machineを用いた画像認識AIの学習を行ってい る。今後は...
 ◦小学校で画像認識AIの基礎的な理解
 ◦中学校で画像認識AIを用いた課題の解決
 　　といった学習を行うと、より深い理解が図れるのではないか。

35. 35 ©2023 特定非営利活動法人みんなのコード 
 今後の課題
 • センサを用いた計測について
 ◦ 衝突を回避するための自動ブレーキのシステム
 ◦ 赤外線センサなどで障害物との距離を計測
 
 イラストAC https://www.ac-illust.com/
36. 36 ©2023 特定非営利活動法人みんなのコード 
 今後の課題
 • 画像認識AIを用いた計測・制御について
 ◦ 画像を認識してハンドルやブレーキを制御している
 
 東芝 https://www.toshiba-clip.com/detail/p=152 日産自動車 https://www.nissan-global.com/JP/INNOVATION/TECHNOLOGY/ARCHIVE/PPNL/ 標識を認識して減速 

37. 37 ©2023 特定非営利活動法人みんなのコード 
 今後の課題
 • 画像認識AIを用いた計測・制御について
 ◦ 姿勢と目の様子から居眠り検知
 
 Automagi株式会社 https://prtimes.jp/main/html/rd/p/000000030.000012535.html
38. 38 ©2023 特定非営利活動法人みんなのコード 
 FIN