🎓 ChatGPT を組み込んだ24時間TA : 教育現場における LLM 活用の課題と改善

2024年4月に大阪公立大学から公開された紀要論文の解説スライドです。2023年度に開催された RubyWorld Conference でも発表されました 🗣✨

スライド: https://speakerdeck.com/yasslab/education-and-llm-case-study-of-railstutorial-ai-support
紀要論文: https://omu.repo.nii.ac.jp/records/2000694
note記事: https://note.com/yasslab/n/n3c2b9b2aa731

----------

💎 RubyWorld Conference 2023 プログラム (2日目)
https://2023.rubyworld-conf.org/ja/program/day2/

📺 YouTube Live - RubyWorld Conference 2023 日本語チャンネル (2日目)
https://www.youtube.com/watch?v=ky8RxuvBMqU

🎓 
Railsチュートリアル - プロダクト開発の 0 → 1 を学ぼう
https://railstutorial.jp/

📕 Ruby on Railsガイド
https://railsguides.jp/

🤖 Railsチュートリアル - AI サポート機能
https://railstutorial.jp/ai_support

📝 公式 note 記事 (Railsチュートリアル/Railsガイドなど)
https://note.com/YassLab

🎥 対談：AI を取り入れたプロダクト開発
https://note.com/yasslab/n/n23a4ab4829a5

🥷 Rails Tutorial を忍者系 SNS に拡張した - Qiita
https://qiita.com/kromiii/items/e8be091d38d33c6ce52c

【関連リンク (1/2) 】

今回のアンケート結果（Raw Data - Google Form）

https://bit.ly/learn-to-code-with-chatgpt-raw-data

GatesNotes - The Age of AI has begun
https://www.gatesnotes.com/The-Age-of-AI-Has-Begun

OpenAI / ChatGPT 座談会 - YouTube
https://www.youtube.com/watch?v=abnGvGEmwoA

AIIT (フレームワーク開発特論) における事例 - 2023年4月 (速報版)
https://twitter.com/yasulab/status/1651901095927754752

生成 AI の初等中等教育でのガイドライン策定に向けた提言
https://prtimes.jp/main/html/rd/p/000000081.000015742.html

大阪大学 - 生成 AIの倫理的・法的・社会的課題（ELSI）論点の概観
https://elsi.osaka-u.ac.jp/research/2414

ジョージア工科大、TA が人工知能だったことに学生の誰も気づかなかった (2016年の事例)
https://www.gizmodo.jp/2016/05/post_664621.html

【関連リンク (2/2) 】

未踏ジュニア - 小中高生クリエータ支援プログラム
https://jr.mitou.org/final

Railsチュートリアル - プロダクト開発の 0 → 1 を学ぼう
https://railstutorial.jp/
Railsチュートリアル - AI サポート機能
https://railstutorial.jp/ai_support
Railsチュートリアル - note マガジン
https://note.com/yasslab/m/md778735d3f77

YouTube チャンネル - Railsチュートリアル
https://youtube.com/YassLab
YouTube チャンネル - CoderDojo Japan
https://youtube.com/CoderDojoJapan
YouTube チャンネル - 未踏ジュニア
https://youtube.com/MitouJr

Transcript

1. Railsチュートリアル × 反転学習 ChatGPT を組み込んだ 24 時間 TA： データで見る 解説動画とWebテキストの違い 教育現場における LLM 活用の課題と改善
2. 800P 1,600P 大型チュートリアル 大型リファレンス 予算を増やす
3. Google 検索 - “Rails” (※ 日本国内限定) google.co.jp で ʻRailsʼ と 検索すると1ページ目に表示
4. Google 検索 - “Rails” (SGE) 検索すると、生成 AI の結果 も一緒に返す試験的な機能。
5. プロダクト開発が学べる大型チュートリアル
6. フレームワーク開発特論 ← １人で開発する (※ ココが僕の担当) コラボ開発特論 ← 共同で開発する 身近な課題を解決 (PBL) ← PBLで開発する
7. フレームワーク開発特論 ← １人で開発する (※ ココが僕の担当) コラボ開発特論 ← 共同で開発する 身近な課題を解決 (PBL) ← PBLで開発する
8. LLM で今 できること
9. LLM で今 できること
10. 3月1日 - ChatGPT API リリース ↓Python + JS + Ruby 勢で対談！
11. 3月21日 - ビル・ゲイツの視点 https://www.gatesnotes.com/The-Age-of-AI-Has-Begun “健康と教育は, 大きなニーズがある分野であり, それに対応するための労働者が不足しています.”
12. 3月27日 - AI サポート機能を公開
14. 4月8日 - 大学院の講義現場に導入
15. 4月28日 - 導入結果の速報を共有 \\ 1,400人!! //
16. 5月〜11月、各現場で AI を導入
17. Railsチュートリアル × 反転学習 ChatGPT を組み込んだ 24 時間 TA： データで見る 解説動画とWebテキストの違い 教育現場における LLM 活用の課題と改善
18. 1. もたらした変化 2. 課題点と改善案 3. 変化を楽しもう
19. 1. もたらした変化
20. Railsチュートリアル × 反転学習 Q. 講義期間中、どのくらいの質問が届いたか？ 18 14 9 5 0 2017 2018 2019 2020 2021 2022 2023
21. Railsチュートリアル × 反転学習 講義中の質問数の推移 (年度別) Q. 講義期間中、どのくらいの質問が届いたか？ 345 件 400 345 300 200 100 17件 17 15 5件 16 13 9 5 0 2017 2018 2019 東京都立の大学院「AIIT」で比較 2020 2021 2022 2023 講義の期間 ＝ 約２ヶ月
22. Railsチュートリアル × 反転学習 Q. 本講義を進めるにあたって、 データで見る 解説動画とWebテキストの違い AI サポートに質問する頻度は? 学生による AI に対する評価 (３段階評価 / １ヶ月間 / gpt-3.5-turbo) https://bit.ly/learn-to-code-with-chatgpt-raw-data
23. Railsチュートリアル × 反転学習 Q. AI サポートを用いた学習は、 データで見る 解説動画とWebテキストの違い あなたの学習に役立ちましたか? 学生による AI に対する評価 (３段階評価 / １ヶ月間 / gpt-3.5-turbo) https://bit.ly/learn-to-code-with-chatgpt-raw-data
24. Railsチュートリアル × 反転学習 LLM が、もたらした変化 ・ 質問の数が 約 27 倍 に増加 “有人” より “無人” の方が質問しやすい (?) ・ どう躓くか、どう直すか？ 学習者の躓き ≒ 講義の改善点 ・ 何を問うか、なぜ問うか？ 設問文によっては “質問するだけ” になる
25. 1. もたらした変化
26. Railsチュートリアル × 反転学習 LLM が、もたらした変化 ・ 質問の数が 約 27 倍 に増加 “有人” より “無人” の方が質問しやすい (?) ・ どう躓くか、どう直すか？ 学習者の躓き ≒ 講義の改善点 ・ 何を問うか、なぜ問うか？ 設問文によっては “質問するだけ” になる
27. Railsチュートリアル × 反転学習 Q. AI を用いて問題を解くとき、 データで見る 解説動画とWebテキストの違い 問題を難しいと感じましたか？ 学生による AI に対する評価 (３段階評価 / １ヶ月間 / gpt-3.5-turbo) https://bit.ly/learn-to-code-with-chatgpt-raw-data
28. Railsチュートリアル × 反転学習 Q. 受講生による使ってみた所感 データで見る 解説動画とWebテキストの違い （一部抜粋） “ 経験がなかったため、ChatGPTに聞きました （勉強になりました） → 主に「初めて触れるトピック」で使われる傾向 “ コピペではないことを証明するための労力 （回答の正しさ、確からしさ、出典などの調査）が意外と時間が必要 → 原因「問題の回答には必ず出典を明記して下さい」 いったん「出典無しで OK」にしてみたところ ...
29. Railsチュートリアル × 反転学習 採点が大変になってしまった...
30. Railsチュートリアル × 反転学習 採点が大変になった理由の考察 設問例：なぜ Git などのツールでバージョン管理をすることが多い？ もしバージョン管理をしなかった場合、どうなる？ LLM の普及前 LLM の普及後 👀 設問を読む 👀 設問を読む 回答が 分からない 🔍 文献を調べる 回答が 見えてきた 📝 回答を記入する LLM (AI) に 聞いてみる 🔍 文献を調べる 正しいか 確認する 回答を精査し 適宜修正する 📝 回答を記入する
31. Railsチュートリアル × 反転学習 採点が大変になった理由の考察 設問例：なぜ Git などのツールでバージョン管理をすることが多い？ もしバージョン管理をしなかった場合、どうなる？ LLM の普及後 👀 設問を読む LLM (AI) に 聞いてみる 🔍 文献を調べる 正しいか 確認する 回答を精査し 適宜修正する 📝 回答を記入する
32. Railsチュートリアル × 反転学習 採点が大変になった理由の考察
33. Railsチュートリアル × 反転学習 LLM を考慮した 採点基準の明確化 全て合ってたら正答 とした 回答を理解し、適宜精査し、 ポイントを絞り、修正する。
34. Railsチュートリアル × 反転学習 採点基準を見直した (2 周目) ・ AI の使用は引き続き OK! 通常の質問も、レポートも、期末試験も。 ・ 問題は “どれか当たれば...” １つの設問に、３〜５の回答を書きがち。 ・ 全て合ってたら正答とした 概要を AI で掴み、詳細を自分で精査する
35. 1. もたらした変化
36. Railsチュートリアル × 反転学習 知ってる < 使った <<< 作った 知ってる人は多く, 使った人は少ない. 1 認知率 1 0 0 68.8% 61.3% 利用率 12.1% 15.4% 0 4月 6月 NRI - 日本のChatGPT利用動向 - ネットアンケート調査 (2023年6月時点) https://www.nri.com/jp/knowledge/report/lst/2023/cc/0622̲1
37. フレームワーク開発特論 ← １人で開発する (※ ココが僕の担当) コラボ開発特論 ← 共同で開発する 身近な課題を解決 (PBL) ← PBLで開発する
38. 色々なプロダクトを紹介 ワクワクを膨らませたい
39. 小中高生クリエータも開発！ https://jr.mitou.org/projects/2023/voice_genius
40. 小中高生クリエータも開発！ https://jr.mitou.org/projects/2023/capitalens
41. 小中高生クリエータも開発！ https://jr.mitou.org/projects/2023/be_free
42. 『作りながら、学ぶ』 (Project-Based Learning) をさらに活かすための LLM
43. まとめ
44. 1. もたらした変化 2. 課題点と改善案 3. 変化を楽しもう
45. Railsチュートリアル × 反転学習 ChatGPT を組み込んだ 24 時間 TA： データで見る 解説動画とWebテキストの違い 教育現場における LLM 活用の課題と改善
46. Railsチュートリアル × 反転学習 関連リンク（概要欄から各リンクを辿れます！） • 今回のアンケート結果（Raw Data - Google Form） https://bit.ly/learn-to-code-with-chatgpt-raw-data • GatesNotes - The Age of AI has begun https://www.gatesnotes.com/The-Age-of-AI-Has-Begun • OpenAI / ChatGPT 座談会 - YouTube https://www.youtube.com/watch?v=abnGvGEmwoA • AIIT (フレームワーク開発特論) における事例 https://twitter.com/yasulab/status/1645366416500228098 • 生成 AI の初等中等教育でのガイドライン策定に向けた提言 https://prtimes.jp/main/html/rd/p/000000081.000015742.html • 生成 AI の倫理的・法的・社会的課題（ELSI）論点の概観 https://elsi.osaka-u.ac.jp/research/2414 • ジョージア工科大、TA が人工知能だったことに学生の誰も気づかなかった https://www.gizmodo.jp/2016/05/post̲664621.html
47. Railsチュートリアル × 反転学習 関連リンク（概要欄から各リンクを辿れます！） • 未踏ジュニア - 小中高生クリエータ支援プログラム https://jr.mitou.org/ nal • Railsチュートリアル - プロダクト開発の 0 → 1 を学ぼう https://railstutorial.jp/ • Railsチュートリアル - AI サポート機能 https://railstutorial.jp/ai̲support • Railsチュートリアル - note マガジン https://note.com/yasslab/m/md778735d3f77 • YouTube チャンネル - Railsチュートリアル https://youtube.com/YassLab • YouTube チャンネル - CoderDojo Japan https://youtube.com/CoderDojoJapan • YouTube チャンネル - 未踏ジュニア fi https://youtube.com/MitouJr