生成AI利用の本質的理解―大学の授業のために―

愛媛大学の教育コーディネーター研修会にて、生成AI利用の基本、実効性、授業における受容について講演しました。

1. 生成AI利用の本質的理解 ― 大学の授業のために ― 2023年9月29日 森木 銀河(九州大学) 愛媛大学 教育コーディネーター研修会
2. 自己紹介 森木銀河 1 https://note.com/pogohopper8 https://twitter.com/pogohopper8 九州大学IR室 学術推進専門員 (高度専門職員) IR室保有Webシステムの運用、 データの整備・マネジメントを担当 AIの専門家ではありません 最近やっていること * IRに資するデータマネジメントの研究 * 生成AIと大学組織の関係の調査
3. 問い 2 生成AIとは何か Q1 テキスト生成AIをどのように使えば良いのか Q2 大学の授業ではテキスト生成AIとどう向き合うべきか Q3
4. 3 1. 生成AIの基本 2. テキスト生成AIの実効性 3. 大学の授業と生成AI 4. まとめ
5. • 自分の指示・意図の通り？ • 「生成物の課題」に該当？ • 利用者が責任を持てる？…etc. こんなことをお話しします 4 テキスト 生成AI 利用者 指示 出力 生成物 サービスの利用 生成物の確認 生成物の使用 利用者 生成物 フィードバック 責任有 要修正 利用者 生成物 • 文章案・構成案 • 修正されたプログラム • 思考の整理…etc. 生成物 生成物 提案 要修正
6. 1. 生成AIの基本 5 • 生成AIとは何か • ChatGPTとは何か • ChatGPTの特性と影響
7. 生成AIとは何か 6
8. 7 AI研究・開発における生成AIの位置 AI 機械学習 深層学習 AI研究・開発 生成AI 汎用性に特化 人間と同様の知識を実現させよう という取り組みやその技術 特定のタスクやトレーニングにより 実行できるようになるAI 人が特徴を定義 マシンが特徴を自動定義 「生成AI時代の人材育成」「AI用語の包含関係」に基づき作成 https://www.meti.go.jp/shingikai/mono_info_service/digital_jinzai/pdf/008_05_00.pdf 大規模言語モデル (LLM)
9. 8 生成AIサービスの普及 AI 機械学習 深層学習 AI研究・開発 誰でも・気軽に AIの恩恵を享受できる 生成AIサービスの普及 社会・大学 生成AI
10. 9 ふたつの”生成AI” (基盤技術・モデルとしての) 生成AI (利用者向けサービスとしての) 生成AI GPT等 ChatGPT等 今回は「生成AIサービス」を 中心に取り上げます
11. 10 生成AIとは何か 生成AIサービスの定義 “The Promise and Potential Risks of Generative AI”における定義 生成AI(Generative AI)とは、一般的に、写真、テキスト、コンピュータコード…など、ユー ザーからの指示に基づいてオリジナルのコンテンツを生成できる人工知能(AI)の一種である。 https://aismiley.co.jp/ai_news/what-is-generative-ai/ “The Promise and Potential Risks of Generative AI”、https://core.verisk.com/Insights/EmergingIssues/Articles/2023/January-2023/Week-4/Generative-AI
12. ChatGPTとは何か 11
13. 12 ChatGPTとは何か 対話型のテキスト生成AIサービス  自然言語処理に特化した学習済みモデル (Generative Pretrained Transformer; GPT)を使用  「与えられたテキストの後に続く単語の予測」を繰り返し、テキストを生成する  日常会話、レポートの作成、思考の整理、テーブル化…多様なタスクを遂行可能 仲山,”ChatGPTと医療の現在地”,https://speakerdeck.com/shookiyama/chatgpttoyi-liao-noxian-zai-di
14. 13 映画と劇の違いを 3点に要約して 学習済み モデル 利用者 生成AIサービス 生成物 指示(プロンプト) 出力 ChatGPTとは何か ChatGPT等のテキスト生成AIサービス(text to text) 1. 制作過程と技術：映画 はフィルムやデジタルメ ディアに録画され、編集 や特殊効果を含む後処理 が行われます。… 2. 視覚的体験：… 3. 観客との関わり：… 事前に大量の学習データセット、パラ メータを使用して学習済みモデルを作成
15. ChatGPTを使ってみる 14
16. ChatGPTを使ってみる 指示(プロンプト)を入力 トップ画面 有料版: *最新モデルの GPT-4を利用可能 …GPT-3.5以上の性能 * 新規機能への 早期アクセス権 …Webブラウジング機能、 コードインタプリタ機能等
17. 16 ChatGPTを使ってみる 1回目：指示(プロンプト)の入力・生成物の出力
18. ChatGPTを使ってみる 1回目：「映画と劇の違いを3点に要約して」 映画と劇の違いを以下の3点に要約できます： 形式：映画は映像媒体であり、ストーリーテリング や演技は映像と音声を通じて表現されます。一方、 劇は生のパフォーマンスであり、俳優たちが舞台上 でリアルタイムに演技を行います。 可変性：映画は複数の場所や時間で撮影されたシー ンを編集して作られるため、環境や視覚効果の制約 を超えてストーリーを表現できます。劇は通常、一 つの舞台上で行われるため、セットや装置を使って 場面転換を行いますが、制約があります。 共有性：映画は劇場やテレビなどのメディアを通じ て大規模に配信され、多くの人々が同時に視聴でき ます。一方、劇は特定の場所と時間に制限され、観 客は劇場に行って実際にパフォーマンスを見る必要 があります。 1.制作過程と技術: 映画はフィルムやデジタルメディ アに録画され、編集や特殊効果を含む後処理が行わ れます。撮影は非線形で、最終的な映画は数日から 数ヶ月、時には数年にわたる作業の結果として完成 します。一方、劇は実際の時間と空間で生演奏され、 後処理や特殊効果の使用が限定的です。 2.視覚的体験: 映画はカメラの視点を用いて視覚的な ストーリーテリングを行い、クローズアップや広角 ショットなどを通じて視覚的な詳細を提示します。 また、音響効果や映像効果を自由に操ることができ ます。劇は観客が実際に俳優のパフォーマンスを見 て聞くもので、舞台装置や衣装、演技に依存します。 3.観客との関わり: 劇は生のパフォーマンスであり、 観客はその瞬間を直接体験します。観客の反応はパ フォーマンスに直接影響を与え、互動性があります。 一方、映画は事前に制作され、観客との直接的なイ ンタラクションはありません。しかし、映画は世界 中の観客と共有できるという利点があります。 17 ⚡出力 GPT-3.5 ⭐出力 GPT-4
19. 18 ChatGPTを使ってみる 2回目：指示(プロンプト)の入力
20. ChatGPTを使ってみる 2回目：「【概略】学術レポートを日本語で出力してください」 19 ⚡出力 GPT-3.5 ⭐出力 GPT-4
21. テキスト生成AIの特性と社会的影響 20 ※ 以降、本スライドではChatGPT等のテキスト生成AIサービスを「テキスト生成AI」「LLMサービス」と呼称します
22. 21 (基盤技術・モデルとしての) 生成AI (利用者向けサービスとしての) 生成AI GPT等 ChatGPT等 データ依存性 予測不可能性 創発的振る舞い 普遍性 テキスト生成AI[の中で使用されるAIモデル] の特性
23. 22 テキスト生成AI[の中で使用されるAIモデル] の特性 データ依存性 予測不可能性 普遍性 https://arstechnica.com/gadgets/2023/01/the-generative-ai-revolution-has-begun-how-did-we-get-here/ • AIモデルはその性能や機能が訓練データに大きく依存する • 質の良いデータと十分な量のデータが与えられると、AIはより正確になる • AIモデルは基本的に確率的であり、同じ入力に対しても異なる出力をすることがある 創発的振る舞い • 大規模なモデルは予期しない新しい機能や能力を示すことがよくある • これはモデルの複雑さとその訓練方法に起因するものである • これらのモデルは多岐にわたるタスクやドメインで機能することができる • 一つのモデルが多くの異なるタスクを学ぶ能力を持つことがよくある
24. 23 データ依存性 同じ指示でもAIモデルによって出力・生成物が異なる …指示の質や、AIモデルが事前に学習したデータの質や量等に依存する 利用者 ChatGPT 指示X 出力B 生成物B ChatGPT的な LLMサービス プログラミン グに特化した LLMサービス 出力A 出力C 指示X 指示X 三者三様、事前にデータを学習し、 指示チューニングや強化学習を済ませた状態 生成物A 生成物C
25. 24 予測不可能性 同じ指示・同じAIモデルでも出力・生成物は確率的なゆらぎを持つ …指示の質や、AIモデルが事前に学習したデータの質や量等に依存する 利用者 ChatGPT 指示X 出力B 生成物B 利用者 ChatGPT 指示X 出力A 生成物A 昨日 ついさっき いま 利用者 ChatGPT 指示X 出力C 生成物C
26. 25 創発的振る舞い・普遍性；受験・試験への影響 GPT-3.5は一部のAP(大学教養レベルの試験) で高得点を獲得 GPT-4は米国の司法試験で受験者の上位10％程度のスコアで合格 (GPT-3.5は下位10％程度のスコア) https://openai.com/research/gpt-4
27. 26 創発的振る舞い・普遍性；労働への影響 GPTは汎用技術(GPTs)である(OpenAIら,2023) 8割の労働者は業務の1割が影響を受け、2割の労働者は業務の半分が影響を受ける https://dev.classmethod.jp/articles/notes-on-gpts-are-gpts/ https://arxiv.org/abs/2303.10130
28. 生成AIの基本 まとめ 27 確率的に振る舞う 学習済みデータに依存する 学習者や労働者に影響を与える 生成AIサービスは 指示をもとにコンテンツを生成できる
29. 2. テキスト生成AIの実効性 28 • テキスト生成AIの限界と課題 • 適切な使い方
30. △ 定型的な作業を効率化できる(その場限りの有効性) △ ChatGPTという一つのサービス・ツールに限られたノウハウである × 指示や生成物を自分で改善・評価できない × 「注意を要するべき点」の程度を自分で認識できない テキスト生成AIをどのように使うべきか 29 テキスト生成AIの利用方法や指示(プロンプト)の暗記は 短期的な有効性しか得られず、安全な利用が困難になる ChatGPT 利用者 指示 出力 生成物 ChatGPTにログインして 例のテンプレ指示を投げれば 生成物できてヨシ！！！ テキスト生成AIの実効性を得るために、 教員-学生、教員-職員、組織-構成員の間で認識の共有が必要
31. 実効性を得るための方策 30 限界と課題を知ること 適切な使い方を知ること テキスト生成AIの
32. テキスト生成AIの限界と課題 31
33. 限界と課題：3つの観点 32 テキスト 生成AI 利用者 指示 出力 生成物 テキスト 生成AI 利用者 指示 出力 生成物 テキスト 生成AI 利用者 指示 出力 生成物 出力仕様上の限界 入力時の課題 生成物の課題
34. 出力仕様上の限界 33 出力は 学習に使用されたデータに依存する 再現可能性が低い 指示(プロンプト)の質に依存する 可能性がある テキスト 生成AI 利用者 指示 出力 生成物
35. 34 出力仕様上の限界 使用するツールの仕様を把握する 学習に使用されたデータに依存する可能性がある 再現可能性が低い可能性がある  学習に使用されたデータが2021年9月時点でカットオフされた場合、 ChatGPTの出力も原則2021年9月までの情報に限定される OpenAI,” Models”, https://platform.openai.com/docs/models/overview  「ある単語や文章の次に来る単語や文章を推測し、「統計的にそれらしい応 答」を生成する」AIであり、原則として再現性は保証されない 文部科学省,”初等中等教育段階における生成AIの利用に関する暫定的なガイドライン”, https://www.mext.go.jp/content/20230710-mxt_shuukyo02-000030823_003.pdf 指示(プロンプト)の質に依存する可能性がある  「結果の品質は提供する情報の量とそのクオリティによって異なります。」 ”Prompt Engineering Guide”, https://www.promptingguide.ai/jp/introduction/basics
36. 入力時の課題 35 テキスト 生成AI 利用者 指示 出力 生成物 AIモデルの学習や改善に使用される 個人情報保護法に抵触する 可能性がある 入力は
37. 36 入力時の課題 個人情報等の機密情報は入力しない AIモデルの学習や改善に使用される可能性がある 個人情報保護法に抵触する可能性がある  WebサービスとしてのChatGPTに入力されたデータは サービスの開発・改善に使用される可能性がある  APIを経由 / 一部機能を使用すれば開発・改善に利用されない ※ ただし不正行為の防止等の目的でデータを監視される可能性がある OpenAI,”Terms of use”,https://openai.com/policies/terms-of-use  入力する指示が個人情報か、利用目的の範囲内か、等の利用状況により 個人情報保護法に抵触する可能性がある 杉浦,”生成AIへのプロンプト入力時における個人情報保護法上の論点まとめ（前編）”, https://storialaw.jp/blog/10005
38. 生成物の課題 37 生成物は 著作権法等によって保護されている 事実と異なる 可能性がある テキスト 生成AI 利用者 指示 出力 生成物
39. 38 生成物の課題 生成物の正確性と誠実性には注意する 著作権法等によって保護されている可能性がある  生成物が著作権侵害に係る判断は、「人がAIを利用せず絵を描いた場合などの、 通常の場合と同様に判断」される ⇒類似性かつ依拠性を満たすかどうか  類似性：「他人の著作物の「表現上の本質的な特徴を直接感得できること」」  依拠性：「既存の著作物に接して、それを自己の作品の中に用いること」 文化庁,”AIと著作権”,https://www.bunka.go.jp/seisaku/chosakuken/pdf/93903601_01.pdf 文部科学省,”初等中等教育段階における生成AIの利用に関する暫定的なガイドライン”, https://www.mext.go.jp/content/20230710-mxt_shuukyo02-000030823_003.pdf 事実と異なる可能性がある  「事実と全く異なる内容や、⽂脈と無関係な内容などが出⼒される」 いわゆる幻覚（ハルシネーション＝Hallucination）
40. 39 参考：Hallucination(ハルシネーション)について powered by GPT-3.5 * 堂々と間違いを出力 * 本当は?と聞けばハル シネーションが解消され るわけではない GPT-3.5使用.プロンプト：https://chat.openai.com/share/6ee7ca1b-cd1a-4b2e-b5a8-00f019bc367d
41. テキスト生成AIの適切な使い方 40
42. テキスト生成AIの適切な使い方 41 テキスト生成AIの出力を提案として扱う 試行錯誤する 提案 テキスト 生成AI 利用者 指示 出力 生成物 火星人に 会う方法 テキスト 生成AI 利用者 指示 出力 生成物 自己 フィードバック
43. 42 テキスト生成AIの出力を提案として扱う 出力が真であるかどうかは重要か？ (=提案ではなく検索としての用途か？) 出力の正確さを検証する 専門知識があるか？ 不正確な情報を見逃した場合、 法的・モラルなどのあらゆる責任を 負うことができるか？ Tiulkanov,”Is it safe to use ChatGPT for your task?”, https://www.linkedin.com/posts/tyulkanov_a-simple-algorithm-to-decide-whether-to-use-activity-7021766139605078016-x8Q9 ただし、出力された単語や文章が正確か どうか、また常識的なものであるかどう かを必ず検証すること。 ChatGPTを 安全に使用するためのフローチャート
44. 43 テキスト生成AIの出力を提案として扱う 生成物を事実として飲み込まない テキスト 生成AI 利用者 指示 出力 生成物 事実(!?) 生成物の提案に基づいて考える・行動する 火星人に 会う方法 提案 テキスト 生成AI 利用者 指示 出力 生成物 火星人に 会う方法
45. 44 試行錯誤する 自分が利用している生成AIの仕様や動向を確認する テキスト 生成AI 利用者 指示 出力 生成物 実際に触って確認する 私は 2022年1月までの データを参照します GPT-3.5は 2021年9月までの データを使用 提案
46. 45 試行錯誤する 1度限りで成功する「指示」はかなり稀 テキスト 生成AI 利用者 指示 出力 生成物 テキスト 生成AI 利用者 指示 出力 生成物 自己 フィードバック 何度も繰り返し、自分の目的に合う指示・生成物を目指す
47. 46 試行錯誤する △ 情報の検索・事実の追究 テキスト 生成AI 利用者 指示 出力 生成物 ◦ 情報の変換・整理等の作業、思考の取っ掛かり 鎌倉幕府 いつから 1192年です (!?) テキスト 生成AI 利用者 指示 出力 生成物 私の仮説を 精査・展開 させたい 仮説の特徴 仮説の課題 …
48. テキスト生成AIの実効性 まとめ 47 出力を提案として扱う 入力・出力時の懸念事項に対応する 試行錯誤を行う テキスト生成AIの 仕様を把握する
49. • 自分の指示・意図の通り？ • 「生成物の課題」に該当？ • 利用者が責任を持てる？…etc. テキスト生成AIの利用から生成物の使用までのチャート 48 テキスト 生成AI 利用者 指示 出力 生成物 サービスの利用 生成物の確認 生成物の使用 利用者 生成物 フィードバック 責任有 要修正 利用者 生成物 • 文章案・構成案 • 修正されたプログラム • 思考の整理…etc. 生成物 生成物 提案 要修正
50. 3. 大学の授業とテキスト生成AI 49 • 大学の授業におけるテキスト生成AIの利用可能性 • 大学の授業における生成AIの受容
51. 大学の授業とテキスト生成AI 50 吉田,”教員向け ChatGPT 講座 ～基礎から応用まで～”,https://edulab.t.u-tokyo.ac.jp/2023-05-13-report-event-chatgpt-course/ ChatGPTが教育に与える影響(吉田,2023)
52. 大学の授業とテキスト生成AI 51 どのように利用可能なのか どのように受容すべきか 大学の授業ではテキスト生成AIを
53. 大学の授業におけるテキスト生成AIの利用可能性 52
54. 学習におけるChatGPTの活用(吉田,2023) 53 吉田,””学習者の学びを深めるためにChatGPTを如何に取り入れるか,https://www.kansai-u.ac.jp/ctl/topics/29fdchatgpt624.html
55. 54 大学の授業における利用可能性 • レポート作成 • 読書感想文作成 • プログラミングコードへの作成補助 • 情報収集、論点の洗い出し • ブレインストーミング • 選択問題への回答 • テキストの要約 • 英文添削 • 文章校正 • 授業設計の構成 • シラバス案の作成 • 授業内のグループワークの設計 • レポートの採点 • 試験問題の作成 • 教材作成 • 授業内での学生への問いの作成 • 授業アンケート結果を整理 教員 学生 大阪大学 全学教育推進機構 教育学習支援部,”生成AI教育ガイド”,https://www.tlsc.osaka-u.ac.jp/project/generative_ai/ChatGPT_basic.html
56. 55 利用例 シラバス案の作成 [教員] あなたは大学教員である私とともに良質な講義をデザインする「共同デザイナー」です。 以下の条件を参考に、大学1年生向け教養科目[### 講義名 ###]の講義シラバスを作成してください。 ### シラバスの要素### * サブタイトル * 講義概要 * 到達目標（...が理解できる、...を身に付けている、という形式で3点） * 講義方法 - 座学を中心とし、3回に一度はアクティブラーニングを実施予定 * 授業時間外における予・復習等の指示 * 成績評価の方法 - 平常点、小テスト、レポート、定期試験、その他 - 定期試験に重心を置いてください * 参考文献 - 「本講義に適した文献を使用」と記載してください * オフィスアワーは水曜日13:30-14:30とする * 講義計画 - 講義タイトルと講義の内容、講義のねらいを明確にすること - 15回の講義を予定 - 何をどのように実施するのかを、各回で明確にすること ### 講義名 ### 心理学入門 ### 出力形式 ### * シラバス情報(サブタイトルからオフィスアワーまで)のテーブル、講義計画のテーブル、2テーブル出力す ること 龍谷大学,”シラバス作成の手引き”, https://fd.ryukoku.ac.jp/%E3%82%B7%E3%83%A9%E3%83%90%E3%82%B9%E4%BD%9C%E6%88%90%E3%81%AE%E6%89%8B%E5%B C%95%E3%81%8D.pdf
57. 56 利用例 シラバス案の作成 [教員] 続けて以下の点を改善してください * 講義内容が難しいです。本講義は大学1年生 に向けた一般教養科目であり、心理学専攻者以 外の学生も受講します。心理学の重要なエッセ ンスを分解・整理しすることで、心理学の初歩 的な理解を目指してください。 * 定期試験の配分を50%とします。 ※ GPT-4使用.プロンプト：https://chat.openai.com/share/3d9e8bec-23b5-4cdb-a704-be84282f5744
58. 57 利用例 教材作成 [教員] 以下の文章を教科書風の文体で書き直してください。その際に、適宜必要な情報を付け加えてください。 学習環境(カリキュラム、教授法、評価方法、学生支援等)を ポジティブに受け止めている学生は、深い学習 アプローチを取る(Biggs, 2011) 個人的要因(授業のトピックへの関心、自尊感情、学習意欲等)と状況・教員要因(教員の準備、知識、ユーモ ア、学生の実生活との関連づけ等)の双方が不正行為に影響する(e.g., Schraw et al., 2007) 生成AIへの対策とともに、 授業設計も見直すことが有効Copilotとして 生成AIが活用できるかもしれない 学習における成果や動機づけは、多様な要因に影響されます。Biggs (2011)によれば、学 習環境、特にカリキュラム、教授法、評価方法、学生支援といった要素を肯定的に捉える学 生は、深い学習アプローチを採用する傾向があります。しかし、学生の学習結果や意欲は学 習環境だけでなく、個人的要因や教員由来の要因にも影響を受けます。個人的要因としては、 授業のトピックへの関心、自尊感情、学習意欲などが挙げられます。一方、状況・教員要因 としては、教員の授業準備、知識、ユーモア、そして学生の実生活との関連付けの程度など が考慮される必要があります。これらの要因が総合的に学生の不正行為に影響する可能性が あると指摘されています（例：Schraw et al., 2007）。 近年、生成AIの技術が進化しています。これに伴い、授業設計の見直しや教育環境の改善に 生成AIを取り入れる議論も増えてきました。特に、生成AIツールの"Copilot"としての活用 が期待されています。しかし、その際にはAIの活用に関する適切な対策やガイドラインの確 立が必要となるでしょう。 ※ GPT-4使用 大阪大学 全学教育推進機構 教育学習支援部,”生成AI教育ガイド 授業における生成AIの活用法”, https://www.tlsc.osaka-u.ac.jp/project/generative_ai/support_al.html#6
59. 58 利用例 プログラミングコードへの作成補助 [学生] df = pd.read_csv(path_for_3 + '¥¥userList.csv',encoding='CP932’) df.head() ParserError: Error tokenizing data. C error: Expected 8 fields in line 3992, saw 9 ※ GPT-4使用
60. 59 利用例 発想法(橋本,2023) [学生] マンダラートの手法を使ってアイデアを創出しようと思います．テーマは「学びのためのスマホアプリの新 機能」です．まずテーマに関するアイデアを８つ考えてください．続いて，８つのアイデアそれぞれについ て，具体化する方法を「８つずつ」考えてください．具体化する方法は文ではなく「10文字程度の短いキー ワード」で出力してください．(以降省略) 橋本,”生成AIを活用した初年次教育の授業設計と実践”, https://doi.org/10.15077/jsetstudy.2023.2_95 ※ GPT-4使用.プロンプト：https://chat.openai.com/share/ff0bc8aa-ddd9-481f-bb62-751e2def2df1
61. • 自分の指示・意図の通り？ • 「生成物の課題」に該当？ • 利用者が責任を持てる？…etc. 教員と学生は公平な利用者です 60 テキスト 生成AI 利用者 指示 出力 生成物 サービスの利用 生成物の確認 生成物の使用 利用者 生成物 フィードバック 責任有 要修正 利用者 生成物 • 文章案・構成案 • 修正されたプログラム • 思考の整理…etc. 生成物 生成物 提案 要修正 必ず「生成物の確認」を実施
62. 大学の授業における生成AIの受容 61
63. 生成AIを受容した授業のデザイン 62 https://bokcenter.harvard.edu/artificial-intelligence, https://utelecon.adm.u-tokyo.ac.jp/docs/ai-tools-in-classes, https://www.tlsc.osaka-u.ac.jp/project/generative_ai/assessment_ai.html等を参照 • 組織の生成AIポリシー・ガイドライン等を参照・把握する • 教員自身がテキスト生成AIを使用して、 「これまで学生に課してきた課題・試験がどの程度解けるか」を確認する • 授業や課題ごとに目標・価値観を明確にし、学生に伝える • 「AIが生成した文章かどうか」の判断は人間が行う • 不正行為のリスクを周知する
64. 生成AIを受容した授業のデザイン 63 https://bokcenter.harvard.edu/artificial-intelligence, https://utelecon.adm.u-tokyo.ac.jp/docs/ai-tools-in-classes, https://www.tlsc.osaka-u.ac.jp/project/generative_ai/assessment_ai.html等を参照 • 組織の生成AIポリシー・ガイドライン等を参照・把握する • 教員自身がテキスト生成AIを使用して、 「これまで学生に課してきた課題・試験がどの程度解けるか」を確認する • 授業や課題ごとに目標・価値観を明確にし、学生に伝える • 「AIが生成した文章かどうか」の判断は人間が行う • 不正行為のリスクを周知する
65. 64 目標・価値観を明確にする Joshi et al(2023);インドの大学の工学部における学生・教員への調査を踏まえた議論において ChatGPTの肯定的な役割の一方で、 • 学生の批判的思考、体系的思考、問題解決、創造性等の 認知スキルを低下させる可能性 • 学生の思考やアプローチに同質性をもたらすことへの懸念 • 学生同士で議論したり協力したりする社会的相互作用を減少させる懸念 生成AIの更なる普及・発展が予想されるが、目的・価値観によっては 「テキスト生成AIを使わせない授業」も大いにあり得る 学生と認識を共有する 使用禁止のポリシーとその背景を明確に伝える 生成AIの影響が少ない課題にする 概念マップなど図の作成を取り入れる(吉田,2023)等 吉田,”教員向け ChatGPT 講座 ～基礎から応用まで～”,https://edulab.t.u-tokyo.ac.jp/2023-05-13-report-event-chatgpt-course/ Joshi et al,“From "Let's Google" to "Let's ChatGPT": Student and Instructor Perspectives on the influence of LLMs on Undergraduate Engineering Education”,https://doi.org/10.48550/arXiv.2309.10694
66. 65 目標・価値観を明確にする 「今後の高等教育では、課題作成における生成AIの使用を見込んだ上で、 生成AIに対応した評価方法を選んでいくことが求められます。」 選択回答式問題： 多肢選択問題、正誤問題、 順序問題、穴埋め問題 自由記述問題： 説明問題、推論問題、作問法 パフォーマンス課題： 小論文、研究レポート、研究論文、 プレゼンテーション、実験計画 活動要素の点検： 発問応答、活動観察 実技テスト： 面接、口頭試問、実験器具操作 生成AIの影響の多い評価形式 生成AIの影響の少ない評価形式 大阪大学 全学教育推進機構 教育学習支援部,”生成AI教育ガイド 評価における生成AIの影響”, https://www.tlsc.osaka-u.ac.jp/project/generative_ai/assessment_ai.html
67. 66 「AIが生成した文章かどうか」の判断は人間が行う OpenAI,” New AI classifier for indicating AI-written text”,https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text 「AIが生成した文章かどうか」を確実に判定できるツールはまだ存在しない 「AI分類器はその精度の低さのため利用できなくなっています。 私たちはフィードバックを取り入れ、 現在、テキストのより効果的な証明技術を研究しています。」 2023年7月20日 OpenAIが開発・公開していたAI検出器「AI classifier」の提供を停止 2023年5月17日 A Texas professor failed more than half of his class after ChatGPT falsely claimed it wrote their papers 教員がChatGPTに「学生がChatGPTで論文を書いたかどうか」を尋ね、 その結果を信頼・使用。クラスの半分以上が不合格となり、 大学が学生たちの卒業証書を保留にした事件 https://www.businessinsider.com/professor-fails-students-after-chatgpt-falsely-said-it-wrote-papers-2023-5
68. 大学の授業と生成AI まとめ 67 学生と認識を共有する 目標・価値観を明確に定める AIに責任を転嫁しない 大学の授業では 教員・学生の創意工夫によって テキスト生成AIを多様に利用可能
69. 4. まとめ 68
70. 問い 69 生成AIとは何か Q1 テキスト生成AIをどのように使えば良いのか Q2 大学の授業ではテキスト生成AIとどう向き合うべきか Q3
71. 生成AI利用の本質的理解 70 確率的に振る舞う 学習済みデータに依存する 学習者や労働者に影響を与える 生成AIサービスは 指示をもとにコンテンツを生成できる 出力を提案として扱う 入力・出力時の懸念事項に対応する 試行錯誤を行う テキスト生成AIの 仕様を把握する 学生と認識を共有する 目標・価値観を明確に定める AIに責任を転嫁しない 大学の授業では 教員・学生の創意工夫によって テキスト生成AIを多様に利用可能 Q1 Q2 Q3
72. ご清聴ありがとうございました 71  大規模言語モデルの原理・仕組み、具体的な実装方法  大規模言語モデルに対する指示チューニング・RLHF  生成AIサービスの開発・提供に際する留意事項全般  プロンプトエンジニアリング全般  生成AIサービス利用における倫理的影響  配慮を要する学生への対応  生成AIが学生の進路選択やキャリアに与える影響  生成AIが大学における研究活動  生成AIが大学運営に与える影響 今回お話ししなかったこと
73. 付録 72
74. • 自分の指示・意図の通り？ • 「生成物の課題」に該当？ • 利用者が責任を持てる？…etc. テキスト生成AIの利用から生成物の使用までのチャート 73 テキスト 生成AI 利用者 指示 出力 生成物 サービスの利用 生成物の確認 生成物の使用 利用者 生成物 フィードバック 責任有 要修正 利用者 生成物 • 文章案・構成案 • 修正されたプログラム • 思考の整理…etc. 生成物 生成物 提案 要修正
75. 74 プロンプトエンジニアリングのベストプラクティス GPTに「考える」時間を与える 複雑なタスクを分割する 参考文献・ドメイン知識を提供する 明確な指示を書く @ot12,“【完全保存版】OpenAIが教えるChatGPTからより良い結果を得るためのプロンプトのコツ”, https://qiita.com/ot12/items/e3270c89a7368d96e4d5 OpenAI,” GPT best practices”, https://platform.openai.com/docs/guides/gpt-best-practices 深津,”行政のためのプロンプト・エンジニアリング入門”, https://note.com/akihisa_shiozaki/n/n4c126c27fd3d 時間の関係でおそらく割愛します 本質的に重要なのは「プロンプトの暗記」ではなく「柔軟に・繰り返し・根気よくLLMと向き合う文化の醸成」です
76. 75 ラッセル・グループの教育における生成AIツールの利用原則 1. 大学は、学生や職員がAIリテラシーを身につけられるよう支援する。 Russell Group principles on the use of generative AI tools in education https://russellgroup.ac.uk/media/6137/rg_ai_principles-final.pdf 2. 職員は、学生が学習経験において効果的かつ適切に 生成AIツールを使用できるようサポートする能力を身につける。 3. 大学は、生成AIの倫理的利用を取り入れ、 平等なアクセスを支援するために、教育と評価を適応させる。 4. 大学は、学問の厳密性と完全性が維持されるようにする。 5. 大学は、テクノロジーとその教育への応用が進化する中で、 ベストプラクティスを共有するために協力的に取り組む。 すべての学生や職員が、これらのツールの使用に関連する機会、限界、倫理的問題を理解し、生 成的AIの能力が発展するにつれて学んだことを応用できるようになることが重要である。 変化し続けるこの状況を乗り切るためには、大学、学生、学校、FEカレッジ、雇用主、セク タ ー、専門機関の協力が必要であり、政策、原則、そしてその実践の継続的な見直しと評価が 必要である。