Share
Embed
Transcript
30 slides
-
本講義の到達目標と今回の授業の狙い 本講義の到達目標 ▪ DNNの基礎理論と実装の関係を理解する ▪ 種々のDNNをコーディングできる 今回の授業の狙い ▪ ChatGPTを用いたコーディング習得方法を学ぶ ▪
出席確認: K-LMS上の機械学習基礎のMainページへアクセス -2- -
コーディングエージェント ▪ GitHub Copilot in VS Code https://code.visualstudio.com/docs/copilot/ ai-powered-suggestions ▪
Codex CLI https://www.youtube.com/watch?v=PUBc2G 0Tj5E -4- -
今後の予想と本講義の立ち位置 今後の予想 ▪ 入門レベルのプログラマの需要は長期的 に減少すると予想 ▪ 上達スピードを速めることが重要 本講義の立ち位置 ▪ LLMをコーディングエージェントではなく、
チューターとして上達に利用する方法を 学ぶ -6- -
ChatGPT [OpenAI, 2022/11/30] ▪ ChatGPT:大規模言語モデル(Large Language Model; LLM)を用い たチャットボット ▪
言語モデル:単語列の生成確率を推定するモデル ▪ 「ChatGPT」はサービス名であるが、口語では大規模言語モデルを 指すことが多い ▪ 以前のチャットボット ▪ 数十年前から何度も盛り上がるものの、 キラーアプリに欠けるため必需品とならず ▪ 関連技術を今後の授業で紹介 -9- -
ChatGPTとの対話例 1. ChatGPTと会話することでPyTorchを学んでみたいと思います。私はPython初心者 です。オブジェクト指向プログラミングもわかりません。まずはPyTorchの初心者 用プログラムについて教えてください。 2. PyTorchをインストールしました。MNIST画像データセットをダウンロードするに はどうすれば良いですか? 3. ダウンロードできました。データを加工して、モデルに入力する形にするにはど
うすれば良いですか? 4. 変換できました。次に多層パーセプトロンで画像分類を行うにはどうすれば良い ですか? 5. 最初の行にあるピリオドはどういう意味ですか? - 11 - -
コーディング習得でのChatGPTのメリット・デメリット ▪ ビギナーほど説明が必要 →ChatGPTは初級コードが得意 ▪ 高度知識に比べ初級知識に関する学習サンプルが多いためと予想 ▪ 公式ドキュメント(含教科書)は正式な知識源だが、あらゆるレベル に合わせたドキュメントを書くことは不可能 ⇔ChatGPTの回答は正しいとは限らないが、ChatGPTでは個々のレベル
に合わせた説明が可能 ▪ TAに聞くのは効率的だが気を使う ⇔ChatGPTはいつでも・どこでも・気を使うことなく質問可能 - 12 - -
ハルシネーションとコーディングへの影響 ▪ ハルシネーション(錯誤) ▪ いかにも正しそうだが実際には誤りである内容の生成 ▪ ハルシネーションの影響を軽減するには? ▪ 調べ物: ハルシネーションかどうかわからないこともある
▪ コーディング: コンパイラのエラーメッセージをもとに間違いを 修正しやすい ▪ 教科書で調べる、検索する、人に聞く、をバランスよく組み合わせる のが良い - 13 - -
大規模言語モデルによるコード生成で起こった問題の例 (2022/10 GitHub Copilot) ▪ Texas A&M Univ.のTim Davis 教授:「自分が著作権を有する
コードを、attributionやLGPL 表示なしでCopilotが生成し た」 ▪ プロンプト:「sparse matrix transpose, cs_」 ▪ 感想:確かに多くは類似 ▪ コメントまでコピペされて いる点は類似とみなされて もやむを得ない https://twitter.com/DocSparse/status/1581632706693079042/photo/1 - 19 - -
注意:リテラシーや法的問題 ▪ プロンプトに含めるべきではない情報に注意 ▪ 個人情報、パスワード、APIキー、機密情報等 ▪ 「公に書けない情報」を入力してはならない ▪ 他者の著作権を侵害してはならない ▪
例:「生成されたコードを公開したが、後になって他者 の著作物と著しく似ていることがわかった」という状況 は許されない ▪ 利用規約に反する行為 ▪ 利用規約が書かれたページがサービスごとに存在するの で読むこと - 20 - -
ChatGPTをコーディング習得補助に使うのであって、 コードをすべて生成させるわけではない ▪ 大規模言語モデルのみで商品レ ベルのプログラムを簡単に作る ことはできない ▪ 例えばゲームを作るとして、 「シューティングゲームなの か、2次元なのか、ボス敵は
どんな形か、…(仕様)」が 明確でなければ、良いゲーム は作れない Gemini 3.7 Flash (Google) https://www.youtube.com/watch?v=9_PtOVH2FPE - 21 - -
初歩的な内容を質問する(3分) 課題:以下をChatGPTに入力せよ 1. NumPyについて教えて ▪ 上記回答中のわからない内容についてさらに問い合わせよ ▪ 例:「ブロードキャストとは何ですか」 2. 現在、google
colaboratoryのノートブックの画面を見ています。この ノートブックを実行する手順を教えてください 3. 以下のコードを説明してください。 np.loadtxt(fname, delimiter=",") - 24 - -
エラーメッセージと修正方法の解説 ▪ 課題:以下をChatGPTに入力せよ 以下のエラーについて説明し、どのように修正すればよいか教えてください。 ZeroDivisionError Traceback (most recent call last)
<ipython-input-6-b457b0d96231> in <module> 1 ans = 0 2 for i in range(10): ----> 3 ans += A[i] // B[i] 4 print(ans) ZeroDivisionError: integer division or modulo by zero - 25 - -
docstringの生成 ▪ 課題:以下をChatGPTに入力せよ 以下の関数のdocstringを生成してください。出力はdocstringのみとしてください: def zeller(year, month, day): if month
<= 2: year -= 1 month += 10 else: month -= 2 w = day + int((13 * month - 1) / 5) + year + int(year / 4) - int(year / 100) + int(year / 400) x=w%7 return x # コンソールから入力を受け取る year = input("誕生年を入力してください(Enterで決定):") month = input("誕生月を入力してください(Enterで決定):") day = input("誕生日を入力してください(Enterで決定):") # 曜日の計算を0-6の間で計算する x = zeller(year, month, day) # 出力 ws = ["日", "月", "火", "水", "木", "金", "土"] print(f"{year}年{month}月{day}日の曜日は{ws[x]}曜日です") - 27 - -
問題点の指摘とコーディング規約に準拠した修正案の生成 ▪ 課題:以下をChatGPTに入力せよ 以下の問題点を指摘し、正しいコードを出力させてください。コードはPEP8 に準拠させてください。: for i in range(1, 1001):
sum_divisor = 0 for j in range(1, i//2): if i % j == 0: sum_divisor += j if i == sum_divisor: print(i) - 28 - -
別解の生成 ▪ 課題:以下をChatGPTに入力せよ 以下のコードを、内包表記を使って高速になるように書き換えてください: for i in range(1, 1001): sum_divisor
= 0 for j in range(1, i//2 + 1): if i % j == 0: sum_divisor += j if i == sum_divisor: print(i) - 29 - -
PyTorchとは https://pytorch.org/ ▪ 主として深層学習に用いられるPython向け機械学習フレームワーク ▪ 他にTensorFlow, JAX等がある ▪ 2019年以降TensorFlowより優勢 [State
of AI Report 2020: https://www.stateof.ai/2020] - 31 - -
ChatGPT補助付きPyTorchチュートリアル 課題:以下のページの「テンソル」「データセットとデータローダー」 の日本語解説を実行せよ。その際にChatGPTに説明させよ。 ▪ https://yutaroogawa.github.io/pytorch_tutorials_jp/ ▪ 上記はPyTorch公式チュートリアルが日本語訳されたものである ▪ 時間が余った場合は以下も入力してみよ ▪
他のチュートリアル ▪ 機械学習基礎のスライド: Google Driveから入手可 ▪ 論文 (例 https://arxiv.org/abs/1706.03762) - 32 -