Upgrade to Pro — share decks privately, control downloads, hide ads and more …

フロントエンドエンジニアもGPTの裏側を理解したい

 フロントエンドエンジニアもGPTの裏側を理解したい

チームの勉強会で使用した資料になります。
急いで作成した資料のため、内容として説明不足や間違った解釈をしている箇所があるかもしれません。もしお気づきの方は、ご連絡いただけますと幸いです。

Avatar for つちのこ

つちのこ

June 29, 2025
Tweet

More Decks by つちのこ

Other Decks in Research

Transcript

  1. GPT = Generative Pre-trained Transformer 直訳すると、、、 - Generative … 生成する

    - Pre-trained … 事前学習済み - Transformer … トランスフォーマー(技術の名称) 事前学習済みのTransformerで生成する。 GPTの意味
  2. GPT = Generative Pre-trained Transformer 直訳すると、、、 - Generative … 生成する

    - Pre-trained … 事前学習済み - Transformer … トランスフォーマー(技術の名称) 事前学習済みのTransformerで生成する。 → 事前に大量のデータで学習されたTransformerというモデルを使って、   テキストを理解・生成できるAI GPTの意味
  3. GPT = Generative Pre-trained Transformer 直訳すると、、、 - Generative … 生成する

    - Pre-trained … 事前学習済み - Transformer … トランスフォーマー(技術の名称) 事前学習済みのTransformerで生成する。 → 事前に大量のデータで学習されたTransformerというモデルを使って、   テキストを理解・生成できるAI GPTの意味 重要
  4. Transformerの詳細 文章内の単語同士の関係性を計算とは? - Apple … りんごを食べたい / アップルに就職する - Model

    … ファッションモデル / 機械学習モデル - Mouse … ネズミを駆除する / マウスを買う - Train … 列車が走っている / 何かを訓練する
  5. 文章内の単語同士の関係性を計算とは? - Apple … りんごを食べたい / アップルに就職する - Model …

    ファッションモデル / 機械学習モデル - Mouse … ネズミを駆除する / マウスを買う - Train … 列車が走っている / 何かを訓練する 文章の繋がり(Appleだと食べたいなのか、就職するなのか)で複数の意味 から本来目的としている意味を計算する。 Transformerの詳細
  6. Transformerの裏側 文章の中の単語同士がどのようにつながっているかを自動で見つけ、文脈を 理解したり自然な文を作ったりするのに使われます。 Transformer 夜   5% 何か  25% 仕事  30% 一日  10% 誰   3% テレビ 15%

    すぐに 12% 受け取った情報をもとに、次に続くものが何か予測するよう学習されていま す。そして、最も確率の高いものを選択肢し、選択されたテキストを加えた 上で、文章が終わるまで同じ予測の処理を繰り返します。 日々の生活の中で私たちは、知らず 知らずのうちに多くの選択をしてい ます。朝起きてから_____
  7. Chat系GPTの全容 何でも良いので文章を考えてください。 ChatGPT Transformer 夜   5% 何か  25% 仕事  30% 一日  10% 誰   3% テレビ 15%

    すぐに 12% 1. システムプロンプト  以下はユーザーと、親切で非常に知識の  豊富なAIアシスタントとの会話です。 2. ユーザーのテキスト  何でも良いので文章を考えてください。 3. Transformerの出力途中のテキスト  日々の生活の中で私たちは、知らず... 日々の生活の中で私たちは、知らず知らず のうちに多くの選択をしています。朝起き てから仕事に取りかかるまでの間にも、無 数の小さな決断が積み重なっています。
  8. YouTube - GPTとは何か Transformerの視覚化 書籍 - 図解即戦力 AIのしくみと活用がこれ一冊でしっかりわかる教科書 記事 -

    GPTのしくみ入門:AIはどのように言葉を「理解」し、「生み出してい る」のか? 参考