Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
フロントエンドエンジニアもGPTの裏側を理解したい
Search
つちのこ
June 29, 2025
Research
0
61
フロントエンドエンジニアもGPTの裏側を理解したい
チームの勉強会で使用した資料になります。
急いで作成した資料のため、内容として説明不足や間違った解釈をしている箇所があるかもしれません。もしお気づきの方は、ご連絡いただけますと幸いです。
つちのこ
June 29, 2025
Tweet
Share
More Decks by つちのこ
See All by つちのこ
Reactの歴史を振り返る
tutinoko
1
210
React version 19 追加機能をまとめる
tutinoko
0
88
TypeScriptでライブラリとの依存を限定的にする方法
tutinoko
3
1.7k
Other Decks in Research
See All in Research
RHO-1: Not All Tokens Are What You Need
sansan_randd
1
180
Learning to (Learn at Test Time): RNNs with Expressive Hidden States
kurita
0
190
一人称視点映像解析の最先端(MIRU2025 チュートリアル)
takumayagi
6
3.7k
多言語カスタマーインタビューの“壁”を越える~PMと生成AIの共創~ 株式会社ジグザグ 松野 亘
watarumatsuno
0
130
J-RAGBench: 日本語RAGにおける Generator評価ベンチマークの構築
koki_itai
0
500
言語モデルの地図:確率分布と情報幾何による類似性の可視化
shimosan
5
1.6k
20250624_熊本経済同友会6月例会講演
trafficbrain
1
650
CoRL2025速報
rpc
1
1.3k
単施設でできる臨床研究の考え方
shuntaros
0
2.9k
診断前の病歴テキストを対象としたLLMによるエンティティリンキング精度検証
hagino3000
1
140
20250605_新交通システム推進議連_熊本都市圏「車1割削減、渋滞半減、公共交通2倍」から考える地方都市交通政策
trafficbrain
0
820
【輪講資料】Moshi: a speech-text foundation model for real-time dialogue
hpprc
3
720
Featured
See All Featured
Mobile First: as difficult as doing things right
swwweet
224
9.9k
Speed Design
sergeychernyshev
32
1.1k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
890
Java REST API Framework Comparison - PWX 2021
mraible
33
8.8k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.2k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Visualization
eitanlees
148
16k
A Modern Web Designer's Workflow
chriscoyier
697
190k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
127
53k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3.1k
Transcript
フロントエンドエンジニアも GPTの裏側を理解したい
- 前提 - GPTの意味 - Transformerの詳細 - Transformerの裏側 - Chat系GPTの全容
- まとめ - 参考 目次
前提
前提というか予防線を張っておきます... - 機械学習やMLの分野に対してゼロ知識のフロントエンドエンジニアが書 いています。 - 書籍や学習動画、記事から学び、引用しながら作成しています。 - 作成に際して引用したものは最後にまとめています。 - ゼロ知識からなので間違っているところや誤解を生む表現などがあった
りするかもしれません。 - もしあれば指摘いただけると嬉しいです。 前提
GPTの意味
GPT = Generative Pre-trained Transformer GPTの意味
GPT = Generative Pre-trained Transformer 直訳すると、、、 - Generative … 生成する
- Pre-trained … 事前学習済み - Transformer … トランスフォーマー(技術の名称) 事前学習済みのTransformerで生成する。 GPTの意味
GPT = Generative Pre-trained Transformer 直訳すると、、、 - Generative … 生成する
- Pre-trained … 事前学習済み - Transformer … トランスフォーマー(技術の名称) 事前学習済みのTransformerで生成する。 → 事前に大量のデータで学習されたTransformerというモデルを使って、 テキストを理解・生成できるAI GPTの意味
GPT = Generative Pre-trained Transformer 直訳すると、、、 - Generative … 生成する
- Pre-trained … 事前学習済み - Transformer … トランスフォーマー(技術の名称) 事前学習済みのTransformerで生成する。 → 事前に大量のデータで学習されたTransformerというモデルを使って、 テキストを理解・生成できるAI GPTの意味 重要
Transformerの詳細
Transformerは、2017年にGoogleの研究チームが発表した論文で初めて提 案されたモデルで、自然言語処理(NLP)におけるニューラルネットワーク のアーキテクチャの一種です。 Transformerの詳細
Transformerは、2017年にGoogleの研究チームが発表した論文で初めて提 案されたモデルで、自然言語処理(NLP)におけるニューラルネットワーク のアーキテクチャの一種です。 Transformerの詳細 わからない わからない
Transformerの詳細 Transformerは、2017年にGoogleの研究チームが発表した論文で初めて提 案されたモデルで、自然言語処理(NLP)におけるニューラルネットワーク のアーキテクチャの一種です。 自然言語処理... 話し言葉や書き言葉など、日常的に話したり書いたりする言語をコンピュータに処理させる技術。 ニューラルネットワーク... 人間の脳の神経細胞を模したモデルで、パターンを学習して判断や予測を行う技術。
Transformerの詳細 Transformerは、2017年にGoogleの研究チームが発表した論文で初めて提 案されたモデルで、自然言語処理(NLP)におけるニューラルネットワーク のアーキテクチャの一種です。 テキストの文脈(意味のつながり)を効率的に理解する構造を持ち、入力さ れた文章内の単語同士の関係性(どの単語がどれに注目すべきか)を計算す ることで、より正確な言語理解と生成を可能にします。 自然言語処理... 話し言葉や書き言葉など、日常的に話したり書いたりする言語をコンピュータに処理させる技術。 ニューラルネットワーク...
人間の脳の神経細胞を模したモデルで、パターンを学習して判断や予測を行う技術。 難しい日本語
文章内の単語同士の関係性を計算とは? Transformerの詳細
Transformerの詳細 文章内の単語同士の関係性を計算とは? - Apple … りんご、(企業名の)アップル - Model … モデル
- Mouse … ネズミ、(パソコンの)マウス - Train … 列車、訓練する
Transformerの詳細 文章内の単語同士の関係性を計算とは? - Apple … りんごを食べたい / アップルに就職する - Model
… ファッションモデル / 機械学習モデル - Mouse … ネズミを駆除する / マウスを買う - Train … 列車が走っている / 何かを訓練する
文章内の単語同士の関係性を計算とは? - Apple … りんごを食べたい / アップルに就職する - Model …
ファッションモデル / 機械学習モデル - Mouse … ネズミを駆除する / マウスを買う - Train … 列車が走っている / 何かを訓練する 文章の繋がり(Appleだと食べたいなのか、就職するなのか)で複数の意味 から本来目的としている意味を計算する。 Transformerの詳細
テキストの文脈(意味のつながり)を効率的に理解する構造を持ち、入力さ れた文章内の単語同士の関係性(どの単語がどれに注目すべきか)を計算す ることで、より正確な言語理解と生成を可能にします。 Transformerの詳細 難しい日本語
テキストの文脈(意味のつながり)を効率的に理解する構造を持ち、入力さ れた文章内の単語同士の関係性(どの単語がどれに注目すべきか)を計算す ることで、より正確な言語理解と生成を可能にします。 わかりやすくいうと... 文章の中の単語同士がどのようにつながっているかを自動で見つけ、文脈を 理解したり自然な文を作ったりするのに使われます。 Transformerの詳細 難しい日本語
Transformerの裏側
Transformerの裏側 文章の中の単語同士がどのようにつながっているかを自動で見つけ、文脈を 理解したり自然な文を作ったりするのに使われます。
Transformerの裏側 文章の中の単語同士がどのようにつながっているかを自動で見つけ、文脈を 理解したり自然な文を作ったりするのに使われます。 日々の生活の中で私たちは、知らず 知らずのうちに多くの選択をしてい ます。朝起きてから_____ Transformer 夜 5% 何か 25% 仕事 30%
一日 10% 誰 3% テレビ 15% すぐに 12%
Transformerの裏側 文章の中の単語同士がどのようにつながっているかを自動で見つけ、文脈を 理解したり自然な文を作ったりするのに使われます。 Transformer 夜 5% 何か 25% 仕事 30% 一日 10% 誰 3% テレビ 15%
すぐに 12% 受け取った情報をもとに、次に続くものが何か予測するよう学習されていま す。そして、最も確率の高いものを選択肢し、選択されたテキストを加えた 上で、文章が終わるまで同じ予測の処理を繰り返します。 日々の生活の中で私たちは、知らず 知らずのうちに多くの選択をしてい ます。朝起きてから_____
Transformerの裏側 Transformerの裏側 https://www.youtube.com/watch?v=KlZ-QmPteqM
Chat系GPTの全容
Chat系のGPTでは、裏側のやり取りはどのように行なっているのか? Chat系GPTの全容
Chat系のGPTでは、裏側のやり取りはどのように行なっているのか? → 先ほどのTransformerに対して、以下の要素を渡してあげています。 1. システムプロンプト 2. ユーザーの入力したテキスト 3. Transformerの出力途中のテキスト* *
「Transformerの裏側」で説明を行なった繰り返し予測をさせるテキストを指します。 Chat系GPTの全容
Chat系のGPTでは、裏側のやり取りはどのように行なっているのか? → 先ほどのTransformerに対して、以下の要素を渡してあげています。 1. システムプロンプト 2. ユーザーの入力したテキスト 3. Transformerの出力途中のテキスト* システムプロンプトを用いてどのように回答すべきかという情報を与えつ
つ、ユーザーのテキストを渡してあげることで回答を生成します。 * 「Transformerの裏側」で説明を行なった繰り返し予測をさせるテキストを指します。 Chat系GPTの全容
Chat系GPTの全容 何でも良いので文章を考えてください。 ChatGPT 日々の生活の中で私たちは、知らず知らず のうちに多くの選択をしています。朝起き てから仕事に取りかかるまでの間にも、無 数の小さな決断が積み重なっています。
Chat系GPTの全容 何でも良いので文章を考えてください。 ChatGPT Transformer 夜 5% 何か 25% 仕事 30% 一日 10% 誰 3% テレビ 15%
すぐに 12% 1. システムプロンプト 以下はユーザーと、親切で非常に知識の 豊富なAIアシスタントとの会話です。 2. ユーザーのテキスト 何でも良いので文章を考えてください。 3. Transformerの出力途中のテキスト 日々の生活の中で私たちは、知らず... 日々の生活の中で私たちは、知らず知らず のうちに多くの選択をしています。朝起き てから仕事に取りかかるまでの間にも、無 数の小さな決断が積み重なっています。
まとめ
[GPT] 事前に大量のデータで学習されたTransformerというモデルを使って、テキ ストを理解・生成できるAIです。 [Transformer] 文章の中の単語同士がどのようにつながっているかを自動で見つけ、文脈を 理解したり自然な文を作ったりするのに使われるモデルです。 裏側では、受け取った情報をもとに、次に続くものが何か予測するよう学習 されており、文章が完成するまで同じ予測の処理を繰り返します。 まとめ
参考
YouTube - GPTとは何か Transformerの視覚化 書籍 - 図解即戦力 AIのしくみと活用がこれ一冊でしっかりわかる教科書 記事 -
GPTのしくみ入門:AIはどのように言葉を「理解」し、「生み出してい る」のか? 参考