Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
補足資料:LLMとは?
Search
hashiba daiki
July 31, 2025
0
15
補足資料:LLMとは?
hashiba daiki
July 31, 2025
Tweet
Share
More Decks by hashiba daiki
See All by hashiba daiki
苦しんで向き合うLLM時代の開発
hashibadaiki
10
3.4k
Astro の pros / cons
hashibadaiki
1
1.3k
フロントエンドの大規模開発におけるTips
hashibadaiki
3
1.3k
Featured
See All Featured
Writing Fast Ruby
sferik
628
62k
Done Done
chrislema
185
16k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
A Tale of Four Properties
chriscoyier
160
23k
The Language of Interfaces
destraynor
158
25k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.9k
Docker and Python
trallard
45
3.5k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
A designer walks into a library…
pauljervisheath
207
24k
Transcript
© Stockmark Inc. ⾃然⾔語処理はコンピュータで⾔語を処理する学問 私はエンジニアです I am an engineer. 1
© Stockmark Inc. ⾃然⾔語処理はコンピュータで⾔語を処理する学問 猫 どうやって 実現する? 我が輩は___ 2
© Stockmark Inc. コンピュータは関数を扱うことができる ⼊⼒2 + 1 入力 関数 出力
2 100 5 10001 3
© Stockmark Inc. ⾃然⾔語処理も関数で実現する ??? 入力 関数 出力 ?? ??
I am an engineer. 数値表現 私はエンジ ニアです 数値表現 4
© Stockmark Inc. ⾃然⾔語の数値表現: 単語を ID (⾃然数) で置き換え (1, 3,
6, 7, 0) ⽂の各単語を ID で置き換えてエンコード‧デコードする 単語 ID の例: . → 0, I → 1, you → 2 am → 3, is → 4, a → 5, an → 6, engineer → 7, engineers → 8 。 → 100, 私 → 101, は → 102, あなた → 103, です → 104, エンジニア → 105 I am an engineer. (101, 102, 105, 104, 100) 私はエンジニアです。 5
© Stockmark Inc. ⾃然⾔語処理は整数列の変換問題とみなせる ??? 入力 関数 出力 数値表現 私はエンジ
ニアです 数値表現 (1, 3, 6, 7, 0) I am an engineer. (101, 102, 105, 104, 100) ??? 6
© Stockmark Inc. ⾃然⾔語処理では、特に「⾔語モデル」という関数が重要 ⾔語モデル: 前半の⽂脈から空⽩の単語を推定する関数 ⾔語モデル (関数の1つ) 我が輩は ___
猫 7
© Stockmark Inc. ⾔語モデルを連鎖的に⽤いると, ⽂が⽣成できる ⾔語モデル 我が輩は ___ 猫 ⾔語モデル
我が輩は猫である ___ 。 である 我が輩は猫 ___ ⾔語モデル 8
© Stockmark Inc. ⾔語モデルを上⼿く使えば他のタスクも解ける ⾔語モデル 英⽂は以下の通りです。 I am an engineer.
⽇本語⽂は以下の通りです。 ___ 私はエンジニアです。 あくまで言語モデルの問題 (次の単語の予測) だが、 間接的に翻訳問題が解けている 9
© Stockmark Inc. ⾃然⾔語処理の歴史 = より⾼精度な関数の実装の歴史 関数の作成⽅法 初期 中期 現代
ニューラルネットワークの学習 ⼈⼿によるルール作成 精度: ⾼ ⼤規模ニューラル⾔語モデルの学習 10
© Stockmark Inc. 初期の関数: 単語IDに対するルール作成 入力と出力の 変換ルール を作成 (1, 3,
5, 7, 0) (101, 102, 105, 104, 100) 変換ルールの例: (1, 3, *, 0) → (101, 102, *, 100), (7) → (105), (5) → () I am an engineer. ルールによる変換 = 関数 私はエンジニアです。 11
© Stockmark Inc. ルールベースの限界: ルールの網羅は不可能 I am an engineer. You
are engineers. (1, 3, 5, 7, 0) (1, 3, 8, 0) 意味がほとんど同じだが 新しいルールが必要 → 必要なルール数が膨大に 12
© Stockmark Inc. 中期: ニューラルネットワークの登場 ニューラルネットワーク : ニューロン (x1, v1
など) とシナプス (線) で表現された関数 13
© Stockmark Inc. ニューラルネットワークは学習できる ニューラルネットワークは大量の (入力, 出力) のペアから関数を 学習 し,
未知のデータに対し 予測できる (5, 3, 3, 2) (10, 5, 2) (5, 3, 1, 1) 1 2 1 学習データ 学習データ (5, 2 , 3) 1 未知のデータ 予測 → ルール変換の弱点 (ルールの網羅性 ) を克服! 14
© Stockmark Inc. 最近: ⼤規模ニューラル⾔語モデルの台頭 ChatGPT, Gemini などはいずれも、「⼤規模なニューラルネットワークで実装され た⾔語モデル (という関数)」
15 ユーザーは以下のテキストを入力しました: 今日の天気は何ですか? それに対してあなたはこう答えます: ____ ここを連鎖的に埋めているだけ!
© Stockmark Inc. ここまでのまとめ • ⾃然⾔語処理の関数は次の順番で進化してきた ◦ ルールベース ◦ ニューラルネットワーク
◦ ⼤規模ニューラル⾔語モデル • ニューラルネットワークはデータから学習できる特殊な関数 • ⾔語モデルは次の単語を予測する関数 16