LLMベースAIの基本 / basics of LLM based AI

2025/5/22に山口大学で行った地域リーディング・イノベーター講座の資料です。

他の資料
https://speakerdeck.com/kishida/programming-education-in-ai-era
https://speakerdeck.com/kishida/what-should-we-study-after-language

1. LLMベースのAIの基本 2025-05-22 地域リーディング・イノベーター講座 きしだ なおき https://speakerdeck.com/kishida/basic-of-llm-base-ai
2. 05/22/2025 2 自己紹介 • きしだ なおき • LINEヤフー • X(twitter): @kis • blog: きしだのHatena • (nowokay.hatenablog.com) • 「プロになるJava」というJavaの本を書いてます
3. 3 AIをうまく使うために仕組みを知る • AIは使い方によって能力が決まる • うまく使えば高い能力を発揮する • 仕組みを知ってうまく使う • なんでもできると期待して、できないことをやらせようとしても無駄 • 仕組みを知っていれば、どうやれば良い返答が引きだせるかもわかる • 仕組みを知っていれば、何ができないかもだいたいわかる • AIは能力をブーストするツール • だれでも同じことができるようになるわけではない • むしろ差が開いていく ※講義後追記
4. 4 LLMってなに？ • 現在の「AI」の中心部 • 大規模言語モデル • 言語を扱う大規模なニューラルネットワーク • Transformerを基本とする • 仕組み的には、文章の続きを生成
5. Transformer • 2017にGoogleが発表 • Attention is All You Need • アテンション • 文章中の単語がどの単語を注目しているか
6. 埋め込み行列 • 文章を数千次元のベクトルで表現 • 近い意味の文章は近いベクトルになる • マルチモーダル • 画像の特徴と文章の特徴を同じベクトル空間で表現
7. 埋め込み行列を考えたときLLMとは • 入力した文章のベクトルが決まる • 出力として適切な文章のベクトルがなんらかあるはず • 目的ベクトルに近づくように単語を追加していく • 賢いLLMは最短距離で目的の文章に到達 • 賢くないと迷いながら目的の文章に到達 • 目的に達したこともよくわかってないので、いろいろ文章を足していく
8. LLMの学習 • 大量の文章で学習 • 大量の計算資源が必要
9. スケーリング則 • 言語モデルの性能がパラメータ数、データセットサイズ、計算予 算を変数としたべき乗になる • OpenAIが予算をつぎ込むキッカケになった Scaling Laws for Neural Language Models (Jared Kaplan, Sam McCandlish et al., 2020-01-23)
10. データセット • LLMの性能はデータセットの質が影響 • Webサイトのクロール、書籍、論文など • 最近はクロールが厳しくなってきている • 既存の文章は学習しつつある
11. ファインチューニング • 学習済みLLMに調整を加える • 指示応答調整 / RLHF • LLMは文の続きを出す仕組み • 対話のためには、対話形 式で文を生成する調整が必要 • 指示応答 • user / assistantの形 式 • RLHF • 人間の 評価を使う
12. 知 識蒸留 • 大きなモデルの対応を使って 小さなモデルを学習
13. 推論 時スケーリング • CoT( Chain of Thought) • 「 段階的に考えて」 • ユー ザーに応答を出す 前に考 慮過程をいれる • 考 慮過程で コン ピュータを使うことで 思考力が 向上 • 学習に コン ピュータを使うことと対 比して 推論 時スケーリングと 呼ば れる • トランスフ ォーマに知 識を 投入する仕組みではないか
14. PCでLLMを 動かす • LLMの性能があがって 小さいLLMが 実用的になってきた • データセットの質が高くなっている • データ 漏洩の 危険がない • パラメータ数でサイズをあらわす • 10B→100億パラメータ • 量 子化 • 16bit 実数が 標準だけど、 8bitなどにしても性能があま り劣化しない • 8bitや 4bit、 2bitに変 換することを量 子化という • 8bitなら BをGに 置き 換えたサイズ( 10 Bなら10G B)
15. オープン ウェイトLLM • Google • Gemma 3 ( 27B) • Microsoft • Phi 4( 14B) • Meta • Llama 4 Maverick( 400B MoE 17B active) • Alibaba • Qwen 3 ( 32B、 235B MoE 22B active) MoE: Mix of Experts 小さなエキスパートをたくさん 切り替えて使うので実行効率がいい
16. • G PU • RTX 5090など • 性能がいい • メモリも 少ない( 50 90でも 32G B) • CPU/G PU/N PU混載So C • Macなど • 効率がいい 。 • メモリが 多い • こ ちらがお そらく 主流に LLMを 動かす ハー ドウェア
17. LLMの 課題 • ハルシネーション • 与えた文章を 正しいと 想定する • つじつまがあうように生成を 進めてしまう • 倫理的 問題 • 暴力的にならないように • 犯罪支援にならないように • 依存 させすぎないように
18. 倫理問題への対 策 • モデルを学習 させる • 小さなLLMで入出力をチ ェック
19. AIとは • LLMをベースにした応答システ ム • 検索など 外部 連携が必要になっている • ユー ザーインタフ ェースが 重要 • 倫理チ ェックの仕組みが必要