Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLMベースAIの基本 / basics of LLM based AI

LLMベースAIの基本 / basics of LLM based AI

2025/5/22に山口大学で行った地域リーディング・イノベーター講座の資料です。

他の資料
https://speakerdeck.com/kishida/programming-education-in-ai-era
https://speakerdeck.com/kishida/what-should-we-study-after-language

Avatar for Naoki Kishida

Naoki Kishida

May 22, 2025
Tweet

More Decks by Naoki Kishida

Other Decks in Technology

Transcript

  1. 05/22/2025 2 自己紹介 • きしだ なおき • LINEヤフー • X(twitter):

    @kis • blog: きしだのHatena • (nowokay.hatenablog.com) • 「プロになるJava」というJavaの本を書いてます
  2. 3 AIをうまく使うために仕組みを知る • AIは使い方によって能力が決まる • うまく使えば高い能力を発揮する • 仕組みを知ってうまく使う • なんでもできると期待して、できないことをやらせようとしても無駄

    • 仕組みを知っていれば、どうやれば良い返答が引きだせるかもわかる • 仕組みを知っていれば、何ができないかもだいたいわかる • AIは能力をブーストするツール • だれでも同じことができるようになるわけではない • むしろ差が開いていく ※講義後追記
  3. Transformer • 2017にGoogleが発表 • Attention is All You Need •

    アテンション • 文章中の単語がどの単語を注目しているか
  4. ファインチューニング • 学習済みLLMに調整を加える • 指示応答調整 / RLHF • LLMは文の続きを出す仕組み •

    対話のためには、対話形 式で文を生成する調整が必要 • 指示応答 • user / assistantの形 式 • RLHF • 人間の 評価を使う
  5. 推論 時スケーリング • CoT( Chain of Thought) • 「 段階的に考えて」

    • ユー ザーに応答を出す 前に考 慮過程をいれる • 考 慮過程で コン ピュータを使うことで 思考力が 向上 • 学習に コン ピュータを使うことと対 比して 推論 時スケーリングと 呼ば れる • トランスフ ォーマに知 識を 投入する仕組みではないか
  6. PCでLLMを 動かす • LLMの性能があがって 小さいLLMが 実用的になってきた • データセットの質が高くなっている • データ

    漏洩の 危険がない • パラメータ数でサイズをあらわす • 10B→100億パラメータ • 量 子化 • 16bit 実数が 標準だけど、 8bitなどにしても性能があま り劣化しない • 8bitや 4bit、 2bitに変 換することを量 子化という • 8bitなら BをGに 置き 換えたサイズ( 10 Bなら10G B)
  7. オープン ウェイトLLM • Google • Gemma 3 ( 27B) •

    Microsoft • Phi 4( 14B) • Meta • Llama 4 Maverick( 400B MoE 17B active) • Alibaba • Qwen 3 ( 32B、 235B MoE 22B active) MoE: Mix of Experts 小さなエキスパートをたくさん 切り替えて使うので実行効率がいい
  8. • G PU • RTX 5090など • 性能がいい • メモリも

    少ない( 50 90でも 32G B) • CPU/G PU/N PU混載So C • Macなど • 効率がいい 。 • メモリが 多い • こ ちらがお そらく 主流に LLMを 動かす ハー ドウェア
  9. LLMの 課題 • ハルシネーション • 与えた文章を 正しいと 想定する • つじつまがあうように生成を

    進めてしまう • 倫理的 問題 • 暴力的にならないように • 犯罪支援にならないように • 依存 させすぎないように
  10. AIとは • LLMをベースにした応答システ ム • 検索など 外部 連携が必要になっている • ユー

    ザーインタフ ェースが 重要 • 倫理チ ェックの仕組みが必要