Local_LLMはともだち_怖くないよ.pdf

Transcript

1. Local LLM はともだち、怖くないよ 2026/8/21
2. Agenda 01 Introduction 02 local LLM って？ 03 LM Studio を使ってみよう 04 Agent としても使ってみよう 2
3. 01 Introduction
4. Bun です 趣味: 旅⾏、作曲 フロントエンド歴: 6年 Belong 歴: 1年ちょい 4
5. ⽬標 local LLM を⾛らせるのに必要なことを知る
6. 02 local LLM って？
7. local LLM って？ • ⾃分の PC の上で動く LLM。誰でもダウンロードして動かせる • 例：Qwen、Gemma、DeepSeek など
8. クラウド AI（ChatGPT / Claude）との違い • データが⼀切外に出ない（プライバシー‧機密情報 OK） • API 課⾦なし‧サブスクなし‧オフラインでも動く • chatやweb検索⽤途だったら⼗分
9. local llm を⾛らせるには？ エンジン＝モデルを読み込んで実⾏するソフト
10. llm を⾛らせるはいいが、どのエンジンで⾛らせる？ • llama.cpp ◦ 基本 CLI なので初⼼者向けではないが⼀番実⾏速度が早い • LM Studio ◦ GUI が充実しててわかりやすいので初⼼者向け。モデルの⽐較とかで使いやす い。 • Ollama ◦ 実⾏スピード結構遅いけど Claude Code がなぜかいろんなモデルで使えたり して⾯⽩い。
11. で、結局どっちを使う？ • もし Agent を作りたい時に AI をホストしときたいとかだったら llama.cpp がいい（早いから） • ただ試したい場合は LM Studio
12. 03 LM Studio を使ってみよう
14. ここでモデルのダウン ロードをする
16. ここでモデルを選ぶ ここで使いたいMCPサー バーのon/offを設定する mcp.jsonでMCPサー バーの設定をする
18. params って？ • パラメータ＝モデルの脳のサイズ ◦ 7B = 70億。 • 多いほど賢い。そのぶんメモリと速度を⾷う • ⽬安 ◦ 〜4B = 軽量 ◦ 7〜14B = ノート PC の主戦場 ◦ 30B〜 = 強い GPU かメモリ多めの Mac
20. bit って？ • 量⼦化＝params(重み)を何 bit に圧縮して持つか（元は FP16） ◦ Q8：劣化ほぼなし ◦ Q4：サイズ1/4で劣化わずか（定番） ◦ Q2：かなり性能が落ちる • 迷ったら Q4_K_M
22. size って？ • ファイルサイズ ≒ params × bit ÷ 8 • これが「メモリ（特にVRAM）に載るか」を決める • 例：7B モデルの Q4 量⼦化 ≒ 約 4GB • ⽬安 • • • 〜5GB（〜8B の Q4）= メモリ 16GB でも快適 〜10GB（14B の Q4）= 16GB 機はここが上限ライン 20GB〜（30B クラス）= 32GB 以上かメモリ多めの Mac
23. ハード⾯の話 • LLM はGPUメモリが命 • NVIDIA GPU（VRAM）> Apple Silicon（unified memory）> CPU(RAM) だけだときつい
24. 04 Agent としても使ってみよう （時間があれば）
25. Agent として使うには LM Studio Bionic からスタート
27. ご清聴ありがとうございました！ 27