ローカルLLMでどこまでコードが書けるか / How much code can be written on a local LLM

2026/5/13のイベントでの登壇資料です
https://levtechlab.connpass.com/event/389511/

Transcript

1. ローカルLLMでどこまでコードが書けるのか 2026-05-13 レバテックLAB 「ローカルLLM 組織での“実運用”の可能性」 きしだ なおき
2. 05/13/2026 2 自己紹介 • きしだ なおき • X(twitter): @kis • サブスクも始めました。 • blog: きしだのHatena • (nowokay.hatenablog.com) • 「プロになるJava」というJavaの本を書いてます
3. 3 2023年からの3年で おうちで動くLLMはどう変わったか
4. 2023 「動いて偉い！」 • チャットのできるモデルが出始める • 日本語を学習させないと 日本語は話せない • 「対話できてえらい」 「聞いたことに答えてくれて 偉い」
5. 2024「まともに動く！」 • まともな意味のある長文を出す • 特別に学習しなくても日本語で答える
6. 2025「使えそう！」 • Gemma 3/Qwen3登場 • 意味のある動くプログラムを一発で出す • 専門的な内容を解説する
7. 2026「使える！」 • Gemma 4 / Qwen3.6登場 • 英語のレポートを要約して解説 • まとまったプログラムを作る • エージェントで作業する
8. 現在の状況(モデル) • 30Bくらいのモデル • 1往復でおわるチャットには十分 • 要約、翻訳、簡単な質問 • 最初のコーディングなら十分 • デバッグには ハマることがある • 500B以上のモデル • 高度なこと以外には十分 • メモリ高騰が残念
9. 現在の状況(ビジネス的) • コーディングエージェント使い放題はコストがかさむ • プロプラモデルは制限がきびしい • プロプラモデルは値上がりする • サーバーが足りてない • 新しい高性能モデルは高くなっていってる
10. 今日の話 • 手元のマシンでコーディング作業を行う • 32GB-64GBの統合メモリでQwen3.6 / Gemma 4を動かす • 将来的には192GB-256GBで250B程度を動かす • 15万トークン以内の作業 • LLM用サーバーで共有はおすすめしない • コーディングの高負荷でサーバーを運用するのは大変 • ある程度をQwen3.6 / Gemma 4でまかなうならコスト回収も大変 • オープンモデルでもAPIを使ったほうがいい • 単にモデル選択と利用料金の問題になる
11. いま使えるモデル • Dense / MoE • MoEは一部だけ動かす • 速いし知識がある • Denseは全部動かす • 重いけど賢い • アテンション • フル – O(n^2) 重いけど賢い • スライド – 全体を見れないけど確実な作業 • スパース - 全体を見るけど少しあいまい • 線形 – 計算を工夫してO(n)、誤差で間違いが出やすい
12. 量子化 • LLMはパラメータの精度を落としても性能が落ちにくい • アテンションは精度を高めに、FFNは精度を落とすと性能を落と さずサイズを減らせる • サイズが減るとメモリからプロセッサへの転送も減って速くなる • Q4_K_Mくらいだと性能が ほとんど落ちない
13. ハードウェア • SoC – CPU/NPU/GPUを統合したチップ • AMD Ryzen AI Max+ 395 – EVO-X2: 128GB / 48万円 • Intel Core Ultra 7 – MINISFORM M2 32GB / 22万円 • NVIDIA GB10 – Ascent GX10: 128GB / 58万円 • Apple Silicon – Mac Studio: 96GB / 60万円 • GPU(32GB) • RTX 5060 Ti 16GB x2 / 20万円 • Intel Arc Pro B70 / 22万円 • Radeon AI Pro R9700 / 25万円 • RTX 5090 / 60万円~ • RTX PRO 4500 / 60万円
14. ソフトウェア • 推論エンジン • llama.cpp • MLX • 管理ツール • LM Studio • Ollama • チャット • Open WebUI • コーディングエージェント • OpenCode • Claude Code • Codex
15. 最適化 • ハードウェアの進化だけでは動かせるモデルは増えない • 230Bくらいが限界そう • メモリ削減 • TurboQuant • KVキャッシュ(それまでの出力の計算結果)を削減 • 速度向上 • MTP(multi-token prediction) • 投機的デコード • 軽いモデルに3トークン出させて本番モデルで答え合わせ
16. まとめ • かなり実用になってきている • HTML画面の最初の作り起こしなどは十分にまかせれる • コスト削減 • デバッグや設計などはフロンティアモデルを使う • 将来的にはかなりの作業を手元でできるはず • その準備は やっておいたほうがいい •