ローカル環境でAIを動かそう！

A 10 minute presentation I gave at the 2nd Sapporo Sugoi AI Study Group (on 2025/5/30) introducing how to run LLM models in a local environment using llama.cpp and Diffusers.

https://sapporo-sugoi-ai.connpass.com/event/349822/

(Note: This presentation is only in Japanese, sorry.)

Transcript

1. ローカル環境でAIを 動かそう！ 第2回 札幌すごいAI会 2025年5月30日 (金) 株式会社コールド・フュージョン テッダー　マイケル
2. 質問！
3. llama.cpp・Diffusers 聞いたことある方を挙手！
4. > 仕事: ゲームクリエイター（開発、たまにディレクションも） 　（初代PlayStation 〜 Switchゲーム機 / スマホ / PC / Rift VR / AR / MR） AWSでアプリケーション開発（サーバーレス / コンテナ） > 好きな言語: C++17 / GLSL / ASM (x64/ARM/6502/MIPS) / PHP / TypeScript > コミュニティ: JAWS-UG GameTech+札幌運営 / 2020年からAWSコミュニティビルダー > 趣味: ゲーム (遊ぶ方)、燻製作り、スキューバ > 最近本当にすごいと思ったAI: Claude Sonnet 4でGitHub Copilot Agent Mode $ whoami
5. ローカル環境でAIを動かす • 反応が常に速い ◦ PCスペックが足りてれば... • ネット通信は必要ない ◦ ソースコードやデータが環境から出ていかない ◦ 秘密情報・セキュリティ厳しい会社に可能性あり • カスタムのシステムプロンプト ◦ AIとの会話設定を自由に決められる • 楽しいっ！
6. PCスペック • 強いGPUは必要 ◦ 3〜4年前までくらいなら最近のモデル動かせる • GPUメモリ量が一番重要 ◦ WindowsならGeforce 3070 12GBが最低ライン ◦ MacならM1 Max 32GBからでも • 将来を考えるとMacの方が強い方針かも？ ◦ Apple Siliconはユニファイドメモリがある ◦ メインCPUとGPUが同じメモリ区域使える ◦ 64GBは大きい！70Bチャットモデルも実行可能！
7. 始めるには...？
8. 始めるには...？ • Hugging FaceはAIモデルのGitHub ◦ 大量な学習済みモデルが公開されてる ◦ テキスト生成、画像生成、動画生成、音声生成、 3Dオブジェ生成、画像から動画生成、 画像から3Dオブジェ生成... など！ • Gemma・DeepSeek・LLaMA・Mistral・ Stable Diffusion・FLUXの有名なモデルも公開 ◦ ファインチューニングでカスタマイズされたのも
9. llama.cpp • チャット・テキスト生成には llama.cpp がおすすめ ◦ 完全C/C++のLLMインファレンスアプリ ◦ CUDA / Vulkan / Metalの幅広くGPU対応 ◦ 1.5, 2, 3, 4, 5, 6, 8 ビット量子化対応 • GitHubで公開されてる • GGUFフォーマットが必要 ◦ 他から変換ツールある https://github.com/ggml-org/llama.cpp
10. llama.cpp
11. llama.cpp
12. M1 Ultra 64GBでDeepSeek-R1 70B
13. Diffusers (python)で画像生成 • 数行のpythonコードでDiffusers対応モデル使える • 必要入力はモデルパスとプロンプトだけ！
14. Diffusers (python)で画像生成 1分半くらい
15. Diffusers (python)で画像生成 1分半くらい
16. AIってすごい！ ご清聴ありがとうございます！