自宅LLMの話

第1回 みんなの自宅鯖LT会で発表した資料です

Transcript

1. 自宅LLMの話
2. Kazuto Kusama @jacopen Product Evangelist @PagerDuty Japan 理事 @一般社団法人SREコネクト 代表理事 @一般社団法人クラウドネイティブイノベーターズ協会
3. 自分と自宅サーバー 普段の活動範囲 • クラウドネイティブ • プラットフォームエンジニアリング • インシデント管理 自宅サーバー歴はめっちゃ長い(今年で24年) 自分のキャリアは自宅サーバーに支えられて きたと思っており、そういった登壇もした Software Designで「はじめよう、おうちク ラウド」を連載した はじめての自宅サーバーのCPUはPentiumII 400MHz
4. 最近やっていること 3Dプリンターで自作10インチラックを 育てています これも結構面白いのでどこかでお話したい
5. 今日のネタ 自宅LLM
6. 自鯖愛好家として、LLMは複雑な想い
7. だいたいAIのせい
8. とはいえ、あれだけの仕組みが手元で動くのも なかなかロマンがある
9. 自宅LLMって使い物になるの？ ちょっと前まで、自分も懐疑的だった しかし2026年に入り、自宅で動かせるレベルのものでも、それなりの質が出せる ようになってきたと感じる ちょっとしたタスクの自動化であれば十分こなせる
10. 単に「LLMを動かす」だけなら 割とどこでも動く Gemini Nano (Chrome内蔵)のようなオンデバイスLLMであれば、16GB程度のメ モリを積んだPCや4GB程度のVRAM環境で動く ･･･が、自宅サーバー派の観点でLLMを飼うのなら、この辺はスコープ外
11. 現実的な範囲でとれる選択肢 2026年6月現在、オープンモデルで、4B〜32B程度のパラメータが提供されてい るもの • gemma4 • Qwen3.6 • GLM4.7-flash あたり VRAM8GB〜32GBあたりで動かせる。
12. 選択肢1: nvidia まあ鉄板 エコシステムがCUDA前提に成り立っているの で、無用なトラブル避けたければnvidia一択 ハイエンド: RTX 5090 32GB ･･･ しかし価格･･･ 次点: RTX 4090 24GB RTX 3090 24GB ･･･このあたりは中古を狙う 7B〜14B程度のモデルを動かすなら、16GB VRAMのものをチョイス。ここは選択肢が多い
13. 選択肢2: Mac ユニファイドメモリの強みがあるのでこちらも定 番。大きいモデル動かしたいならコスパが良い 低コスト構成でM4 Mac Miniは定番。でも OpenClaw需要があったのとモデル末期なおかげ で在庫微妙 金に糸目をつけないのであればMac StudioでM3 Ultra 512GBが定番だったが、これも買えなく なってしまった。
14. 選択肢2: Ryzan AI MAX “Strix Halo” ユニファイドメモリの選択肢その2 最上位のRyzen AI Max+ 395は128GBのメモリ を積んでいるので、96GBをVRAMに充てれば 70B〜120B程度のモデルが動かせる モバイル/ミニPC用途のAPUなので、筐体がとて も小さくできるのもメリット いいじゃん・・・
15. ということで買いました Strix Haloが発表された時点でLLMで遊ぶ向けだな と感じたので、先陣を切って発売されたGMKtecの EVO-X2を購入(2025年5月)。その時の金額で $1,999
16. もう一台 2025年11月ごろからメモリ価格が急騰。 Strix Halo PCの価格は変わっていなかった が、そう遠くないうちに値上げになると感 じたのでもう1台購入。 MinisforumのMS-S1 Maxで、割引込み ¥407,999
17. なにもかも高くなった 予想通りめっちゃ高くなってしまった EVO-X2: 31万円(購入時) → 51万円(現在) MS-S1 Max 40.7万円(購入時) → 64万円(現在) でも、他の選択肢(nvidia, mac)も同様に値上がりしているので、何もかもが 高い・・・
18. Strix Haloで遊ぶ
19. LLMを動かす WindowsかLinux 自宅サーバー勢であれば、たぶんLinuxで組む方がいい。推論サーバーとして 動かしておき、ホームラボの各マシンから利用するという形 推論エンジンとしてはollamaが鉄板 インストールは簡単 curl -fsSL https://ollama.com/install.sh | sh
20. 注意点 Strix HaloはRyzen APUなのでCUDAは使えな い。ROCmを使うことになる そのため、ROCm向けのセットアップが必要 AMDのドキュメントをみながらセットアップ する。自宅サーバー勢からみるとそこまで難 しくはない
21. 利用するモデル Strix Haloは128GBのうち、フレキシブルに VRAMに割り当てることが可能。 なので70Bや、量子化した120Bのモデルも動 く。 が、推論速度がめちゃ速いというわけではな いので、使い物になるのはやっぱり32Bくら いまで。 これ発表している時点では、Qwen3.6 35B-A3Bがもっとも速度のバランスがいいよ うに感じる。
22. OpenClaw / Hermes Agentを動かす 常時動かすワークロードとして、 OpenClawやHermes Agentが使い勝手良い ollamaで簡単にセットアップできる
23. LibreChatを動かす セルフホスト型のチャットプラットフォー ム。さまざまなプロバイダーのモデルを利 用できる。もちろんollamaも対応
24. OpenCodeを動かす OSSのコーディングエージェント さまざまなモデルが利用できる。 ollamaとopencode両方入っていれば、 ollama launch opencode するだけで使える モデルの性能差があるのでちゃんとした コード書かせるならフロンティアモデル使 いたくなるかも。ちょっとした作業程度 に。
25. その他の活用方法 アイディア次第でどうとでも遊べると思う やはり自宅サーバー派として、ホームラボをまとめて運用出来る、24365で 動くエージェントを作りたい気持ちあり。
26. ちなみに Strix Halo 2台あるけど、両方使いこなすまでに 至らなかったので片一方はForza Horizon 6で遊 ぶマシンになりました。 グラフィックかなり上げても60fps維持できま す。 AIに飽きたらゲームにも使える神APU
27. 今後やりたいこと vLLMがROCmに対応してそれなりに使えるようになってきたらしいので、そ ちらも試したい。そうしたら2台目もまたゲーム機から推論サーバーに転身し てもらうかも
28. さいごにお知らせ
29. 自宅サーバーのカンファレンスやります 11/15 (日) docomo R&D OPEN LAB ODAIBA