ローカルLLMクラスターで 色々やってたら ワイの存在意義認識できた

https://engineercafe.connpass.com/event/401137

Transcript

2. ローカルLLMクラスターで 色々やってたら ワイの存在意義認識できた テリスケ 2026/8/16
3. Terisuke is 何？ テリスケ(本名：寺田康佑)> < 音大卒業、フリーのトランペッターしてました コロナで無職・リクルートに転職 社内で営業効率化システムを独学で開発(Python) 去年4月にG’s ACADEMYに入学、フロントエンド技術を学ぶ 月に卒業後すぐに起業 一⽉でGoogleCloudで30万吹き飛ばした漢 # # # # # 10 # ２年連続登壇
4. 逸般の誤家庭フルセット MacStudio(512GB)+ThinkStation(128G)+ NVIDIA Thor(128G)+Strix HALO(128G×2) *来月もう一台StrixHALOが来る
5. 512+128+128+128+128+128= 1152
6. ???「でも所詮PC集めただけだろぉ〜？」
7. 10Gbps8ポートスイッチ + HDD24TB NAS + UPS
8. でもアーキテクチャバラバラで 使い物にならないのでは？
9. (ちなみに）お財布は・・・・？
11. 作ったもの ぽちぽちするだけでAIがパワポでスライド作ってくれるアプリ Githubクロールして自分の技術評価してくれるエンジン 人口動態に合わせて100人ペルソナ作って未来予測 ローカルLLMでClaudeCoworkぽいアプリをセルフホスト こいつら4つのせるAIクラスターインフラ←
12. AI イ ン フ ラ AI イ ン フ ラ
13. 常駐サービングの定番 ollama モデル管理と常駐化が一行で完結 タグ指定で量子化版を即取得・切替 keepwarm で初回応答の遅延を回避 複数モデル共存とメモリ自動管理 用途: 本番 API・小中型モデル常駐
14. クラスタの管理台帳 GPUStack 全ノードの GPU とモデルを一元可視化 配備・ルーティングを宣言的に管理 推論は直結、管理面だけを担う構成 認証と経路限定で管理面を保護 用途: 台帳・監視・運用の統制面
15. 限界性能と実験の母艦 llama.cpp GGUF 直接制御で配置を明示指定可 RPC で複数ノード分散推論を実現 -ot で層単位のノード配置を制御 ビルド版数を揃えて分散互換を保証 用途: 巨大モデル分割・性能実験
16. 容量/単一ノードを超える 562GB モデルを 3 ノード分割で稼働 Metal+CUDA+Vulkan の 3 アーキ跨ぎ 層単位配置(-ot)で最適点を探索 5 構成の実測比較で設計則を確立 速度/実用域への挑戦 分散生成 5.1 tok/s(562GB 帯) 投機デコード併用で 12.4 tok/s 単機 vLLM+MTP で並列 97 tok/s MoE は dense 比 4.7 倍の実測 運用/4サービスの本番基盤 Grift/persona/deck/cor-os を同居 全依存をパイプラインマップに正本化 変更前 3 点セットを ADR で義務化 7 項目ヘルスチェックで漂流検出 SLO 25 秒の本番と実験を両立
17. ALL YOU NEED IS ACTUALS システムに頼るより、人間が最初から場所を指定したほうが絶対に失敗しない 事前の「予熱」があるかないかで、本番の返答スピードや安定性が大きく左右される メインが壊れたときの「逃げ道」も、あふれないようにあらかじめ広さを計算しておく必要がある データを移動するときは、直接送らず「手元に保存してから転送する」のが唯一の安全策 チェックするものさし自体も、本物の基準に合わせて狂いを直してから使わないと意味がない →フロンティアを目指すには 人間の視点・決定が必要
18. THANK YOU！