Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
ローカルLLMクラスターで 色々やってたら ワイの存在意義認識できた
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
Terisuke
August 16, 2026
Technology
170
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
ローカルLLMクラスターで 色々やってたら ワイの存在意義認識できた
https://engineercafe.connpass.com/event/401137
Terisuke
August 16, 2026
Transcript
18 slides
None
ローカルLLMクラスターで 色々やってたら ワイの存在意義認識できた テリスケ 2026/8/16
Terisuke is 何? テリスケ(本名:寺田康佑)> < 音大卒業、フリーのトランペッターしてました コロナで無職・リクルートに転職 社内で営業効率化システムを独学で開発(Python) 去年4月にG’s ACADEMYに入学、フロントエンド技術を学ぶ
月に卒業後すぐに起業 一⽉でGoogleCloudで30万吹き飛ばした漢 # # # # # 10 # 2年連続登壇
逸般の誤家庭フルセット MacStudio(512GB)+ThinkStation(128G)+ NVIDIA Thor(128G)+Strix HALO(128G×2) *来月もう一台StrixHALOが来る
512+128+128+128+128+128= 1152
???「でも所詮PC集めただけだろぉ〜?」
10Gbps8ポートスイッチ + HDD24TB NAS + UPS
でもアーキテクチャバラバラで 使い物にならないのでは?
(ちなみに)お財布は・・・・?
None
作ったもの ぽちぽちするだけでAIがパワポでスライド作ってくれるアプリ Githubクロールして自分の技術評価してくれるエンジン 人口動態に合わせて100人ペルソナ作って未来予測 ローカルLLMでClaudeCoworkぽいアプリをセルフホスト こいつら4つのせるAIクラスターインフラ←
AI イ ン フ ラ AI イ ン フ ラ
常駐サービングの定番 ollama モデル管理と常駐化が一行で完結 タグ指定で量子化版を即取得・切替 keepwarm で初回応答の遅延を回避 複数モデル共存とメモリ自動管理 用途: 本番 API・小中型モデル常駐
クラスタの管理台帳 GPUStack 全ノードの GPU とモデルを一元可視化 配備・ルーティングを宣言的に管理 推論は直結、管理面だけを担う構成 認証と経路限定で管理面を保護 用途: 台帳・監視・運用の統制面
限界性能と実験の母艦 llama.cpp GGUF 直接制御で配置を明示指定可 RPC で複数ノード分散推論を実現 -ot で層単位のノード配置を制御 ビルド版数を揃えて分散互換を保証 用途:
巨大モデル分割・性能実験
容量/単一ノードを超える 562GB モデルを 3 ノード分割で稼働 Metal+CUDA+Vulkan の 3 アーキ跨ぎ 層単位配置(-ot)で最適点を探索
5 構成の実測比較で設計則を確立 速度/実用域への挑戦 分散生成 5.1 tok/s(562GB 帯) 投機デコード併用で 12.4 tok/s 単機 vLLM+MTP で並列 97 tok/s MoE は dense 比 4.7 倍の実測 運用/4サービスの本番基盤 Grift/persona/deck/cor-os を同居 全依存をパイプラインマップに正本化 変更前 3 点セットを ADR で義務化 7 項目ヘルスチェックで漂流検出 SLO 25 秒の本番と実験を両立
ALL YOU NEED IS ACTUALS システムに頼るより、人間が最初から場所を指定したほうが絶対に失敗しない 事前の「予熱」があるかないかで、本番の返答スピードや安定性が大きく左右される メインが壊れたときの「逃げ道」も、あふれないようにあらかじめ広さを計算しておく必要がある データを移動するときは、直接送らず「手元に保存してから転送する」のが唯一の安全策 チェックするものさし自体も、本物の基準に合わせて狂いを直してから使わないと意味がない
→フロンティアを目指すには 人間の視点・決定が必要
THANK YOU!
More Decks by Terisuke
See All by Terisuke
エンジニア版MBTIを 作りたい
terisuke
0
58
AIとお買い物してみた
terisuke
0
72
Realtime APIを使って 全自動コールセンターを作ってみた@2026
terisuke
0
100
多角的な視点から見たAGI
terisuke
0
210
AIキャラで受付作ってみた
terisuke
0
250
GoogleCloudとterraform完全に理解した
terisuke
1
350
CursorとClaudeCodeとCodexとOpenCodeを実際に比較してみた
terisuke
1
700
Claude Codeをカスタムして自分だけのClaude Codeを作ろう
terisuke
0
230
3時間で作る AWS Bedrock✖️RAGAS評価環境
terisuke
0
52
Other Decks in Technology
See All in Technology
PHPで家庭用ゲーム機の専用コントローラーをMIDIデバイスとして扱ってみる
wind111
0
190
認知負荷の減らし方 ~開発にも日常業務にも活かせるノウハウ~
minorun365
PRO
15
9.4k
AWS re:Invent 2026 FSI Pre-Event Networking Night
junjikoide
0
120
ノードが消える前提で設計する!Karpenterで金融システムを止めないためのノウハウ大全
daitak
1
180
マネージャーをエスパーにしない マネジメントされる側から始める、働きやすい現場づくり
comi190327
1
840
IP重複は"ランディングVPC"で受け止める ― PrivateLink と Transit Gatewayによるマルチテナント接続基盤の設計
hatahata021
3
260
こんなに変わった! AWSネットワークの常識
shotashiratori
16
11k
そのイメージ、どのCIが作った? Artifact Attestationsで来歴を固定する / Which CI system created that image? Pinning provenance with Artifact Attestations
chmikata
0
200
MCPでネットワーク障害調査を自動化する前に直すべき3つのこと
yama3133
1
650
Dark Web - Como o Cibercrime Opera na Internet
nicholsjasper
0
100
市販IoT機器や自作IoT機器とHomeAssistantを駆使して家の電気代をできる限り見える化する方法の考案
harutiro
0
410
実測データからサービスの成長余力を測る。負荷シナリオ・テストデータ・限界値の設計
kazatohiei
0
110
Featured
See All Featured
Accessibility Awareness
sabderemane
1
310
Redefining SEO in the New Era of Traffic Generation
szymonslowik
1
530
BBQ
matthewcrist
90
10k
Agile that works and the tools we love
rasmusluckow
331
22k
Gemini Prompt Engineering: Practical Techniques for Tangible AI Outcomes
mfonobong
2
640
StorybookのUI Testing Handbookを読んだ
zakiyama
31
7.1k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
123
22k
JAMstack: Web Apps at Ludicrous Speed - All Things Open 2022
reverentgeek
1
680
Paper Plane (Part 1)
katiecoart
PRO
3
12k
Building an army of robots
kneath
307
47k
It's Worth the Effort
3n
188
29k
Abbi's Birthday
coloredviolet
5
11k