AIエージェントデザインパターンの選び方

AI Agent勉強会 Vol.3での新藤さん(https://x.com/shindoy)の登壇資料

▼イベントリンク
https://almondo.connpass.com/event/355297/

Transcript

1. ローカルLLM環境でのAgent構築 https://x.com/shindoy
2. 2025 MaaS - GPUStack 2022 Jira - Atlassian
3. によるローカルLLM環境でのAgent構築 1.環境セットアップ（GPUStack導入含む）
 　Homebrew等で開発環境を整えた後、GPUStack環境を構築（インストールTipsあり！）
 
 2.LLMモデルの準備
 　GGUF形式の量子化済みモデル（例：Mistral, LLaMA2など）等を取得しGPUStackで動作確認
 
 3.プロンプトテンプレートの整備
 　使用モデルに合わせてChatML/Alpaca/Vicuna等のプロンプト形式を設計
 
 4.チャットエージェントの構築
 　LangChainやllama-cpp-pythonを用い会話制御やRAG機能を備えたチャットエージェント構成
 
 5.Dockerによる構成管理
 　再現性・配布性のためGPUStackとエージェント環境をDockerfile/DockerComposeで管理
 
 6.UI構築
 　Gradio, Streamlit, FastAPI等を使って、LLMと連携するシンプルなWebチャットUIを提供
 
 7.セキュリティ・最適化
 　ローカル通信限定、Metal最適化、量子化モデル選定などで安全かつ効率的な実行を確保
 
 8.テスト&チューニング
 　チャット品質・応答速度・リソース使用量を評価し、推論パラメータやRetrieverの最適化
4. 前提のお話 皆さん、Agent構築は クラウド使ってますよね
5. 今日のお話 ローカルでの構築はいいぞ そろそろ
6. 1.ローカルLLM環境導入Tips

9. https://docs.gpustack.ai/
11. https://docs.gpustack.ai/latest/installation/installation-requirements/
14. 2.LLMモデルの準備Tips
20. 量子化レベル メモリ削減 精度への影響 推奨用途 3bit 約75%削減 中～高 メモリ制約が厳しい環境（16GB RAM） 4bit 約65%削減 低～中 一般的な用途に最適なバランス 8bit 約50%削減 最小限 高精度が必要な用途（32GB以上のRAM推奨）
21. # モデルカタログの表示 gpustack models list # モデルのダウンロード（例：Llama 3.1 8B Instruct） gpustack models download mlx-community/Llama-3.1-8B-Instruct-3bit # ダウンロード済みモデルの確認 gpustack models local モデル関係のコマンド
22. 自作LLMのデプロイ
24. ローカル環境でのAgent開発メリット ・試行錯誤の自由さ ・APIコストの抑制 ・基礎技術の理解 ・セキュリティとプライバシー
25. エージェント開発w/GPUStackメリット ・リソースの柔軟性
 必要に応じて計算リソースをスケールアップ/ダ ウンできるため、プロジェクトの規模に応じた最 適なリソース管理が可能 ・物理制約からの解放
 HWによる物理的な制約から解放され、より柔軟で カスタマイズ性の高いシステム構築が可能
26. ローカルLLMの課題 ・初期構築コスト（HW購入、構築費用等） ・維持管理コスト（電力、人材、Ops費用） ・LLM選定ノウハウ（検証コスト）
27. ローカルLLMの課題 ・初期構築コスト→ ・維持管理コスト（電力、人材、Ops費用） ・LLM選定ノウハウ（検証コスト） 無料
28. https://note.com/cor_instrument/n/n6d2bc4db9175 ✗
29. 異なるHWの組み合せによる構成でも 異なるNW上のワーカーでも一元管理可能
30. アーキテクチャ サーバ ワーカー ワーカー:1 ワーカー:n
31. アーキテクチャ LLM 実行
32. GPUStackをGPUが入っていないLinuxサーバにインストール、 そのサーバ上から、GPUが入っているサーバをワーカーに追加する、 と言う構築方法は正しいですか？ それとも、GPUStackがインストールされるサーバもGPUが必要ですか？ 実際にあった質問 回答：サーバはGPU不要
34. UI AIエージェント データ ソース Tokenize Detokenize API REST / WebSocket ローカルLLM環境 Agent開発 LLM 実行環境 HW
36. ・完全なデータ主権 ・入出力データが企業内で完結 ・自社の情報管理ポリシー完全準拠 ・顧客データや知財も保護可能 • ローカル環境でのAgent開発メリット （ビジネス目線）
37. オンプレミス・ ローカルLLM クラウドサービス API使用 某サービス 有料版 某サービス 無料版 学習 されない されない されない オプトアウト が必要 データ 自己保有 ベンダー内 ベンダー内 ベンダー内 される セキュリティレベル 高 低 準拠法 日本国 海外 （一部日本） 海外 海外 ( ) ※完全なる正確性を保証するものではありません ※他社様のサービスを批判する目的ではありません
38. オンプレミス・ ローカルLLM クラウドベンダー のAPI使用 生成AIツール 有料版 生成AIツール 無料版 学習 されない されない されない オプトアウト が必要 データ 自己保有 ベンダー内 ベンダー内 ベンダー内 される セキュリティレベル 高 低 準拠法 日本国 海外 （一部日本） 海外 海外 ( ) ※完全なる正確性を保証するものではありません ※他社様のサービスを批判する目的ではありません クラウドサービス API使用 某サービス 有料版 某サービス 無料版
39. 「ローカルLLM」 参考情報
40. ͉
45. 3.情報源Tips

48. ありがとうございました！