LLM・AIエージェント システムベストプラクティス

2026/10/28 『技術書の話をしよう。～「つくる」をアップデートする～』の登壇資料
https://sebook.connpass.com/event/409847/

Transcript

1. BOOK LAUNCH LLM・AIエージェント システムベストプラクティス 2026/10/28 澁井雄介
2. LLMに聞いてみた 猫のようで サイズは犬 shibui yusuke • いろいろ→Stability AI→LayerX→Snowflake • Senior AI/ML Architect / Field CTO • MLOpsコミュニティ運営 • 本日の登壇内容は私個人の意見であり、 所属企業を代表するものではありません。 • Github: @shibuiwilliam • FB: yusuke.shibui • X: cv_usk 猫耳メガネ
3. 翔泳社刊 新作『LLM・AIエージェントシステムベストプラクティス』 2026年8月20日発売！ ↓amazon.co.jp↓ 以下過去の著作も発売中！
4. 本書の位置づけ 「LLMの理論や使い方」ではなく「組み込むエンジニアリング」の本 扱わないもの • • • プロンプト集やコツ 特定プロダクトの操作マニュアル モデルの学習理論や数式の解説 LLM・AIエージェントシステムベストプラクティス 扱うもの • • • • • LLMやAIエージェントをソフトウェアに組み込む方法 そのための設計パターン・アーキテクチャ 運用・改善のプラクティス PythonサンプルコードをGitHub公開 CLAUDE.md／AGENT.md も同梱し、コーディングエージェン トで開発するときもそのまま使える 03
5. 第1節・経緯 2022年11月 同年同月、 ChatGPTリリース LLM・AIエージェントシステムベストプラクティス 06
6. 第2節・動向 LLM/AIエージェントの本質はソフトウェア 情報収集 文章・アイデア ソフト開発 デザイン ChatGPTに相談しながら調べる、 新しい情報の得方 Notion・Google Docsの生成／要 約、企画支援 Cursor / Claude Code / Copilot / Codex Figma・Canvaの画像生成・提案 LLM/AIエージェントも結局はソフトウェア世界の一部 LLM単体は「重みパラメータの集合」。組み込んで初めて価値になる。ソフトウェア工学の知見を適用・拡張する。 LLM・AIエージェントシステムベストプラクティス 09
7. 第2章 ピックアップ ① 出力の構造化（ Structured Output） LLMを「会話するモデル」から「型付きインターフェースを持つ部品」へ。 全体像：構造化の流れ 1 境界 ＝ 不確実性を局所化する LLM 自然言語の出力 （不安定） 変換・検証レイヤー 構造化データ JSON Schema / Pydantic 型付き・検証済み 2 パイプライン ツール連携 評価 すべての後続処理は、この構造化データの上に乗る LLM・AIエージェントシステムベストプラクティス 自然言語のまま使わない 不安定な出力をそのままロジックに流さない 境界で型に強制する JSON Schema / Pydantic で検証可能な構造へ変換 ログ 3 すべての土台になる パイプライン・ツール・評価・ログが構造化データに乗る 17
8. 第2章 ピックアップ ② LLMでLLMを評価する（ LLM-as-a-Judge） 確率的な出力の品質を、スケーラブルに評価する。 全体像：生成と評価の分離 1 候補 生成LLM 評価LLM（Judge） 合格 → 採用 出力を生成 モデル/プロンプト固定 不合格 → 再生成 不合格ならプロンプト・温度を変えて再生成（ループ） 2 同期・非同期・タイミングはユースケース次第 使い方次第で同期評価・非同期評価を分ける Judgeで自動採点 品質・安全性を機械的に判定し、スケーラブルに「評価」を実現 評価結果を テスト / 運用モニタリングに蓄積 3 LLM・AIエージェントシステムベストプラクティス ドリフトを防止 評価モデル・プロンプトを固定してブレを抑える 18
9. 第2章 ピックアップ ③ プロンプトのテンプレート化とユニットテスト、プロファイリング プロンプトはLLM/AIエージェント活用で最も操作しやすいインターフェイス。 プロンプトを「コード」として記述・管理・テストする。 全体像：プロンプトの資産化 Git でバージョン管理・レビュー 1 テンプレート レンダリング {{変数}} 変数を挿入 LLM 出力を検証：期待値のアサート／コスト・レイテンシ計測 LLM/AIエージェントに対する Predictive Test Selectionへ LLM・AIエージェントシステムベストプラクティス 品質を左右するテキストを変数入りの構造で記述 出力 2 ユニットテスト テンプレート化 ユニットテスト 期待出力をアサートし回帰を検出、Gitで版管理 プロファイラ 3 プロファイリング 品質・コスト・レイテンシを計測して可視化 19
10. 第3章 ピックアップ ① AdapterとFactoryパターン OpenAI GPT / Anthropic Claude / Google Gemini を、1つのインターフェースで扱う。 全体像：抽象化レイヤー 1 共通インターフェース アプリは1つの型だけに依存し、SDKの差を隠す アプリケーション 共通インターフェース（ LLMClient） OpenAI Adapter Anthropic Adapter Factory が生成 2 LLM・AIエージェントシステムベストプラクティス Claude API 設定でプロバイダを選択・差し替え可能に Google Adapter 3 OpenAI API Factoryで生成を一元化 変化に強い 提供終了・更新・フォールバック／A/Bテストに対応 Gemini API 21
11. 第4章 ピックアップ ③ 安定したコア × 柔軟な拡張 変えたくない部分と、変え続ける部分を分ける。 全体像：コアと拡張の分離 1 拡張機能 拡張機能 SearchTool Prompting library コアは不変 信頼できる中核。むやみに変えず土台を守る 安定コア 2 LLM interface AgentTool interface Auth/Log/Security 拡張機能 拡張機能 Domain KnowledgeBase Governance rule 3 拡張は可変 実験的で変化の速い機能をプラグインで着脱 抽象化設計 インターフェースでコアと拡張を分離 接続はインターフェース経由（拡張は着脱可能） LLM・AIエージェントシステムベストプラクティス 26
12. 第5章 ピックアップ ② マルチ／多層／イベント駆動エージェント 単体では解けないタスクを、協調・階層・疎結合で解く。 全体像： 3つの協調型 マルチ （対等） 1 エージェントA エージェントB スーパーバイザー／ オーケストレーター 多層 （階層） ワーカー1 イベント 駆動 エージェントC Publisher LLM・AIエージェントシステムベストプラクティス イベントバス 2 マルチエージェント 複数エージェントが対等に協調して解く 多層型 上位が下位を統治する階層アーキテクチャ ワーカー2 Subscriber 3 イベント駆動型 イベントバスで疎結合・スケーラブルに 29
13. 第6章 ピックアップ ① Best-of-N／薄いラッパー戦略 複数生成から最良を選ぶことで安定させる。公式 SDKの薄いラッパーで開発工数を減らしつつ拡張。 全体像： Best-of-Nと薄いラッパー 自由度を下げる 1 OpenAI SDK準拠の 薄いラッパー プロンプト UI/APIで選択肢を制限して目的を明確にし、出力を安定化させ る 候補 1 候補 2 評価・選択 LLM-as-a-Judge 2 Best-of-N N個生成し、評価で最良の候補を選ぶ 候補 3 N 個を並列生成 最良を採用 薄いラッパー Best-of-Nはプロンプトキャッシュを活用するために 初回だけ単独リクエストで max_tokens=0 で ウォームアップすることを推奨。 LLM・AIエージェントシステムベストプラクティス 3 公式SDKを薄く包み、同じインターフェイスで独自の拡張機能 を追加 32
14. 読者特典 本編の一歩先 —— 2026年、コーディングエージェントが主役の時代へ 特典タイトル： コーディングエージェント時代における Methodology Engineering と Looped Harness Engineering 本編（〜 2025年末）の前提 特典（ 2026年）の前提 人間が主体、 コーディングエージェントは補助 コーディングエージェントが主役に LLM・AIエージェントシステムベストプラクティス 35
15. 特典・出発点 便利 ＞ 制御 便利さは常に制御より先に来る。制御を後から埋め込む。 ソフトウェアを作るインターフェースが自然言語に → 誰もがソフトウェアを作る時代へ 生産量は桁違いに増えるが、Shadow AIが増える 設計・セキュリティ・非機能・コストはブラックボックスのまま積み上がる 生産量の爆発が、そのまま運用負債の爆発になる CLAUDE.md／AGENT.md だけでは足りない 指示は「お願い」で確率的にしか従われない／文章で全場面を網羅できない LLM・AIエージェントシステムベストプラクティス 36
16. 特典・概念 ① Methodology Engineering（方法論のソフトウェア化） 方法論をエージェントが読み込んで実行できるソフトウェア資産にする。 方法論は「共通認識＝コミュニケーションツール」 TDD・DDD・SOLID・デザインパターン……「DIで作って」の一言で伝わる 方法論、プラクティス、 デザインパターン DI, SOLID, DDD, TDD・・・ エージェントは読み込んだ瞬間から実践 → 伝達コストがほぼゼロ 人間が研修や経験で内面化してきたものが、即実行される コーディング エージェント 方法論に倣って作る 実装 方法論がコンパイル可能・反証可能になった 課題に応じて 方法論から設計して 実装する Dagger, CI/CD, FastAPI・・・ Eval でA/Bテスト・効果測定・回帰テストができる「生きた資産」に LLM・AIエージェントシステムベストプラクティス 37
17. 特典・概念 ② Looped Harness Engineering （コーディングエージェントの DevOps） ハーネス＝エージェントを取り囲む実行環境一式。方法論を「環境として」強制・補助・検証・観測し、ループで育てる。 制約 補助 検証 観測 してはいけないことを不可能にする 正しいやり方を最も簡単な道にする 結果の正しさを機械的に確認する 記録して次の改善につなげる Fool Proofing：人間の注意力に頼らず、間違えようのない治具を作る。 セッションは揮発する → 学びをMaster Harnessに外部化し、組織学習にする。 LLM・AIエージェントシステムベストプラクティス 38
18. エンジニアリングの将来 抽象度が一段上がる —— エンジニアの仕事の変化 機械語 手作業構築 手動リリース コードを書く ↓ ↓ ↓ ↓ 高級言語 Infrastructure as Code CI/CD 作り方の作り方を作る エンジニアの仕事は「誰もが信頼できるソフトを作れる仕組み」をエンジニアリングすることへ。 「 AIとは、まだ実現されていないもののことである」 （ラリー・テスラー） 当たり前になった技術は道具と呼ばれ、その先に新しい「まだ実現されていないもの」が現れる。 LLM・AIエージェントシステムベストプラクティス 45
19. まとめ 不確実性に対処し、方法論とハーネスを組織の資産にする 鉄則 手法 局所化して制限し、評価する 基礎→API→設計→エージェント→応用 特典 Methodology & Looped Harness Eng. 出版 翔泳社『LLM・AIエージェントシステムベストプラクティス』（ ISBN 978-4-7981-9431-8） サンプルコード https://github.com/shibuiwilliam/llm-best-practice-book-program 特典 https://shoeisha.co.jp/book/present/9784798194318（SHOEISHA iD 登録） 皆様のご感想をお待ちしています！ LLM・AIエージェントシステムベストプラクティス 46