ハーネスエンジニアリングの概要と設計思想

【Harness Engineering入門】AIエージェントを制御するアプローチの登壇資料となります。

https://findy.connpass.com/event/388471/

Transcript

1. ハーネスエンジニアリングの 概要と設計思想 渋⾕ 優介 @sergicalsix 
2. ハーネスエンジニアリングとは 2
3. © Algomatic Inc. 3 ハーネスとは ⽂献‧事例 ハーネスの位置付け Biderman(2024) 評価を成⽴させる基盤 Xu(2024) LLMに⾏動⼿段を与えるランタイム‧周辺環境 Zhang(2025) LLMに追加可能なモジュール群 Bui(2026) 実⾏のオーケストレーション層 Anthropic(2026) LLMを⾃律的に機能させるための設計 LangChain(2026) LLM以外の全要素 キーワード evaluation harness digital worker environment modular harness design runtime orchestration layer long-running application development Agent = Model + Harness
4. © Algomatic Inc. 4 ハーネスエンジニアリングとは ⽂献‧事例 ハーネスの位置付け Zhang(2025) LLMに追加可能なモジュール群 Bui(2026) 実⾏のオーケストレーション層 Anthropic(2026) LLMを⾃律的に機能させるための設計 LangChain(2026) LLM以外の全要素 キーワード modular harness design runtime orchestration layer long-running application development Agent = Model + Harness ハーネスエンジニアリングは、LLMを効果的に動作させるための 仕組み全般である「ハーネス」を設計‧開発する⾏為と暫定的に定義できる
5. © Algomatic Inc. 5 ハーネスエンジニアリングのスコープ‧キーワード Workspace Sandbox Runtime Interface Data Sources Permissions Where When Trigger Event Schedule Queue Approval Points How Principles Verification Tools Skills Orchestration ハーネスエンジニアリングの対象領域は広く、要素は多岐にわたる
6. © Algomatic Inc. 6 ハーネスの構成要素とソフトウェア開発の蓄積 Verficationの設定 ハーネスの要素 Principlesの設定 詳細 ADRの設定 開発標準(例: TERASOLUNA,HyThology)の適⽤ Linter テストコード CIチェック ハーネスの構成要素の⼀部は、これまでのソフトウェア開発の蓄積の上に成り⽴っている
7. © Algomatic Inc. 7 前提: Software Development Life Cycle(SDLC)とV字モデル 要件定義 設計 開発 テスト デプロイ 運⽤ 要件定義 基本設計 詳細設計 総合テスト 結合テスト 単体テスト 開発 要求定義 受⼊テスト
8. © Algomatic Inc. 8 ハーネスの影響範囲と領域 要件定義 設計 開発 テスト デプロイ 運用 ハーネス ハーネスはシステムの開発サイクルにおいて⼤きな影響範囲を持つ。 特に既存のハーネスは開発‧テスト領域に集中している。 一般的なハーネスの スコープ外 要件定義 設計 開発 テスト デプロイ 運⽤ 開発‧テスト⽤ハーネス
9. ハーネスの設計思想 9
10. © Algomatic Inc. 10 ハーネスエンジニアリングの進め⽅⼀例 保守性‧変更容易性 開発スピード 要件達成度 ⼈的コスト システムコスト Hooksの設定 指標例 ハーネスの要素例 Skillsの設定 Principlesの設定 ⾃律性向上 Verificationの追加 パラメータチューニング 開発⾃由度 下がる 上がる - 注⼒指標を考慮しつつ、システム開発の⾃由度を下げる施策から始めると 難易度観点と影響範囲の観点から進めやすい 難易度 相対的に低い 相対的に⾼い 相対的に低い 下がる 相対的に低い 下がる 相対的に低い 下がる 相対的に低い QCD D Q C
11. © Algomatic Inc. 11 ハーネスエンジニアリングで⼗分？？？
12. © Algomatic Inc. 12 ハーネスエンジニアリングの不⾜分(1/2): Four Keys‧ボトルネック デプロイ頻度 変更のリードタイム (コミットからデプロイまでの時間) Four Keys: ソフトウェア開発チームのパフォーマンス計測指標 要件定義 設計 開発 テスト デプロイ 運⽤ 要件定義 設計 開発 テスト デプロイ 運⽤ 開発‧テストが早くなっても、デプロイ頻度を上げられなければ ユーザーへの価値提供が加速しない 変更失敗率 (デプロイ後にバグ等で即時介⼊が必要となった割合) デプロイ失敗からの復旧時間
13. © Algomatic Inc. 13 ハーネスエンジニアリングの不⾜分(2/2): ⼈の働き⽅ 満⾜度‧ウェルビーイング 活動量 (コミット、PRなどの開発量) SPACE: 開発組織を5次元でとらえた指標 ハーネスエンジニアリングはあくまでLLMが働きやすい仕組みづくりであり、 ⼈が働きやすい環境を作ることも中⻑期的な⽬線で必要である。 成果 (期待されるアウトカムをどれだけ達成したか) コミュニケーション‧協働 効率‧フロー
14. © Algomatic Inc. 14 ハーネスエンジニアリングの設計ポイント LLMのためのハーネスを作ると同時に⼈‧チームのための仕組みを整備する 必要がある。
15. © Algomatic Inc. 15 告知 https://peatix.com/event/4961703/view
16. ハーネスエンジニアリングの 事例紹介 16
17. © Algomatic Inc. 17 投機的な開発 テスト 投機的な開発 テスト Algomaticのハーネスの事例 要件定義 設計 開発 テスト 要件定義 設計 開発 テスト 投機的な開発 テスト ハーネス 並列開発によるdiscovery業務⾼度化 デザインシステム ⼈の介⼊を模した Agent Loop機構による開発を⾃律化 Agent Loop A A 概念図 解説 D D B プロダクトPrinciple B C C Remote Test Runtime D ユーザー体験原則を含むデザインシステム ‧事業KPI含むプロダクトPrincipleを⽤い た確度の⾼い開発 B C テスト前倒しによる観点潰し込み。 クラウド環境でのテスト⾃動化によりテス ト負荷軽減。テスト動画をLinearへ添付。 D Quality Assurance E 弊社独⾃の品質管理基準による 開発機能種別に応じたレビュー E