ハーネスエンジニアリングをやりすぎた話 ~そのハーネスは解体された~

本発表では、AIエージェントによるソフトウェアの長時間自律開発を可能にする「エージェントハーネス」の構築と、その失敗の経緯を共有する。
仕様承認後、放置で大規模開発を完了させることを目指し、タスク分解、並列実行、検証可能、証跡付きといった機能を盛り込んだ。最初、中規模開発に成功したことが最悪の成功体験となり、様々な開発に対応させるべく機能を拡張しすぎた。その結果、ハーネス自体が過度に密結合・肥大化し、修正や検証が困難になる制御不能な状態に陥り、最終的に解体した。
結論として、ハーネスを作成する際は目的ごとに小さく分割し、シンプルで変更容易性の高いハーネスを構築する必要がある

Transcript

1. ハーネスエンジニアリングを やりすぎた話 そのハーネスは解体された 2026-04-24 Harness Engineering Meetup Tokyo #1 Gota(@gota_bara)
2. 自己紹介 2 Gota (@gota_bara) 所属 やってること AI エージェント開発 / ⼩売向けデータプロダクト / データ整備 好きなエージェント pi … 超シンプルなTerminal型エージェント. システムプロンプトを⼈間が容易に読める cc-sdd v3.0 (2026/4 update) • 境界をファーストクラス化 • ⻑時間の⾃律実装：specのTDD実装 ↔ レビューのClosed Loop • Slash commandをAgent Skillsに変更 Agentic AI エンジニア & アナリティクスエンジニア
3. 作ってたエージェントハーネス 3 やりたかったのは、仕様を承認すればあとは放置でその通りに動くソフトウェア開発が End-to-Endでできること。惰眠を貪りたい... 超⻑時間⾃律 : 寝ている間に⾛らせ、朝には⼤規模開発が仕様通り完了する 検証可能 : テスト / 受⼊基準 / 仕様準拠 / 動いたかまでを機械が判定できる状態 証跡つき : 何をやったかが全て記録として残る Claude Agent SDKで作ってた. 2025/12~2026/1あたりに取り組んでた
4. やりたいことを実行可能な粒度まで分解してドキュメント生成 4 作りたいものの規模やドメインによって要求/設計ドキュメントを階層的に作成し、その後 それを実⾏可能な粒度のタスクに落とす
5. 各タスクは単体で明確に検証可能な契約にする 5 • タスクのSpecに抜け漏れがないかはハーネスで機械的チェック • checksに検証したいcommand等やspecと紐づくIDも⾃由に設定可能
6. タスクの並列実行 + 依存関係制御をするためのDAG 6 できる限り早く終わって欲しいため、並列実⾏⼊れたかった！
7. 全タスクを証跡を残しつつ長時間自律フィードバックループ 7 AI Agentが⾃律判断して⾃律改善できる要素を個別調整できる⻑時間⾃律させるための⾃ ⼰改善ループ & タスクごとの証跡とメモリ
8. 最初雑に作った段階で中規模開発はできてしまった... 8 5 万⾏ / 8時間 8時間放置で5万⾏作成、コア体験は動いた。これが最悪の成功体験だっ た。
9. 様々なソフトウェア開発に対応出来るハーネスにしたい！ 9 ⾊々と範囲を広げてすぎて依存がどんどん増えていく... そして⾃由度が下がっていく 1 2 3 ⽂書テンプレートがたくさん！ • アーキテクチャ設計書 • データモデル / ERD / エン ティティ定義 • 機能仕様書 / 画⾯仕様書 • API仕様書 • 業務フロー / ユースケース • モジュール設計 / コンポーネ ント境界 • ⾮機能要件 • etc. 決定論的だけじゃなく推論も！ 設定ファイルだけで300⾏超 様々なドキュメント 様々な検証 様々な技術スタック
10. 並列実装で生じる異常 10 ⼤規模開発になると、境界と仕様のドリフトが頻繁に発⽣することで並列実装時の編集 ロックがコンフリクト 1 境界のドリフト 特に新規開発だと境界を明確に設計するのは⼤規模になればなるほど想定外が起こる 2 仕様のドリフト 仕様書内に書いていないものは守れない 3 依存関係のドリフト 最初のタスク分解を承認した上で進めてたが途中で発⽣したドリフトと⾃⼰修正でDAGの組み直しが頻繁に発⽣ ⼀つ⼀つ修正していったが...
11. ハーネスが密結合に... 11 タスクのテンプレートを 1 個変えたいだけで、10 箇所の整合性をとる必要が... 1 template / hook / verify / tests / policy が同時に動く. 汎⽤的 に作ってるから変更箇所が多い 2 1回全体をテストするのに平気 で1時間とかの⻑時間かかる. 3 修正してもどこを修正したから うまくいった/失敗したのかを 評価不能に そしてエージェントハーネスは肥⼤化 Script: 25,000⾏‧Markdown: 10,000⾏‧Hooks: 1,500⾏
12. 12 ハーネスでなんでもやろうとすると、 エージェントを制御するための仕組み ⾃体が制御不能になる
13. 13 そしてハーネスは解体された
14. まとめ: 今だったらこう分ける！ 14 1 Planning Agent 要求‧計画からタスク契約に落とす 2 Execution Agent タスク契約を読む → 境界内でTDD実装する 3 Verification Agent タスク契約を読む → checks と evidence で完了判定する 4 Adaptation Agent failure / evidence を読む → 次の提案を出す ⽬的ごとに⼩さく分けてシンプルかつ変更容易性の⾼いハーネスを作ろう！
15. ありがとうございました！ 質問やお問い合わせ等あればお気軽に連絡ください！ X: @gota_bara cc-sddのGithub