AIオーケストレーションを活用した 開発ワークフローの設計と実践

Transcript

1. AIオーケストレーションを活⽤した 開発ワークフローの設計と実践 Agentic Tokyo #2 2026/09/09 GMOペパボ株式会社 EC事業部 プロダクトチーム bqnq -ばな- 1
2. ⾃⼰紹介 GMOペパボ株式会社 EC事業部 プロダクトチーム ばな bqnq 2025年 新卒⼊社 カラーミーショップというサービスを使いやすく するために管理画⾯の機能開発をしています • 漫画が好きです。 昨晩、⾦⾊のガッシュベルを⼀気⾒しました • スピッツという⽝を将来飼いたい • Twitter : @_bqnq 2
3. 本LTでお話ししたいこと 1. AIが開発⽣産性について与えた影響について 2. AIオーケストレーションを活⽤した開発ワークフローの設計 3. 実践してみた結果、今後進めていきたいこと 3
4. AIが開発⽣産性に与えた影響について 4
5. AIが開発⽣産性に与えた影響について 他社ではどのくらい開発⽣産性が上がった？ • 10,000⼈以上のエンジニア、1,255チームのテレメトリを対象にした エンジニア分析ベンダーの調査 [1] によれば、AI活⽤度の⾼いチームでは マージされたPR数が 97.8% 増えたが、レビュー時間も 91.1% 伸びた • Google が⾃社エンジニア 96名 を対象にした⽐較試験 [2] によれば、 AI によって作業時間は 21.0% 短縮している。 また、新規実装の 1/4 以上が AIが⽣成したものと述べている [3] [1] https://www.faros.ai/blog/ai-software-engineering [2] https://arxiv.org/abs/2410.12944 [3] https://blog.google/company-news/inside-google/message-ceo/alphabet-earnings-q3-2024/ 5
6. AIが開発⽣産性に与えた影響について ⾃分たちの開発⽣産性はどうなったか？ • ⽉毎のマージ数 / デプロイ数を調べた 2025年 2026年 変化率 PRマージ数 101.5 151.1 +48.9% デプロイ数 73.8 88.1 +19.4% • AIにより開発⽣産性は上がっていた • マージ数に対して、デプロイ数の伸び率が低い 6
7. AIが開発⽣産性に与えた影響について 実装速度にリリースが追いついていない？ • 2025年、2026年のリードタイムの中央値を⽐較 リードタイム 2025 2026 24.5h 69.5h • リードタイムは 2.8倍 増加していた • リリースは速くなったがリードタイムは⻑くなった？ ◦ PRを同時並⾏で処理しているのでは？ 7
8. AIが開発⽣産性に与えた影響について リリースは速くなったのにリードタイムは⻑く？ • 並⾏で処理しているPRについて調査 マージ数 リードタイム OpenのPR数 2025 101.5件/⽉ 24.5h 3.4 2026 151.1件/⽉ 69.5h 14.0 • 昨年と⽐較して4.1倍のPRを並⾏で処理 8
9. AIが開発⽣産性に与えた影響について 開発⽣産性を上げるには...? • ⼈間の並列処理能⼒にボトルネックがありそう • ⽣産性を上げるには...? ◦ とにかく⼈をたくさん採⽤する？ ◦ 賢いAI Agentに仕事を全て任せる？ 9
10. AIが開発⽣産性に与えた影響について ボトルネックを解消するためには？ • ⼈間の並列処理能⼒には限界がある ◦ ⻑く⾃律的にAIを動かすことがボトルネックの解消につながる？ • これまでの開発フローを⾒直してみる必要がありそう 10
11. そもそも開発はどう進めていたか？ 11
12. 開発フローについて整理してみる 12
13. AIオーケストレーションを活⽤した開発ワークフローの設計 チームの開発フローを整理 計画 タスク 出し ⽅針 決め チーム で合意 実装 レビュー Approve マージ デプロイ 本番で 動作検証 テスト 動作 検証 13
14. AIオーケストレーションを活⽤した開発ワークフローの設計 AIに1回で任せるタスクを拡げたい • エンジニアに任せるような粒度でAIに投げる ◦ 実装だけでなく、動作検証‧セルフレビューまで含める • ⼈間の責務を判断と承認に寄せる • AIオーケストレーションを活⽤してやってみる 14
15. AIオーケストレーションを活⽤した開発ワークフローの設計 AIに任せる範囲を広げたい ここまでを⼈間と半⾃律的に⾏わせたい 計画 タスク 出し ⽅針 決め チーム で合意 実装 レビュー Approve マージ デプロイ 本番で 動作検証 テスト 動作 検証 15
16. AIオーケストレーションを活⽤した開発ワークフローの設計 AIオーケストレーションについて “Workflows are systems where LLMs and tools are orchestrated through predefined code paths. Agents dynamically direct their own processes.” [4] = 事前に定義されたコードパスを通じてLLMとツールが連係‧調整されるシステム • takt [5] というOSSを利⽤ ◦ 複数の AI AgentをYAMLで書いたワークフローに沿って動かすライブラリ ◦ ペルソナを .md で定義し、ワークフローをグラフとして宣⾔ ◦ 各stepの出⼒に応じて、次のstepを選ぶ [4] Anthropic, Building effective agents (2024) https://www.anthropic.com/research/building-effective-agents [5] nrslib/takt — https://github.com/nrslib/takt 16
17. AIオーケストレーションを活⽤した開発ワークフローの設計 ペルソナの構成 • 8つの役割を定義、タスクごとに model と effort を振り分け • 判断が重いタスク：opus-5 high ◦ 実装計画、計画のレビュー、コードレビュー • 量を捌くタスク：sonnet-5 ◦ コードベースの調査、テスト実装、実装、動作検証 • PR作成：haiku4-5 17
18. AIオーケストレーションを活⽤した開発ワークフローの設計 ワークフローの設計 • ⼈間が判断する箇所を2箇所に固定 ◦ 実装計画の承認、PRとして出してよいか • 未承認の場合、⼈間が理由を指定してそれに従って修正 ◦ ⾒た⽬が違う場合：修正 + 動作検証だけをやり直し ◦ 実装が違う場合：実装からやり直し ◦ ⽅針が違う場合：計画からやり直し 18
19. AIオーケストレーションを活⽤した開発ワークフローの設計 グラフにするとこうなる 19
20. 実際に動かしてみた 20
21. AIオーケストレーションを活⽤した開発ワークフローの実践 実践してみて：うまくできたこと • AIがタスクを分解‧要件をissueに起票 & slack通知 21
22. AIオーケストレーションを活⽤した開発ワークフローの実践 実践してみて：うまくできたこと • ⼈間が実装計画を確認→実装まで⾃律実⾏ ◦ AIがタスク分解、実装、動作検証までを⼀気通貫で実⾏ • ⼈間が実装を確認→コード品質が収束するまで改善 ◦ ⼈にレビュー依頼 or AIに修正依頼 • 半⾃律的に動くAIにタスクを委任できた やりたかったことはできた！ 22
23. AIオーケストレーションを活⽤した開発ワークフローの実践 実践してみて：失敗したところ • 設定不⾜でトークンを⼤量に消費 ◦ takt側で使⽤量の監視を有効にしていなかったことが原因 上限の 95.0% 使ってしまっていた （リセット前だったから耐えた） 23
24. AIオーケストレーションを活⽤した開発ワークフローの実践 実践してみて：まだできていないこと • 成果物であるコードの定量的評価ができていない ◦ プロンプトの良し悪しを経験則に頼っている ◦ 最初の書きっぷりは設計する⼈に依存している 24
25. 実践結果からわかったこと‧今後やっていきたいこと まだ解消されていないボトルネックは？ • レビュー待ちの時間 ◦ ⼿戻りがある品質のコードを⽣成してしまっている • CI待ちの時間が存在する ◦ 規模の⼤きいプロジェクトではCI待ちがボトルネック 25
26. 実践結果からわかったこと‧今後やっていきたいこと 現時点でのレビューの緩和策 • AIによる1次レビューをCIに組み込む ◦ 共通のレビュー観点をコンテキストに持つAIが1次レビュー • ペアレビューの実施 ◦ 必要に応じて、同期的にペアレビューの時間をとる ◦ 試しに1回やってみた。 実装した⼈に直接質問しながらレビューできるのが良かった ◦ ↑の体験をAIで再現できたら最⾼ 26
27. 実践結果からわかったこと‧今後やっていきたいこと 今後やっていきたいこと • AIオーケストレーションに適したリリース戦略の検討 ◦ 開発速度が上がればCI待ち時間はよりネックになっていく • AIの成果物の定量評価⽅法の検討 ◦ コード品質の基準がブラックボックスなので定量化⽅法を検討 ◦ 理想的には明⽰的な指標に基づいてレビューサイクルを回すことで コード品質を収束させていきたい 27
28. まだまだ進めていっている段階です！ 懇親会でお話ししましょう！ 28
29. AIにタスクを委任していき、 ⼈間は判断と承認に責任を持つ 29