育てたDevinは自立するのか？

Devin Meetup tokyo 2025

Transcript

1. 徳富 博（プラットフォームエンジニアリング） 育てたDevinは自立するのか？ @yannKazu1 Devin Meetup tokyo 2025
2. 自己紹介
3. 自己紹介 徳富 博 - 所属: タイミー プラットフォームエンジ ニアリングチーム 1G - 好きな技術: Go, Ruby, TypeScript, AWS, … - 野菜を育ててます
4. 本日はタイミーでのDevinの活用方法・育て方について紹介します
5. 目次 • Devinの現状と課題感 • 要件定義・設計・テスト工程での活用 • 実装フェーズでの工夫 • 運用フェーズでの自動化・AI活用 • 今後の方針・展望 • まとめ
6. Devinの現状と課題感
7. 弊社ではDevinが2025年2月よりDevinが導入され、 毎月数百PRをマージする素晴らしいパートナーです
8. 現状Devinを含めたAIツールの活用は「コーディングサポート」的な 立ち位置
9. 開発全体サイクルにAIを使えないか？
10. 単なるAIツールとしてDevinを利用するのではなく、 業務や組織、そして開発サイクル全体にDevinをどう馴染ませ、現場で“育てて”い くかという視点を持っています。 私たち自身もまだ試行錯誤の途中ですが、これまで取り組んできた実践例をいくつ かご紹介します。
11. 要件定義・設計・テスト工程での活用
13. Devin活用の位置付け • Devin自体に要件定義やテストを直接担当させるわけではない • Devinを活用しながら、他のAIツールがより高精度なアウトプットを出せる方 法を紹介
14. 要件定義や設計フェーズをAIツールと一緒に進めるには システムフロー/ ユーザージャーニー/ ビジネスフロー のなどの情報が不可欠
15. だがしかし、せっかく一度仕様やフローに関してのドキュメントを作っても、 その後メンテナンスされなくなるのが現実
17. • 仕様を管理する専用リポジトリを作成 • Devinがこの内容を自動でメンテナンスしてもらう
18. リポジトリのディレクトリ構成
19. DevinにはSessionを開始するためのAPIがある https://docs.devin.ai/api-reference/overview
21. • この仕様を管理するリポジトリを下記のフェーズでAIに参照させて作業をさせ ることで高いアウトプットが期待できるのではないかと考えている(まだ実験段 階) ◦ 要件定義 ◦ 設計 ◦ 実装 ◦ テスト
22. 実装フェーズでの工夫
23. Devinの「ナレッジ」機能 • Devinには「ナレッジ」機能があり、 　チームのルールや指針、ノウハウを登録できる a. 例：「こういうときはこう書く」「このケースはこう判断する」 • 経験や判断基準をDevinに覚えさせることで、 　実践的で高品質なアウトプットをサポート 実装の質を上げるための工夫
24. しかし、弊社では多くの開発者がいるため、各々が好き勝手 ナレッジを登録することで...... • どのナレッジが誰の意図で変更されたのかよくわからない • 矛盾したナレッジが登録されてしまう a. 外部APIのテスト時にはモックを使ってね b. テストはモックを使わずに書いてね -> Devinのアウトプット精度が落ちてきた
25. Knowledge as Code インフラをコードで管理する「Infrastructure as Code（IaC）」のよ うに、ナレッジもコードで管理できたらどうだろう？
26. • コードで管理できるので、追加・変更・削除の履歴が残る • Gitで履歴管理 　- 誰が・いつ・なぜ変更したかが明確 • Pull Requestでレビュー 　- ナレッジのブレやミスを事前に防止 • terraform planで差分確認 　- 意図しない変更も検知しやすい • コード管理することで他のAIエージェントへ移行も簡単 　- ナレッジを再利用しやすい ナレッジ管理にTerraformを使うことにした
28. ということで作りました
29. この辺りの内容は以下のテックブログにまとめて公開してます 気づけばDevinのナレッジが山積みに。Terraformで片づけ てみた 　 https://tech.timee.co.jp/entry/2025/06/05/121914
30. ナレッジがterraform管理されるようなったことで次のような ナレッジの活用事例が生まれた
31. Devin に社内で管理してるユビキタス言語を knowledge として教えてみるというアイデア
32. 弊社ではユビキタス言語を Notion のデータベースで一元管理し、常に 最新の状態に保つワークフローが確立されています
34. • 私たちが定義した「意味」に沿って、より的確な言葉で回答できるように なった • 要件定義や仕様書レビュー時にドメイン知識に基づいた指摘や補足ができる ようになった • コードの生成やリファクタリング時に業務用語に即した命名や処理ができる ようになった 得られた効果
35. この辺りの内容は以下のテックブログにまとめて公開してます Devinを賢くする秘訣は「ユビキタス言語」にあり？ Notion とTerraformで実現する半自動ナレッジ更新術 by @euglena1215 https://tech.timee.co.jp/entry/2025/06/11/122434
36. 運用フェーズでの自動化・ AI活用
37. • Dependabot PR要約によるレビュー効率化 • Flaky Test検知〜自動修正フローの構築
38. Dependabot PR(Renovete)レビュー、案外大変… • PRの内容を理解するために 　まずchangelogをチェック • 問題なさそうならマージ、 　でもよくわからない時はコードを直接見に行く • それでも不安なら 　staging環境で実際に動作確認 • 毎回この流れ、意外と手間がかかる… Dependabot PR要約によるレビュー効率化
39. Dependabotが自動でPRを作成したタイミングで、 DevinのSession APIを呼び出して、PRの変更内容を自 動的に要約してもらう仕組みを導入しています。
41. テスト基盤・監視体制 • テスト実行基盤として GitHub Actions を採用 • テスト結果は Datadog と連携し、モニタリングを実施 • デフォルトブランチでテスト失敗時には ◦ ログをDatadogで検知 ◦ Datadog Alert で通知 • Flakyテスト（不安定なテスト）も早期にキャッチ可能な仕組みを 構築されている Flaky Test検知〜自動修正フローの構築
42. • Flakyテストのアラートをトリガーに ◦ DatadogのAlertでflakyテストを検知 • Datadog Workflowを自動で起動 • Workflow内でDevin Session APIを呼び出し • Flakyテストの自動修正フローを実現 Flakyテスト自動修正フロー
44. この辺りの内容は以下のテックブログにまとめて公開してます さよなら Flaky Test！Devinと共に実現する、CI安定化への 道 by @bary822 https://tech.timee.co.jp/entry/2025/07/16/100000
45. 今後の方針・展望
46. a. AIエージェントの棲み分け • Devinは「開発エンジニアAI」として進化を目指す • 現状は運用もDevinに担当させているが、今後SRE AgentなどのAIエージェントが各 社から登場してきているため、 　監視・運用はSRE Agent、開発〜テストはDevinといった役割分担・棲み分けも検 討が必要になるかもしれない b. Devinのカバー範囲拡張 • コーディング以外（要件定義・設計・テスト・運用）にもDevinを拡張 • 開発サイクル全体の“AI化”を推進 • アラート自動対応や仕様変更→テスト自動修正など、 　これまで人が行っていた定型作業をDevinにシフト c. AIエージェント活用のベストプラクティス模索 • AIエージェントを現場にどう馴染ませるか、活用方法を探る • Devinにどこまで“権限”や“責任”を持たせるかを検証・模索 今後の方針・展望