リスクが取りにくいシステム開発でのDevinとの付き合い方

AI駆動開発勉強会 臨時回【Devin Meetup Japan #1】

Transcript

1. リスクが取りにくいシステム開発で のDevinとの付き合い方 株式会社MonotaRO エンタープライズビジネスエンジニアリング部門 佐藤拓実 1 2025.3.26 © 2025 MonotaRO Co., Ltd. All Rights Reserved.
2. 好きなこと/趣味などなんでも 主な担当領域 2022.04 新卒で株式会社MonotaRO入社 2022.07 SREグループに配属 2024.10 エンタープライズソリューショングループに異動（イマココ） エンタープライズ向けサイトのクライアントサイド/サーバーサイドの開発をしています MonotaRO社内への生成AIツールの導入もしました • 構想半日、実装一日、全社活用される ChatGPTのSlackbotを作りました！ • 生成AIのSlackbot導入から1年半。社内での活用が広がり、次のステップが見えてきた話 モノタロウに入社するまで 岐阜⇨名古屋⇨大阪 • 大学院では人工知能（自然言語処理）の研究を頑張っていました 佐藤拓実 (Takumi Sato)　 乃木坂46/ハロプロ/中日ドラゴンズ/ RADWIMPS/ラランド/マユリカ/ 軽い登山/散歩
3. 話したいこと 3 • MonotaROではDevinやその他ツールを導入 し活用しています cline,cursor... • うまくいっているところもありましたが、私 たちの部署は最初はうまく行きませんでした • それはなぜか？どうしたか？今後？について
4. Devinとの出会い 4 • openhands（DevinのOSS版）を試してみる ◦ すごく良かった、が ▪ UIが貧弱、遅い、成果物がなかなかできない... ◦ ただコンセプトは面白い + もっと進化したも のを使ってみたい！ • ⇨ 2025年1月にDevinを試験的導入 ※ 個人の感想
5. Devinとの出会い 5 • まずは少人数チームで効果検証 ◦ 期間: 2025/1/6〜2025/1/10 ◦ セッション数: 28 ◦ PR作成数: 23本 ◦ マージ済PR: 16本 ◦ 利用クレジット: 215.14ACU ($430.28) • 比較的大規模なエンタープライズ向けサイト 開発にも持ち込んでみた。 なんかスゴイ
6. やってみたこと 6 • 本番に影響がほぼないページのモダナイズ やUIUX向上に活用してみよう🔥 • まあ、簡単なタスクならサクッといけるっ しょ
7. そんなことなかった 7 • 当初想定していたPRのリリースの計画から だんだん遅れ始めた 🤔 • みんなDevinではなくClineを使うように なった • ⇨ なぜ...？
8. 振り返りを実施 8 • Devin利用者、レビュワー • 生の感想を聞く
9. 振り返りでどんなことが出てきたか 9 • コードの品質が安定しない ◦ 動作はするが油断ならないコー ド（可読性の低いコードや余計 な処理）が混在 • レビュー対応 ◦ 指摘への対応が分かりにくい ◦ 返信がない ◦ 対応で別のコードが生成される 不安感 • 実装時の課題 ◦ 要件の言語化が不十分だと思わ ぬ方向に実装が進む Devinに関する課題 • Clineとの比較 ◦ 細かい制御はClineの方がしやす い ◦ Devinの方がコンテキストの理 解力は高そう? • 共通の課題 ◦ テスト・品質担保の重要性が増 す ◦ PRは量産できるが人手作業の負 担が大きい 他ツールとの比較・共通課題
10. Devinへの期待とのズレ 10 • 自立性が高い故に、何をされるか分からな い恐怖 • エンタープライズ向けサイト = 安定性重視 でリスクを取りにくい ⇨ レビューやQAの負荷が逆に高まってしま う
11. 振り返りをもとに改善する 11 • コードの品質 ◦ ⇨ 今まで佐藤がやっていたセルフレビュー の観点を言語化・Devinに渡し、セルフレ ビューまで任せる • レビュー対応 ◦ ⇨ 対応内容のサマリーを出力するよう教育
12. 振り返りをもとに改善する 12 • コードの品質 ◦ ⇨ 今まで佐藤がやっていたセルフレビュー の観点を言語化・Devinに渡し、セルフレ ビューまで任せる • レビュー対応 ◦ ⇨ 対応内容のサマリーを出力するよう教育 レビューコメントの数が1/4 以下に 🥳 ⇨ 似たような案件はDevinで ガンガンこなせるようになっ た
13. つまり 13 • Devinは万能ツールではなく、あくまで開発 ライフサイクルの一部 • 人間の開発チーム同様、改善サイクルを回 しましょう
14. これから 14 • リスクが取りにくいシステム開発だと、ど うしても活用が難しい • ではどうするか？ ⇨ AIを活用するための環境を整備しよう
15. 例えば... 15 x2 開発フローイメージ
16. AI活用目線でのつらみ 16 x2 結構大変😵 開発フローイメージ • E2EテストはJenkinsから人間が実行 するしかない • E2Eテストの実行時間が長い • 基本は手動テストも必須 • 自動テストの信頼性が十分ではない • レビュワー2人の承認が必須 • 厳選されたレビュワー • リリース日の調整 • リリース情報の記入 • リリース時の動作確認 • …
17. どう改善できるか 17 x2 開発フローイメージ • E2EテストをActionsから実行できないか • インテグレーションテスト導入できないか • テストポリシーの言語化やCUJの策定 • ↑らによって手動テストは最低限に • レビュワールールに融通を • AIによる自動レビューによる 負荷軽減 • リリースフローの整備 • リリース準備作業の自動 化 • リリース回数を増やす （リスク分散） • QA（モニタリングや SLO含め）の優先度を 上げる • 不具合が露出した際に 戻しやすい仕組み作り
18. つまり方針として 18 • AIそのものだけに目を向けるのではなく、 AIを活用するための環境も大事 ◦ 品質が自動で担保される仕組みの構築 ◦ 開発ライフサイクルでの人間が関わる作業を減 らす DevOps...
19. まとめ • Devinは便利だがリスクが取れないシステムではまだ使 い方が難しい • 「Devin、使った、便利！不便！」ではなく人間同様改 善サイクルを回しましょう • AI-drivenな世界を見据えましょう ◦ 開発環境が開発者のためだけではなくなる ◦ モダナイゼーションの意味・方向性を考え直す 19
20. 20 © 2020 MonotaRO Co., Ltd. All Rights Reserved.