Devin入門と最近のアップデートから見るDevinの進化 / Introduction to Devin and the Evolution of Devin as Seen in Recent Update

2025年3月26日のAI駆動開発勉強会 臨時回【Devin Meetup Japan #1】の登壇資料です https://aid.connpass.com/event/347052/

Transcript

1. © 2024 Loglass Inc. 0 © 2024 Loglass Inc. AI駆動開発勉強会 臨時回【Devin Meetup Japan #1】 #AI駆動開発 Devin入門と最近のアップデー トから見るDevinの進化 r.kagaya 2025.3.26
2. © 2024 Loglass Inc. 1 自己紹介 新卒でヤフー株式会社に入社、ID連携システムの開発 2022年に株式会社ログラスに入社 経営管理SaaSの開発、開発生産性向上に取り組んだのち、 生成AI/LLMチームを立ち上げ、複数LLM機能の開発を リード 現在は新規プロダクトの立ち上げに従事 株式会社ログラス ソフトウェアエンジニア r.kagaya(@ry0_kaga)
3. © 2024 Loglass Inc. 2 今日の内容 • 話すこと ◦ Devinの概要や簡単な機能紹介 ◦ 2025年のDevinリリース・アップデート • 話さないこと ◦ 他AI開発ツールとの詳細な比較 ◦ Devin活用のtips詳細（この後のセッションを楽しみにしてください...！）
4. © 2024 Loglass Inc. 3 Devinとは
5. © 2024 Loglass Inc. 4 Devinの特徴を表す言葉（公式サイトより抜粋） 複数の指示（セッション）を並行して、動かすことがで き、Slack、Githubなどのツールと連携して動作する 正しいかどうかをすぐに確認できる、判断基準・失敗 条件が明確などの、一定の指示の元、ある程度わか りやすいタスクを任せる Devin is a collaborative AI teammate Treat Devin like a junior engineer https://devin.ai/ 既存の開発フローやプロセスの中に入り込ませるの が効果的 Most effective when part of a team or existing workflow 小規模でスコープが明確なタスクが適任。複雑な場 合はタスクを分割して、別々のセッションで実行する ことを推奨 Devin generally performs better on smaller, clearly scoped tasks
6. © 2024 Loglass Inc. 5 Devinの基本的な利用フロー Slack/Web UIから、Devinに指示を出す->DevinがPR作成の流れ 「Devinをジュニア開発者として扱い、シニアエンジニアが指示とレビューを行う」 「まるで隣のエンジニアの肩越しに画面を覗いているような体験」 -> 使いこなすには、指示・タスク分解が必要、オンボーディングが必要、環境整備が必要
7. © 2024 Loglass Inc. 6 Devinの基本的な利用フロー • 弊社はtimes_devinチャンネルを作っている
8. © 2024 Loglass Inc. 7 機能紹介①: Knowledge • 知識を覚えさせる ≒ Devinのオンボーディングを行う機能 • 関連性に応じて自動的にナレッジ参照 • チャット履歴に基づいたナレッジの自動提案 • トリガーとコンテンツで構成 ◦ トリガー: Devinが知識を適切なタイミングで呼び出すためのキーワード・文章（`xリポ ジトリにPRを出す時`） ◦ コンテンツ: 関連情報を含む数文の説明 • いわゆるプロンプトテンプレート機能に該当するPlaybookも別にある 定義されたトリガーに関連する場合はコンテンツをコンテキストに含めるシンプル設計
9. © 2024 Loglass Inc. 8 機能紹介①: Knowledge • 効果的なナレッジのコツ 特定のワークフローや行動に焦点を当てた具体的な内容にする 可能な限り小さく分割する（Devinは複数のナレッジに同時アクセス可能） 定期的な追加・更新を習慣にする（組織全体で共有・改善） 内容は関連性が高く最新の状態を維持する
10. © 2024 Loglass Inc. 9 機能紹介①: Knowledge • 効果的なナレッジのコツ 特定のワークフローや行動に焦点を当てた具体的な内容にする 可能な限り小さく分割する（Devinは複数のナレッジに同時アクセス可能） 定期的な追加・更新を習慣にする（組織全体で共有・改善） 内容は関連性が高く最新の状態を維持する トリガーとコンテンツ 「特定リポジトリにPRを出す」際に、 「PRの変更行数を200行を目安にす る」ナレッジを登録
11. © 2024 Loglass Inc. 10 機能紹介②: Playbook 繰り返しタスクのための再利用可能な「カスタムシステムプロンプト」 https://docs.devin.ai/working-with-teams/playbooks-intro セクション例 • Outcome (目標) • Procedure (手順) • Specifications (仕様) • Advice and Pointers (アドバイス) • Forbidden Actions (禁止事項) • Required From User (ユーザーからの情報)
12. © 2024 Loglass Inc. 11 機能紹介③: Secrets & Site Cookies • 要するに環境変数 • Devinがシークレットを用いてセッション内で利用する • 3パターン: ◦ セッション固有: 現在の会話のみで有効 ◦ グローバル: すべてのセッションで利用可能 ◦ リポジトリ固有: 特定のリポジトリに限定 • Cookie形式での保存やシェアも可能 • One-Time Password (TOTP) も対応
13. © 2024 Loglass Inc. 12 機能紹介④: Devin API • 現在はアルファ版 • API経由でDevinのセッションを実行可能 • エンドポイント ◦ セッション作成 ◦ セッション詳細取得 ◦ メッセージ送信 ◦ ファイルアップロード ◦ セッション一覧取得 ◦ シークレット管理 https://docs.devin.ai/api-reference/overview
14. © 2024 Loglass Inc. 13 機能紹介④: Devin APIのユースケース Devinを用いてDevinのE2Eテストを行う実装が公式で公開されている Devinのブラウザ機能を使った自動テスト ログイン、セッション作成、メッセージ送信 Devin、GitHub、Slackを連携させたテスト 特定条件下でのUI状態や応答を検証 https://github.com/CognitionAI/qa-devin
15. © 2024 Loglass Inc. 14 Good vs. Bad Instructions https://docs.devin.ai/essential-guidelines/good-vs-bad-instructions 具体性と明確な要件の提示 ルートやエンドポイント、使用するデータソース（例：既存のテーブルや既存 コードの参照先）など、詳細に指定 既存のパターンやリソースの参照 既存のコード、テストスイート、コンポーネント、ドキュメントへのリンクや参照 を含めることで、Devinが模倣すべき具体例を提示。 検証手順と成功基準の明示 単に作業を実施するだけでなく、テスト実行や検証手順、成功のための具体 的なメトリクス（例：80%のテストカバレッジ）を示す ユーザーインタラクションやフロー の明確化 UI関連の指示では、使用すべきコンポーネント名、デザインやユーザーの操 作フロー、バリデーション方法などを具体的に記載 Goodの特徴
16. © 2024 Loglass Inc. 15 Good vs. Bad Instructions https://docs.devin.ai/essential-guidelines/good-vs-bad-instructions 漠然とした要求 「〜を追加する」など、何をどのように実現すべきかが具体的でないため、 Devinが何をすればよいのか不明確となる（例：「Add a user stats endpoint.」） 参照先やデータソースの指定がな い 使用すべきテーブル、既存コード、スタイルなどの具体的な情報が不足して おり、標準化された実装ができない。 検証方法や評価基準の欠如 テストや動作確認の手順、成功条件が示されていないため、実装後の動作 確認が困難となる。 抽象的な表現や主観的な要求 「ユーザーフレンドリーにする」や「もっと良くする」といった表現は、何をもっ て「良い」と判断するのかが曖昧 Badの特徴
17. © 2024 Loglass Inc. 16 Good vs. Bad Instructions https://docs.devin.ai/essential-guidelines/good-vs-bad-instructions 重要なのは、具体性、参照情報、検証手順 の明確化 • 具体的に記述することで、Devinはどのようなタスクをどの順序で実行すべきかを正確に理 解できる • 既存のコードやドキュメントへの参照は、実装の一貫性を保つための重要な手がかりとなる • 検証手順や成功基準を明示することで、タスク完了後に適切なフィードバックが得られ、問 題点の洗い出しや改善が容易になる
18. © 2024 Loglass Inc. 17 Devinは結局何ができる？
19. © 2024 Loglass Inc. 18 how Devin works with the Cognition team https://github.com/CognitionAI/qa-devin • 朝一で複数の ToDoタスクを Devinに依頼 • 昼頃には複数のド ラフトPRがレ ビュー待ち状態に • コンテキストスイッ チを避けるためのリ ファクタリング委任 • 集中を維持しながら 副次的タスクを進行 Slackでのバグ対応 IDEから依頼 ToDoリスト処理 顧客対応の自動化 • チームメンバーとの バグ議論スレッドで Devinをタグ付け • リアルタイムでコンテ キストを把握し解決 策を提案・実装 • 共有Slackチャンネ ルで顧客から上 がった機能リクエ ストにDevinをタグ 付け • カスタマーサポート と開発の橋渡し 開発元のCognitionチームでの事例
20. © 2024 Loglass Inc. 19 Devinの事例(nubank社） https://devin.ai/customers/nubank Devinを活用して数百万行のコードをリファクタリング • 課題: 8年運用の数百万行のモノリシックETLを、1,000人以上のエンジニアで18ヶ月かけて 分割する見積もり • 解決策: Devinでリファクタリングを自動化。エンジニアはレビュー中心 • 結果: プロジェクトの完了を数ヶ月短縮
21. © 2024 Loglass Inc. 20 ログラスでのDevinの活用実績例 • ドキュメント生成や検証目的のPRも含む • 新規PJ・リポジトリでの実績
22. © 2024 Loglass Inc. 21 • URLを元に文言 や適切にボタンが 押下できるか、ス クショ撮影 • Devinに文言の揺 れを見つけさせ て、issueに登録 or PR 検証フェーズとして色々実験的に利用中 ドキュメンテーションや細かい修正、一度行った修正を別クラスにも反映する等の軽微・反復的な タスクを任すことも多い • ソースコードを元に したREADMEや setup手順 • ドメイン・アプリケー ション層のコードを 元に仕様の生成 (Alloy） • 日英翻訳 Devinに何を任せているか？ 機能開発 ドキュメント UIテスト 微修正 • CIワークフローの作 成 • CRUDエンドポイント の作成 • 文言修正 • コードベースの調 査
23. © 2024 Loglass Inc. 22 最近はDevin APIを用いてAIコーディングワークフローの構築にトライ中 Issue作成からPR自動作成 • 特定ラベルのIssueはDevin APIで自動 的にPR作成 • PdM・デザイナーがトリガーして、AIが 生成、人間エンジニアがレビュー マージをトリガーにQA Devin • 基本的な画面操作・文言やUIレ ビュー、FAQドキュメントの更新 指示を与えなくとも、自動的に動作するワークフローをDevinで楽に作りたい
24. © 2024 Loglass Inc. 23 AIジュニアエンジニアDevinの現在地 基本的に人間の指示を受けて動き出す （タスクの分割なども求められる） 人間による指示以外をトリガーに、自律的に 開発できるとまた違った形で活用可能な世界 になる （API活用したら今でも近い挙動は作れる） 今はここのイメージ
25. © 2024 Loglass Inc. 24 最近のリリースから見るDevinとこれから
26. © 2024 Loglass Inc. 25 1月のリリース・アップデート（一部抜粋） UXと信頼性の向上に注力した機能追加が多く見られた 内部動作の可視化（Follow DevinタブやDetailed View）やプロンプト改善支援、ナッジなどによ り、開発者がDevinを理解し活用しやすくする工夫（EPプランや従量課金も） Devinブラウザ利用 https://docs.devin.ai/release-notes/overview#january-8%2C-2025 Slack音声メッセージへの対応 ログインが必要なWebサイトのテスト実 施、SecresやCookie情報保持に対応 Slack連携でDevinに音声メッセージを送 信可能に リポジトリ文脈理解の改善 リポジトリのコンテキスト内で推論する能 力が向上 Instruction Improvement Follow Devin / Detailed View ユーザーの指示内容（プロンプト）を分析 して個別に改善提案を提示 実行アクション、アクションを行った理由 （Devinの内部思考）を確認 プラクティスの提示(nudge） プロダクト内で随時ヒント・指針を表示す ることで、ユーザーの活用を支援
27. © 2024 Loglass Inc. 26 1月のリリース・アップデート（一部抜粋） UXと信頼性の向上に注力した機能追加が多く見られた 内部動作の可視化（Follow DevinタブやDetailed View）やプロンプト改善支援、ナッジなどによ り、開発者がDevinを理解し活用しやすくする工夫（EPプランや従量課金も） Devinブラウザ利用 https://docs.devin.ai/release-notes/overview#january-8%2C-2025 Slack音声メッセージへの対応 ログインが必要なWebサイトのテスト実 施、SecresやCookie情報保持に対応 Slack連携でDevinに音声メッセージを送 信可能に リポジトリ文脈理解の改善 リポジトリのコンテキスト内で推論する能 力が向上 Instruction Improvement Follow Devin / Detailed View ユーザーの指示内容（プロンプト）を分析 して個別に改善提案を提示 実行アクション、アクションを行った理由 （Devinの内部思考）を確認 プラクティスの提示(nudge） プロダクト内で随時ヒント・指針を表示す ることで、ユーザーの活用を支援 内部動作の可視化・デバッグ支援
28. © 2024 Loglass Inc. 27 2月のリリース・アップデート（一部抜粋） パフォーマンスが向上、処理速度が約2倍に向上し、複数ファイルの並行編集や複数アクション 同時実行といった速度最適化機能が追加。Sonnet 3.7の導入、ブラウザでのコピー＆ペースト、 キーボードショートカットの追加などUIUX改善も 起動処理の高速化 https://docs.devin.ai/release-notes/overview#february-26th%2C-2025 Sonnet 3.7モデルの組み込み Devinのセッション開始時のセットアップ処 理が最適化 Sonnet 3.7がDevinに統合。デバッグ、 コード検索、計画立案など様々なタスクで 従来モデルを上回る性能を示した ローカルUIテスト機能の向上 UI変更をテストし、視覚的に理解する能 力が向上 PRレビュー指摘への対応 一括編集（Batch Edits） 自身のPRに対して人間から寄せられた レビューコメントを確実に反映できるよう に改善 「find and edit」というコマンドを使うこと で、複数のファイルを並行して編集する バッチ編集機能が利用可能に プロンプトへのFB タスクが複雑すぎる場合には作業を細分 化するよう提案
29. © 2024 Loglass Inc. 28 2月のリリース・アップデート（一部抜粋） パフォーマンスが向上、処理速度が約2倍に向上し、複数ファイルの並行編集や複数アクション 同時実行といった速度最適化機能が追加。Sonnet 3.7の導入、ブラウザでのコピー＆ペースト、 キーボードショートカットの追加などUIUX改善も 起動処理の高速化 https://docs.devin.ai/release-notes/overview#february-26th%2C-2025 Sonnet 3.7モデルの組み込み Devinのセッション開始時のセットアップ処 理が最適化 Sonnet 3.7がDevinに統合。デバッグ、 コード検索、計画立案など様々なタスクで 従来モデルを上回る性能を示した ローカルUIテスト機能の向上 UI変更をテストし、視覚的に理解する能 力が向上 PRレビュー指摘への対応 一括編集（Batch Edits） 自身のPRに対して人間から寄せられた レビューコメントを確実に反映できるよう に改善 「find and edit」というコマンドを使うこと で、複数のファイルを並行して編集する バッチ編集機能が利用可能に プロンプトへのFB タスクが複雑すぎる場合には作業を細分 化するよう提案 パフォーマンス最適化とUIUX改善
30. © 2024 Loglass Inc. 29 3月のリリース・アップデート（一部抜粋） チーム開発・組織運用機能の充実にフォーカス。セッションマネージャで複数タスクの一元管理・ 追跡、カスタムタグ、 PR自動クローズのタイミング調整 など運用面でのカスタマイズ性も向上。@ ファイル名によるコード参照 といった開発効率を高める改善も 複数GitHub組織 https://docs.devin.ai/release-notes/overview#february-26th%2C-2025 セッションマネージャ 単一のDevinアカウントに複数のGitHub 組織を接続できるように Devinの全セッション（タスク）を一覧・管 理。実行ユーザー、プレイブックなどでフィ ルタリング カスタムタグ付与 各セッションにカスタムタグを付与し、 Session Manager上でタグでセッションを フィルタリング可能に @ファイル名による参照 inactive PRの自動クローズ プロンプト内で@ファイル名という形式を 使ってコードファイルを参照できるショート カットが追加 チームの開発フローに合わせて PRの自 動クローズまでの時間を調整可能 プロンプトへのFB タスクが複雑すぎる場合には作業を細分 化するように提案
31. © 2024 Loglass Inc. 30 3月のリリース・アップデート（一部抜粋） チーム開発・組織運用機能の充実にフォーカス。セッションマネージャで複数タスクの一元管理・ 追跡、カスタムタグ、 PR自動クローズのタイミング調整 など運用面でのカスタマイズ性も向上。@ ファイル名によるコード参照 といった開発効率を高める改善も 複数GitHub組織 https://docs.devin.ai/release-notes/overview#february-26th%2C-2025 セッションマネージャ 単一のDevinアカウントに複数のGitHub 組織を接続できるように Devinの全セッション（タスク）を一覧・管 理。実行ユーザー、プレイブックなどでフィ ルタリング カスタムタグ付与 各セッションにカスタムタグを付与し、 Session Manager上でタグでセッションを フィルタリング可能に @ファイル名による参照 inactive PRの自動クローズ プロンプト内で@ファイル名という形式を 使ってコードファイルを参照できるショート カットが追加 チームの開発フローに合わせて PRの自 動クローズまでの時間を調整可能 プロンプトへのFB タスクが複雑すぎる場合には作業を細分 化するように提案 チーム運用と組織管理機能の拡充
32. © 2024 Loglass Inc. 31 Devin 1.5 is live！（3/25リリース） VSCode統合により、Devin「に」開発させるのではなく、Devin「で」開発する世界 Devin Search、Wikiにより大規模なコードベースでの作業効率も向上するか Devin IDE https://docs.devin.ai/release-notes/overview#march-25%2C-2025 インタラクティブプランナー VSCode環境でDevinの変更をリアルタイ ムで確認し、直接IDE内で編集やテストを 行えるように 自然言語からターミナルコマンドの生成 やDevin UI上でのローカルテスト実行 初期プランをDevinが自動で生成し、ユー ザーがフィードバックを与えながら進行 フィードバックを待つ設定やデフォルトの 待機時間の調整も可能 コードベースの検索し、特定のコードや機 能に関連する変更箇所の検索 検索結果に基づいて Devinにコード変更 を依頼することも可能 複雑な質問に対応するディープモードも 登場 Devin Search
33. © 2024 Loglass Inc. 32 Devin Search https://app.devin.ai/search
34. © 2024 Loglass Inc. 33 Devin Search コードベースの調査、調査結果をもとにしたDevinへの指示出しまでシームレスに行える https://app.devin.ai/search
35. © 2024 Loglass Inc. 34 Devin Wiki リポジトリ毎にOverviewやアーキテクチャ図ソー スへのリンクをまとめたWikiが自動生成 Devin Searchからも利用する様子 （コンポーネント間の依存関係図も自動生成され ていた） https://app.devin.ai/wiki
36. © 2024 Loglass Inc. 35 リリース・アップデートから考えるDevinの進化 個々の開発者が扱うツールとしての側面から、チーム全体やエンタープライズでの運用に対応す るシステムへと進化しつつある 公式HPで真っ先に紹介されている顧客の声も、Nubank社による大規模なコードリファクタリング の事例（600万行の持つ大規模なETLをサブモジュールに分割するPJ） 新規プロトタイピングの高速化・自動化のみならず、「AIエンジニアをチームに雇い」、「大規模開 発の生産性の向上」を目指している https://devin.ai/customers/nubank
37. © 2024 Loglass Inc. 36 （Devinではないが）AirbnbのLLMワークフローを用いたマイグレPJ 当初1.5年の見積もりを6週間で完遂 • 4,000弱のテストをEnzymeからReact Testing Library に移行 • AgenticなLLMワークフローを構築 • コンテキストは10万トークン！シンプルに関 連するファイル・ドキュメントは突っ込む • 失敗したテストのリカバリープロセス含めるこ とで75%→97%移行完了 https://medium.com/airbnb-engineering/accelerating-large-scale-test-migration-with-llms-9565c208023b
38. © 2024 Loglass Inc. 37 まとめ
39. © 2024 Loglass Inc. 38 まとめ • Devinが目指しているのは「人間のように計画し学習しながら問題を解決できるAIチームメイ ト」 • 基本的には「Devinをジュニアエンジニアとして扱い、シニアエンジニアが指示とレビューを行 う」 • チームや開発組織で使うAIエージェントとして改善が行われている • Enterprizeプランも提供されており、大規模コードリファクタリングでの活用事例が紹介 （Fine-tunedされたカスタムDevinのサポートもある様子） • プロダクト開発観点でも初期からナレッジの自動提案、プロンプトの自動改善など、Devinを 開発者に上手く活用するための仕組みが考えられていて、勉強になる
40. © 2024 Loglass Inc. 39 この後のセッションをお楽しみください！！
41. © 2024 Loglass Inc. 40 Appendix • Docs Devin • Devin Release Note • Cognition’s Scott Wu on how Devin, the AI software engineer, will work for you • 月500ドルから始まる“AIチームメイト”との開発生活 〜Devinとの理想の開発プロセスを求め て〜 • Devin入門 〜月500ドルから始まるAIチームメイトとの開発生活〜
42. © 2024 Loglass Inc. 41