Devinエンタープライズ導入期〜直面した運用管理の課題と乗り越え方〜

AI駆動開発勉強会 【Devin Meetup Japan #2】登壇資料
Devinの直近アップデートもありスライドを一部更新

Transcript

1. Devinエンタープライズ導入記 Product Strategy & Development 本部 / Leapnet Buddy Division / Leapnet Buddy Unit 大西 啓貴 2025/06/17 〜直面した運用管理の課題と乗り越え方〜
2. Confidential © AI inside Inc. 1. すべてのはじまり 2. チームプランで導入を検討/検証してみた 3. エンタープライズという「処方箋」
3. Confidential © AI inside Inc. すべてのはじまり
4. Confidential © AI inside Inc. 自己紹介 大西 啓貴 • AI inside株式会社 ソフトウェアエンジニア これまでのキャリア • 新卒でSIer企業に入社、SEとして従事 • オンラインイベント系のベンチャー企業を経て、 2024年11月 AI inside株式会社に入社 ◦ IT管理に関する知見/経験 無し ◦ 新規サービスの導入実績 無し
5. Confidential © AI inside Inc. すべてのはじまり 入社２日目にCTOから言われた一言
6. Confidential © AI inside Inc. すべてのはじまり 執行役員CTO 井上拓真 大西さん… この組織の開発力を今より何十倍にも上げてくれよ！ 右も左も分からない中、頭を抱える日々… 紆余曲折あって単独でDevinを導入/推進するきっかけに！
7. Confidential © AI inside Inc. 導入プランの選択 https://devin.ai/pricing
8. Confidential © AI inside Inc. 会社に入れることの難しさ • 本格導入する際には”単純に良いサービス”だけでは企業は導入してくれない • 本格導入する際に考える観点（例） ◦ パフォーマンス ▪ 他サービスとの比較検証 ◦ コスト ▪ イニシャルコスト ▪ ランニングコスト ◦ 運用管理 ▪ アカウント運用 ▪ ログ監視の透明性 ▪ データ保持・学習 ▪ コンプライアンス
9. Confidential © AI inside Inc. チームプランで導入を検討/検証してみた
10. Confidential © AI inside Inc. • 運用 / システムの両方の面からどのような対応策にするのかを企業と協議することが重要 観点（例） Devin本格導入時の考慮点 アカウント運用 Gitリポジトリへのアクセス制御 Slackへのアクセス制御 ログ監視の透明性 AIとの会話内容の閲覧 管理の設定/更新ログの閲覧 データ保持・学習 コンテキスト情報 ・ソースコード ・プロンプト内容 / AIからの返信内容 ・アップロードファイル コンプライアンス 企業のセキュリティーポリシー、内部統制、法整備 運用管理で考慮すべき主要な観点（例）
11. Confidential © AI inside Inc. 対応可能な課題例 事例1：Slack上で管理者が感知しない場所でDevinへの会話の閲覧ができる • 原因：Slack連携先はワークスペース単位になるため • 対策： ◦ システム：Devinユーザー以外のリクエストはDevin側で止める仕様 ◦ 運用 ：Devinへの指示は特定のプライベートチャネル内でのみ実施するルール 事例2：Devinが生成した意に沿わないコードを勝手に本番適用できる • 原因：リポジトリ連携持、Devinにマージの権限が付与されるため • 対策： ◦ システム：GithubのBranch Protection設定でDevinが勝手にマージするのを拒否する
12. Confidential © AI inside Inc. 対応不可能な課題例 事例3: “社外”の第三者が自社のソースコードを閲覧・操作できる • 原因1： 誰でもユーザーを招待できる ◦ 懸念：メンバーの権限に限らず、誰でもメールアドレスによる招待できる • 原因2：Github アクセス権限の不踏襲 ◦ 懸念：Githubとの連携はDevinのみ、Devin経由で連携してるリポジトリを全て閲覧できる • 原因3: 監視ログの欠如 ◦ 懸念：誰がいつ何を実施したのか管理者には分からない状態
13. Confidential © AI inside Inc. Cognition AIに問い合わせ … 観点（例） Devin本格導入時の考慮点 アカウント運用 Gitリポジトリへのアクセス制御 Slackへのアクセス制御 ログ監視の透明性 AIとの会話内容の閲覧 管理の設定/更新ログの閲覧 データ保持・学習 コンテキスト情報 ・ソースコード ・プロンプト内容 / AIからの返信内容 ・アップロードファイル コンプライアンス 企業のセキュリティーポリシー、内部統制、法整備 運用管理で考慮すべき主要な観点（例）
14. Confidential © AI inside Inc. エンタープライズプランという「処方箋」
15. Confidential © AI inside Inc. クリティカルな課題と「処方箋」 → “社外”の第三者が自社のDevinユーザーとしてログインされることを回避 不審な操作の監視ができる状態 • 最悪シナリオのリスクは回避 • ただし、運用面での対応する範囲が広い状態 課題 エンタープライズの管理機能 誰でもユーザーを招待可能 SSO認証 ・外部からの不正アクセスを論理的に排除 監視ログの欠如による追跡・ 監査不能 監視ログ（API） ・会話履歴と合わせて追跡 / 監査が可能
16. Confidential © AI inside Inc. 運用面で対応している範囲 • 社内の第三者を招待できる状態 • Github アクセス権限の不踏襲 エンタープライズ機能: Organization機能を使うことでシステム面で解決できる！？
17. Confidential © AI inside Inc. チームプラン • １つのチームに全ての機能が備わっている Organization機能 チーム設定 / 基本機能 • Github / Slackの接続設定 • 消費クレジットの確認 / 上限設定 • Devin’s Machine / Knowledge / Secrets / API … • 専用サンドボックス環境
18. Confidential © AI inside Inc. エンタープライズプラン • 複数のチームを一元的に管理するイメージ Organization機能 Sub Organization 作成 作成 エンタープライズ設定 • Github / Slackの接続設定 • 消費クレジットの確認 / 上限設定 • Organizationの作成 Devin基本機能（チームとほぼ同等） • Devin’s Machine / Knowledge / Secrets / API … • サンドボックス環境の分離 • Slack連携の分離 • Git Permissionsによるアクセス制御 （エンタープライズ設定必要）
19. Confidential © AI inside Inc. • Organization機能を利用する”前” ◦ 開発部門内のみの限定的なアカウント配布 • Organization機能を利用した”後” ◦ 全社内へのアカウント配布できる!? Devinによる開発を”発展”させていくために
20. Confidential © AI inside Inc. Devinによる開発を”発展”させていくために • 理想の形（シンプル化）
21. Confidential © AI inside Inc. • 6/11 アップグレード前 ◦ （当時）Primary Organization：全リポジトリにアクセス可能 / メンバー全員強制加入 ◦ 実質、Devinユーザー全員が全リポジトリにアクセス可能 Devinによる開発を”発展”させていくために
22. Confidential © AI inside Inc. • 6/11 アップグレード後 ◦ Git Permissions機能が効かなくなる（デグレ?） Devinによる開発を”発展”させていくために 6/19追記：直近アップデートで解決済です。 実質的なGithubのアクセス権限の踏襲可能です！
23. Confidential © AI inside Inc. すべてのはじまり（改めて） 執行役員CTO 井上拓真 大西さん… この組織の開発力を今より何十倍にも上げてくれよ！ “何倍”ではなく、現在は徐々に成果が出始めてる状態 ※ 詳しくは「AI inside YOUTRUST」で検索！
24. Confidential © AI inside Inc. AI insideでは、共に未来を創るエンジニアを募集しています