Cognition AI Japan - ウェビナー2_テストQA_運用監視

Transcript

1. WEBINAR 2 / 2026.10.07 (WED) 12:00-13:00 / ONLINE Devinだからできる、 テスト・QA / 運用・監視のAI化 自律型AIエンジニアが担う、開発ライフサイクルの後工程
2. 2026.08.26 / HAMAMATSUCHO CONVENTION HALL DevinCon 26 / Tokyo 345 173 47% 参加者数 参加企業数 従業員1,001名以上の企業 最終参加確認ベース 事業会社 58% / SIer・受託 42% 48% が経営・管理／技術リーダー層 主な参加企業（173社より抜粋） セッション登壇企業（13社） 三菱重工業 / NTTデータMHIシステムズ / ワークスアプリケーションズ / DeNA AI Link / freee / カカクコム / サイバーエージェント / タイミー / AI inside / みずほ証券 / 三菱UFJ eスマート証券 / ULSコンサルティング / ファインディ（共催） トヨタ自動車 / KDDI / NTTデータ / NTTドコモ / 富士通 / 東芝 / パナソニック / 村田製 作所 / ニコン / スズキ / LINEヤフー / MIXI / SmartHR / Sansan / DMM.com / 野村 総合研究所 / みずほ銀行 / 三井住友カード / サントリーホールディングス / 日本放送 協会 / 大日本印刷 / 伊藤忠テクノソリューションズ / SCSK / 豊田通商 / Microsoft / Meta Japan 出典：2026年8月27日提供の最終版参加者一覧（参加確認済み345名・173社）。構成比は登録時アンケート回答者ベース。 Proprietary & Confidential DEVINCON 26 / TOKYO 2
3. Proprietary & Confidential 3
4. 2026 Devinのご紹介
5. クラウドエージェントがAI開発を次の次元に 自律型開発エージェント 「開発を丸投げ」 複雑なマルチステップタスクを 自己完結的に非同期で実行 対話型開発エージェント 自律性 「作業を依頼」 IDE・CLIでペアプログラミングしなが らローカルで作業を実施 タブ補完 シンプルな提案、時間節約に なるが推論能力は不足 Local IDE Wave 1 Local IDE Local IDE Devins ‧ In VPC AIがコードを提案してくれる 個人を拡張する チームを拡大する ~10% 効率向上 ~30% 効率向上 何倍ものアウトプット Wave 2 Wave 3 ソフトウェア開発の進化 Proprietary & Confidential 5
6. DevinはSDLCの各ステップを担当する エージェント群が協調して開発を進める ローカル AI エージェント <20% エンジニアがコード作成に 費やす時間の割合 Devin: クラウドエージェント 既存コード理解 開発計画 コード生成 Proprietary & Confidential レビュー＆テスト メンテナンス 6
7. ⽣成AIを核にした⾃律型開発エージェントの開発 対話型ツールを⾮同期‧⾃律型エージェントとして運⽤するには、ハーネスの上に基盤レイヤーの構築が必須になる 実⾏ハーネスと実⾏環境 統合レイヤー 外部ツール連携（Git, Slack, CI/CD, MCP）‧イベント駆動 オーケストレーション VM管理‧サブエージェント管理‧並列実⾏‧ループ開発 = サンドボックス 隔離されたmicroVM‧ネットワーク制御‧Secrets セキュリティ‧運⽤ ガードレール‧監査‧ユーセージ管理‧更新への追随 対話型開発エージェント エージェントハーネス コンテキスト管理‧ツール実⾏ - Claude Code, Codex etc LLM Claude, GPT, Kimi, GLM, SWE etc Proprietary & Confidential 7
8. Devinの競合優位性 自律型の AIエージェント SDLC全体をカバー する機能提供 基盤モデルからの 独立 エンタープライズ要 件実装 最先端のハーネスエンジニ アリング がAI SWエンジニア との共同作業を実現 既存コード分析・理解 Deep Wiki タスクに応じて最適なモ デルを自動で選択 設計 Ask Devin 特定のラボに依存せず パフォーマンス維持しな がら50%以上コスト削 減。 デプロイメント シングルテナント環境 SSO対応・データ所有権 SOC 2等認証準拠 先進的なマイクロ VM構成で 人間の生産性に縛られるこ となくクラウドエージェント が リモートでタスクを並列処理 開発・テスト・デプロイ Devin Session レビュー Devin Review 保守 Devin Automation 開発タスクに特化した小 型・軽量モデル(SWE)を 自社開発 Proprietary & Confidential コラボレーション 組織単位の権限管理 共同作業機能の充実 ノウハウの共有 Cognitionの専任DEが利用 促進と効果検証を支援 8
9. 自律型エージェントと対話型AIの使い分け グリーンフィールド ブラウンフィールド グリーンフィールド、ブラウンフィールドの分類だけでは見えてこない適正を、3つの軸で判定する A 検証可能性が高い B 成否を機械が判定できるか（テスト・ CI・lint・型） 量・反復性が高い C 失敗コストが低い 捨てて再実行できるか。一手が不可逆でないか 同型のタスクが何件あるか 自律型AIに向いている開発 対話型AI＋人間に向いている開発 A・B・Cの3軸がそろう仕事 ─ 機械が判定でき、数があり、失敗を捨ててやり直せる そろわない軸が残る仕事 ─ 右端の記号は満たせない軸 仕様の明確な新規開発 探索的なプロトタイピング 受け入れ条件とテストを書ければ、 0→1でも委譲できる 作りながら仕様を発見する。正解が事前に決まらない 既存システムからの仕様・業務フロー起こし 原因の見当がつかない深いデバッグ 大量のコードベースを正として仕様に起こし、幅広いデータを統合して業務フローを推定 仮説と観測の反復が主戦場。再現手順が書けたら委譲できる 言語・フレームワークの一括マイグレーション UI・体験・ブランド表現 既存テストが正解を定義し、スライスに割れる 「良い」の基準が人間の中にしかない セキュリティー脆弱性検出・修正 アーキテクチャ・技術方針の決定 定期的に脆弱性検出を実施し、即時対応 トレードオフの判断そのものが成果物 テスト追加・カバレッジ拡大 本番データなど不可逆な操作 本番コードに触れず、対象ファイル数だけ量がある 調査と手順書までを渡し、実行は人間 バグのトリアージとチケット消化 未知技術の学習 再現手順があれば機械判定に落ちる。件数が多い 委譲のオーバーヘッドの方が大きい Proprietary & Confidential A・B A A A・C C B
10. 2026 本編
11. 本日の流れ：テスト・QAの3パートと、運用・監視の4シナリオ コーディングだけがDevinの仕事ではない。題材は前回ACAS（COBOL）から移行したPython版リポジトリ。 PART A 01 テスト・QA 12:05-12:30 既存テストを CI化 PART B 01 約50%のカバレッジを持つ既存テストをGitHub Actionsで常時実行 12:30-12:50 アラートから自動で調査・修正 監視アラートを起点にDevinが原因を調べ、修正PRまで出す 02 02 運用・監視（SRE） /scanでカバレッジ分析と拡充 Oncallの設定方法 レスポンダー、トリガー、ランブックの設定 未カバー箇所を洗い出し、90%以上までテスト追加とレポート 03 ユーザーからのバグ報告 問い合わせフォームの報告を起点に調査と対応 03 業務要件から E2Eテスト 業務要件マニュアルからテストケース、子セッションで分割実行して集約 04 重大インシデント SEV-1宣言で専用チャンネルを作り、関係者と調査 12:00-12:05 オープニング / 12:50-13:00 Q&A（Cognitionメンバーが回答） PROPRIETARY & CONFIDENTIAL
12. Part 1：既存テストをGitHub ActionsでCI化する テストは書かれていても、毎回実行されなければ回帰は防げない。まず既存資産を常時動く仕組みに載せる。 01 02 03 04 05 リポジトリを調べる ローカルで実行 ワークフロー作成 PRを作成 グリーンまで修正 テスト構成、依存関係、実行コ マンドを特定（既存カバレッジ約 50%） → 隔離VMでpytestを実際に走ら せ、失敗や flakyなテストを把握 → .github/workflows/ci.yml に install、lint、pytest --covを定 義 → CIの設定とカバレッジ出力を PR で提出 → CIが落ちたらログを読んで自分 で直し、通るまで繰り返す 見どころ PROMPT / DEVINに渡す指示 @madmerger/ACAS-python-react の既存テストを、 GitHub ActionsでCI化してください。 1. pushとpull_requestで起動する .github/workflows/ci.yml を作成 2. 依存関係のインストール、 lint、pytest --cov を実行し、カバレッジをジョブサマリーに出力 3. まずVM上で全テストを実行し、失敗するテストがあれば原因を報告 4. PRを作成し、 CIがグリーンになるまで修正を続けてください PROPRIETARY & CONFIDENTIAL • VMで実際に実行してから設定を書くので、机上のYAMLに ならない • CIの失敗ログをDevinが自分で読み、修正をコミットする • 以後のPart 2、Part 3のテストもこのCIで毎回検証される
13. Part 2：/scanでカバレッジを分析し、90%以上までテストを追加する どこが未テストかを人が探す代わりに、Test coverageスキャンが検出結果として一覧化する。 01 02 03 04 05 /scanで分析 Findingsを確認 Assign to Devin 90%以上を確認 カバレッジレポート Test coverageスキャンがテスト の無いフローやコンポーネント を検出 → 検出結果を一覧で確認し、対象 外のものは Dismiss → 検出結果ごとに修正セッション が立ち上がり、テスト追加の PR を作成 → pytest --cov をCIで実行し、目 標値に届くまで追加 → モジュール別の前後比較と、残 る未カバー箇所の理由を記載 見どころ PROMPT 1 / スキャン /scan @madmerger/ACAS-python-react のバックエ ンドのテストカバレッジを分析してください。テストの無い 業務フロー、API、モジュールを洗い出してください。 PROMPT 2 / テスト追加とレポート スキャンの検出結果に基づき、行カバレッジが 90%以上になるまで テストを追加してください。Subセッションを立ち上げ、できるだけ並列 で行うこと。本番コードは変更しないこと。pytest --cov で実行し、モ ジュール別カバレッジ（追加前後）と未カバー箇所の理由をまとめた docs/test/coverage_report.md をPRに含めてください。 • 本番コードに触れず量があるので、自律型AI に任せやすい • 検出結果ごとに並列で修正セッションが動く • 数値目標をCIで機械的に判定できる PROPRIETARY & CONFIDENTIAL
14. Part 3：業務要件マニュアルからE2Eテストを作り、分割実行して集約す る 前回作成した業務要件マニュアルを正として、テストケースから実行、報告までを一続きで回す。 01 02 業務要件マニュアル テストケース作成 前回ACASで作成した業 務 要件を入力にする 章ごとにセクション分けし、 ID、前提、手順、期待結果 を記載 → 03 → 子セッションで並列実行 04 05 セクションA E2E実装と実行 結果を集約 テストレポート セクションB E2E実装と実行 各子セッションのテストコー ドと結果を 1つのPRにまとめ る ケースID別の合否、検出した 不具合、未実施の理由 → → セクションC E2E実装と実行 セクションD E2E実装と実行 見どころ PROMPT / 親セッションへの指示 前回作成した業務要件マニュアルを基に、E2Eテストケースを docs/test/test_cases.md に作成してください。マニュ アルの章ごとにセクションを分け、各ケースにID、前提条件、手順、期待結果を書いてください。 次に、セクションごとに子セッションを起動し、Playwrightで該当ケースのE2Eテストを実装、実行させてください。結果は ビデオに録画し、どのテスト項目をテストしているのかがわかるようにすること。 全子セッションの結果を集約し、ケースID別の合否、検出した不具合、未実施の理由をまとめたテストレポートを作成し てください。 セクションA-Dは図示用。実際の分割単位は業務要件マニュアルの章立てに合わせる。 PROPRIETARY & CONFIDENTIAL • 上流の成果物がそのままテストの正解になる • セクション単位で分割するので、件数が増えても時 間が伸びにくい • 集約までDevinが担い、人はレポートで判断する
15. Devin OnCallのご紹介（10/15正式リリース予定） PROPRIETARY & CONFIDENTIAL
16. SRE 1：アラートを起点に、Devinが自動で調査・修正する 夜間対応と時間のかかる調査をDevinに任せ、人はレビューと承認を担当する。 01 02 03 04 05 性能が劣化 アラート発報 Devinが調査開始 原因特定と修正PR 人がレビュー イベント申し込みの処理に約 6 秒。エラーではないが応答が遅 い → Slackの #oncall-alerts に p95 latency trending up が投稿さ れる → アラートを受けて Oncallのレス ポンダーがセッションを起動 → 原因を突き止め、修正 PRを作 成。動作確認の動画も添付 → スレッドの View full report から セッションを開き、承認する なぜ性能劣化を題材にしたか SREの課題とDEVINでの解決 • 明確なエラーにも対応できる • 夜間対応や調査に追われ、新機能開発に時間を割けない • 対応が属人化し、特定の担当者しか解決できない • 性能劣化は原因の特定が難しく、状況を読み解く推論が要 る • Devinが調査内容と対応方法を記録し、誰でも参照できるナレッジとして残す • 曖昧な問題でも調査から修正まで進められることを示す PROPRIETARY & CONFIDENTIAL
17. SRE 2：Oncallの設定方法 Oncallは、Devinがアラートやインシデントを監視し、発生時にすぐ対応を始めるための機能。 01 02 03 04 05 オンコールを開く 概要で全体を把握 レスポンダーを作成 トリガーとMCP ランブック（任意） 管理画面のサイドバーから「オ ンコール」を選択（無い場合は More から） → アラートやインシデントの件数な ど、対応状況を一覧で確認 → 「アラートとバグ」タブで統計を確 認し、レスポンダーを作成 ONCALLとAUTOMATIONの違い → トリガーは Slack、Teams、 PagerDuty。調査に使う MCPを 選ぶ → 手順や挙動を変えたいときだけ 用意。無くても標準的な SRE対 応を行う トリガーの選択肢 Oncall Automation 用途 SRE業務に特化 汎用的な自動化 準備 SRE向けの仕組みが整っており、すぐ使える プロンプトやスキルを自分で用意する • Microsoft Teams 可視化 ダッシュボードとレポート作成機能 用途に応じて自分で組む • PagerDuty：incidentの発生を起点に対応を開始 学習 専用メモリーに過去の対応を蓄積 なし（スキル等で補う） • Slack：監視ツールが投稿するアラートチャンネル、ユー ザーグループのメンション PROPRIETARY & CONFIDENTIAL
18. SRE 3：ユーザーからのバグ報告に対応する 自動検知されるアラートだけでなく、人から寄せられる報告も Devinが受けて対応する。 01 02 03 04 05 ユーザーが報告 Slackに投稿 Devinが受け付け 調査と対応 スレッドで報告 バグ報告フォームで対象の機能 を選び、内容を送信 → 報告が #oncall-bugs チャンネ ルに届く → レスポンダーが報告を拾い、ス レッドで対応を開始 → コードとログを調べ、原因と対応 内容を整理 → 対応結果をスレッドに返し、担当 者が確認する アラート対応との違い 報告からの流れで残るもの • 入力が人の言葉なので、曖昧な報告から事象を特定する 必要がある • 報告ごとのスレッド：受付、調査、結果が時系列で残る • Devinのセッション：調べた範囲と判断の根拠 • 同じレスポンダーの仕組みで、報告チャンネルを別に分け て運用できる • 必要に応じて修正 PR：人がレビューしてマージ • 対応の記録がスレッドに残り、問い合わせ窓口と共有でき る PROPRIETARY & CONFIDENTIAL
19. SRE 4：重大インシデント（SEV-1）に対応する 重大インシデントでは専用チャンネルを立て、Devinが関係者を巻き込みながら調査を進める。 01 02 03 04 05 SEV-1を宣言 番号を発行 専用チャンネル 関係者と調査 収束と振り返り インシデント宣言ページから SEV-1を宣言 → インシデント番号 IR-xxx が払い 出される → Slackに sev-1-incident-xxx チャンネルが作成される → Devinが関係者を巻き込み、調 査結果をチャンネルで共有 → 対応の経緯を記録し、ポスト モーテム作成につなげる 人とDEVINの分担 インシデント対応で効くこと • Devin：情報収集、原因の仮説と検証、経緯の記録 • 初動の調査を待たずに始められ、人は判断に集中できる • 人：影響範囲の判断、顧客への連絡、本番での不可逆な 操作の承認 • チャンネル内に時系列の記録が残り、ポストモーテムの材料になる • 対応で得た知識が Oncallのメモリーに蓄積され、次回に活きる • インシデントごとにチャンネルが分かれ、並行対応でも情報 が混ざらない PROPRIETARY & CONFIDENTIAL
20. まとめ：後工程をDevinに任せるときの全体像 起点は人の依頼でもイベントでもよい。Devinは実行と検証まで行い、人はレビューと判断を担う。 シナリオ 起点 DEVINがやること 成果物 人の役割 QA 1 CI化 依頼 既存テストを実行し、GitHub Actionsに載せる CIワークフロー PRレビュー QA 2 カバレッジ拡充 /scan 未カバー箇所の検出、テスト追加、計測 テスト、レポート 目標値の設定 QA 3 E2Eテスト 業務要件 テストケース作成、分割実行、結果の集約 E2E、テストレポート 合否の判断 SRE 1 アラート 監視アラート 原因調査、修正PR、動作確認動画 修正PR 承認、マージ SRE 2 Oncall設定 管理画面 トリガーとランブックに沿って待機 レスポンダー 設定、運用 SRE 3 バグ報告 ユーザー報告 事象の特定、調査、スレッドで報告 調査結果 確認、回答 SRE 4 インシデント SEV-1宣言 専用チャンネルで調査、経緯を記録 記録、振り返り 判断、連絡 PROPRIETARY & CONFIDENTIAL
21. 直近1ヶ月のDevinアップデート 9月9日 01 Devin Plugins 9月10日 02 SWE-2 9月10日 03 Devin Voice スキル、ルール、MCP、フック、サブエージェ ントをバージョン管理されたバンドルにまと め、一度のインストールで Cloud・CLI・Desktopで動作。 自社コーディングモデル。主要な評価でフロ ンティアモデル並みのスコアを最大 70%低い コストで実現。 Devin のセッションに電話をかけ、口頭で指 示。自然な会話で割り込みにも対応し、その まま作業を完了。 devin.ai ↗ cognition.com ↗ X ↗ docs.devin.ai ↗ 9月21日 07 ターミナルからDevin Cloud 9月21日 08 Grok 4.7 対応 xAI の Grok 4.7 が Devin で利用可能に。 devin.ai ↗ 9月28日 devin.ai ↗ 13 9月28日 14 9月11日 04 Devin Desktop・CLIで Fusion 9月22日 09 計画とレビューはフロンティアのリードモデ ル、実装はコスト効率の高いサイドキックモ デルが担当。他のハーネスより最大 39%効 率的。 9月22日 10 GPT-6 Sol / Luna 対応 Claude Opus 5.5 が Devin で利用可能 に。FrontierCode 1.1 で1位。 OpenAI の GPT-6 Sol と GPT-6 Luna が Devin で利用可能に。 devin.ai ↗ devin.ai ↗ 9月29日 15 GPT-6.1 Sol 対応 9月29日 16 Claude Sonnet 5.5 対応 Devin Mobile ベータ版 Devin Desktop と CLI で利用可能に。 FrontierCode 1.1 Extended で 64.4%(Sonnet 5 は56.2%)。 Devin Mobile のベータ版を公開。 devin.ai/ios からウェイトリストに登録。 FrontierCode 1.1 で60.4%と GPT-6 Sol 並み。effort「medium」で1タスク$0.31、最 大設定のGPT-6 Sol より81%安価。 ChatGPT Plus / Pro プランで Devin にサ インインすると、OpenAI モデルの利用分を プランの枠から利用。 ChatGPTでサインイン devin.ai ↗ X ↗ X ↗ devin.ai ↗ devin.ai ↗ X ↗ devin.ai ↗ X ↗ PROPRIETARY & CONFIDENTIAL 9月15日 05 macOS・iOS対応 cognition.com ↗ Claude Opus 5.5 対応 Devin CLI の /cloud で Cloud セッション の作成、指示、再開、監視が可能。 devin ssh でクラウドマシンのシェルにも接続。 2026.09.06 - 2026.10.06 9月16日 06 Code Scans Devin 専用の Mac と iOS シミュレータで iOS / macOS アプリをビルド、実行、テス ト。 /scan でパフォーマンス、テストカバレッジ、 デッドコードなど全体の目標を指定。並列 エージェントが調査し、 1つのレポートとPRに 集約。 devin.ai ↗ devin.ai ↗ 9月23日 11 Microsoft Teams・Microsoft 365 9月28日 12 Devinが最大40%コスト効率 化 Teams の DM やグループチャットで @Devin にメンション。Outlook、 OneDrive、SharePoint、Entra ID など6つ のファーストパーティコネクタで接続。 最新モデルとハーネス改善で、 Normal と Fusion は同じ作業を30〜40%少ないACU で完了。Ultra は15〜20%、Devin Review は最大70%削減。 devin.ai ↗ docs.devin.ai ↗ devin.ai ↗ X ↗ 9月29日 17 Devin for MongoDB Modernizations 10月5日 18 Memory と Dreaming レガシーコードの変更はDevin、データの移 行と検証はMongoDB AMP が担当し、本 番移行を加速。 セッションをまたいで仕事の進め方をメモリグ ラフとして蓄積。夜間に自らメモリを改善。 OSS 標準 Agent Memory Repo を策定 中。 devin.ai ↗ X ↗ devin.ai ↗ X ↗
22. 次回のご案内：What's New in Devin（毎月開催） 直近でリリースされたDevinの新機能から、特に注目してほしいものをCognitionのDeployed Engineerがデモを交えて紹介する。 第1回 / 2026年10月 2026.10.21 (Wed) 12:00-13:00 形式 オンライン（参加無料） 開催頻度 毎月 登壇 Cognition Deployed Engineer 申し込み devin.connpass.com 各回でお伝えすること 何ができるようになったのか どんなユースケースで役立つのか 実際にどう使えばよいのか 新機能とアップデートの要点 業務のどこに効くか デモで設定と操作を見せる PROPRIETARY & CONFIDENTIAL
23. Q&A