20260722_品質と開発生産性の相互作用

Transcript

1. AI DevEx Conference 2026 品質と開発生産性の相互作用 NTTドコモBizDevOpsの現場から
2. 目次 1. はじめに 2. 品質が開発生産性に与える影響 3. 開発生産性向上の取り組み 〜NTTドコモ社における事例紹介 4. まとめ
3. 目次 1. はじめに 2. 品質が開発生産性に与える影響 3. 開発生産性向上の取り組み 〜NTTドコモ社における事例紹介 4. まとめ
4. 本セッションの概要 開発生産性向上について、テスト・品質の切り口からも考える NTTドコモ社における開発生産性向上事例 開発生産性向上の取り組みが品質に対してどのような影響を与えたか
5. 自己紹介 MagicPod エバンジェリスト 伊藤 由貴 / Yoshiki Ito QAエンジニア・テスト自動化エンジニアとし て10年以上経験。 テスト自動化技術の普及推進チーム立ち上げ や、事業会社でのQAチーム立ち上げを経て 2025年MagicPod入社。 『ソフトウェアテスト技法練習帳』共著。
6. ノーコードテスト自動化ツール AIが自動テストの作成からメンテナンスまでサポート。 効果的なテスト自動化で、開発全体の効率UPへ。
7. 特徴：ノーコードでテスト自動化が可能 1 要素自動検出を開始 2 3 テストステップを作成 4 テスト結果と結果詳細画面への導線 画面上から テスト対象要素を選択
8. テスト作成・確認・運用をAIがサポート MagicPodは、テスト作成のMagicPod Autopilot、結果確認のAIアサーション、 メンテナンスのAI自動修復の3つの機能を搭載し、自動テストの継続を強力にサポートします。 テスト作成 テスト結果確認 テストメンテナンス MagicPod Autopilot AIアサーション AI自動修復 ユーザーの指示に基づき、テスト 画面の内容やテキストを理解し、 UIに変更があった場合に、AIが を自動で作成します。既存テストの 従来は人間が検証する必要があっ テストケース側の修正を提案・修 修正などにも幅広く対応します。 たテスト項目も自動化します。 復します。
9. MagicPod Autopilotで自動テストを生成 自然言語の指示にもとづいて、生成AIがテストを作成・編集・実行 右下の ボタンで MagicPod Autopilotの 入力画面が開きます
10. MagicPod Autopilotで自動テストを生成 利用例 ❶ ホテルの予約サイト ホテルの予約サイトに必要項目を入力するテストの生成 入力した指示 宿泊日は2025/08/04、2泊、2人、確 認連絡は希望せず、適当な名前を入力 し、確認ページへ進んで宿泊予約をし てください。
11. MagicPod Autopilotで自動テストを生成 利用例 ❶ ホテルの予約サイト テストステップが生成され、テスト実行まで自動で完了 生成された テストステップ
12. セッションのきっかけ MagicPod Blog記事 MagicPod Meetup発表 MagicPod Blog: 「開発生産性の3階層」で考えるQAエンジニアの事業貢献 SpeakerDeck: ドコモで実践するMagicPod活用による 開発の効率化と付随して得られたもの
13. 目次 1. はじめに 2. 品質が開発生産性に与える影響 3. 開発生産性向上の取り組み 〜NTTドコモ社における事例紹介 4. まとめ
14. 品質向上の取り組みは後回しになりがち 効果が定量化しづらい 「やったほうがいいこと」がたくさんある 開発手法、プラクティス、組織・チームの様々な活動 などなど QAエンジニア視点でのテーマ 品質保証や品質向上はどのように事業貢献できるか
15. 開発生産性の3階層（広木大地氏のモデル） 引用：開発生産性について議論する前に知っておきたいこと
16. 仕事量の生産性のみを考える危険性 仕事量の生産性のみを追求すると、品質コストが増大する 障害対応、不具合修正をはじめ開発部門以外も含めた負荷がかかる 仕事量の生産性が上がっても期待付加価値の生産性が上がらない “品質保証の時間を削ってリリース日を守ると、障害はリリース後に一気に噴き出しま す。リリース後30分で20件を超える問い合わせが入るといった事態は、削った検証時間 の請求書として返ってきます。 ” 引用：スピードの誤解 ～「速く出せば生産性は上がる」は本当か～|CodeZine（コードジン）
17. 参考：品質コストの概念 予防コスト “製品のデザインと開発における欠陥を防ぐ、すべての活動のコスト” 評価コスト “ハードウェア、ソフトウェア、サービスが、要求条件に合致しているかどう 失敗コスト “製品が要求条件に一致しないために、いろいろな事柄に関連して かを決定するための検査、テストおよび評価を行うのに要するコスト” 発生するもの” 各コストの説明はフィリップ B・クロスビー著/小林宏治監訳『クオリティ・マネジメント よい品質をタダで手に入れる法』 より
18. 適切な予防コストで総品質コスト低下 開発プロジェクトの成熟度が上がる につれて予防コストは微増するが、 総品質コストが減少する Herb Krasner “Using The Cost of Quality Approach for Software ” より
19. 品質を上げると生産性の変換効率が高まる 品質向上に関する取り組みで期待される効果の例 シフトレフト、テスト自動化等による問題の早期発見→失敗コスト抑制 結果、仕事量の生産性→期待付加価値の生産性への変換効率向上 その先の実現付加価値の生産性の向上＝顧客への提供価値増へつなげる Point! 目先の生産性とコストを得るのではなく、品質への取り組みによって トータルの品質コストを抑制しつつ期待付加価値の生産性向上を目指す
20. 目次 1. はじめに 2. 品質が開発生産性に与える影響 3. 開発生産性向上の取り組み 〜NTTドコモ社における事例紹介 4. まとめ
21. ドコモで実践している 開発生産性向上の取組み ～E2E試験自動化編～ NTTドコモ シニアプリンシパルアーキテクト 三井 力 ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 11
22. プロダクトデザイン部の立ち位置 ドコモグループ 通信事業 スマートライフ事業 法人事業 など100＋ の開発＆運用をプロダクトデザイン部が所掌 年間リリース回数 ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. 12,000＋ © 2008 NTT DOCOMO, INC. All rights reserved. 22
23. 自己紹介：NTTドコモ 第一・第二プロダクトデザイン部 シニアプリンシパルアーキテクト 三井 力 100超のプロダクトに対して取組み 分類 各取組みに関連する主な講演 ⓪ AI駆動開発、その他AI活用 Delivery AI Frontier Meet Up 2026 Cloud Operator Day 2026 ① クラウドネイティブ化、クラウドコスト効率化 Delivery 90％以上クラウドネイティブ化 2年連続10億円超削減 ② アジャイル開発・準内製化 0%⇒60％(125プロダクト) ③ SRE・オブザーバビリティ MTTA＋MTTR 76％削減 ④ アプリマーケティング・データ活用 主要10アプリスコア 3.2⇒4.3 NewRelicさんの本の 帯も書かせていただきました ⑤エンジニアリング組織強化の仕組み化 文化、可視化、コミュニティ、環境 ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. Cost AWS Summit 2019, 2020, 2025 Enterprise-JAWS 2020 Delivery RedHat Summit 2025 US&JP MagicPod Meetup 2025 Quality Datadog Live 2026 Datadog Executive RT 2025 Value App Growth Summit 2025 DASH 2023 US Base AWS Summit 2020, 2025 DX前提社会における組織2025 33
24. 開発アジリティを向上させるためのボトルネックを解消させる必要がある（AI駆動なら尚更） Enablerに事業会社社員が当事者意識をもって取り組むことで プロダクトの顧客体験価値を向上させ、プロダクトをグロースさせる グロースハック マーケティング Value Value/ Purpose 顧客体験向上 プロダクトグロース 社会的責任 Security Usability Delivery Cost U-QCDS 使いやすさ 開発アジリティ向上 コスト最適化 品質向上 セキュリティ向上 Enabler /Engine デザイン クラウドネイティブ アジャイル、準内製 Quality オブザーバビリティ Ａ Ｉ 活 用 、 デ ー タ （ 声 含 む ） 活 用 当事者意識（プロダクトのグロースに対するパッション、自分達がやる） ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 44
25. 組織としてDeliveryだけでなくValueに対して総合的にアプローチ Usability データをフル活用した改善 社員エンゲージメント アジャイル開発 AI駆動開発 including 試験自働化 + 運用の自動化 AIOps 行動データやお客様の声などの AI高速分析＋高速開発ループ ⇒CX向上⇒EX向上 Value Delivery Quality Cost ｱｼﾞｬｲﾙ開発率 品質指標 ｸﾗｳﾄﾞｺｽﾄ 60％に拡大 AI駆動開発 プロダクトグロース プロダクトのグロース ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. 本格開始 © 2008 NTT DOCOMO, INC. All rights reserved. 年間 ΣMTTR 83％削減 リリース失敗率 0.5%以下 2年連続 10億円超削減 生成AI取組効果 10.8億円減 @2026年度 55
26. 開発アジリティを向上させるためのボトルネックを解消させる必要がある（AI駆動なら尚更） Enablerに事業会社社員が当事者意識をもって取り組むことで プロダクトの顧客体験価値を向上させ、プロダクトをグロースさせる グロースハック マーケティング Value Value/ Purpose 顧客体験向上 Usability U-QCDS プロダクトグロース Delivery 使いやすさ 開発アジリティ向上 社会的責任 Cost Quality Security コスト最適化 品質向上 セキュリティ向上 アジャイル、準内製 ＋AI駆動開発 Enabler /Engine デザイン クラウドネイティブ アジャイル、準内製 オブザーバビリティ Ａ Ｉ 活 用 、 デ ー タ （ 声 含 む ） 活 用 当事者意識（プロダクトのグロースに対するパッション、自分達がやる） ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 66
27. ボトルネックであるE2E自動試験を広めることにより開発アジリティを向上させる E2E自動試験により開発のリードタイムを短くしアジリティを向上させる アジリティ高い 開発効率高い 〇AI駆動開発 E2E試験 E2E試験 ★ ★ スプリント＃1 E2E試験 ★ ★ E2E試験 ★ ★ ★ スプリント＃2 スプリント＃3 スプリント＃4 ★ ★ ★ スプリント＃3 スプリント＃4 ★リリース E2E試験 〇アジャイル開発 スプリント＃1 ★ スプリント＃2 ★リリース △アジャイル開発 E2E試験 スプリント＃1 ★ スプリント＃2 ×アジャイル開発 ★ © 2008 NTT DOCOMO, INC. All rights reserved. ★ スプリント＃3 E2E試験 リードタイム長い ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. ★ ★リリース 77
28. MagicPod導入理由！ • • • • • Web&モバイルアプリのE2Eテスト自動化ツール ノーコードで簡単にテスト作成 豊富なコマンドとメンテナンス性の高さが強み 実行回数に制限なし SaaS型E2E自動試験ツールの中で低コストで導入可能 シナリオ作成画面 目的の領域を選択 パーツをAIで自動判定 ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 88
29. CI/CDとの連携(GitHub Actions)による自動化 GitHub Actionsと連携することでソースコードをマージするタイミングで、 アプリ自動ビルド→MagicPodへアップロード→自動テストが可能になった GitHub Actions Slack通知 結果通知 成功時 ソースコードをマージ するタイミングで GitHubActionsが動く アプリのビルド、単体試験等 MagicPodへ アプリをアップロード E2E試験の自動実行 失敗時 ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 99
30. 小規模ベースアプリチームにおけるE2E自動試験導入の成果 定量的な効率化と、実務における品質・プロセスの向上を実現 ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 10 10
31. 大規模チームにおけるE2E自働化導入：2大課題と対策および導入成果 スクリプト品質とUI変更耐性の向上により工数削減と品質向上を実現 ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 11 11
32. AIエージェントを利用したメンテナンス効率化検証 アプローチ AIコーディングエージェント＋MCPサーバによって失敗原因調査および修正案の提案 独自に修正案が提示される仕組みを作成 実行ログ取得 分析正解率は、 失敗原因分析 修正案提示 73％の精度 MCPサーバ 複数ケース一括分析やプロダクト仕様学習には有利 MagicPodから失敗分析機能リリース（2026.4.5） 試験実行指示 分析正解率は、 80％の精度 失敗原因分析 修正案提示 ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 12 12
33. AIによる自動テストケース作成 アプローチ MagicPod Autopilotを利用した自動テスト作成 プロンプトを最適化してAutopilotで自動作成 31％ 試験作成稼働削減 ①プロンプト ②テストケース提示 Autopilot MagicPod MCPから既存試験を取得しプロンプト自動補正 MCPサーバ ①プロンプト 66％ 試験作成稼働削減 ③修正版プロンプト Autopilot ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 13 13
34. 大規模案件E2Eリグレッション試験自動化 効果まとめ ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 14 14
35. 自動試験実行ツールの適用場所のイメージ Dev QA/PO モバイルアプリ Webサイト OSS等 WebAPI ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 15 15
36. AIコーディングエージェントと自動試験ツールの関係 AIコーディング エージェント 単体試験 テストコード実行 ViTEST PyTEST など Claude Codeの役割 ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. E2E試験 テストコード実行 Playwright Appium など ・AIによるテストコード作成 ・テスト実行 ・テスト失敗時の修正コード作成 © 2008 NTT DOCOMO, INC. All rights reserved. テストプロンプト 実行 特にモバイルアプリの E2Eリグレッション試験 で効果的！ ・AIによるテストプロンプト作成 ・テスト実行 ・テスト失敗時の修正コード作成 16 16
37. なぜモバイルアプリのE2Eリグレッション試験でMagicPodを使うのか？ ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 17 17
38. スマホアプリを提供しているプロダクト プロダクト別チーム（数百チーム） 商用外形監視チーム（１チーム） モバイルアプリE2Eリグレッション自動試験 MagicPod中心にプロダクトチーム毎 主要導線のみ OSSを軸に単一チームで Appium利用 (ブラウザの場合Playwright） 今後さらなるAIによる効率化！ ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 18 18
39. 開発アジリティ向上とコスト効率化はトレードオンにできる ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 19 19
40. BizDevOps一体となって顧客体験価値を向上させることに注力 値実 の現 生付 産加 性価 売上、利益、離脱減 値期 の待 生付 産加 性価 NPS,CES,TSR等 生仕 産事 性量 の DORA 4keys等 新機能 使い勝手向上 プロダクト グロース目的 PBI 技術的負債 Ｂ Ａ Ｓ Ｅ SPACE等 ⓒ2026 NTT DOCOMO, INC. All Rights Reserved. © 2008 NTT DOCOMO, INC. All rights reserved. 20 20
41. 目次 1. はじめに 2. 品質が開発生産性に与える影響 3. 開発生産性向上の取り組み 〜NTTドコモ社における事例紹介 4. まとめ
42. まとめ セッションのふりかえり 前半：品質コスト低減と手戻り防止によって、品質向上→開発生産性 後半：E2E自動試験導入でアジリティ向上→品質向上 ポイント 開発生産性と品質それぞれを正しく捉え、進めることで同時に高まる
43. MagicPod Meetupもぜひご覧ください！