現場データから見える、開発生産性の変化コード生成AI導入・運用のリアル〜 / Changes in Development Productivity and Operational Challenges Following the Introduction of Code Generation AI

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 現場データから見える、開発生産性の変化  
〜コード生成AI導入・運用のリアル〜   2025年10月21日  NTTドコモビジネス株式会社  

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 1 自己紹介 
小倉真人（@Mahito）/ Mahito Ogura   所属  ◦ NTTドコモビジネス株式会社 ▪ イノベーションセンターテクノロジー部門 • Engineer Empowerment Project Leader 業務  ◦ エンジニアの働く環境を良くすること ▪ 開発・検証 PC の整備 ▪ GitHub, Miro など SaaS 利用の取りまとめ ▪ エンジニアブログ運営 ▪ イベント開催・協力（NTT Tech Cofnerence, ISUCON11, etc…）  

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 2 話すこと 
• 研究開発組織におけるコード生成AIツール活用のリアルな実態  • AIを使いこなすチームとそうでないチームや人の具体的な差  • チーム全体の開発生産性を底上げする実践的アプローチ    話さないこと   • 個々のコード生成 AI の詳細や使い方  本日話すこと/話さないこと  

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 4 2025年7月に社名変更
  NTTコミュニケーションズからNTTドコモビジネスへ  

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 5 NTTドコモビジネスの役割
  NTTグループを代表して、全ての法人のお客さまにワンストップで価値のあるソリューションを提供  

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 6 コード生成
AI と   NTTドコモビジネスにおける導入状況  

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 7 コード生成AI
  ユーザーからの指示に基づいて自律的にコードを生成し、実行する AI     コードアシスト：   AI はエンジニアがコードを書く補助（提案）をする役割（例：GitHub Copilot, etc…）    コーディングエージェント：   AI 自身が目標達成のために自律的に下記のプロセスを実行しながらコードを書く  （例：GitHub Copilot coding agent, Codex, Claude code, Devin, etc…）  • 目標の解釈  • タスクの分解  • ツールの利用  • 実行・反復  • 評価・学習  エンジニア   Copilot   コードアシスト   コーディングエージェント   エンジニア   エージェント  

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 8 NTTドコモビジネスにおける導入状況
  コードアシストは GitHub Copilot を導入済   • 2021年から GitHub Enterprise の全社利用をしていた流れから選定  • 2023年7月から GitHub Copilot の検証を経て現在は社内の希望者が利用可能    コーディングエージェントは評価・検証段階   イノベーションセンターでは複数のコーディングエージェントを机上検討した上で下記を選定    • Claude Code（ Anthropic）：ターミナルで動作する  • Devin（ Cognition 社）：Web UI や Slack, GitHub の PR から指示が可能    ※：2025年5月段階では上記が有力だったが現在だと GitHub Copilot coding agent や Codex などもある 

AI で開発生産性は上がるか？  

AI と開発生産性   コード生成 AI を使うことで開発生産性が上がるという風潮だが、  コード生成 AI を使った結果、開発生産性は落ちていたというレポートも存在    Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity   https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/    • ここで言う開発生産性は与えられたタスクを完了するのに必要だった実装時間の合計  • 開発者はAIによって24%の速度向上を期待していた   • 実際は 19 % の遅延をしていた   • 開発者は遅延を経験したあとでも AI が 20 % の効率化をもたらしたと信じていた    定性的な結果だけでは効果は測れないため、定量的な効果測定が必要  

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 11 ソフトウェア開発の開発生産性を測る方法方法はいくつかある
  • 成果物ベースの計測（Lines of Code、ファンクションポイント）  • スループットベースの計測（ユーザストーリーポイント、チケットの完了数、リードタイム）  • etc...    今回は定性的な面では利用者の主観（1日の作業をどれぐらい効率できると感じたか）、  定量的な面では DORA 指標でいうデプロイ頻度、変更のリードタイムを Findy Team+で計測    DORA （DevOps Research and Assesment）指標  • デプロイの頻度 - 組織による正常な本番環境へのリリースの頻度  • 変更のリードタイム - commit から本番環境稼働までの所要時間  • 変更障害率 - デプロイが原因で本番環境で障害が発生する割合（%）  • サービス復元時間 - 組織が本番環境での障害から回復するのにかかる時間    今回、コーディングエージェントの利用先に商用サービスを対象外とした（理由は後述）ことや、  後から Findy Team+ を設定したため変更障害率、サービス復元時間が取れず対象外としている  ソフトウェアの開発生産性  

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 12 検証に関する諸条件
  期間： 2025年6月3日〜 2025年9月2日   対象：イノベーションセンター（研究開発組織）内における下記のグループ   • GitHub Copilot 利用グループ（全体）  • GitHub Copilot のみ利用グループ（Claude code, Devin 利用ユーザ除く）  • コーディングエージェント利用グループ（Claude code, Devin）    諸条件：  • コーディングエージェントは内部ツールの開発やドキュメンテーション、テスト作成利用に限定   ◦ 商用システム・サービス開発には利用不可 • Findy Team+ の解析対象はイノベーションセンター関連の GitHub Organization   ◦ イノベーションセンター外（他組織、社外関連、OSS）の活動は対象外 • コーディングエージェントは利用者のスキルや利用目的を問わず希望順に配布  • それぞれの利用者・チームの開発スタイル（リリースサイクル）はそれぞれ異なる  • デプロイ頻度/変更のリードタイムは Pull Request（PR）が main/master ブランチへ  マージされるまでの回数/時間 

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 13 コードアシスト（GitHub
Copilot）の利用状況   現在は全社で 600+ のユーザが GitHub Copilot を利用中（Business/Enterprise）     イノベーションセンターにおける過去28日間の数字   • ライセンスユーザ数 136 人  • 利用率： 50 %  • コード提案数： 62,884 回  • コード承認数： 18,190 回  • コード承認率： 28.9% 

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 14 GitHub
Copilot 利用者の声   GitHub Copilot（トライアル時）利用者アンケート結果（2023年10月）   • 回答者の多くが業務で非常に役に立つと回答  • 1日の業務の効率化については 1 時間程度との回答が多かったが、3時間以上という声もあった    1: 全く役に立たない  5: 非常に役に立つ

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 15 参考：コードアシストの開発生産性
  検証期間中のイノベーションセンター内でコードアシスト（GitHub Copilot）利用者1人あたりの  デプロイ頻度、変更のリードタイムは以下の通りであった  ※ 導入前の開発生産性導入はFindy Team+ でも表示できなかったための数字は不明

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 16 NTTドコモビジネスでは現在コーディングエージェントの開発利用に向けて評価・検証中
  • 評価・検証目的として内部ツールやドキュメント作成、テスト作成を対象に利用中  • 生成 AI の出力が第三者の著作権侵害にあたった場合の訴訟リスクについて法務部門と相談中  イノベーションセンターでは、複数のコーディングエージェントを机上評価の上、利用規約に知的財産侵害に関する訴訟の保証がある Claude code と Devin を選定し利用希望者に提供検証期間： 2025年6月3日〜 2025年9月2日利用者・チーム数（開始時 → 終了時） • Claude code：10 → 27 人 • Devin： 2 → 5 チームコーディングエージェントの状況  

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 17 コーディングエージェント利用者の声
1/2   コーディングエージェント利用利用者アンケート結果（2025年8月末）   • 半数以上が週に1回以上コーディングエージェントを利用  • 回答者の多くが業務で役に立つと回答しつつ、どちらとも言えないという回答も目立つ  1: 全く役に立たない  5: 非常に役に立つ

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 18 コーディングエージェント利用者の声
2/2   コーディングエージェント利用利用者アンケート結果（2025年8月末）   • 開発生産性については向上したという声が多かった   • 1日の業務の効率化については 1 時間程度との回答が多かった  ◦ 「3 時間以上」と回答した人5人中4人がほぼ毎日使っている人であった ◦ 「ほぼなし」と回答した人は、未使用〜月 2~3回程度使っている人たちであった   開発生産性（コーディング速度やタスク完了までの時間）は   向上しましたか   1: 全く向上しなかった  5: 大幅に向上した

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 19 参考：コードアシストとコーディングエージェント比較
  検証期間（2025年6月3日〜9月2日）でコードアシストとコーディングエージェントで比較すると、  利用者1人あたりのデプロイ頻度、変更のリードタイムともにコーディングエージェント利用者の方が高い     • デプロイ頻度：コーディングエージェント利用は約 2.4 倍多かった   • 変更のリードタイム：コーディングエージェント利用者は 15.6 h 短かった   コードアシスト   （GitHub Copilot）コーディングエージェント   （Claude code, Devin） ※注：同じ利用者グループを比較したものではないため参考値

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 20 コーディングエージェントの利用前後比較
  コーディングエージェント利用者たちの利用前と利用後を同様の期間（約3ヶ月）で比較すると、  利用者1人あたりのデプロイ頻度、変更のリードタイムともにコーディングエージェント利用後の方が高い     • デプロイ頻度：コーディングエージェントが 4.5件（約 1.7 倍）増加した   • 変更のリードタイム：コーディングエージェントが 167.9 h 短縮した   利用前利用後

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 21 コーディングエージェントの利用前後比較
  DORA 指標以外の PR の作成数や 1 PR あたりのリードタイムなどを見た場合も、  コーディングエージェントを利用したほうが数字の改善が見られる   利用前利用後

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 22 Claude
Code（Anthropic API）の利用を見ると  高頻度利用者と低頻度利用者で大きく差がついている   (COST = 利用トークン数)    このことから、高頻度利用者と低頻度利用者で、  開発生産性に違いがあるのではないかと考え調査  コード生成 AI 利用頻度の差   667倍 

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 23 コーディングエージェント高頻度利用者たちの利用前と利用後を同様の期間（約3ヶ月）で比較すると、 
利用者1人あたりのデプロイ頻度、変更のリードタイムともにコーディングエージェント利用後の方が高い     • デプロイ頻度：コーディングエージェント利用後は 10.7件（約 1.6 倍）増加した   • 変更のリードタイム：コーディングエージェント利用後は 42.8 h 短縮した             上記の結果について高頻度利用者へのインタビューの結果以下がわかった  • 調査や実装、問題解析をエージェントに任せることでコードの実装や修正が効率化   • タスクを小さくすることで PR は増えるが高精度の結果が得られた結果、マージまでの時間が短縮   コーディングエージェント高頻度利用者の利用前後比較   利用前利用後

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 24 コーディングエージェント低頻度利用者の利用前後比較
  コーディングエージェント低頻度利用者たちの利用前と利用後を同様の期間（約3ヶ月）で比較すると、  利用者1人あたりのデプロイ頻度、変更のリードタイムともにコーディングエージェント利用後の方が高い     • デプロイ頻度：コーディングエージェントが 1.9件（約 2.1 倍）増加した   • 変更のリードタイム：コーディングエージェントが 372.5 h 短縮した   利用前利用後

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 26 個人や組織の能力が
AI に影響する   AI をいかにうまく使えるかが今後の個人や組織の開発生産性に関わってくる   AI時代のソフトウェア開発を考える（ 2025/07版） https://speakerdeck.com/twada/agentic-software-engineering-findy-2025-07-edition?slide=35

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 27 AI
が個人と組織の活動を増幅する   2025 年 DORA レポートでも「AI は偉大な増幅器」との記述  https://cloud.google.com/blog/ja/products/ai-machine-learning/announcing-the-2025-dora-report/  • ソフトウェアデリバリースループットとプロダクトパフォーマンスの両方で、  AI の導入と正の相関関係が認められた  • AI の導入は、引き続きソフトウェアデリバリーの安定性と負の相関関係にある  • AI がソフトウェア開発を加速するものの、その加速によって下流で弱点が露呈する可能性を示唆  ◦ フィードバックループが高速な疎結合アーキテクチャで作業するチームは成果を上げる ◦ 密結合システムと遅いプロセスに制約されるチームはほとんど、またはまったくメリットがない   AI をうまく利用できる個人・組織が高い開発生産性を実現する  

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 28 身近な利用者・チームから学ぶ
  AI を使った開発生産性を上げるために文化・ルールなどコンテキストが近い社内の事例に着目     高頻度利用できる個人・チーム   • 最初から適用先が明確なユーザもいたが、試行錯誤をしながら適用先や使いを見つけ活用をしていた  ◦ 開発の立ち上げ、機能追加、バグ修正、テストやドキュメンテーションなど AI の適用先を模索 ◦ AI に渡すタスクサイズなど使い方についても試行錯誤をしていた   低頻度利用の個人・チーム   • 適用先が見つからない / 時間がなく使えなかったとの声が多かった 

の価値を引き出す   2025 年 DORA レポートでは「DORA AI 機能モデル」と「リーダーが最初に取り組むべきこと」にも言及  「AI の価値は、ツール自体ではなく、それを取り巻く技術的慣行と文化的環境によって引き出されます」   → 技術的な土台と AI を利活用できる文化がないと価値を引き出せない       リーダーが最初に取り組むべきこと   • AI ポリシーを明確化して周知する  • AI を社内のコンテキストに接続する   • 基本的なプラクティスを優先する  • セーフティネットを強化する  • 社内プラットフォームに投資する  • エンドユーザーに焦点を当てる 

活用に向けた支援   AI 利用開始時に個人・チームのコンテキストとの接続   • 生成 AI の使い方も大事だが、自分の仕事にどうに使えるのかイメージを持ってもらうのが大事   ◦ 「何に使えばいいかわからなかった」とならないために AI を何に使うのかを支援 ◦ 利用者アンケートでワークショップやハンズオンを希望する声が多いが、コード生成 AI がその人の業務でどう使えるのかコンサルティングする支援なども検討が必要   利用者間での情報共有を高頻度に実施（基本的なプラクティス）   • コード生成 AI 界隈の変化が激しいため高い頻度での情報共有が求められている   ◦ 基本的な操作方法の共有 ◦ 特にうまく使えている人の使い方や、うまくいかなかった使い方の共有を求める声がある ◦ 設定ファイル（CLAUDE.md など）を共有してほしいという声もある

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 32 ツールの選定
  • 1〜数カ月おきに「これがいい！」と言われるツールが変わるため見極めが必要  • ツール以外にも AI のモデルアップデートもあり見極めは困難  • 3 ヶ月ごとに利用するツールの見直しをすることで対応を検討中    品質・セキュリティの確保   • 利用者からはアンケートでコードの品質・セキュリティについての懸念の声がある  ◦ そのまま使うとコードの重複やそもそも動作しないなどの問題がある ◦ バージョンが古いライブラリを指定することがありセキュリティリスクの可能性がある ◦ 著作権・特許侵害の可能性もある（次頁） • テストやセキュリティの解析ツールなどを CI で動作させることで一定のリスクは避けられる  開発で実際に使っていくための課題  

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 33 生成
AI の出力は第三者の著作権・特許を侵害する恐れがあります   とは言われても、正直エンジニアがひと目見て著作権 or 特許侵害とはわからないしその出力確率も不明    著作権  • コードそのものが対象  • 一方で表現に創作性が必要（単純な処理の記述では創作性は認められない）    特許  • コードによって実現される技術的なアイデアや機能が対象  • コードそのものは対象外    対策にはサービス側の補償やガードレール技術の適用を検討   • 第三者の著作権・特許侵害での訴訟費用をサービス提供側が負担（Claude, Devin, GitHub, etc...）  • 一致するコードがあった場合、当該コードを参照 or ブロックする機能を提供（GitHub）  生成 AI 利用による訴訟リスク対策  

© NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 34 まとめ 
コード生成 AI を導入することでデプロイ頻度や変更のリードタイムともに改善が見られた   • 高頻度利用者、低頻度利用者含め全体的に改善が見られたが、高頻度利用者のほうが効果が高かった   • 高頻度利用者は利用にあたり適用先や使い方などに試行錯誤が見られた   • 低頻度利用者は利用の目的や適用先がわからず利用できていないことがわかった     社内にいるハイパフォーマーから学ぶことで、チームや個人がハイパフォーマーになる可能性が高い   • AI をうまく利用できる個人・組織が高い開発生産性を実現する   • コンテキストが近い社内のハイパフォーマーを学ぶことで高い開発生産性を実現できる可能性が高い     コード生成 AI 利用には未だに課題が残っている   • ツール選定の問題  • コードの品質・セキュリティの問題  • 著作権・特許侵害訴訟の可能性 

現場データから見える、開発生産性の変化コード生成AI導入・運用のリアル〜 / Changes ...

現場データから見える、開発生産性の変化コード生成AI導入・運用のリアル〜 / Changes in Development Productivity and Operational Challenges Following the Introduction of Code Generation AI

More Decks by NTT docomo Business

Other Decks in Technology

Featured

Transcript