Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
生成AI活用のROI、どう測る? DMM.com 開発責任者から学ぶ「AI効果検証のノウハウ」...
Search
Masato Ishigaki / 石垣雅人
August 18, 2025
Technology
4
220
生成AI活用のROI、どう測る? DMM.com 開発責任者から学ぶ「AI効果検証のノウハウ」 / ROI of AI
TECH PLAY「生成AI活用のROI、どう測る? DMM.com 開発責任者から学ぶ「AI効果検証のノウハウ」」の登壇資料
https://techplay.jp/event/984918
Masato Ishigaki / 石垣雅人
August 18, 2025
Tweet
Share
More Decks by Masato Ishigaki / 石垣雅人
See All by Masato Ishigaki / 石垣雅人
大規模組織にAIエージェントを迅速に導入するためのセキュリティの勘所 / AI agents for large-scale organizations
i35_267
7
980
無意味な開発生産性の議論から抜け出すための予兆検知とお金とAI
i35_267
8
20k
Clineを含めたAIエージェントを 大規模組織に導入し、投資対効果を考える / Introducing AI agents into your organization
i35_267
6
2.1k
開発フェーズだけではない AI導入はどのように進めていくべきか / How should we proceed with AI adoption beyond the development stage?
i35_267
3
280
【Forkwell】「正しく」失敗できるチームを作る──現場のリーダーのための恐怖と不安を乗り越える技術 - FL#83 / A team that can fail correctly by forkwell
i35_267
6
660
【Findy】「正しく」失敗できる チームの作り方 〜リアルな事例から紐解く失敗を恐れない組織とは〜 / A team that can fail correctly by findy
i35_267
9
1.8k
技術負債の「予兆検知」と「状況異変」のススメ / Technology Dept
i35_267
2
1.5k
技術負債による事業の失敗はなぜ起こるのか / Why do business failures due to technical debt occur?
i35_267
5
2.6k
「開発生産性を上げる改善」って儲かるの?に答えられるようにする / Is development productivity profitable?
i35_267
30
22k
Other Decks in Technology
See All in Technology
組織観点からIAM Identity CenterとIAMの設計を考える
nrinetcom
PRO
1
130
WebアプリケーションのUI構築で気を付けてるポイント
tomokusaba
0
140
非同期処理実行基盤 Delayed脱出 → Solid Queue完全移行への旅路。
srockstyle
3
1.3k
業務でAIの力を最大限に発揮するために #弁護士ドットコム
bengo4com
0
290
Oracle Cloud Infrastructure:2025年9月度サービス・アップデート
oracle4engineer
PRO
0
310
Findy Team+のSOC2取得までの道のり
rvirus0817
0
230
Pythonによる契約プログラミング入門 / PyCon JP 2025
7pairs
4
2.2k
インサイト情報からどこまで自動化できるか試してみた
takas0522
0
120
入門 FormObject / An Introduction to FormObject #kaigionrails
expajp
2
1.4k
今改めてServiceクラスについて考える 〜あるRails開発者の10年〜
joker1007
20
8.9k
KAGのLT会 #8 - 東京リージョンでGAしたAmazon Q in QuickSightを使って、報告用の資料を作ってみた
0air
0
180
CData MCP ナイト!「CData × Oracleで実現する新しいデータ活用 ― 国産SaaS 連携から MCP Server for Oracle Database まで」
shisyu_gaku
0
190
Featured
See All Featured
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
127
53k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
3k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.6k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.1k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Making the Leap to Tech Lead
cromwellryan
135
9.5k
Fireside Chat
paigeccino
40
3.7k
Intergalactic Javascript Robots from Outer Space
tanoku
273
27k
Practical Orchestrator
shlominoach
190
11k
The Straight Up "How To Draw Better" Workshop
denniskardys
237
140k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Making Projects Easy
brettharned
118
6.4k
Transcript
1 Masato Ishigaki July. 19, 2025 生成AI活用のROI、どう測る? DMM.com 開発責任者から学ぶ
「AI効果検証のノウハウ 」
2 About me 石垣 雅人 合同会社 DMM.com プラットフォーム開発本部 副本部長
/ 第1開発部 部長 / VPoE室 / アルファ室 ・連載中 : 『開発生産性の多角的視点』(CodeZine) ・連載中 : 『スモールチームが武器になる時代へ』(ProductZine) ・連載中 : 『群知能から紐解く、スケールする“組織“の作り方 』(NewsPicks) 2
None
None
https://jp.findy-team.io/blog/ai-casestudy/ai_effectiveness_verification_dmm/ 話すこと 5
6 Table of Contents - AIによって開発スタイルとスケーリングの違い - AIへの投資と人への投資によるお金の変化 - AIエージェントへの投資対効果の投資と効果の基準
- AI疲れ・レビュー負荷にどう立ち向かうか
7 Table of Contents - AIによって開発スタイルとスケーリングの違い - AIへの投資と人への投資によるお金の変化 - AIエージェントへの投資対効果の投資と効果の基準
- AI疲れ・レビュー負荷にどう立ち向かうか
AIエージェントによる開発スタイルの変化 従来 プロダクション 現在 成果物は物理的な時間と人 が同期していた ガードレール役に徹する (CodeRabbit等で短縮) プロダクション 人の物理的な時間と成果物
が非同期で出てくる これから 成果物のレビューもAIへ LLM-as-a-judge 人は問い型へ プロダクション 8
これから 人は問い型へ プロダクション 9 AIエージェントによる開発スタイルの変化 成果物のレビューもAIへ LLM-as-a-judge
人による量のスケーリングの終わり 10 人の増やして量を作る 2 pizzaで分解する アジャイル × マイクロサービス 人とのコミュニケーションパス
が膨大 人とのコミュニケーションパス を縮小 AIで代替する 1チームあたりの 規模が縮小.AIとの対話へ
11 ちなみに AIが人を代替するのではなく、 AIを使っている人がAIを使っていない人を代替する
人によるスケーリングから、AIによるスケーリング + + + 人を増やして、スケール 個の生産性を上げて、スケール 個とAIを増やして、スケール
+ Lead Time 早 スケール方法 12
人材関連費 ・給与手当 ・賞与 ・法定福利費 ・福利厚生費 ・地代家賃 ・採用費 ・販管費 / 支払い手数料
販管費/支払手数料 (ライセンス料) P/L + + + + 人にかかるお金とAIにかけるお金による変化 +700万 +700万 +700万 +700万 +700万 +20万 +20万 +700万 +700万 +20万 +20万 +20万 スケール方法 13
14 Table of Contents - AIによって開発スタイルとスケーリングの違い - AIへの投資と人への投資によるお金の変化 - AIエージェントへの投資対効果の投資と効果の基準
- AI疲れ・レビュー負荷にどう立ち向かうか
AIエージェントへの投資対効果について - 投資対効果の「投資の部分」 - AIエージェントやFindy Team+といったチームの生産性 に寄与するものコスト(人件費は除く) - 投資対効果の「効果の部分」
- 生産量・リードタイム・個々の生産性(同じAIエージェント の金額でも数値は違う) ・AIエージェント ・Findy Team+ ・その他、チーム生産性に寄与 するもの ・生産量増 ・リードタイム短縮 ・1人あたりの生産性 output input 15
投資対効果の「投資の部分」 チームごとのコスト ツールごとのコスト AIエージェントのツールは 使わないものは削る
- 「感覚的には早くなっている」をどう自分たちの行動ログとして表出化させるか - 定量データで言えば「AIに置き換え」と「AIとの協働」で難易度は違う - └ AIに置き換え → 人でやっていたものを丸々削減時間とする -
└ AI協働 → 人でやったときの予測とAI協働での実績比較やAAテストからのABテス トはできないので移動平均などで抽出して行う 投資対効果の「効果の部分」 17
生産量・リードタイム・1人あたりの生産性 - 生産量 : ノイズを取り除いた状態でのPR数などの数的推移 - リードタイム : 類推見積りでおおよそ一致した施策のリードタイム比較
- 1人あたりの生産性 : 同じAIエージェントの金額でも個々で 成果がバラバラの場合が多い。そのため、 1人1人可視化していく必要あり - SPACEなどの定性評価も組み合わせて 筋が良さそうな指標を組み合わせて生産活動の変化傾向 を 見ていく 投資対効果の「効果の部分」 18
AIへの投資対効果の観点 - スピードと品質の両方を考慮する - 品質を落として量産しても意味がない。逆に負荷がかかるだけになる - 単一プロセスの最適化ではなく、バリューストリーム全体を見る - 生産量が多くなっても、変更障害率が多くなっている等
Findy Team+, Findy AIによる比較 ある平均的な1チームの例(3ヶ月)
Findy Team+, Findy AIによる比較 指標 人間チーム Devin AI 勝者 総合⽣産量
189件 74件 ⼈間チーム 個別⽣産性 15.8件/⼈ 74件 Devin AI 継続性 不規則 111⽇中74⽇活動 Devin AI ピーク⽣産 3件/⽇ (最⼤) 9件/⽇ (最⼤) Devin AI ある平均的な1チームの例(3ヶ月) 【生産性分析】
Findy Team+, Findy AIによる比較 ある平均的な1チームの例(3ヶ月) 【品質分析】 指標 人間チーム Devin
AI 勝者 マージ率 85-90% 60.1% ⼈間チーム レビュー品質 ⾃⼰完結型 要⼈間確認 ⼈間チーム 複雑度対応 ⾼度な設計可能 定型作業のみ ⼈間チーム エラー率 10-15% 40% ⼈間チーム
Findy Team+, Findy AIによる比較 ある平均的な1チームの例(3ヶ月) 【作業内容分析】 人間チーム (189件) の作業分布
新機能開発 40% (76件) バグ修正‧改善 30% (57件) テスト実装 20% (38件) 保守‧リファクタ 10% (18件) Devin AI (74件) の作業分布 コード変換 60% (44件) ‒ Kotlin-Java テスト変換 30% (22件) 機能改善 10% (8件)
AI疲れとレビュー負荷の違い - AI疲れ - Devin/ Cursor background agentを 非同期で動かしながら手元では 同期的にAIエージェントとvibe-codingをし
ているというメンバーが増える。AIのキャッチアップ疲れもある - 使いすぎると単一時間あたりの業務密度が高くなり、人が バーンアウトするときもあるか - 以前までは、働き過ぎの部分は残業などでキャッチしてきましたが、AI時代だとそうもいかないこともあるため、 どう労務を見ていくかは思案し始めている - レビュー負荷 - AIが作ったものをどう評価し、成果物としてリリースしていくかに抵抗がある組織も多い - しかし、AIエージェントによる生産量が増えることは間違いないので、人によるレビュー限界が来る - 一部、LLM as a Judgeの試験的導入をしているチームもある
25 まとめ - AIによって開発スタイルとスケーリングの違い - AIへの投資と人への投資によるお金の変化 - AIエージェントへの投資対効果の投資と効果の基準 - 今後
: AI疲れ・レビュー負荷にどう立ち向かうか