XP祭り2025「指標は目標になると機能しなくなる」のか？XPでもそうなのか？

Transcript

1. 「指標は目標になると機能しなくなる」のか？ XPでもそうなのか？ 2025/10/4（土） 坂田晶紀（さかたあきのり）
2. 私について • 坂田 晶紀 （さかた あきのり） • 所属：某JTC、SIer • ソフトウェア開発者 • 中小企業診断士 • 業務： • メインフレーム OS 、主にシステム資源最適化プログラム（*）の開発に従事。 その後、 WEB アプリケーション開発業務に携わり、 2002 年からアジャイ ル開発を実践。現在は、アジャイルソフトウェア開発の品質管理、開発管 理、組織マネジメントの領域を中心にコンサルティング。 * システム資源最適化プログラム ： リソース効率とフロー効率の調和を図る機能 2025/10/04 2
3. 私について 2025/10/04 3 https://www.slideshare.net/sakataakinori https://agilealliance.org/agile101/subway-map-to-agile-practices/ https://agilealliance.org/glossary/niko-niko/ 指標っぽい話が多め 今日も、指標っぽい話
4. これを聴いた 2025/10/04 4 開発生産性Conference 2025 : https://dev-productivity-con.findy-code.io/2025 グッドハートの法則は 「指標は目標になると機能しなくなる」 と警鐘を鳴らしますが、その影響は想 定以上に広範囲です。
5. Goodhart‘s law（グッドハートの法則） 2025/10/04 5 "指標は目標になると機能しなくなる" 原文： "When a measure becomes a target, it ceases to be a good measure"
6. 2025/10/04 6 Measuring developer productivity? A response to McKinsey https://tidyfirst.substack.com/p/measuring-developer-productivity
7. 2025/10/04 7
8. 2025/10/04 8 顧客のペインポイントの特定 解決策のブレインストーミング 計画立案 コード作成 リリース 設計ドキュメント 作成されたコード プロダクトの機能 顧客行動の変化 この変化によってもたらされる価値 例：収益増加、 解約率低下など
9. 2025/10/04 9 顧客のペインポイントの特定 解決策のブレインストーミング 計画立案 コード作成 リリース 設計ドキュメント 作成されたコード プロダクトの機能 顧客行動の変化 この変化によってもたらされる価値 例：収益増加、 解約率低下など 始端 • 測定容易 • 歪み最大 終端 • 歪み最小 終端で測れ、歪みが最小になる。
10. 対策としての提案（AIがまとめてくれてた） ケント・ベックは、この法則を悲観的に捉えるべきだとし、単純な指標に頼るのではなく、次のような アプローチを提案しています。 • 指標を目標にしない： 指標は気づきのために使い、プレッシャーをかけるものではない。 • 目的意識を持たせる： 個人が指標の目的を理解し、数値だけを追い求めないようにする。 • ビジネスインパクトを重視する： 評価は最終的にビジネスへの貢献度で行うようにする。 2025/10/04 10
11. いくつかの課題 • 施策（行動）と目標（結果）の関係 • 結果（終端）だけ測る ⇒ 結果を得るための行動（始端）の決定は？ • 測定の容易／困難 • 容易な測定だけ実施するのか ⇒ 結果は測定困難では？ ⇒ 測定容易な行動を測定してしまわないか？（グッドハートの法則のトリガ） • 困難な測定はどうするのか？ • 制御の容易／困難 • 制御容易かつ測定容易な行動を目標としないようにするには？ 2025/10/04 11
12. Goodhart‘s law（グッドハートの法則） 2025/10/04 12 "指標は目標になると機能しなくなる" 原文： "When a measure becomes a target, it ceases to be a good measure" 具体例 • 小さなPRの強制 → 意味もなくPRを分割するハック • コード行数指標 → 無意味な行数の水増し • インシデント数指標 → インシデントの報告回避 具体例は、SHIFTグループさんのブログから引用しました ⇒ SHIFT Group 技術ブログ Kent Beck 基調講演を聞いて https://note.shiftinc.jp/n/nefb1b9372576
13. PRの事例 • 生産性の高いチーム（開発者）は、PR数が大きい 2025/10/04 13 PR数 生産性 因果？
14. PRの事例 • 生産性の高いチーム（開発者）は、PR数が大きい 2025/10/04 14 PR数 生産性 因果？ • 測定容易 • 制御容易 • 測定？？？ • 制御困難 目標になりがち
15. PRの事例 • 生産性の高いチーム（開発者）は、PR数が大きい 2025/10/04 15 PR数 生産性 因果？ 相関
16. PRの事例 • 生産性の高いチーム（開発者）は、PR数が大きい 2025/10/04 16 PR数 生産性 相関 開発者の能力 要因 結果 結果
17. PRの事例 • 生産性の高いチーム（開発者）は、PR数が大きい 2025/10/04 17 PR数 生産性 相関 開発者の能力 要因：上手い 結果：高い 結果：大きい
18. PRの事例 • 生産性の低いチーム（開発者）は、PR数が小さい 2025/10/04 18 PR数 生産性 相関 開発者の能力 要因：下手 結果：低い 結果：小さい
19. PRの事例 • 生産性の高いチーム（開発者）は、PR数が大きい 2025/10/04 19 PR数 生産性 因果？ • 測定容易 • 制御容易 • 測定？？？ • 制御困難 目標になりがち 相関 開発者の能力 要因：下手 グッドハートの法則による崩壊
20. そのほかの事例 - 相関であり、因果ではない • 生産性の高いチーム（開発者）は、PR数が大きい • 水難事故が多いと、ビールの売上が高い • アイスクリームの売上が高いと、熱中症が増える ： 2025/10/04 20
21. Goodhart‘s law（グッドハートの法則） 2025/10/04 21 "指標は目標になると機能しなくなる" 原文： "When a measure becomes a target, it ceases to be a good measure"
22. Goodhart‘s law（グッドハートの法則） 2025/10/04 22 "指標は目標になると機能しなくなる" 原文： "When a measure becomes a target, it ceases to be a good measure" Problems of Monetary Management : The U.K. Experience （金融政策の問題点：英国の経験, Charles Goodhart） 原文： "Any observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes." Google翻訳： "観察される統計的規則性は、制御目的で圧力が加えられると崩壊する傾向がある。”
23. 観察される統計的規則性は、制御目的で圧 力が加えられると崩壊する傾向がある。 • PRの事例は • 統計的規則性があった ← PRの統計的規則性は相関 • 制御しやすく（観測もしやすい）PR数を目標にした（された？） • 崩壊した • 観測すべき統計的規則性は、 • 相関なのか？ ← 相関ではなさそう（崩壊の危険） • なにを観測すべきか？ • 因果なのか？ ← 因果を特定できるのか？ 2025/10/04 23
24. なにを観測すべきか？ • 行果連動性（効果ではなく行果）を観測する ⇒ 行動と結果の連動性：試行錯誤によって、連動性を抽出する • 行動 • 自らの判断で制御できる • なにをやるか決められる、やるかやらないか決められる • Kentの図のEffort（労力） • 施策、プロセス、プラクティス、etc. • 結果 • 自ら制御できない、行動でも制御しづらい • Kentの図のOutput（出力）、Outcome（成果）、Impact（影響） • 生産性、品質、コスト、リードタイム、士気、etc. 2025/10/04 24
25. 特性要因図による連動性の抽出 • 地図としての特性要因図 • 特性：現在見えている結果や、解決したい課題 • 要因：その結果を引き起こす原因となる要素 2025/10/04 25 JaSST’22 Tokyo ソフトウェアテストシンポジウム 2022 東京「アジャイルソフトウェア開発への統計的品質管理の応用」 https://www.jasst.jp/symposium/jasst22tokyo/pdf/C4.pdf
26. 特性（欲しい結果）を左右する要因の探索 1. 結果を左右しそうな要因を、仮設ベースで列挙する 2. 影響（効果）が大きそうな要因を試す 3. 結果に影響を与えるようであれば、もっとやる 4. 結果に影響しなければ、別の要因を試す 2025/10/04 26 • 地図としての特性要因図 • 特性：現在見えている結果や、解決したい課題 • 要因：その結果を引き起こす原因となる要素
27. 特性要因図 たとえば… 2025/10/04 27 部屋の快適さ
28. 望む状態はたいてい、制御も測定もしづらい 2025/10/04 28 部屋の快適さ 体感 制御しづらい・観測しづらい
29. 広さ 明るさ 温度 要因に展開 2025/10/04 29 部屋の快適さ 体感 制御しづらい・観測しづらい 特性 要因
30. 体感 制御しづらい・観測しづらい 広さ 明るさ 温度 未だ、制御も測定もしづらい 2025/10/04 30 部屋の快適さ 体感 制御しづらい・観測しづらい 特性 要因
31. 風速 湿度 室温 体感 制御しづらい・観測しづらい 広さ 明るさ 温度 さらに、展開 2025/10/04 31 部屋の快適さ 体感 制御しづらい・観測しづらい 特性 要因 特性 要因
32. 風速 湿度 室温 体感 制御しづらい・観測しづらい 広さ 明るさ 温度 測定しやすくなる 2025/10/04 32 部屋の快適さ 体感 制御しづらい・観測しづらい 特性 要因 特性 要因 制御しづらい・観測しやすい
33. 扇風機 加・除湿器 エアコン 特性 要因 風速 湿度 室温 体感 制御しづらい・観測しづらい 広さ 明るさ 温度 どうやって制御するか 2025/10/04 33 部屋の快適さ 体感 制御しづらい・観測しづらい 特性 要因 特性 要因 制御しづらい・観測しやすい
34. 扇風機 加・除湿器 エアコン 風速 湿度 室温 測定しやすいもの、制御しやすいもの 2025/10/04 34 広さ 明るさ 温度 部屋の快適さ 体感 特性 要因 特性 要因 特性 要因 制御しづらい・観測しづらい 制御しづらい・観測しづらい 制御しづらい・観測しやすい 制御しやすい・観測しづらい 体感
35. 扇風機 加・除湿器 エアコン 風速 湿度 室温 得たい状態をどう得るか 2025/10/04 35 広さ 明るさ 温度 部屋の快適さ 体感 特性 要因 特性 要因 特性 要因 体感 感じる 目盛りをみて 度合いを変える
36. エアコン 室温 扇風機 加・除湿器 風速 湿度 観測しやすい、とはいえ、例えば室温 2025/10/04 36 広さ 明るさ 温度 部屋の快適さ 制御しづらい・観測しづらい 制御しづらい・観測しづらい 制御しづらい・観測しやすい 制御しやすい・観測しづらい
37. エアコン 室温 扇風機 加・除湿器 風速 湿度 代用特性を利用 2025/10/04 37 広さ 明るさ 温度 部屋の快適さ 制御しづらい・観測しづらい 制御しづらい・観測しづらい 制御しづらい・観測しやすい 制御しやすい・観測しづらい JaSST’22 Tokyo ソフトウェアテストシンポジウム 2022 東京「アジャイルソフトウェア開発への統計的品質管理の応用」 https://www.jasst.jp/symposium/jasst22tokyo/pdf/C4.pdf
38. 扇風機 加・除湿器 エアコン 風速 湿度 室温 得たい状態をどう得るか 2025/10/04 38 広さ 明るさ 温度 部屋の快適さ 体感 特性 要因 特性 要因 特性 要因 体感 感じる 目盛りをみて 度合いを変える
39. ソフトウェア開発の特性要因図は？ 2025/10/04 39
40. 得たい “ソフトウェアの状態（特性）” は？ 2025/10/04 40
41. 得たい “ソフトウェアの状態（特性）” は？ •P QCD SME とか • Ｐ：Productivity （生産性） • Ｑ：Quality （品質） • Ｃ：Cost （コスト） • Ｄ：Delivery （納期） • Ｓ：Safety （安全） • Ｍ：Morale （士気） • Ｅ：Environment （環境） •B/S, P/L, C/F とか • 財務諸表的ななにか 2025/10/04 41
42. 得たい “ソフトウェアの状態（特性）” は？ •P QCD SME とか • Ｐ：Productivity （生産性） • Ｑ：Quality （品質） • Ｃ：Cost （コスト） • Ｄ：Delivery （納期） • Ｓ：Safety （安全） • Ｍ：Morale （士気） • Ｅ：Environment （環境） •B/S, P/L, C/F とか • 財務諸表的ななにか 2025/10/04 42 特性 要因 ？
43. 生産性(Productivity)を高めたい？ 2025/10/04 43
44. 生産性(Productivity) 2025/10/04 44 生産性カンファレンスの各セションで語られ てた生産性は、オレオレ生産性が多すぎて、 何を何で割った値なのか、よくわからん 割らない生産性を聞いたことがあるにははる その自動車工場で何台の自動車をつくれるか？とか
45. いろんな生産性 2025/10/04 45 生産性＝Output/Input（＝生産量/投入量） 労働生産性＝ (略) 物的労働生産性＝ (略) 価値労働生産性＝ (略) 付加価値労働生産性＝ (略) 資本生産性＝ (略) 全要素生産性＝ (略) 安くつくって、高く売って、うまく儲けるための目安、指標 指標は目標にしちゃだめだよね？生産性は目標として不適切
46. 生産性は目標として不適切 2025/10/04 46 ソフトウェアの生産性に関する集いに、 グッドハートの法則を持ち込むなんて、 生産性そのものの否定？ という話はともかく 安くつくって、高く売って、うまく儲けるための目安、指標 指標は目標にしちゃだめだよね？生産性は目標として不適切
47. ソフトウェアで儲けるための要因はなにか？ 2025/10/04 47
48. ソフトウェアで儲けるための要因はなにか？ 2025/10/04 48 • たくさん売る • 高く売る • 安くつくる どう儲けるかは作戦、たぶん経営者が決める （ビジネスサイド）
49. 2025/10/04 49 顧客のペインポイントの特定 解決策のブレインストーミング 計画立案 コード作成 リリース 設計ドキュメント 作成されたコード プロダクトの機能 顧客行動の変化 この変化によってもたらされる価値 例：収益増加、 解約率低下など
50. 2025/10/04 50 顧客のペインポイントの特定 解決策のブレインストーミング 計画立案 コード作成 リリース 設計ドキュメント 作成されたコード プロダクトの機能 顧客行動の変化 この変化によってもたらされる価値 例：収益増加、 解約率低下など 施策思考
51. 2025/10/04 51 顧客のペインポイントの特定 解決策のブレインストーミング 計画立案 コード作成 リリース 設計ドキュメント 作成されたコード プロダクトの機能 顧客行動の変化 この変化によってもたらされる価値 例：収益増加、 解約率低下など 解約率低下を狙おう （収益低下の主要因）
52. 2025/10/04 52 顧客のペインポイントの特定 解決策のブレインストーミング 計画立案 コード作成 リリース 設計ドキュメント 作成されたコード プロダクトの機能 顧客行動の変化 この変化によってもたらされる価値 例：収益増加、 解約率低下など 解約率低下を狙おう 目的指向
53. 2025/10/04 53 顧客のペインポイントの特定 解決策のブレインストーミング 計画立案 コード作成 リリース 設計ドキュメント 作成されたコード プロダクトの機能 顧客行動の変化 この変化によってもたらされる価値 例：収益増加、 解約率低下など 解約率低下を狙おう ビジネスサイド
54. 2025/10/04 54 顧客のペインポイントの特定 解決策のブレインストーミング 計画立案 コード作成 リリース 設計ドキュメント 作成されたコード プロダクトの機能 顧客行動の変化 この変化によってもたらされる価値 例：収益増加、 解約率低下など 解約率低下を狙おう ビジネスサイド 技術サイド
55. 2025/10/04 55 顧客のペインポイントの特定 解決策のブレインストーミング 計画立案 コード作成 リリース 設計ドキュメント 作成されたコード プロダクトの機能 顧客行動の変化 この変化によってもたらされる価値 例：収益増加、 解約率低下など 解約率低下を狙おう 技術サイド ビジネスサイド
56. 自分たちの特性要因図をつくる 2025/10/04 56 欲しい特性の要因はなにか？
57. 自分たちの特性要因図をつくる 2025/10/04 57 欲しい特性の要因はなにか？ 特性（欲しいこと）を まず決める ⇒目的指向 要因（やること）は 後から決める ⇒施策思考
58. 自分たちの特性要因図をつくる 2025/10/04 58 欲しい特性の要因はなにか？ 特性（欲しいこと）を まず決める ⇒目的指向 要因（やること）は 後から決める ⇒施策思考
59. 自分たちの特性要因図をつくる 2025/10/04 59 解約率を左右する要因はなにか？ ↓ 仮説）不具合の多い少ないで左右される 仮説）提供機能の… 仮説）レスポンスの…
60. レスポンスの… 機能の… 自分たちの特性要因図をつくる 2025/10/04 60 不具合 解約率 特性 要因
61. レスポンスの… 機能の… 自分たちの特性要因図をつくる 2025/10/04 61 不具合 解約率 不具合＝機能正確性 特性 要因 特性 要因
62. レスポンスの… 機能の… 自分たちの特性要因図をつくる 2025/10/04 62 不具合 解約率 不具合＝機能正確性 特性 要因 特性 要因 JaSST’22 Tokyo ソフトウェアテストシンポジウム 2022 東京「アジャイルソフトウェア開発への統計的品質管理の応用」 https://www.jasst.jp/symposium/jasst22tokyo/pdf/C4.pdf
63. レスポンスの… 機能の… 自分たちの特性要因図をつくる 2025/10/04 63 不具合 解約率 不具合＝機能正確性 反復開発の場合、 機能正確性は、解析性、修正性、試験性に左右される。 （という仮説） 特性 要因 特性 要因 JaSST’22 Tokyo ソフトウェアテストシンポジウム 2022 東京「アジャイルソフトウェア開発への統計的品質管理の応用」 https://www.jasst.jp/symposium/jasst22tokyo/pdf/C4.pdf
64. 解析性 修正性 試験性 自分たちの特性要因図をつくる 2025/10/04 64 レスポンスの… 機能の… 不具合 解約率 (読みやすさ) (変更しやすさ) (テストしやすさ) 保守性 特性 要因 特性 要因
65. レスポンスの… 機能の… 解析性 修正性 試験性 自分たちの特性要因図をつくる 2025/10/04 65 不具合 解約率 制御しづらい・観測しやすい 制御しづらい・観測しやすい 制御しづらい・観測しづらい 保守性 特性 要因 特性 要因
66. レスポンスの… 機能の… 代用特性 （L/T, C/T …） 自分たちの特性要因図をつくる 2025/10/04 66 不具合 解約率 制御しづらい・観測しやすい 制御しづらい・観測しやすい 制御しづらい・観測しやすい 保守性 特性 要因 特性 要因
67. レスポンスの… 機能の… 代用特性 （L/T, C/T …） 自分たちの特性要因図をつくる 2025/10/04 67 不具合 解約率 制御しづらい・観測しやすい 制御しづらい・観測しやすい 制御しづらい・観測しやすい 制御しやすいもの（プラクティス）に展開する 保守性 特性 要因 特性 要因
68. WIP CI TDD Pair Small Story レスポンスの… 機能の… 代用特性 （L/T, C/T …） 自分たちの特性要因図をつくる 2025/10/04 68 不具合 解約率 制御しづらい・観測しやすい 制御しづらい・観測しやすい 制御しづらい・観測しやすい 保守性 特性 要因 特性 要因 特性 要因
69. WIP CI TDD Pair Small Story レスポンスの… 機能の… 代用特性 （L/T, C/T …） 自分たちの特性要因図をつくる 2025/10/04 69 不具合 解約率 制御しづらい・観測しやすい 制御しづらい・観測しやすい 制御しづらい・観測しやすい 保守性 制御しやすい・観測しやすい 特性 要因 特性 要因 特性 要因
70. WIP CI TDD Pair Small Story レスポンスの… 機能の… 代用特性 （L/T, C/T …） 自分たちの特性要因図をつくる 2025/10/04 70 不具合 解約率 制御しづらい・観測しやすい 制御しづらい・観測しやすい 制御しづらい・観測しやすい 保守性 制御しやすい・観測しやすい 特性 要因 特性 要因 特性 要因
71. WIP CI TDD Pair Small Story レスポンスの… 機能の… 代用特性 （L/T, C/T …） 自分たちの特性要因図をつくる・試す 2025/10/04 71 不具合 解約率 制御しづらい・観測しやすい 制御しづらい・観測しやすい 制御しづらい・観測しやすい 保守性 制御しやすい・観測しやすい 特性 要因 特性 要因 特性 要因 行果連動性を確認できる？
72. WIP CI TDD Pair Small Story レスポンスの… 機能の… 代用特性 （L/T, C/T …） 自分たちの特性要因図をつくる・試す・直す 2025/10/04 72 不具合 解約率 制御しづらい・観測しやすい 制御しづらい・観測しやすい 制御しづらい・観測しやすい 保守性 制御しやすい・観測しやすい 特性 要因 特性 要因 特性 要因 以下、繰り返し。つくる・試す・直す
73. 段取り 2025/10/04 73 1. 目指すもの欲しいものを決める（目的指向） 2. 要因に展開する（特性要因図） 3. 観測しづらいものは代用特性を利用 4. やればやれるもの制御しやすいものまで展開 5. 行果連動性をみる ・ やればやれるものをやったか？（要因・行動） ・ 欲しいものが手に入ったか？（特性・結果）
74. グッドハートの法則は回避できるか 2025/10/04 74
75. Goodhart‘s law（グッドハートの法則） 2025/10/04 75 "指標は目標になると機能しなくなる" 原文： "When a measure becomes a target, it ceases to be a good measure"
76. 終端で測れ、歪みが最小になる。 2025/10/04 76
77. 始端と終端の行果連動性をみろ 2025/10/04 77
78. WIP CI TDD Pair Small Story レスポンスの… 機能の… 代用特性 （L/T, C/T …） 始端は、やれたかどうか簡単にわかる 2025/10/04 78 不具合 解約率 制御しづらい・観測しやすい 制御しづらい・観測しやすい 制御しづらい・観測しやすい 保守性 制御しやすい・観測しやすい 特性 要因 特性 要因 特性 要因 始端は、やれたかどうか簡単にわかるプラクティス
79. WIP CI TDD Pair Small Story レスポンスの… 機能の… 代用特性 （L/T, C/T …） 反復開発は、行果連動性をみやすい 2025/10/04 79 不具合 解約率 制御しづらい・観測しやすい 制御しづらい・観測しやすい 制御しづらい・観測しやすい 保守性 制御しやすい・観測しやすい 特性 要因 特性 要因 特性 要因 始端と終端の関連、行動と結果の行果連動性をみやすい反復開発
80. グッドハートの法則は回避できるか 2025/10/04 80 始端は、やれたかどうだか簡単にわかるプラクティス 始端と終端の関連、行動と結果の行果連動性をみやすい反復開発 意味のない指標の意味のなさがわかりやすい 回避しやすい ⇒ 自分たちで決定できるプラクティス ⇒ ふつうの反復開発（V字の真ん中だけじゃないやつ）
81. 対策としての提案（AIがまとめてくれてた） ケント・ベックは、この法則を悲観的に捉えるべきだとし、単純な指標に頼るのではなく、次のような アプローチを提案しています。 • 指標を目標にしない： 指標は気づきのために使い、プレッシャーをかけるものではない。 • 目的意識を持たせる： 個人が指標の目的を理解し、数値だけを追い求めないようにする。 • ビジネスインパクトを重視する： 評価は最終的にビジネスへの貢献度で行うようにする。 2025/10/04 81
82. まとめ • 行動（始端）も結果（終端も）みる、行果連動性をみる • 行動（プラクティス）は自分たちでつくる、決める • 目的指向で決める（共通の目標に対する知恵の集積） • 施策思考は知恵の集積が困難 • まずそうな指標を目標に押し付けられた場合は、 役に立たないことを（行果の非連動）を示す 2025/10/04 82
83. 以上、ご清聴ありがとうございました 2025/10/04 83 The future is unknowable, but the past should give us hope Sir Winston Leonard Spencer Churchill