Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ファクトから始める改善アプローチ EP2 〜 Four Keys の先にある アウトカムに向き...

ファクトから始める改善アプローチ EP2 〜 Four Keys の先にある アウトカムに向き合ってみた 〜 / DevOpsDaysTokyo-2023

2023年4月18日より開催された「DevOpsDaysTokyo2023」の登壇資料です。
https://www.devopsdaystokyo.org/

▼関連資料
ファクトから始める改善アプローチ 〜「LeanとDevOpsの科学」を実践して〜
https://speakerdeck.com/takabow/devopsdays-tokyo2022-huakutokarashi-merugai-shan-apuroti-leantodevopsfalseke-xue-woshi-jian-site

「エセ自己組織化」症候群から脱却し、約束を守るプロフェッショナルなアジャイルチームになるには -アジャイル時代のマネジメント進化論-
https://speakerdeck.com/visional_engineering_and_design/number-rsgt2023

-----
Visionalのエンジニアリングに関する最新情報はTwitter、ブログで発信しています!📣

▼Visional Engineering Blog
https://engineering.visional.inc/blog/

▼VISIONAL ENGINEERING Twitter
https://twitter.com/VISIONAL_ENG

More Decks by Visional Engineering & Design

Other Decks in Technology

Transcript

  1. 会社概要 株式会社ビズリーチ / BizReach, Inc. 創業 :2009年4⽉ 代表者 :株式会社ビズリーチ 代表取締役社⻑

    酒井 哲也 グループ従業員数:1,821名(2022年7⽉末時点) 拠点 :東京、⼤阪、名古屋、福岡、静岡、広島 資本⾦ :1億3,000万円 事業内容:HR Techのプラットフォーム・SaaS事業
  2. 11 これまでの取り組み ファクトから始める改善アプローチ 〜「LeanとDevOpsの科学」を実践して〜 「Four Keys」と「ケイパビリ ティ」計測の進め⽅や課題 「エセ⾃⼰組織化」症候群から脱却し、約束を守るプロフェッショナルなア ジャイルチームになるには-アジャイル時代のマネジメント進化論- ファクトをベースに判断を助け、

    改善活動を進めるSODA構想 (Software Outcome Delivery Architecture) アウトカムの定義と収集の試み 2022 2023 ファクトから始める改善アプローチ EP2 〜 Four Keys の先にあるアウトカムに向き合ってみた 〜 4⽉ DevOpsDaysTokyo 2022 1⽉ Regional Scrum Gathering Tokyo 2023 4⽉ DevOpsDaysTokyo 2023 今回の発表
  3. アウトカム計測の意義②:数値を元に議論できるようになる Problem(問題) Solution(解決策) Fact(事実) Opinion(意⾒) 設計 デプロイ 仮説を 実装する 仮説を

    動かす 結果を 検証する 仮説 対策の仮説 を⽴てる 計測 (参考) https://slide.meguro.ryuzee.com/slides/78 吉⽻⿓太郎さん「カイゼンの基本」の図を変更 仮説を⽴てるには、 計測データを検証する 必要がある。 48
  4. アウトカム計測の意義②:数値を元に議論できるようになる Problem(問題) Solution(解決策) Fact(事実) Opinion(意⾒) 仮説を 実装する 仮説を 動かす 結果を

    検証する 対策の仮説 を⽴てる (参考) https://slide.meguro.ryuzee.com/slides/78 吉⽻⿓太郎さん「カイゼンの基本」の図を変更 仮説を⽴てるには、 計測データを検証する 必要がある。 49 設計 デプロイ 仮説 計測
  5. アウトカム計測の意義②:数値を元に議論できるようになる Problem(問題) Solution(解決策) Fact(事実) Opinion(意⾒) 仮説を 実装する 仮説を 動かす 結果を

    検証する 対策の仮説 を⽴てる (参考) https://slide.meguro.ryuzee.com/slides/78 吉⽻⿓太郎さん「カイゼンの基本」の図を変更 仮説を⽴てるには、 計測データを検証する 必要がある。 50 設計 デプロイ 仮説 計測
  6. アウトカム計測の意義②:数値を元に議論できるようになる Problem(問題) Solution(解決策) Fact(事実) Opinion(意⾒) 仮説を 実装する 仮説を 動かす 結果を

    検証する 対策の仮説 を⽴てる (参考) https://slide.meguro.ryuzee.com/slides/78 吉⽻⿓太郎さん「カイゼンの基本」の図を変更 仮説を⽴てるには、 計測データを検証する 必要がある。 51 設計 デプロイ 仮説 計測
  7. 53 アウトカム計測の意義②:数値を元に議論できるようになる 実際に⽣み出された成果(アウトカム)ではなく、 機能の開発とリリースに集中してしまっている状態をビルドトラップ※と⾔う 誰も プロダクト を使わない ⾜りない 機能を作る 顧客に⾜り

    ない機能を 聞く ※「プロダクトマネジメント ビルドトラップを避け顧客に価値を届ける」Melissa Perri著、吉⽻⿓太郎訳 P31 プロダクトの死のサイクル(デイビッド・ブランド)
  8. 54 アウトカム計測の意義②:数値を元に議論できるようになる 職種を超えて様々な⼈がアウトカム指標を活⽤することで、 ビルドトラップに陥っていないかいち早く検知することができる 誰も プロダクト を使わない ⾜りない 機能を作る 顧客に⾜り

    ない機能を 聞く ※「プロダクトマネジメント ビルドトラップを避け顧客に価値を届ける」Melissa Perri著、吉⽻⿓太郎訳 P31 プロダクトの死のサイクル(デイビッド・ブランド)
  9. 64 4つの重要価値領域 EBM (エビデンスベースドマネジメント)では組織的な能⼒と市場価値について 4つの重要価値領域を定義している 市場価値 現在の価値 CV: Current Value

    未実現の価値 UV: Unrealized Value 組織的な能⼒ イノベーショ ンの能⼒ (効果性) A2I: Ability to Innovate 市場に出すま での時間 (反応性) T2M: Time to Market
  10. 65 4つの重要価値領域 EBM (エビデンスベースドマネジメント)を活⽤し、 ⾃分たちはどこの領域を計測しているか・計測していないかを認識する 市場価値 現在の価値 CV: Current Value

    未実現の価値 UV: Unrealized Value 組織的な能⼒ イノベーショ ンの能⼒ (効果性) A2I: Ability to Innovate 市場に出すま での時間 (反応性) T2M: Time to Market
  11. 67 組織的な能⼒と市場価値 今回は市場価値に着⽬し計測を⾏なっていく 組織的な能⼒(⼀例) デプロイ 頻度 インシデ ント数 変更リー ドタイム

    変更 失敗率 サイクル タイム 技術的 負債 ビルド 時間 平均サー ビス回復 時間 ?? ?? 市場価値
  12. 69 詳しい⼈に話を聞きにいく •『⼊⾨ 監視』ではビジネスKPIの可視化のために、関係者(詳しい⼈)に話を聞き に⾏くことが必要だと述べている •アウトカム指標を⾒つけるために、詳しい⼈(プロダクトマネージャー)にインタ ビューを実施することにした (参考)⼊⾨ 監視 ―モダンなモニタリングのためのデザインパターン

    Mike Julian (著), 松浦 隼⼈ (翻訳) オライリージャパン 2019/1/17 P73 “どのようにアプリケーションが動いていて、何を計測するのが 重要かを理解できるよう、間違いない⽅法を教えます。 それは、⼈と話すことです。 (中略) では誰に話しかけたらよいのでしょうか。 まず話すべきはプロダクトマネージャーです。”
  13. 81 ①アウトカムマップの作成 アウトカム同⼠の関連性を⾒つけ可視化を⾏なっていく アウト カムA アウト カムB アウト カムC アウト

    カムD アウト カムE アウト カムF アウト カムG アウト カムH アウト カムI アウト カムJ アウト カムK アウト カムL
  14. 82 ①アウトカムマップの作成 アウトカム同⼠の関連性を⾒つけ可視化を⾏なっていく アウト カムA アウト カムB アウト カムC アウト

    カムI アウト カムD アウト カムE アウト カムJ アウト カムF アウト カムG アウト カムH アウト カムK
  15. 87 ①アウトカムマップの作成 アウトカム指標の中には、トレードオフな関係も存在する (必ずしもツリー構造になるとは限らない) レジュメの 登録時間 ⽉間登録 ユーザー数 求職者と企業の マッチング率

    レジュメ充⾜率 求職者検索 ヒット数 2つの指標は トレードオフ アウトカム指標④ アウトカム指標① アウトカム指標② アウトカム指標③ アウトカム指標⑤
  16. 94 ③指標同⼠の相関関係の発⾒ 企業 事業 サービス プロダクト プロジェクト 開発チーム プロダクト開発を起点とした時の縦の繋がり。 各ブロックが複数指標を保有。

    さらに各ブロックの指標やアウトカムが下層から上層 へ影響を及ぼすと考えられる。 縦の繋がり 今はこの辺りに注⼒して活動
  17. 95 ③指標同⼠の相関関係の発⾒ 企業 事業 サービス プロダクト プロジェクト 開発チーム 営業 マーケティング

    顧客が認識している「サービス」に 影響を及ぼす範囲から 顧客が認識している「サービス」を 起点とした時の横の繋がり。 横の繋がり
  18. 96 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標

    利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係(サービス以下)
  19. 97 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標

    利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係(サービス以下) kyu 企業 求職者 求職者を検索 メッセージ マッチング 広告 CRM
  20. 98 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標

    利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係(サービス以下)
  21. 99 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標

    利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係(サービス以下)
  22. 100 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標

    利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係(サービス以下)
  23. 101 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標

    利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係(サービス以下)
  24. 102 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標

    利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係(サービス以下)
  25. 103 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標

    利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係(サービス以下) アウトカム指標 市場占有率 顧客満⾜度
  26. 104 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標

    利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係(サービス以下) アウトカム指標 市場占有率 顧客満⾜度 契約企業数
  27. 105 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標

    利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係(サービス以下) アウトカム指標 市場占有率 顧客満⾜度 契約企業数 デリバリーの変更率
  28. 106 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標

    利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係(サービス以下) アウトカム指標 市場占有率 顧客満⾜度 契約企業数 デリバリーの変更率 オンプロダクト指標 マイルストーン達成率 (プロダクト価値に費やした⼯数割合)
  29. 107 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標

    利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係(サービス以下) アウトカム指標 市場占有率 顧客満⾜度 契約企業数 デリバリーの変更率 開発チーム組成 オンプロダクト指標 マイルストーン達成率 (プロダクト価値に費やした⼯数割合)
  30. 108 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標

    利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係(サービス以下) アウトカム指標 市場占有率 顧客満⾜度 契約企業数 デリバリーの変更率 開発チーム組成 オンプロダクト指標 マイルストーン達成率 もしプロダクト開発指標が 可視化されていない・ブラックボックス だったら打ち⼿が間違ってる可能性がある かもしれない。
  31. 109

  32. 112 EBMの重要価値指標の例 KVM Measuring 従業員1⼈あたりの収益 この⽐率(総収益 / 従業員数)は業界内の主要な競争 指標である。業界によって⼤きく異なる。 プロダクトコスト⽐率

    計測対象のプロダクトやシステムにかかる総費⽤およ びコスト。運⽤コストも含まれる。 従業員満⾜度 従業員のエンゲージメント、エネルギー、熱意を計測 するのに役⽴つ感情分析の⼀種。 顧客満⾜度 プロダクトに 対する顧客のエンゲージメ ントと幸福度を計測す プロダクトに対する顧客のエンゲージメントと幸福度 を計測するのに役⽴つ感情分析の⼀種。 顧客使⽤指標 機能別の利⽤状況を計測して、顧客がプロダクトをど の程度有益だと思っているかを推測する。また、機能 にかける実際の使⽤時間が、期待と⼀致しているかを 確認する。 現在の価値(CV) 未実現の価値(UV) KVM Measuring 市場占有率 プロダクトが市場を占める相対的な割合。顧客 のニーズをよりよく満たした場合、そのプロダ クトが達成できるであろう潜在的な市場シェア。 顧客(ユーザー)満⾜度ギャップ 顧客またはユーザーが望む体験と実際の体験の 格差。 望ましい顧客体験または満⾜度 顧客が望んでいる体験を⽰す指標。 KVM Measuring ビルドと統合の頻度 単位時間あたりのビルド(統合されてテストされたもの)の回数。 頻繁にあるいは継続的にリリースしているチームであれば、実際のリ リース回数を計測する。 リリースの頻度 単位時間あたり(継続的、⽇次、週次、⽉次、四半期ごとなど)のリ リース回数。これは、新規的で競争⼒のあるプロダクトにおいて、顧 客を満⾜させるために必要な時間を評価するのに役⽴つ。 リリースの安定期間 開発者がリリースの準備ができたと⾔ったときから、プロダクトの問 題を修正して、実際に顧客にリリースされるまでにかかった時間。こ れは、貧弱な開発プラクティス、その基盤となる設計やコードベース の影響を表すのに役⽴つ。 平均修復時間 エラーが発⾒されてから修正されるまでの平均時間。これは、組織が エラーを修正するときの効率性を明らかにする。 顧客サイクルタイム リリース作業に着⼿してから実際にリリースするまでの時間。組織が 顧客にリーチするための能⼒を計測するのに役⽴つ。 リードタイム アイデアが提案されて仮説が形成されてから、顧客がそのアイデアを 享受できるようになるまでの時間。顧客やプロダクトによって、この 指標は⼤きく異なる。顧客満⾜度の要因でもある。 変更のリードタイム コードがコミットされてから本番環境で正常に実⾏されるまでの時間。 Four Keysのひとつ。 デプロイ頻度 組織がプロダクトの新規バージョンを顧客またはユーザーにデプロイ (またはリリース)する回数。Four Keysのひとつ。 サービス復元時間 サービスの停⽌が開始されてからサービスの可⽤性が完全に回復する までの時間。Four Keysのひとつ。 学習時間 アイデアや改善をスケッチして、構築して、ユーザーに提供して、そ の利⽤を学習するまでにかかる時間。 障害物除去時間 障害物が発⽣してから解決さるまでの平均時間。リードタイムや従業 員満⾜度の要因でもある。 ピボットまでの時間 真のビジネスアジリティの指標で、組織がフィードバックや新しい情 報を得てから、そのフィードバックに対応するまでの経過時間を表す。 例えば、競合他社が新たな市場獲得のための機能を提供したことを 知ってから、組織が顧客体験を計測できるほどに改善する新機能ある いはそれを超える機能を提供したりするまでの時間。 市場に出すまでの時間(T2M) KVM Measuring イノベーション率 新しいプロダクトの機能に費やした労⼒やコストを、すべてのプロダ クトに費やした労⼒やコストで割ったもの。新しいプロダクトの機能 を提供する組織のキャパシティについてのインサイトが 得られる。 ⽋陥のトレンド 前回の計測から⽋陥の変化を計測したもの。⽋陥とは、顧客、ユー ザー、組織にとってのプロダクトの価値を低下させるものである。⼀ 般的には、意図したとおりに動作しないことを指す。 オンプロダクト指標 チームがプロダクトと価値に費やす時間の割合。 インストールされた バージョンの指標 現在サポートしているプロダクトのバージョン数。これは、組織が古 いバージョンのサポートや保守にかけている労⼒を表している。 技術的負債 プログラミングにおける概念であり、「クイック・アンド・ダー ティ」なソリューションをあとで修正することになったときに発⽣す る。追加の開発やテストの作業を表したもの。価値の提供に 望ましくない影響を与え、回避可能な無駄とリスクの増加を⽣み出す。 本番環境のインシデ ントの数 インストールされたプロダクトの問題を修正するために開発チームが 特定の期間中断された回数。本番環境でのインシデントの回数は、本 番環境の安定性を⽰すのに役⽴つ。 プロダクト(コー ド)のアクティブな ブランチ数 プロダクトやサービスの異なるバージョン(または種類)の数。変更 による潜在的な影響とそれに伴う作業の複雑さについてのインサイト が得られる。 ブランチ間でコード をマージする時間 プロダクトやサービスの異なるバーション間で変更を適⽤するために 費やした時間。変更による潜在的な影響とそれに伴う作業の複雑さに ついてのインサイトが得られる。 コンテキストスイッ チにかかる時間 例えば、ミーティングや電話による中断された時間、タスクの切り替 えに費やした時間、チームメンバーがチーム外の⼈を助けるために中 断された時間がある。問題の規模を把握するのに役⽴ つ。 変更失敗率 リリースされたプロダクトのうち、サービスが低下し、修正を⾏う必 要が⽣じた割合(例: ホットフィックス、ロールバック、パッチ)。 Four Keysのひとつ。 イノベーションの能⼒(A2I) (参考) Scrum.org ⻑沢智治、⾓征典(翻訳)“Evidence-Based Management Guide” 2020-9 p.13-P.16 https://www.scrum.org/resources/evidence-based-management-guide (参照2023-1-10)
  33. 113 EBMの重要価値指標の例 KVM Measuring 従業員1⼈あたりの収益 この⽐率(総収益 / 従業員数)は業界内の主要な競争 指標である。業界によって⼤きく異なる。 プロダクトコスト⽐率

    計測対象のプロダクトやシステムにかかる総費⽤およ びコスト。運⽤コストも含まれる。 従業員満⾜度 従業員のエンゲージメント、エネルギー、熱意を計測 するのに役⽴つ感情分析の⼀種。 顧客満⾜度 プロダクトに 対する顧客のエンゲージメ ントと幸福度を計測す プロダクトに対する顧客のエンゲージメントと幸福度 を計測するのに役⽴つ感情分析の⼀種。 顧客使⽤指標 機能別の利⽤状況を計測して、顧客がプロダクトをど の程度有益だと思っているかを推測する。また、機能 にかける実際の使⽤時間が、期待と⼀致しているかを 確認する。 現在の価値(CV) 未実現の価値(UV) KVM Measuring 市場占有率 プロダクトが市場を占める相対的な割合。顧客 のニーズをよりよく満たした場合、そのプロダ クトが達成できるであろう潜在的な市場シェア。 顧客(ユーザー)満⾜度ギャップ 顧客またはユーザーが望む体験と実際の体験の 格差。 望ましい顧客体験または満⾜度 顧客が望んでいる体験を⽰す指標。 KVM Measuring ビルドと統合の頻度 単位時間あたりのビルド(統合されてテストされたもの)の回数。 頻繁にあるいは継続的にリリースしているチームであれば、実際のリ リース回数を計測する。 リリースの頻度 単位時間あたり(継続的、⽇次、週次、⽉次、四半期ごとなど)のリ リース回数。これは、新規的で競争⼒のあるプロダクトにおいて、顧 客を満⾜させるために必要な時間を評価するのに役⽴つ。 リリースの安定期間 開発者がリリースの準備ができたと⾔ったときから、プロダクトの問 題を修正して、実際に顧客にリリースされるまでにかかった時間。こ れは、貧弱な開発プラクティス、その基盤となる設計やコードベース の影響を表すのに役⽴つ。 平均修復時間 エラーが発⾒されてから修正されるまでの平均時間。これは、組織が エラーを修正するときの効率性を明らかにする。 顧客サイクルタイム リリース作業に着⼿してから実際にリリースするまでの時間。組織が 顧客にリーチするための能⼒を計測するのに役⽴つ。 リードタイム アイデアが提案されて仮説が形成されてから、顧客がそのアイデアを 享受できるようになるまでの時間。顧客やプロダクトによって、この 指標は⼤きく異なる。顧客満⾜度の要因でもある。 変更のリードタイム コードがコミットされてから本番環境で正常に実⾏されるまでの時間。 Four Keysのひとつ。 デプロイ頻度 組織がプロダクトの新規バージョンを顧客またはユーザーにデプロイ (またはリリース)する回数。Four Keysのひとつ。 サービス復元時間 サービスの停⽌が開始されてからサービスの可⽤性が完全に回復する までの時間。Four Keysのひとつ。 学習時間 アイデアや改善をスケッチして、構築して、ユーザーに提供して、そ の利⽤を学習するまでにかかる時間。 障害物除去時間 障害物が発⽣してから解決さるまでの平均時間。リードタイムや従業 員満⾜度の要因でもある。 ピボットまでの時間 真のビジネスアジリティの指標で、組織がフィードバックや新しい情 報を得てから、そのフィードバックに対応するまでの経過時間を表す。 例えば、競合他社が新たな市場獲得のための機能を提供したことを 知ってから、組織が顧客体験を計測できるほどに改善する新機能ある いはそれを超える機能を提供したりするまでの時間。 市場に出すまでの時間(T2M) KVM Measuring イノベーション率 新しいプロダクトの機能に費やした労⼒やコストを、すべてのプロダ クトに費やした労⼒やコストで割ったもの。新しいプロダクトの機能 を提供する組織のキャパシティについてのインサイトが 得られる。 ⽋陥のトレンド 前回の計測から⽋陥の変化を計測したもの。⽋陥とは、顧客、ユー ザー、組織にとってのプロダクトの価値を低下させるものである。⼀ 般的には、意図したとおりに動作しないことを指す。 オンプロダクト指標 チームがプロダクトと価値に費やす時間の割合。 インストールされた バージョンの指標 現在サポートしているプロダクトのバージョン数。これは、組織が古 いバージョンのサポートや保守にかけている労⼒を表している。 技術的負債 プログラミングにおける概念であり、「クイック・アンド・ダー ティ」なソリューションをあとで修正することになったときに発⽣す る。追加の開発やテストの作業を表したもの。価値の提供に 望ましくない影響を与え、回避可能な無駄とリスクの増加を⽣み出す。 本番環境のインシデ ントの数 インストールされたプロダクトの問題を修正するために開発チームが 特定の期間中断された回数。本番環境でのインシデントの回数は、本 番環境の安定性を⽰すのに役⽴つ。 プロダクト(コー ド)のアクティブな ブランチ数 プロダクトやサービスの異なるバージョン(または種類)の数。変更 による潜在的な影響とそれに伴う作業の複雑さについてのインサイト が得られる。 ブランチ間でコード をマージする時間 プロダクトやサービスの異なるバーション間で変更を適⽤するために 費やした時間。変更による潜在的な影響とそれに伴う作業の複雑さに ついてのインサイトが得られる。 コンテキストスイッ チにかかる時間 例えば、ミーティングや電話による中断された時間、タスクの切り替 えに費やした時間、チームメンバーがチーム外の⼈を助けるために中 断された時間がある。問題の規模を把握するのに役⽴ つ。 変更失敗率 リリースされたプロダクトのうち、サービスが低下し、修正を⾏う必 要が⽣じた割合(例: ホットフィックス、ロールバック、パッチ)。 Four Keysのひとつ。 イノベーションの能⼒(A2I) (参考) Scrum.org ⻑沢智治、⾓征典(翻訳)“Evidence-Based Management Guide” 2020-9 p.13-P.16 https://www.scrum.org/resources/evidence-based-management-guide (参照2023-1-10)
  34. 114 EBMで定義されている4つの重要価値領域 市場に出すまでの時間(反応性) (T2M: Time to Market) 新しい能⼒、サービス、製品を迅速 に提供する能⼒ イノベーションの能⼒(効果性)

    (A2I: Ability to Innovate) 顧客やユーザーのニーズにより良く 応えられるような新しい能⼒を提供 する能⼒ 現在の価値 (CV: Current Value) 現在、顧客やユーザーに提供された 価値 未実現の価値 (UV: Unrealized Value) 顧客やユーザーの潜在的なニーズを すべて満たすことによって実現し うる価値 組 織 的 な 能 ⼒ 市 場 価 値
  35. 115 EBMで定義されている4つの重要価値領域 市場に出すまでの時間(反応性) (T2M: Time to Market) 新しい能⼒、サービス、製品を迅速 に提供する能⼒ イノベーションの能⼒(効果性)

    (A2I: Ability to Innovate) 顧客やユーザーのニーズにより良く 応えられるような新しい能⼒を提供 する能⼒ 現在の価値 (CV: Current Value) 現在、顧客やユーザーに提供された 価値 未実現の価値 (UV: Unrealized Value) 顧客やユーザーの潜在的なニーズを すべて満たすことによって実現し うる価値 組 織 的 な 能 ⼒ 市 場 価 値 4つの価値領域は それぞれ関係しあっている
  36. 116 EBMで定義されている4つの重要価値領域 市場に出すまでの時間(反応性) (T2M: Time to Market) 新しい能⼒、サービス、製品を迅速 に提供する能⼒ イノベーションの能⼒(効果性)

    (A2I: Ability to Innovate) 顧客やユーザーのニーズにより良く 応えられるような新しい能⼒を提供 する能⼒ 現在の価値 (CV: Current Value) 現在、顧客やユーザーに提供された 価値 未実現の価値 (UV: Unrealized Value) 顧客やユーザーの潜在的なニーズを すべて満たすことによって実現し うる価値 組 織 的 な 能 ⼒ 市 場 価 値 • CVが低い=投資価値あり • CVが⾼い&市場独占=投資価値なし =放っても儲かる(⾦のなる⽊)
  37. 117 EBMで定義されている4つの重要価値領域 市場に出すまでの時間(反応性) (T2M: Time to Market) 新しい能⼒、サービス、製品を迅速 に提供する能⼒ イノベーションの能⼒(効果性)

    (A2I: Ability to Innovate) 顧客やユーザーのニーズにより良く 応えられるような新しい能⼒を提供 する能⼒ 現在の価値 (CV: Current Value) 現在、顧客やユーザーに提供された 価値 未実現の価値 (UV: Unrealized Value) 顧客やユーザーの潜在的なニーズを すべて満たすことによって実現し うる価値 組 織 的 な 能 ⼒ 市 場 価 値 • A2Iが低い=顧客の要望に応えるのが 遅い • T2Mが低い=実験スピードが遅いの でライバルに出し抜かれる可能性あり
  38. 118 EBMで定義されている4つの重要価値領域 市場に出すまでの時間(反応性) (T2M: Time to Market) 新しい能⼒、サービス、製品を迅速 に提供する能⼒ イノベーションの能⼒(効果性)

    (A2I: Ability to Innovate) 顧客やユーザーのニーズにより良く 応えられるような新しい能⼒を提供 する能⼒ 現在の価値 (CV: Current Value) 現在、顧客やユーザーに提供された 価値 未実現の価値 (UV: Unrealized Value) 顧客やユーザーの潜在的なニーズを すべて満たすことによって実現し うる価値 組 織 的 な 能 ⼒ 市 場 価 値 CV が低い&T2Mが下がっている= 実験スピードが遅いことが提供価値を 下げている可能性あり
  39. 119 EBMで定義されている4つの重要価値領域 市場に出すまでの時間(反応性) (T2M: Time to Market) 新しい能⼒、サービス、製品を迅速 に提供する能⼒ イノベーションの能⼒(効果性)

    (A2I: Ability to Innovate) 顧客やユーザーのニーズにより良く 応えられるような新しい能⼒を提供 する能⼒ 現在の価値 (CV: Current Value) 現在、顧客やユーザーに提供された 価値 未実現の価値 (UV: Unrealized Value) 顧客やユーザーの潜在的なニーズを すべて満たすことによって実現し うる価値 組 織 的 な 能 ⼒ 市 場 価 値 UVとCVにまだまだギャップがある= 現在の体験と顧客の期待とに差がある