Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
The Metrics Key_ Connecting Product, System, Team
Search
Masato Ishigaki / 石垣雅人
July 13, 2023
4
4.5k
The Metrics Key_ Connecting Product, System, Team
2023/07/13 開発生産性Conference 2023
https://dev-productivity-con.findy-code.io
Masato Ishigaki / 石垣雅人
July 13, 2023
Tweet
Share
More Decks by Masato Ishigaki / 石垣雅人
See All by Masato Ishigaki / 石垣雅人
【5分】始める前に失敗する ── fail fast(早く失敗)ではなくfail before(事前検死) ──
i35_267
1
31
技術負債による事業の失敗はなぜ起こるのか / Why do business failures due to technical debt occur?
i35_267
4
1.9k
「開発生産性を上げる改善」って儲かるの?に答えられるようにする / Is development productivity profitable?
i35_267
26
19k
「開発生産性」はエンジニア”だけ” のモノではなくなった? / "Development productivity" is no longer just for engineers?
i35_267
8
2.6k
開発生産性の現在地点~エンジニアリングが及ぼす多角的視点 / Current status of development productivity
i35_267
68
25k
開発生産性の低下による、事業の失敗はなぜ起こるのか / ProductivityPitfalls
i35_267
6
1.5k
開発生産性の多角的接点〜1,000名のクリエイター組織 × 開発生産性〜 / Multifaceted touchpoints of development productivity
i35_267
5
1.5k
内製化で強化させる、事業のスケーラビリティーとエンジニアの成長戦略 / insourcing
i35_267
2
370
見積もりをしない。
i35_267
4
1.2k
Featured
See All Featured
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
Rails Girls Zürich Keynote
gr2m
94
13k
Unsuck your backbone
ammeep
669
57k
Side Projects
sachag
452
42k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
159
15k
Become a Pro
speakerdeck
PRO
25
5k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
191
16k
Fireside Chat
paigeccino
34
3.1k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
17
2.2k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
48k
YesSQL, Process and Tooling at Scale
rocio
169
14k
Bash Introduction
62gerente
608
210k
Transcript
The Metrics Key Connecting Product, System, Team 1 Masato Ishigaki
July 13, 2023
2 About me 石垣 雅人 合同会社 DMM.com プラットフォーム事業本部 部長 /
VPoE室 / アルファ室 ・領域 : 事業戦略・予算管理・ PdM・PM・EM ・著 : 『DMMを支えるデータ駆動戦略』(マイナビ出版 ,2020) ・連載 : 『スモールチームが武器になる時代へ』( ProductZine) ・連載 : 『群知能から紐解く、スケールする “組織“の作り方』(NewsPicks) @i35_267 @i35_267 @i35_267
None
None
None
6 - 開発現場の現状 - 可観測性と再現性 - 4階層のMetrics Outline
7 - 開発現場の現状 - 可観測性と再現性 - 4階層のMetrics Outline
引用 : 企業IT動向調査報告書 図表 7-3-1 プロジェクト規模別・年度別 システム開発の工期遵守状況 (https://juas.or.jp/cms/media/2022/04/JUAS_IT2022.pdf) 8 開発現場の現状
「工期」「予算」「品質」の3つのカテゴリーで分け、 プロジェクト規模を「100人月未満」「100〜500 人月未満」「500人月以上」で分類したデータ 工数 : 34.4% 予算 : 37.0% 品質 : 23.0% 3つの割合の平均 = 31%前後になります。何かしらの原因で満足いかない可能性が 約69% さらに、工数・予算・品質のすべてが予定通りに終わる確率は、工期( 34.4%)× 予算(37.0%)× 品質(23.0%)で 約3%
9 引用 : 企業IT動向調査報告書 図表 7-3-4 予定どおりにならなかった要因(複数回 答)(https://juas.or.jp/cms/media/2022/04/JUAS_IT2022.pdf) [仮説推論] 計測と学習が足りていない
何度も、同じ失敗をしている 原因は、計画・仕様・システムの不確実性
10 “ 「不確実性が高い」という言葉を 計画, 計測, 学習を適切に行っていない言い訳にしない”
11 じゃあ、どうやって戦っていくか =「可観測性」と「再現性」を作っていく
12 - 開発現場の現状 - 可観測性と再現性 - 4階層のMetrics Outline
- “ DX ” の効用は可観測性が上がり、対象物が観測可能になること - すべての活動がデジタルによると「データ」として出力される - サービスの振る舞いがデータとして記録され、ログデータとしてプロットできる -
つまり、観測ができるようになる - 事業数値から、プロダクトの振る舞い、システムの稼働率、チームの戦闘力まで観測可能にしていく 13 “ 可観測性 “を上げる 入力 input 出力 output フィードバック feedback 事業モデル 構造 補足 : サイバネティクスの「開放システム」 一般システム理論
- 予測を作り、実行し、観測し、学習する。再現性を作る。 - データとして出力されると観測と分析ができる - 観測がデータできると傾向が見えるので、予測モデルが作れるようになる - 開発プロジェクトごとに学習ができる - 学習ができると、再現性が作れる
14 “ 再現性 “を上げる 予測 実行 観測 学習
Metrics 4. チームの戦闘力 (生産性) 2. プロダクトの戦闘力 (魅力) 1. 事業の戦闘力 (価値)
3. システムの戦闘力 (装置) 総工数(Ex.120人月) - 有効稼働率 - リードタイム - ,etc… 価値 - 売上(P/L) - 競争優位性(シェア率) - KGI / KPI モノとしての魅力 - UIの心地よさ(離脱率) - UXの体験の良さ - 機能の優位性 - VOCデータ - ,etc.. システム - SLO / SLI(稼働率) - レイテンシー - Crash Free Rate - ,etc… 同期と連動 Log 15
16 - 開発現場の現状 - 可観測性と再現性 - 4階層のMetrics Outline
Metrics 4. チームの戦闘力 (生産性) 2. プロダクトの戦闘力 (魅力) 1. 事業の戦闘力 (価値)
3. システムの戦闘力 (装置) 総工数(Ex.120人月) - 有効稼働率 - リードタイム - ,etc… 価値 - 売上(P/L) - 競争優位性(シェア率) - KGI / KPI モノとしての魅力 - UIの心地よさ(離脱率) - UXの体験の良さ - 機能の優位性 - VOCデータ - ,etc.. システム - SLO / SLI(稼働率) - レイテンシー - Crash Free Rate - ,etc… 17 Log
開発チームから見た 開発生産性 経営層から見た 開発生産性 ・コストマネジメント └ エンジニア組織への投資額 └ 給与水準の高騰と採用 └
事業PLの人件費率,etc.. ・どれだけ早くリリースするか └ 自動化 └ デプロイ回数 └ トランクベース開発の導入 ,etc.. Metrics
19 チームの戦闘力 1. コードベースでの開発リードタイム 2. 開発 / 非開発を区分した有効稼働率レポート 3. 工数・費用を考慮した、工数・ソフトウェア仮勘定レポート
20 チームの戦闘力 1. コードベースでの開発リードタイム コードを書く → レビュー → Approve →
CI → マージ 1. ソースコードのホスティングサービスベースでの可視化 2. 機能開発だけにフォーカスした数値 GitHub → Findy Team+
21 チームの戦闘力 2. 開発 / 非開発を区分した有効稼働率レポート ・勤怠管理ツールと連動して、プロジェクトコードベースでの工数管理 ・新規開発・保守運用・非開発の比率を表したレポート 勤怠管理 →
BigQuery → Looker
22 チームの戦闘力 3. 工数・費用を考慮した、工数・ソフトウェア仮勘定レポート ・部署ごとの工数・工期・費用のレポート ・対象部署がどういった成果物をどのくらいの金額感で出したか ・プロジェクトの規模感、属性によっての差分がログとして残る ・過去プロジェクトのログから工数見積もりや注意点回避 BPM →
BigQuery → Looker プロジェクトA
23 チームの戦闘力 レポート データ加工 → ビジュアライズ 誰向け 開発リードタイム GitHub →
Findy Team + 現場 有効稼働率レポート 勤怠管理ツール → BigQuery → Looker 現場・マネージャー 工数・ソフトウェア仮勘定 レポート BPMシステム→ BigQuery → Looker 管理監督者
24 - チームや組織ごとにサイロ化せずに中央集権型にしてログに残す - チーム横断で学習と予測に使う チームの戦闘力
Metrics 4. チームの戦闘力 (生産性) 2. プロダクトの戦闘力 (魅力) 1. 事業の戦闘力 (価値)
3. システムの戦闘力 (装置) 総工数(Ex.120人月) - 有効稼働率 - リードタイム - ,etc… 価値 - 売上(P/L) - 競争優位性(シェア率) - KGI / KPI モノとしての魅力 - UIの心地よさ(離脱率) - UXの体験の良さ - 機能の優位性 - VOCデータ - ,etc.. システム - SLO / SLI(稼働率) - レイテンシー - Crash Free Rate - ,etc… 25 Log
26 システムの戦闘力 アプリケーションなどのログベース
27 プロダクトの戦闘力 プロダクトのトラッキングベースでのログデータ・ユーザー声( VOC)からユーザー体験をプロット
28 どんな戦略・戦術で攻めていくか 損益計算書(PL) ブレークダウン 事業の戦闘力 KPIマネジメント 売上 コスト 利益 PL
→ KPIマネジメントまで分解し、向かう方向性を作る
Metrics 4. チームの戦闘力 (生産性) 2. プロダクトの戦闘力 (魅力) 1. 事業の戦闘力 (価値)
3. システムの戦闘力 (装置) 総工数(Ex.120人月) - 有効稼働率 - リードタイム - ,etc… 価値 - 売上(P/L) - 競争優位性(シェア率) - KGI / KPI モノとしての魅力 - UIの心地よさ(離脱率) - UXの体験の良さ - 機能の優位性 - VOCデータ - ,etc.. システム - SLO / SLI(稼働率) - レイテンシー - Crash Free Rate - ,etc… 同期と連動 Log / Metrics / Trace 29
30 - 開発現場の現状 - 計測と学習を行っていないがために失敗するケースが多い - 可観測性と再現性 - 観測可能にすること。そこから予測を作ることが再現性を作る -
4階層のMetrics - チーム戦闘力→システム→プロダクト→事業の戦闘力を全て繋げる Outline