Four Keysだけじゃ足りなくない？ 〜俺たちだけのFour Keysを探して〜

https://dev-productivity-con.findy-code.io/2024

Transcript

1. 2024/06/29 開発生産性Conference 2024 Four Keysだけじゃ足りなくない？ 〜俺たちだけのFour Keysを探して〜 @rinchsan
2. Four Keys 知ってる人 󰢨
3. Four Keys を会社で使ってる人 󰢨
4. Four Keys 便利だな〜と思う人 󰢨
5. Four Keysってちょっと不便と思う人 󰢨
6. 目次 Four Keysとは？ 1 Four Keysじゃ足りない？ 2 俺たちだけのFour Keys？ 3
7. CTO @SODA inc. ◦ 2020年10月に入社 ◦ Webエンジニア → VPoE(2022/01) → CTO(2023/10) ⇧⇧⇧ Backend Engineer @CyberAgent ◦ 2019年新卒入社 バックエンドエンジニア ◦ Go / AWSでサービス開発 Masaya Hayashi - @rinchsan X@rinchsan
8. Four Keysとは？ 1
9. 品質・スピードのバランス 組織パフォーマンスと幸福度 Four Keysはとっても便利なメトリクスです
10. Four Keysってどんな指標？
11. Four Keys 〜4つのキーメトリクス〜 ソフトウェアデリバリーに関するパフォーマンス計測指標 引用：https://dora.dev/research/
12. それぞれの指標を簡単に見ていく
13. 変更のリードタイム コードがトランクにコミットされてから本番環境で稼働するまでの時間 引用：https://dora.dev/research/
14. デプロイ頻度 コードの変更を本番環境へ適用してエンドユーザへ公開する頻度 引用：https://dora.dev/research/
15. 変更失敗率 すべての本番環境への変更のうち不具合発生とその修復に繋がった変更の割合 引用：https://dora.dev/research/
16. 復旧時間 エンドユーザへ影響のある障害の発生から復旧までに要する時間 引用：https://dora.dev/research/
17. なぜこの4つが便利なのか？
18. 品質とスピードでそれぞれ2つずつの指標 品質とスピードはどちらかだけでなくバランスよく見る 引用：https://dora.dev/research/
19. 組織パフォーマンスと幸福度へ繋がる 営利/非営利指標やWell-beingとも相関関係があることが示されている 引用：https://dora.dev/research/
20. DORA Core Modelとは？ DevOps Capabilities → Four Keys → 組織パフォーマンスと幸福度 引用：https://dora.dev/research/
21. Google CloudのDORAチームが毎年サーベイを実施し、集計 各企業におけるFour Keysの集計とクラスタリング 引用：https://dora.dev/publications/
22. 2024年のサーベイやってます！（DORAチームが） 皆さんも回答して、科学的根拠をアップさせましょう 💪 引用：https://dora.dev/publications/
23. 2023年のクラスタリング結果 皆さんの組織はどのPerformance levelに属しますか？ 引用：https://dora.dev/publications/
24. ちなみに、v2も議論されている 2023年のState of DevOps Reportまでの結果を受けてv2が検討されている 引用：https://github.com/dora-team/dora.dev/discussions/582
25. ちなみに、v2も議論されている 2024年からは新しいキーメトリクスとして “信頼性” が登場？ 引用：https://github.com/dora-team/dora.dev/discussions/582
26. 2022 State of DevOps Report：5つ目の指標としての「信頼性」 引用：https://dora.dev/research/2022/dora-report/ デリバリーに関するFour Keys以外に、運用の視点からSLOやエラーバジェットを
27. Four Keys最強！
28. ほんとうに？
29. “この第2部では、第1部で 示した研究成果の背景にあ る科学的根拠を提示する。” 『LeanとDevOpsの科学』第2部 (2018) ※ 現在も同様の研究手法をDORAチームが使っているかは不明。
30. Four Keysすごい！が分かったところで
31. Four Keysじゃ足りない？ 2
32. まずはSODAのFour Keysを見てみる
33. デプロイ頻度の推移 Eliteクラスタには属すがジワジワと減少傾向（平均91回、標準偏差17.2）
34. 減少傾向なのが課題では？
35. 変更失敗率の推移 Highクラスタに属し、ある程度安定している（平均5.99%、標準偏差2.63）
36. Eliteクラスタを目指せばいいのでは？
37. 復旧時間（MTTR=Mean Time To Recovery）の推移 Highに属することもあれば、Mediumなことも（平均55.9時間、標準偏差98.6）
38. 安定して24時間以内を目指す？
39. では、Four Keysでは何が足りない？ 十分に現在の課題を示していて、打ち手を考えることが出来るのではないか？
40. どんなプロダクト？どんな組織？
41. SNKRDUNKについて
42. 鑑定付き 利用者数 No.1 スニーカー・トレカ フリマアプリ
43. 正規品を安心して購入できるC2Cマーケットプレイス スニダンが取引の間で真贋鑑定をすることで、偽造品の心配をする ことなく取引ができる Product スニーカーダンク C2Cマーケットプレイス ブランド公式取扱アイテムやここでしか入手できない Exclusiveなアイテムを取り揃えるファッション・コレクティブ オンラインストア
44. スニーカー、トレカの新作がどこで・いつ・いくらで発売するのか を毎日発信。全情報をまとめることで、スニダンさえ見ていれば、 新作情報を漏れなく確認することができる コレクティブルなカルチャーに特化した国内最大級のSNS X(旧Twitter)やInstagramなど他SNSにはない深くニッチな情報が 飛び交っている Product スニーカーダンク コミュニティ メディア
45. Product スニーカーダンク 海外の市場環境に合わせて ローカライズしたグローバル向けのアプリを展開中 海外版アプリをリリース 北米・アジア圏を中心に16カ国で展開中
46. プロダクト開発組織について
47. Teams プロダクト開発組織 Team A Team B Team C Team D Web 🙋🙋🙋🙋🙋 | WebFE 🙋🙋 | Flutter 🙋🙋 | QAE 🙋 | Design 🙋 | PdM 🙋 EM 🙋🙋🙋🙋🙋 Web 🙋🙋🙋🙋 | WebFE 🙋🙋 | Flutter 🙋🙋🙋 | QAE 🙋 | Design 🙋 | PdM 🙋 Web 🙋🙋🙋🙋 | QAE 🙋🙋 | PdM 🙋 Web 🙋🙋🙋🙋 | WebFE 🙋🙋 | QAE 🙋 | Design 🙋 | PdM 🙋 SREs 🙋🙋🙋 Team EM Team SRE Team E Web 🙋🙋🙋🙋 | QAE 🙋 | Design 🙋 | PdM 🙋 Team G Web 🙋🙋🙋 | Flutter 🙋 | Design 🙋 | PdM 🙋 総勢60名
48. MAU ソースコード 組織規模 プロダクト・組織の成長過程
49. Active Users アクティブユーザー 600万人を突破 月間利用者数 ＊ ＊2023年12月Google Analytics実績
50. Goのコード行数とファイル数 コード行数190万行、ファイル数10,000の規模まで拡大
51. Dartのコード行数とファイル数 コード行数59万行、ファイル数5,000の規模まで拡大
52. プロダクト開発組織の規模 2024/06現在では60名の組織規模に
53. システムも組織もどんどん拡大
54. 歴史たっぷりのシステム 新しく入ったエンジニア多数 技術負債返済の計画不足 積み重なる大きめの課題
55. なかなかFour Keysを改善できなくなってくる・・・ 1日5回の デプロイが 限界… 変更失敗率が なかなか 下がらない… もうこのままで いいのでは… 「大きな問題は発生してないから」と現状維持バイアスに陥ることも この技術負債は いつ返せるかな…
56. それでも改善していく必要がある
57. 言い訳をしている場合ではない！
58. D/D/D (Deployments/Developers/Days) を高めていかねばならない！ 引用：『LeanとDevOpsの科学』 (2018) Eliteな組織は人が増えるほど開発生産性も上がっていく
59. “ディズニーランドはいつま でも未完成である” “現状維持では、後退するば かりである” Walt Disney 引用：https://www.tokyodisneyresort.jp/tdr/resort/walt.html
60. 俺たちだけのFour Keys？ 3
61. Four Keys改善が難しいなら別のものを
62. チームで探す トップダウンで示す 俺たちだけのFour Keysを
63. チームで探す トップダウンで示す 俺たちだけのFour Keysを
64. “これからもチーム全員で意 識的に「レビューすぐ見る チャレンジしてます」にト ライしていきます。” あるチームでの取り組み https://zenn.dev/team_soda/articles/4faec057f57e74 ※ 不思議な日本語ですね
65. どんな取り組みをしていたか？
66. 背景：コードレビューが後回しになり、色々な課題が発生 リリースが 遅くなる… レビュー依頼が 溜まって大変で 確認漏れが… コレがマージ されないとアレが 進められない… 開発の品質もスピードも次第に落ちていく・・・ mainが進んでて コンフリクトが…
67. Before：2022/07〜2022/11のサイクルタイム 引用：https://zenn.dev/team_soda/articles/4faec057f57e74 レビューに関するリードタイムが大きくなっていた
68. レビュー優先の意識不足 PRの差分が大きすぎる 依頼に気付いていない なぜレビューが後回しになるか
69. アプローチ：チームで定期的にふりかえり、レビューまわりを改善していく シンプルなアプローチに尽きる レビューの アサイン受けたら 最優先で！ レビュー依頼から 2−3時間経ったら リマインドしよう！ このPRの差分が 大きくて 大変でした… レビューアサインに 気づいてません でした… PRを小さくできる ようにタスクを 分解しましょう！
70. After：2023/07〜2023/11のサイクルタイム 引用：https://zenn.dev/team_soda/articles/4faec057f57e74 レビューに関するリードタイムが大幅に改善！
71. なぜうまくいった？
72. やってきた取り組みの筋が良かった？ それももちろんあるし、何をやるかはやはり重要ではあるけど… レビューの アサイン受けたら 最優先で！ レビュー依頼から 2−3時間経ったら リマインドしよう！ このPRの差分が 大きくて 大変でした… PRを小さくできる ようにタスクを 分解しましょう！ レビューアサインに 気づいてません でした…
73. 何が一番重要だったか？
74. チームで課題を探す チームでどう解決するか議論する チームで方針を意思決定する 強い組織文化を作ること
75. チームでの意思決定はDORA Core Modelにも 引用：https://dora.dev/research/ つまり、チームの意志決定力はFour Keysの高さにも繋がるはず
76. とはいえ、何に着目すればいい？
77. 「具体と抽象の往復」で課題解決の幅を広げる デプロイ頻度 ･･･ ･･･ 知識を武器に具体と抽象を往復することで課題解決の幅も質も向上する 抽象 具体 Four Keys SLO Communication and Collaboration State of DevOps Report 5つ目の キーメトリクス SPACE 包括的なメトリクス ･･･ ･･･ 変更失敗率
78. “具体と抽象の行き来を意識 することで、間違いなく世 界が変わって見えてきま す。” 『具体と抽象』(2014)
79. 開発生産性カンファレンス2023の資料もぜひご覧ください 「具体と抽象の往復」についてより詳しく話しています 引用：https://speakerdeck.com/rinchsan/huroxiao-lu-wozhong-shi-site-2nian-ban-deenzinia2ming-35ming-noji-kuo-da-zu-zhi-degao-isheng-chan-xing-woshi-xian-sitahua
80. チームで探せば万事解決！
81. ここで、冒頭の課題を思い出してみる
82. Goのコード行数とファイル数 コード行数190万行、ファイル数10,000の規模まで拡大
83. Dartのコード行数とファイル数 コード行数59万行、ファイル数5,000の規模まで拡大
84. プロダクト開発組織の規模 2024/06現在では60名の組織規模に
85. 歴史たっぷりのシステム 新しく入ったエンジニア多数 技術負債返済の計画不足 積み重なる大きめの課題
86. なかなかFour Keysを改善できなくなってくる・・・ 1日5回の デプロイが 限界… 変更失敗率が なかなか 下がらない… もうこのままで いいのでは… 「大きな問題は発生してないから」と現状維持バイアスに陥ることも この技術負債は いつ返せるかな…
87. チームだけで進める限界も
88. チームで探す トップダウンで示す 俺たちだけのFour Keysを
89. 変更失敗率の急増 技術負債返済の計画不足によって、過去発生した障害と同じ原因で…
90. CTOが技術戦略としてロードマップを走らせる 中長期的な取り組みは経営陣とも合意を取るなどして腰を据えて進める
91. 重要な考え方
92. “戦略のカーネルは、診断、 基本方針、行動の三つの要 素で構成される。” 『良い戦略、悪い戦略』(2012)
93. 戦略のカーネルに沿って整理する 診断、基本方針、行動 変更失敗率の 急増 リソースを 確保する 再発防止の 不足 改善の ロードマップ
94. もう1つ重要な考え方
95. “コンセンサスというのは、 参加者が最終決定を理解 し、採択された行動方針の 遂行に全力を尽くすことを 誓い、その計画が全員のも のであるとの意識を持ち、 その実行活動において進ん で他の人たちと協力しよう という意思を持つことであ る。” コンセンサス ≠ みんなが同意すること
96. 1分まとめ
97. Four Keysとは？
98. 品質・スピードのバランス 組織パフォーマンスと幸福度 Four Keysはとっても便利なメトリクスです
99. Four Keysだけじゃ足りない？
100. Four Keys改善が難しくなることも 規模によっては
101. Four Keys改善が難しいなら別のものを
102. チームで課題を探す チームでどう解決するか議論する チームで方針を意思決定する チームで探せる環境を作る
103. とはいえ、探すの難しくない？
104. 「具体と抽象の往復」で課題解決の幅を広げる デプロイ頻度 ･･･ ･･･ 知識を武器に具体と抽象を往復することで課題解決の幅も質も向上する 抽象 具体 Four Keys SLO Communication and Collaboration State of DevOps Report 5つ目の キーメトリクス SPACE 包括的なメトリクス ･･･ ･･･ 変更失敗率
105. チームだけで進める限界も
106. 中長期的に腰を据えて進める CTOが経営陣とも合意を取る トップダウンで進めるべき取り組みも
107. 結局、Four Keysだけじゃ足りないの？
108. 結局は組織文化をどう作るか ボトムアップ AND トップダウン 具体と抽象の往復 だいたい足りる
109. 2024/06/29 開発生産性Conference 2024 Four Keysだけじゃ足りなくない？ 〜俺たちだけのFour Keysを探して〜 @rinchsan
110. 2024/06/29 開発生産性Conference 2024 Four Keysだけじゃ足りなくない？ でもまぁ全然足りる 〜俺たちだけのFour Keysを探して足りなくても強い組織文化があれば大丈夫〜 @rinchsan