Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ビズリーチが挑む メトリクスを活用した技術的負債の解消 / dev-productivity-...

ビズリーチが挑む メトリクスを活用した技術的負債の解消 / dev-productivity-con2025

2025年7月3日より開催された「開発生産性Conference 2025」の登壇資料です。
https://dev-productivity-con.findy-code.io/2025

▼関連資料
ビズリーチにおけるリアーキテクティング実践事例
https://speakerdeck.com/visional_engineering_and_design/jjug-ccc-2025-spring

ビズリーチが目指す「開発生産性」ダッシュボード 〜 データ収集の壁と乗り越え方 〜
https://speakerdeck.com/visional_engineering_and_design/dev-productivity-con2024

SPI原点回帰論:事業課題とFour Keysの結節点を見出す実践的ソフトウェアプロセス改善
https://speakerdeck.com/visional_engineering_and_design/devopsdays-tokyo-2024

テストだけで品質は上がらない?! エセ自己組織化した品質組織からの脱却
https://speakerdeck.com/visional_engineering_and_design/jasst24-tokyo

開発者体験を見える化し「計器飛行」の実現を目指すSODA構想 〜事業の成長とプロダクト組織能力の相関関係を見いだすには〜
https://speakerdeck.com/visional_engineering_and_design/developer-experience-day-2023

ファクトから始める改善アプローチ 〜「LeanとDevOpsの科学」を実践して〜
https://speakerdeck.com/takabow/devopsdays-tokyo2022-huakutokarashi-merugai-shan-apuroti-leantodevopsfalseke-xue-woshi-jian-site

ファクトから始める改善アプローチ EP2 〜 Four Keys の先にある アウトカムに向き合ってみた 〜
https://speakerdeck.com/visional_engineering_and_design/devopsdaystokyo-2023

「エセ自己組織化」症候群から脱却し、約束を守るプロフェッショナルなアジャイルチームになるには -アジャイル時代のマネジメント進化論-
https://speakerdeck.com/visional_engineering_and_design/number-rsgt2023

ユーザー数100万人規模の事業成長を止めずに、レガシーコードと戦う
https://speakerdeck.com/visional_engineering_and_design/jjug-ccc-2022-fall

-----
Visionalのエンジニアリングに関する最新情報はTwitter、ブログで発信しています!📣

▼Visional Engineering Blog
https://engineering.visional.inc/blog/

▼VISIONAL ENGINEERING Twitter
https://twitter.com/VISIONAL_ENG

More Decks by Visional Engineering & Design

Other Decks in Technology

Transcript

  1. 外山 大 Dai Toyama
 自己紹介
 • SIerでキャリアをスタートし、エンジニア -> EMを経験
 •

    2016年、合同会社DMM.comに転職。EMとして海外向けサイト、家事代 行サービス立ち上げ、モバイル事業、豊洲のデジタルアート PRJなどを経験
 • 2021年、建設DXを推進する株式会社アンドパッドにジョイン。 EM、組織開 発部長などを務める
 • 2023年、「SODA構想」に共感して株式会社ビズリーチにジョイン 
 Certified ScrumMaster® Certified Agile Leadership Essentials® Certified Agile Leadership for Organizations® 経歴
 趣味 スノーボード、ロックフェス、キックボクシング 
 3
  2. 会社概要
 4 株式会社ビズリーチ / BizReach, Inc.
 創業  :2009年4月
 代表者 :株式会社ビズリーチ 代表取締役社長 酒井 哲也


    グループ従業員数:2,149名(2023年7月末時点)
 拠点  :東京、大阪、名古屋、福岡、静岡、広島
 資本金 :1億3,000万円
 事業内容:HR Techのプラットフォーム・SaaS事業

  3. 技術的負債が蓄積されると・・・ 14 1. 開発生産性への影響 • 開発速度の低下 ◦ コードの理解・変更コストが高くなり、新しい機能追加に時間がかかる • バグ・障害の増加

    ◦ 複雑で整合性のとれていないコードは、テストしにくくバグが混入しやすくなる ◦ CI/CDが不安定となり、リリース遅延や失敗が増加
  4. 技術的負債が蓄積されると・・・ 15 2. 人材・組織への影響 • 開発者体験の悪化とモチベーションの低下 ◦ 技術的負債がない環境では生じないような作業が発生する ↓ ◦

    仕事が遅くなるフラストレーションを感じる ↓ ◦ 意味のある仕事に時間を使えない虚無感 ↓ ◦ モチベーションの低下に繋がる
  5. 技術的負債が蓄積されると・・・ 16 3. ビジネスへの影響 • ビジネス上のリスク(競争力の低下・コスト増) ◦ 市場機会の喪失 ▪ 変化への対応が遅れたり、トラブル対応に追われて本来の価値創出ができなくなることで

    競争力が低下 ◦ 技術コストの増加 ▪ 開発生産性の悪化により対応コストが増加する ◦ 品質・信頼性の低下による顧客離れ ▪ 技術的負債によって障害が頻発すると、ユーザー体験が損なわれ、ブランド信頼や顧客ロ イヤルティに悪影響を及ぼす ◦ M&AやIPO時の評価低下 ▪ 技術的負債が蓄積されたシステムは、買収・出資などの際の評価減要因となり得る
  6. 技術的負債が蓄積されると・・・
 17 
 • 開発速度の低下
 ◦ コードの複雑性がますことにより、認知負荷が増加
 ◦ コードの理解・変更コストが高くなり、新しい機能追加に時間がかかる
 


    • バグ・障害の増加
 ◦ 複雑で整合性のとれていないコードは、テストしにくくバグが混入しやすくなる
 ◦ CI/CDが不安定となり、リリース遅延や失敗が増加
 
 • ビジネス上のリスク(競争力の低下・コスト増)
 ◦ 市場変化への対応遅れによる機会損失
 ◦ 品質・信頼性の低下による顧客離れ
 

  7. 技術的負債が蓄積されると・・・
 18 参考文献
 • 『LeanとDevOpsの科学』
 ◦ Nicole Forsgren Ph.D. ,

    Jez Humble, Gene Kim 著, 武舎広幸 訳(インプレス, 2018年)
 • 『エンジニアリング組織論への招待』
 ◦ 広木大地 著(技術評論者, 2018年)織
 • 『ソフトウェアアーキテクチャメトリクス』
 ◦ Christian Ciceri、Dave Farley、Neal Ford、Andrew Harmel-Law、Michael Keeling、Carola Lilienthal、João Rosa、Alexander von Zitzewitz、 Rene Weiss、Eoin Woods 著、島田 浩二 訳(オライリージャパン, 2024年)
 • 『レガシーコード改善ガイド』
 ◦ マイケル・C・フェザーズ 著, ウルシステムズ株式会社 (監修), 平澤 章, 越智 典子, 稲葉 信之, 田村 友彦, 小堀 真義 訳(翔泳社, 2009年)
 • 『エンジニアのためのマネジメントキャリアパス』 
 ◦ Camille Fournier 著, 武舎 広幸, 武舎 るみ 訳(オライリージャパン, 2018年)
 • DORA Report URL: https://dora.dev/research/2024/dora-report/
 

  8. 技術的負債が蓄積されると・・・
 19 • 開発速度の低下 ◦ コードの複雑性がますことにより、認知負荷が増加 ◦ コードの理解・変更コストが高くなり、新しい機能追加に時間がかかる • バグ・障害の増加

    ◦ 複雑で整合性のとれていないコードは、テストしにくくバグが混入しやすくなる ◦ CI/CDが不安定となり、リリース遅延や失敗が増加 • ビジネス上のリスク(競争力の低下・コスト増) ◦ 市場変化への対応遅れによる機会損失 ◦ 品質・信頼性の低下による顧客離れ 事業を継続していればどの企業にも起こり得る
 
 
 どの企業でも起こったら困る
 要因 影響
  9. リアーキテクティングの現在
 27 • リアーキテクティングの目的
 ◦ 技術的負債を解消してビジネスにおける競争力を維持・向上させる
 
 • 活用できるメトリクス
 ◦

    Four Keys
 ◦ Github Activity(コミット数やレビュー数)
 ◦ Datadog(レイテンシーなど)
 
 参考)グッドハートの法則
 • イギリスの経済学者チャールズ・グッドハート(Charles Goodhart)が1975年のイギリスの金 融政策に関する論文で提唱した法則
 • 「測定されると決まった指標は、それが目標にされた瞬間に有効性を失う」

  10. ボトルネックを解消するプロセス改善
 37 • プロセスの整理の難易度を上げた要因
 ◦ 会社がスケールしていく過程で増えていったガバナンスへの対応
 ▪ プロセスの改善
 ▪ ガバナンスへの対応


    ◦ これらをどちらも実現する必要があった
 ◦ 開発者目線では簡素化したいが、ガバナンス目線で必要となるものもある
 ▪ PRの紐付けルール
 ▪ 承認フローなど

  11. ボトルネックを解消するプロセス改善
 38 • 取り組み前:2週間に1度のリリース頻度
 • これを2倍にするという状態目標を立てて逆算することで、プロセスにおける様々な課題を洗い出す
 
 • 専任チームが実施
 ◦

    チームをまたがる複雑なプロセスの改善
 ◦ 実行するチームのメンバー構成には様々なケイパビリティが必要
 ▪ DevOps、内部統制、既存プロセスの可視化、CI/CD

  12. ボトルネックを解消するプロセス改善
 40 実施したこと
 • Value Stream Mappingにより複雑なプロセスを可視化
 • ボトルネックを特定し順次改善を繰り返していく
 ◦

    手作業だったテストの自動化
 ◦ 複数プロダクトにまたがるEtoEテストのオーナー整理
 • 属人化していた作業の標準化
 ◦ ログ監視の標準化など

  13. 生成AIの活用
 43 2-3-1. 開発作業での生成AI活用
 a. コーディング支援
 b. ドキュメンテーション
 c. テスト分析


    d. ポストモーテム分析
 2-3-2. 業務への活用からプロダクトへの活用
 2-3. 生成AIの活用

  14. 生成AIの活用
 44 • 実験的な取り組みにおけるメトリクス
 ◦ 生成AIの活用に関しては、検証・実験段階のものも多数
 ◦ 定量的なメトリクスにこだわらず、当事者の定性的なメトリクスを参考にしながら、あらゆる可能 性を試すのが大事
 


    参考)ケント・ベック 3xモデル(Explore、Expand、Extract)
 引用:The Product Development Triathlon(https://www.facebook.com/notes/383448953014576/)
 Explore(探索):
 探索の成功は予測不可能であるため、最も期待値の高い戦略は、実験コストを削減し、相関 関係のない多数の実験に少額の投資を行うこと

  15. 生成AIの活用
 46 各種支援ツールの導入
 • Claude Code / Devin / Cursor

    / Cline など利用可能
 • 以下のような特徴のあるコードに対して、最適な支援ツールや生成AIモデルは何かを見ていく
 ▪ 負債の多い巨大なレポジトリ / 比較的新しいレポジトリ
 ▪ バックエンド / フロントエンド
 ▪ 支援ツール
 ▪ 生成AIモデル
 • PR数、PRのサイズ、リードタイム様々な角度でデータを集める
 • 主観的な観点での評価だけでなく、客観的な数値データでの評価することで、導入を促進していく狙い

  16. 生成AIの活用
 47 • 支援ツールの導入の目的
 ◦ コードの生成を生成AIに任せることで、開発者が価値の創出に注力
 
 • 活用できるメトリクス
 ◦

    PR数、PRサイズ、リードタイムなど検証中
 
 ※ 現在はまだ明確な比較データは取れていない段階

  17. 生成AIの活用
 52 活用事例2:CosenseのMCPサーバ運用
 • CosenseのMCPサーバ運用を実験的に開始
 • 蓄積したドキュメントをさらにプログラマブルな範囲に活用の幅を広げる試み
 • さらにSlackのbotでCosenseと接続
 •

    Cosenseに蓄積されたデータを学習してSlackで壁打ちのような使い方をする実験などもしている
 ▪ 例)プロジェクトの進捗状況を聞く
 ▪ 例)設計ポリシーを聞く、など
 

  18. 生成AIの活用
 56 テスト分析
 • テスト分析の自動化により8割を自動化
 • NotebookLMに以下を読ませる
 ▪ Figmaのデザイン
 ▪

    テスト分析の流れを記載したドキュメント
 ▪ 過去のテスト分析
 • 結果をMiro AIにインプットしてマインドマップを生成
 • エンジニアはそれをレビューする

  19. 生成AIの活用
 60 ポストモーテムで感じていた課題
 • 参加メンバーやチームによって、深掘り度や観点などにバラつきがある
 • 参加メンバー内で出来る解決策になりやすい
 ◦ 開発チーム内でなんとかしようという意識が働く
 ◦

    他チームの課題があったとしても、自分たちに出来ることの範囲で考える
 • 上記のような課題を生成AIのレビューにより指摘するという試み
 • 生成AIモデルとして適しているものを探るためNotebookLM、CosenseのAI機能で実施して比較

  20. 生成AIの活用
 61 プロンプトとしてインプットした内容①
 • 深掘りや十分な議論が行われたかの分析観点
 ◦ 障害の原因がどの工程(要件定義/設計/実装)で混入したか
 ◦ 障害はどの工程(コードレビュー/開発者テスト/受入テスト)で検出されるべきだったか
 ◦

    障害対応プロセスの各期間(発生から検知まで/検知から応急対応/根本対応)における課題が あったか
 ◦ 原因に対するネクストアクションが決定されているか
 ◦ ポストモーテムとして振り返るべき点に過不足がないか

  21. 生成AIの活用
 62 プロンプトとしてインプットした内容②
 • 参加者以外の観点が必要だったかの分析観点
 ◦ 以下の4種の職務を設定し、それぞれの観点でのレビューを指示
 ▪ 開発エンジニア
 •

    自動化や効率化などの指摘を期待
 ▪ 開発エンジニアリーダー
 • チームの習慣や具体的なプロセス観点の指摘を期待
 ▪ プロダクトマネージャ
 • 要件定義や市場分析、ユースケース定義などに関する指摘を期待
 ▪ エンジニアリングマネージャ
 • チーム間の連携、エンジニア育成、組織的な課題に関する指摘を期待

  22. 生成AIの活用
 63 生成AIからの指摘
 ◦ まだ記載内容の要約に止まっている
 ◦ 深掘りにはプロンプトチューニングやコンテキストの強化がまだ必要
 ◦ 要約をマネージャーが見て、深掘りが十分かのレビューをするには有効
 


    今後の予定としては、
 • Cosenseのデータを活用してコンテキストを充実させることも試していきたい
 • また、大量の件数をインプットした場合の分析の精度なども見ていきたい

  23. 生成AIの活用
 67 業務への活用からプロダクトへの活用
 • prAlie-dog(プレーリードッグ)プロジェクト
 ◦ 業務に特化した生成AIアプリケーションを Slack のワークフローやチャットボットとして実装
 ◦

    低コストで生成AIを業務フローに取り入れることが可能
 ◦ 社内ニーズをトリガーとしているので、検証リソースや利用促進、展開のコストも抑えられる
 ◦ うまく行ったものをお客様への提供にまで繋げられているものもある(求人自動生成)
 ◦ 20以上のプロジェクトが進行中
 ◦ SlackでCosenseに蓄積されたデータを参照するのもこのプロジェクトの一環
 
 
 
 

  24. SODA Journey
 https://speakerdeck.com/takabow/devopsdays-tokyo2022-huakutokarashi-merug ai-shan-apuroti-leantodevopsfalseke-xue-woshi-jian-site https://speakerdeck.com/visional_engineering_and_design/number-rsgt2023 https://speakerdeck.com/visional_engineering_and_design/developer-experienc e-day-2023 https://speakerdeck.com/visional_engineering_and_design/devopsdaystokyo-20 23 https://speakerdeck.com/visional_engineering_and_design/jasst24-tokyo

    2022-4-21 DevOpsDaysTokyo 2022 2023-1-11 Regional Scrum Gathering Tokyo 2023 2023-4-18 DevOpsDaysTokyo 2023 2023-6-14 Developer eXperience Day 2023 2024-3-14 JaSST'24 Tokyo 77 https://speakerdeck.com/visional_engineering_and_design/dev-productivity-con2 024 2024-6-29 開発生産性 Conference 2024
  25. SODAによる可視化
 80 バランスの意思決定にはレベルがある
 
 ◦ 組織構成(部室長)
 ▪ リアーキを進めるチームとグロースを進めるチームを分ける
 ▪ チーム組成にバランスの意思をこめる


    
 ◦ プロジェクト優先度(PO/MGR)
 ▪ 機能追加と同様に負債解消をプロジェクト化して優先度決め
 ▪ バックログの実施優先度にバランスの意思を込める
 
 ◦ 作業割合(メンバー)
 ▪ リファクタ
 ▪ 日々の開発作業の中で必要なものを実施
 

  26. SODAによる可視化
 81 技術投資・費用をモニタリング
 ◦ ビズリーチでは工数の実績でモニタリング
 ◦ CrowdLogを使って工数を集計
 ◦ プロジェクトを分類するカテゴリーを以下のように定義
 ▪

    大分類
 • 費用 / 投資
 ▪ 中分類
 • 短期戦略、中長期戦略、人材戦略、保守・運用
 ▪ 小分類
 • グロース施策、リアーキ施策、開発生産性向上、採用、育成、運用、障害対応、など

  27. SODAによる可視化
 83 技術投資費用のモニタリング
 • モニタリングするポイントとしては
 ◦ 大項目、中項目、小項目のバランスが意思決定した範囲内にあるか
 ▪ 特にリアーキや基盤整備への投資が意思決定した範囲で推移しているか
 •

    現在のフェーズを鑑みたリアーキとグロースのリバランスなども実施
 (グロースへの投資を強化する、など)
 ◦ 時系列の変化
 ▪ 改善系で効果の出現に時間がかかるものの推移
 ▪ 障害対応の割合など
 • 今後はエラーバジェットのような運用を目指したい

  28. 開発生産性に対する取り組み 今後の展開
 88 • 技術的負債を蓄積させない仕組みの構築
 ◦ コードやプロセスに対する負債解消施策を継続
 ◦ 負債をコントロールするには文化や仕組みが重要
 ▪

    SLOやエラーバジェットの運用
 ▪ 学びの効果最大化(ポストモーテムの効果最大化)
 
 • 生成AIの活用
 ◦ 開発プロセスのパラダイムシフト
 
 • 信頼性の継続的向上
 ◦ 信頼性の最適な状態定義
 ◦ 継続的に向上できる状態を作り維持する
 ▪ SLOやエラーバジェットの運用
 
 
 こういった取り組みにおいても、メトリクスを活用した総合的な判断が可能な環境の整備を進める
  29. まとめ
 技術的負債解消はビジネスインパ クトを踏まえた優先度で
 本来の目的をピン留めしたメトリクス活用が大事
 90 生成AI活用のような探索フェーズで はまずやってみる事が重要
 • ビジネスインパクトが大きい部分のアウトプットを 上げていくとROIが高くなる


    • 技術的負債解消の意義の証明という効果も 
 • AI活用のような探索フェーズでは身近な定性メト リクスを参考にまずやってみることが重要 
 • 取り組みを共有する仕組みも大事 
 • 定性、定量含め効果を測るのにメトリクスを参考にするのは重要 
 • 本来の目的に近づいてるか、多角的な観点で判断できるとよい