GPTを使った異次元の開発者体験への挑戦～ハイパフォーマーのその先へ～/Developer eXperience Day 2023-Link and Motivation

© Link and Motivation Group GPTを使った異次元の開発者体験への挑戦～ハイパフォーマーのその先へ～株式会社リンクアンドモチベーション Developer Productivity
Unit 河野智則・伊藤遼

2 © Link and Motivation Group #dxd2023 2023/06/15 自己紹介河野
智則（かわのとものり）株式会社リンクアンドモチベーション Developer Productivity Unit マネージャー 2011年にサイバーエージェントに入社。プロダクトの立ち上げや運用を経験した後、同社子会社の開発責任者に従事。 2020年に当社へ入社し、SREのEMとして開発者体験の向上に取り組む。2023年より、更なる開発者体験の前進のため、Developer Productivity Unitを立ち上げマネージャーとして統括。 @tomox1001

3 © Link and Motivation Group #dxd2023 2023/06/15 働きがいあふれる社会へ
リンクアンドモチベーション｜プロダクト

4 © Link and Motivation Group #dxd2023 2023/06/15 リンクアンドモチベーション｜プロダクト診断
変革 ※ 2022年度実績 10,060 社 312 万人

5 © Link and Motivation Group #dxd2023 2023/06/15 ※2023年1月時点実績（https://www.motivation-cloud.com/）リンクアンドモチベーション｜導入企業様

6 © Link and Motivation Group #dxd2023 2023/06/15 リンクアンドモチベーション｜開発組織 2018年の内製化から組織が急拡大
2018年 4名 → 2023年約70名

7 © Link and Motivation Group #dxd2023 2023/06/15 リンクアンドモチベーション｜開発組織開発チーム
SRE/QA イネーブリング Platfor m 「規模拡大×高速フロー」を実現するため、『チームトポロジー』を参考に組織をデザイン『チームトポロジー価値あるソフトウェアをすばやく届ける適応型組織設計』参照の元作成

8 © Link and Motivation Group #dxd2023 2023/06/15 Four Keys
メトリクス “高速フロー”を測る指標として、Four Keys メトリクスを採用

9 © Link and Motivation Group #dxd2023 2023/06/15 リンクアンドモチベーション｜開発組織 2016
2018 2020 2022末 2023 モチベーションクラウドのリリース開発組織内製化のスタート Four KeysはLow レベル SREチームの誕生 Four Keys メトリクス High レベルに到達イネーブリングチームの誕生 2021 Platformチームの誕生 2020年のSREチーム立ち上げを皮切りに開発支援チームを拡大。 2022年末にはFour KeysメトリクスがHighレベルに到達した。

10 © Link and Motivation Group #dxd2023 2023/06/15 リンクアンドモチベーション｜Four Keys
Low to Mid Mid to High 壁「仕組みの壁」技術で到達できる技術 • コンテナアーキテクチャ • E2E Testing (Autify) • Blue/Green Deployment 組織 • Git-Flow • 横断チーム(SRE/QA)だけで推進 • ビッグバンリリース中心ハイパフォーマー到達までに実施した主な施策

Low to Mid Mid to High 壁「仕組みの壁」技術で到達できる「協働の壁」技術だけでは到達できない技術 • コンテナアーキテクチャ • E2E Testing (Autify) • Blue/Green Deployment • オンデマンドデプロイ • Unit Test拡充 • Feature Flag • 開発ダッシュボード組織 • Git-Flow • 横断チーム(SRE/QA)だけで推進 • ビッグバンリリース中心 • Github-Flow • 開発チーム×横断チームで協働 • スモールリリース中心ハイパフォーマー到達までに実施した主な施策

2018 2022 ローパフォーマー ”苦”な開発者体験【定量】デプロイ頻度 5回/月、リードタイム 10日【定性】爆弾処理のように、慎重に長い時間をかけてリリースする開発者体験ハイパフォーマー “楽”な開発者体験【定量】デプロイ頻度 100回/月、リードタイム 1日【定性】「これ試そう」を、誰でも気軽にいつでもリリースする開発者体験

13 © Link and Motivation Group #dxd2023 2023/06/15 本日お話することハイパフォーマー到達の詳細は、
開発生産性Conferenceで登壇予定

14 © Link and Motivation Group #dxd2023 2023/06/15 本日お話すること GPT(※)による”異次元の開発者体験”への挑戦
-ハイパフォーマーのその先へ- 組織変革の挑戦開発プロセス変革の挑戦 1 2 ※ ChatGPTやOpenAI APIなどのLLM技術を包括した表現

16 © Link and Motivation Group #dxd2023 2023/06/15 GPTの登場 GPTの登場により、次元が上がる変化が起きた
Before GPT After GPT 従来の開発者体験 ①構造化データを前提とした要件 ②人間がコードを提案し、コンピュータ(コンパイラ/静的解析)が品質をチェック AI駆動の開発者体験 ①非構造データと自然言語処理を活用する要件 ②コンピュータ(AI)がコードを提案し、人間が正当性をチェック

17 © Link and Motivation Group #dxd2023 2023/06/15 本格的なGPT導入の開始弊社では、本格的なGPT導入を2023年2月から開始した
• コンサルティングのナレッジを元に対話しながら改善策を提案 • 独自ナレッジをembeddingし、類似検索をもとに回答するよう調整 • 開発者にAI駆動開発を体感してもらうため、 Copilotを配布 2023年3月7日リリース 2023年2月から随時配布

18 © Link and Motivation Group #dxd2023 2023/06/15 GPT開発における前提の変化初回リリースでの学び
“アンラーン”が重要かつ難しい Before GPT After GPT 構造化データを前提とした開発非構造化データ&自然言語処理を活用する開発時間がかかるのはルール設計と実装時間がかかるのは検証ループ・品質担保テストケースを作成して網羅的なテストが有効自然言語テストに基づくランダムテストが有効人がやっていることを代替する場合、ルールベース or 機械学習ベース「自然言語」を用いたタスクはGPTで代替が可能開発プロセスの”前提の変化”の例

19 © Link and Motivation Group #dxd2023 2023/06/15 GPT開発における前提の変化初回リリースでの学び
“アンラーン”が重要かつ難しい Before GPT After GPT 構造化データを前提とした開発非構造化データ&自然言語処理を活用する開発時間がかかるのはルール設計と実装時間がかかるのは検証ループ・品質担保テストケースを作成して網羅的なテストが有効自然言語テストに基づくランダムテストが有効人がやっていることを代替する場合、ルールベース or 機械学習ベース「自然言語」を用いたタスクはGPTで代替が可能開発プロセスの”前提の変化”の例多くの”前提の変化”がある中、「変化への適応は思った以上に大変だった」という声があがった。

20 © Link and Motivation Group #dxd2023 2023/06/15 アンラーンとはアンラーン
従来のやり方・考え方を取り除き、学び直すこと

21 © Link and Motivation Group #dxd2023 2023/06/15 今後の方針 GPTを使うことで、
新たな次元で機能リリースと業務改善ができることに確信が持てた。一方、組織全体でGPT開発を進めるためには、 “組織をアンラーンさせる取り組み”が必要と判断した。

22 © Link and Motivation Group #dxd2023 2023/06/15 GPT Bootcamp
アンラーン(=学び直し)プログラム GPT Bootcamp の実施を意思決定これまでの手法の開発業務を止めて、 GPT技術を活用し、機能リリースと業務改善に取り組む。

インターネットやスマホ以来の技術革新。エンジニアの必須科目として全員で取り組もう！ CTO 柴戸アンラーン(=学び直し)プログラム GPT Bootcamp の実施を意思決定

アンラーン(=学び直し)プログラム GPT Bootcamp を支える事前準備 4つの戦略設計 -実効性- 4つのセーフティネット -安心・安全-

4つの戦略設計 -実効性- アンラーン(=学び直し)プログラム GPT Bootcamp を支える事前準備 4つのセーフティネット -安心・安全-

26 © Link and Motivation Group #dxd2023 2023/06/15 4つの戦略設計実効性を高める
4つの戦略設計 1.目的 2.目標 3.対象 4.制約

27 © Link and Motivation Group #dxd2023 2023/06/15 4つの戦略設計 -
目的新たな技術を習得するためには、実践機会が必要不可欠 1.目的開発組織全体でGPTを活用する技術を習得することそのために、実際にGPTを使ってアウトプットをすることで理解を深める 2.目標 3.対象 4.制約

目標 “全員がGPTを業務で活用できること”を目標に設定 1.目的開発組織全体でGPTを活用する技術を習得することそのために、実際にGPTを使ってアウトプットをすることで理解を深める 2.目標ジュニアエンジニアと非エンジニア: GPTを自身の業務フローに組み込めるエンジニア: GPTをプロダクト・プロセスに組み込める 3.対象 4.制約

対象第三者による抜本的な変革を期待し、“GPT×開発者体験の向上”は開発支援チームが担当 1.目的開発組織全体でGPTを活用する技術を習得することそのために、実際にGPTを使ってアウトプットをすることで理解を深める 2.目標ジュニアエンジニアと非エンジニア: GPTを自身の業務フローに組み込めるエンジニア: GPTをプロダクト・プロセスに組み込める 3.対象プロダクト機能: 開発チームが中心開発者体験: 開発支援チーム(SREなど)が中心 4.制約

制約効果を高めるために、期間とスコープに制約を設けた 1.目的開発組織全体でGPTを活用する技術を習得することそのために、実際にGPTを使ってアウトプットをすることで理解を深める 2.目標ジュニアエンジニアと非エンジニア: GPTを自身の業務フローに組み込めるエンジニア: GPTをプロダクト・プロセスに組み込める 3.対象プロダクト機能: 開発チームが中心開発者体験: 開発支援チーム(SREなど)が中心 4.制約 1. 3週間...アンラーンを促すためのタイムボックス制約 2. βリリース...使われないものを生み出さないためのMVP

31 © Link and Motivation Group #dxd2023 2023/06/15 3週間を確保する工夫 3週間をどのように確保した？
① 機能リリース: ロードマップを前倒した └ 予定していた開発項目から、GPTで実現できるものをピックアップし順番を入れ替えた。 ② 業務改善: 開発支援チームのロードマップに入れた

32 © Link and Motivation Group #dxd2023 2023/06/15 3週間を確保する工夫 3週間をどのように確保した？
① 機能リリース: ロードマップを前倒した ② 業務改善: 開発支援チームのロードマップに入れた └ 開発生産性向上の取り組みの一貫として優先度をあげた

33 © Link and Motivation Group #dxd2023 2023/06/15 4つの戦略設計 1.目的
開発組織全体でGPTを活用する技術を習得すること。そのために、実際にGPTを使ってアウトプットをすることで理解を深める。 2.目標ジュニアエンジニアと非エンジニア: GPTを自身の業務フローに組み込めるエンジニア: GPTをプロダクト・プロセスに組み込める 3.対象プロダクト機能: 開発チームが中心開発者体験: 開発支援チーム(SREなど)が中心 4.制約 1. 3週間...アンラーンを促すためのタイムボックス制約 2. βリリース...使われないものを生み出さないためのMVP 実効性を高める4つの戦略設計

4つの戦略設計 -実効性- 4つのセーフティネット -安心・安全- アンラーン(=学び直し)プログラム GPT Bootcamp を支える事前準備

35 © Link and Motivation Group #dxd2023 2023/06/15 4つのセーフティネット安心・安全を高める
4つのセーフティネット 1.サポート体制 2.ガイドライン 3.コスト管理 4.勉強会

36 © Link and Motivation Group #dxd2023 2023/06/15 4つのセーフティネット 1.
サポート体制 GPT Bootcampをサポートする体制を整えた。 3月の「AIアドバイザー」リリースに関わり、 GPT開発を体験したメンバーを中心にアサイン。およそ70人の組織に対して、5人を配置した。主な役割は以下の通り • 各種レビュー（要件・設計・コード） • 技術相談 • 勉強会の運営

ガイドライン GPTを安全に開発に利用するため、 ”GPT開発利用ガイドライン”を策定し、展開した ※社内ドキュメントを一部修正したイメージ図

38 © Link and Motivation Group #dxd2023 2023/06/15 Open AI
APIのAPIキーを発行し、利用するチームに渡した。コスト管理をしやすいようにチーム単位で分けた。 4つのセーフティネット 3. コスト管理

39 © Link and Motivation Group #dxd2023 2023/06/15 また、コスト超過の検知は、Usage Limits機能を活用している。
2023年6月時点では、トレーサビリティ機能はまだないため、今後のアップデートに期待。 4つのセーフティネット 3. コスト管理

勉強会目的(ゴール) 主な対象者タイトル主な内容 ChatGPTの使い方が分かる全員 GPT基礎勉強会 • GPTとLLMの基礎知識 • プロンプトの工夫 • 「学習」の仕組み • セキュリティの注意点 GPTを利用した開発ができる主にエンジニア GPTハンズオン会 • OpenAI APIのチュートリアル実践 • LangChainのQuick Start実践 GPTの最新情報を継続的にキャッチアップする GPTサポートメンバー +有志 GPTゼミ勉強会 • 最新動向のシェア • 「試してみた」のシェア目的ごとに勉強会を設計した

41 © Link and Motivation Group #dxd2023 2023/06/15 4つのセーフティネット安心・安全を高める
4つのセーフティネット 1.サポート体制 2.ガイドライン 3.コスト管理 4.勉強会学習効果を高めるため有識者をアサイン GPTの利用を促すため利用方針を共有 GPT破産しないため limits機能を活用リテラシーを揃えるため 3つの勉強会を開催

42 © Link and Motivation Group #dxd2023 2023/06/15 GPT Bootcampを開始
アンラーン(=学び直し)プログラム GPT Bootcamp を2023年4月から開始 4つの戦略設計 -実効性- 4つのセーフティネット -安心・安全-

44 © Link and Motivation Group #dxd2023 2023/06/15 自己紹介伊藤
遼（いとうはるか）株式会社リンクアンドモチベーションイネーブリングチームテックリード新卒で当社に入社。モチベーションクラウドの開発に携わったのち、 CREチーム（顧客信頼性エンジニアリングチーム）の立ち上げや新規プロダクトの立ち上げに関わる。現在はイネーブリングチームとして開発組織全体のメトリクス可視化や生産性向上に取り組みながら、ChatGPTなど最新技術の取り入れにも尽力している。 @haruka_odenkun

45 © Link and Motivation Group #dxd2023 2023/06/15 開発支援チームのGPT Bootcampの取り組み
チーム組成アイデア出しアイデア判定実装リリース判定リリース工夫したポイント GPTの習熟度・意欲が高いメンバーを散らす。 “GPTアイデアソン”と題し、1dayで実施する20案を決めきる。想定アウトカム、実現可能性、GPT活用度、リスクの観点で判定する。サポーターが随時相談に乗りながら実装する。成果物のクオリティをみて、インストールに値するかどうかを判定する。「作って終わり」にならないよう、どうプロセスに埋め込むかの方針を決める。

46 © Link and Motivation Group #dxd2023 2023/06/15 開発支援チームのGPT Bootcampの取り組み
35案のアイデアから21案を採用し、実装することに。

47 © Link and Motivation Group #dxd2023 2023/06/15 ・障害対応サポート・セキュリティチェック
シート自動回答・性能改善サポート実際に採用されたアイデア・デザイン壁打ち・要件定義自動レビュー・基本設計自動レビュー要件定義実装テスト・Flaky Test 自動修正・コミットメッセージ自動生成・PRサマリ自動生成・詳細仕様QA bot ・テストシナリオ生成・テスト手順書生成運用デプロイリリース・SRE chatbot ・リリースノート自動生成・社内向けAIチャットサービス共通開発プロセスにGPTを埋め込んだ

48 © Link and Motivation Group #dxd2023 2023/06/15 実際に採用されたアイデア ④
障害対応サポート・セキュリティチェックシート自動回答・性能改善サポート・デザイン壁打ち・要件定義自動レビュー・基本設計自動レビュー要件定義実装テスト ② Flaky Test 自動修正・コミットメッセージ自動生成・PRサマリ自動生成・詳細仕様QA bot ・テストシナリオ生成・テスト手順書生成 ③ SRE chatbot ・リリースノート自動生成 ① 社内向けAIチャットサービス共通運用デプロイリリース象徴的な4つの事例を紹介

49 © Link and Motivation Group #dxd2023 2023/06/15 ① 社内向けAIチャットサービス
解決したかった課題社内でChatGPTを安全かつ効率的に使えない ChatGPTって、入力した情報が学習されちゃうから業務で使えないこのファイルを元に回答させることってできない？いいプロンプトできたんだけど、共有方法ないかな？

51 © Link and Motivation Group #dxd2023 2023/06/15 実装したもの・社内用にアクセス制限を追加
・おすすめプロンプトの共有・おすすめドキュメントの共有・pdf, csv, textファイルをアップロードし、その内容に対して質問可能 ① 社内向けAIチャットサービス成果や反響・日平均500アクセス程度・GPTを利用したツール実装時の工数削減・ノウハウ共有に活用

実装概要・Chatbot UIというオープンソースがベース・🦜️🔗 LangChain.jsを使用して機能追加・ドキュメントアップロード時にベクトル変換・変換したベクトルをクラウドに保存・チャット時にベクトル類似検索結果を元に回答

53 © Link and Motivation Group #dxd2023 2023/06/15 ② Flaky
Test 自動修正解決したかった課題実行結果が不安定なテスト = Flaky Test の修正に時間がかかる修正方法がわからないです.... また自動テストが落ちてる誰か直してよ修正したいんだけど時間が取れない....

Test 自動修正

55 © Link and Motivation Group #dxd2023 2023/06/15 実装したもの rspecで失敗しているケースを検知し、
成功するようにコード修正を実施 ② Flaky Test 自動修正成果や反響・誰もやりたがらなかったコード修正をやってくれて嬉しい！・ストレスが軽減された

Test 自動修正実装概要

57 © Link and Motivation Group #dxd2023 2023/06/15 ③ SRE
chatbot 解決したかった課題 SREチームが提供ツールの質問対応に工数を奪われているこの環境にデプロイするにはどのツールを使えばいい？サーバの環境変数を更新したいんだけどどうしたらいい？最近使い方が変わったって言ってた気がするけどどう使えばいいの？

59 © Link and Motivation Group #dxd2023 2023/06/15 実装したもの ①
社内向けAIチャットに機能として追加ビルドツールやデプロイ方法など知りたいことを質問すれば方法を回答してくれる ③ SRE chatbot 成果や反響・SREの問い合わせ工数削減・アプリエンジニアの手順書探しが不要・ツールアップデート時の周知工数削減

60 © Link and Motivation Group #dxd2023 2023/06/15 ③ SRE
chatbot 実装概要・ツールとその使い方をまとめた資料のブラッシュアップ・資料をベクトルとして保存・質問時にベクトルへ類似検索を実行し、結果とともに問い合わせて回答を生成 https://blog.langchain.dev/retrie val/

61 © Link and Motivation Group #dxd2023 2023/06/15 ④ 障害対応サポート
解決したかった課題障害発生時の情報が分散しており、状況把握が困難この障害って何が原因って話してる？誰かここまでの状況教えて再発防止用に情報をまとめるのは面倒だな...

実装したもの slack botの開発主な機能としては・障害の内容に関しての回答・再発防止用のテンプレートの記入成果や反響・キャッチアップコストの削減・再発防止に向けたサマリ作成工数削減・障害に関する情報を口頭ではなくslackにも集約させる文化の定着

実装概要 LlamaIndex 🦙を使用・slackの該当チャンネルの会話を読み込み・ベクトルに変換・質問内容を類似検索し回答

64 © Link and Motivation Group #dxd2023 2023/06/15 Bootcampに参加したメンバーからの声良かった点:
楽しく学べた • 新技術を学ぶこと、何か動くものを作るのは楽しかった • GPTはプログラム可能なパーツとしてはとっても強力であるとわかった • 一方で万能ではなく、得意不得意があることを理解できた苦労した点: アンラーンは大変 • アウトプットが不定なため、クオリティをあげるための試行錯誤が大変だった • これまでのルールベース的な思考からの脱却が難しいが重要だった • 「既存プロセスにどうインストールするか？」の工夫が難しかった

65 © Link and Motivation Group #dxd2023 2023/06/15 Bootcampの結果 Q.
アンラーンできたの？ A. できたと感じている。「Toil(※)を捉え直し、GPTで撲滅する」ことで開発者体験を進化できそう。 ※自動化可能な、何度も発生するめんどうな手作業 Before GPT After GPT 構造化データを前提とした開発非構造化データ&自然言語処理を活用する開発時間がかかるのはルール設計と実装時間がかかるのは検証ループ・品質担保テストケースを作成して網羅的なテストが有効自然言語テストに基づくランダムテストが有効人がやっていることを代替する場合、ルールベース or 機械学習ベース「自然言語」を用いたタスクはGPTで代替が可能

67 © Link and Motivation Group #dxd2023 2023/06/15 まとめ Before
After 組織 GPT活用している人は一部プロセス Toilは主にルールベースで撲滅できる組織ほとんどのエンジニアがGPTを活用できるプロセス Toilの対象を捉え直し、GPTで撲滅できる GPT Bootcampにより、次元を上げるための最初の一歩を踏み出せた

70 © Link and Motivation Group #dxd2023 2023/06/15 私たちが実現したい開発者体験(Developer eXperience)。
それは「誰でも“働きがい”を持って開発ができる」ことです。挑戦と称賛・思いついたアイデアを手軽に試せる。・失敗を許容し、挑戦を称賛してくれる。成長と貢献実感・難易度の高い課題を解決し、成長実感を得る。・顧客の課題を解決し、感謝の声を貰う。私たちは”働きがい”を世の中に提供する会社として、顧客と仲間の“働きがい”にこだわりたい。

71 © Link and Motivation Group #dxd2023 2023/06/15 AIと違い、開発者には“感情”がある。「より生産的に」が強まりすぎると”感情”が置いてきぼりになりうる。
効率だけでなく、一人ひとりの“ポジティブな感情”も大事にしたい。一部では、「AIはエンジニアを代替するもの」という声もあるが、私たちは「AIはエンジニアをエンパワーメントするもの」と捉えている。 AIと人との協働・共創を模索し、「働きがいあふれる社会」という目的達成を加速させる挑戦を続ける。

72 © Link and Motivation Group #dxd2023 2023/06/15 おしらせテックブログ更新中です！
https://www.lmi.ne.jp/recrui ting/ 積極採用中です！カジュアルにお話しいたしましょう！ ChatGPT関連情報もいろいろあります！ https://link-and- motivation.hatenablog.com/

GPTを使った異次元の開発者体験への挑戦 ～ハイパフォーマーのその先へ～/Developer ...

GPTを使った異次元の開発者体験への挑戦 ～ハイパフォーマーのその先へ～/Developer eXperience Day 2023-Link and Motivation

Transcript

More Decks by リンクアンドモチベーション

Featured

GPTを使った異次元の開発者体験への挑戦～ハイパフォーマーのその先へ～/Developer ...

GPTを使った異次元の開発者体験への挑戦～ハイパフォーマーのその先へ～/Developer eXperience Day 2023-Link and Motivation