QAもDevinを使いたい

Devin LT会での登壇資料 by Daiki Matsuo

Transcript

1. QAもDevinを使いたい 
 
 Devinを用いて不具合起票の比較した話し Daiki Matsuo
2. 自己紹介
 
 名前：松尾大樹（おまつ）
 職種：QA
 趣味：
 - ゲーム系の配信を見ること
 - ボルダリング（予定）
 

3. 目次
 
 1.なぜDevinを使いたいのか
 2.Devinを用いた不具合起票の比較
 3.まとめ

4. なぜDevinを使いたいのか
 最近の開発の皆さんから、こんな声が聞こえてきます
 - AIを使って開発効率上がったよ！！
 - 不具合が一瞬で修正できたよ
 - タスクがどんどん進むよ
 - ベロシティが爆増してる が、しかし QAの効率はどうなのだろうか。。。。。。
 AIによって促進する開発効率に対して、現状のままだとQAが ボトルネックになってしまうのでは?
 そんな未来（現在）が見えます
5. Devinが良いと感じたところ
 - Githubリポジトリと連携している
 - Githubにチケットに受け入れ条件が記載されている
 - GithubでQAの不具合チケットを起票している
 - Slackからの指示できる
 - 簡単に依頼できる
 じゃあ、QAもAIを使ってみよう

6. 本題：Devinを用いた不具合起票の比較
 
 検証目的：依頼内容とKnowledgeの有無が結果に与えるのか
 
 検証方法：Devinを用いて3パターンの不具合起票を実施
 パターン①：最低限の情報のみ
 パターン②：過去の不具合チケットを参照
 パターン③：Knowledgeに情報を記載
 ※パターン毎にSessionは分けて実施
 
 今回起票してもらう内容 ：
 トレーニング画面＞テスト画面にある合格モーダルで[トレーニングに戻る]を押下すると 選択中のトレーニングではなく一番上のトレーニングに戻ってしまう
7. アウトプットして欲しい起票イメージ（事前に手動作成したもの） 
 期待するアウトプット ： ・様式に沿っている ・詳細やステップがサービスを知っている人な ら理解できる ・依頼内容に含まれていない細かい情報は、 アウトプットされなくてよい
8. パターン 命令 結果 結果 ①最低限の情報のみ 
 
 [リポジトリ名 ]のリポジトリに以下の内容で QA issueを起 票して、ただし起票前に内容を私に確認させてください 内容： 受講者側のトレーニング＞テストチャプターの合格モーダ ルで[トレーニングに戻る ]を押下すると並び順が一番上の トレーニングに戻る 期待値： 選択中のトレーニングに戻ること ②過去の不具合チケットを参照
 ③Knowledgeに情報を記載

9. ①最低限の情報で依頼 
 
 結果： ・Githubでdevのissueテンプレートを使用して いるためQA issueの様式にあっていない ・詳細やステップの記載は問題ない
10. パターン 命令 結果 結果 ①最低限の情報のみ
 
 [リポジトリ名]のリポジトリに以下の内容でQA issueを起票 して、ただし起票前に内容を私に確認させてください 内容： 受講者側のトレーニング＞テストチャプターの合格モーダル で[トレーニングに戻る]を押下すると並び順が一番上のト レーニングに戻る 期待値： 選択中のトレーニングに戻ること ・Githubでdevのissueテンプレートを使用している ためQA issueの様式にあっていない ・詳細やステップの記載は問題ない × ②過去の不具合チケットを参照
 ①に過去の不具合チケットの様式を参考にするように追記 ③Knowledgeに情報を記載
 Knowledgeに起票テンプレートと画面情報を追加して①と 同じ内容で依頼
11. パターン 命令 結果 結果 ①最低限の情報のみ
 
 [リポジトリ名]のリポジトリに以下の内容でQA issueを起票 して、ただし起票前に内容を私に確認させてください 内容： 受講者側のトレーニング＞テストチャプターの合格モーダル で[トレーニングに戻る]を押下すると並び順が一番上のト レーニングに戻る 期待値： 選択中のトレーニングに戻ること ・Githubでdevのissueテンプレートを使用しているため QA issueの様式にあっていない ・詳細やステップの記載は問題ない × ②過去の不具合チケットを参照 
 ①に過去の不具合チケットの様式を参考にするように追 記 ③Knowledgeに情報を記載
 Knowledgeに起票テンプレートと画面情報を追加して①と 同じ内容で依頼
12. ②過去のチケットを参照にして作成 
 
 結果： ・様式はQA issueの様式に沿っている ・詳細やステップは問題ない ・過去チケット参照にしているため、細かい箇 所は指定が難しそう
13. パターン 命令 結果 結果 ①最低限の情報のみ
 
 [リポジトリ名]のリポジトリに以下の内容でQA issueを起票 して、ただし起票前に内容を私に確認させてください 内容： 受講者側のトレーニング＞テストチャプターの合格モーダル で[トレーニングに戻る]を押下すると並び順が一番上のト レーニングに戻る 期待値： 選択中のトレーニングに戻ること ・Githubでdevのissueテンプレートを使用しているため QA issueの様式にあっていない ・詳細やステップの記載は問題ない × ②過去の不具合チケットを参照
 ①に過去の不具合チケットの様式を参考にするように追記 ・様式はQA issueの様式に沿っている ・詳細やステップの記載は問題ない ・過去チケット参照にしているため、細かい箇所は指 定が難しそう ◦ ③Knowledgeに情報を記載
 Knowledgeに起票テンプレートと画面情報を追加して①と 同じ内容で依頼
14. パターン 命令 結果 結果 ①最低限の情報のみ
 
 [リポジトリ名]のリポジトリに以下の内容でQA issueを起票 して、ただし起票前に内容を私に確認させてください 内容： 受講者側のトレーニング＞テストチャプターの合格モーダル で[トレーニングに戻る]を押下すると並び順が一番上のト レーニングに戻る 期待値： 選択中のトレーニングに戻ること ・Githubでdevのissueテンプレートを使用しているため QA issueの様式にあっていない ・詳細やステップの記載は問題ない × ②過去の不具合チケットを参照
 ①に過去の不具合チケットの様式を参考にするように追記 ・様式はQA issueの様式に沿っている ・詳細やステップの記載は問題ない ・過去チケット参照にしているため、細かい箇所は指 定が難しそう ◦ ③Knowledgeに情報を記載 
 Knowledgeに起票テンプレートと画面情報を追加して① と同じ内容で依頼
15. ③Knowledgeに情報を記載して依頼 
 
 結果： ・様式はQA issueの様式に沿っている ・詳細やステップの記載はパターン① ,②より具 体化されている ・細かい箇所は修正が必要
16. パターン 命令 結果 結果 ①最低限の情報のみ
 
 [リポジトリ名]のリポジトリに以下の内容でQA issueを起票 して、ただし起票前に内容を私に確認させてください 内容： 受講者側のトレーニング＞テストチャプターの合格モーダル で[トレーニングに戻る]を押下すると並び順が一番上のト レーニングに戻る 期待値： 選択中のトレーニングに戻ること ・Githubでdevのissueテンプレートを使用しているため QA issueの様式にあっていない ・詳細やステップの記載は問題ない × ②過去の不具合チケットを参照
 ①に過去の不具合チケットの様式を参考にするように追記 ・様式はQA issueの様式に沿っている ・詳細やステップの記載は問題ない ・過去チケット参照にしているため、細かい箇所は指 定が難しそう ◦ ③Knowledgeに情報を記載
 Knowledgeに起票テンプレートと画面情報を追加して①と 同じ内容で依頼 ・様式はQA issueの様式に沿っている ・詳細やステップの記載はパターン① ,②より具体化 されている ・細かい箇所は修正が必要 ◦
17. まとめ
 - 依頼の形式やKnowledgeの有無によっての出力の変化する
 - 何度も依頼するような定常業務であればKnowledgeに追加した方が期待に沿った アプトプットを得られる
 
 今後について
 - Devinに触れることでAIで何ができるかの知見が広がったのでQAの効率化を目指 していきたい