丸投げ！ ChatGPT で Azure の環境を IaC する

https://hybridcloud.connpass.com/event/302737/

Infrastructure as Code のツールを用いて Azure に環境を構築する内容です。
OpenAI ChatGPT (GPT-4V) を使ってどこまで丸投げできるのかを検証します。
どれぐらい雑でもイケるのか、コード生成における実際の打率、そしてどれぐらい自分で書かないといけないのかを調べたりします。
「他のChatGPTセッションもホントは上手くいったとこだけ切り抜いてデモを作ってるんですよね？」という疑問に迫ります。

Transcript

1. 株式会社ネットワールド SI技術本部 丸投げ！ ChatGPT で Azure の環境を IaC する ソリューションアーキテクト課 海野 航
2. 2 Copyright © 2023 Networld Corporation All Rights Reserved. もくじ • はじめに • HashiCorp Terraform が実現する Infrastructure as Code • Networld X というイベントで… • 同じプロンプトと同じ素材での再現性はどうか • 同じプロンプトと別の素材での再現性はどうか • まとめ
3. Copyright © 2023 Networld Corporation All Rights Reserved. はじめに
4. 4 Copyright © 2023 Networld Corporation All Rights Reserved. 自己紹介 ネットワールドのソリューションアーキテクト NVIDIA NGCA, VMware vExpert 趣味とか… : 海野 航 (うんの わたる)
5. Copyright © 2023 Networld Corporation All Rights Reserved. Terraform が実現する Infrastructure as Code
6. 10 Copyright © 2023 Networld Corporation All Rights Reserved. 詳しい Terraform の概要は過去の HCCJP をご覧ください!! https://www.youtube.com/watch?v=WXFTPh7EnHY
7. 11 Copyright © 2023 Networld Corporation All Rights Reserved. そもそも Infrastructure as Code (IaC) とは？ インフラ CPUやメモリ、ディスクといったリソース、 あるいは仮想マシンやアプライアンスそのもの コードで 表現すること を
8. 12 Copyright © 2023 Networld Corporation All Rights Reserved. Terraform による IaC で インフラセルフサービスを実現 導 入 前 導 入 後 ソフトウェア開 発者 ソフトウェア開 発者 インフラ要件 (作業指示書) Terraform の コード (HCL) インフラ SE が 作業を実施 Terraform が プロビジョニング 開発者が 要求した リソース 開発者が 要求した リソース
9. 13 Copyright © 2023 Networld Corporation All Rights Reserved. ネットワールドが推している IaC ツールは Terraform
10. 14 Copyright © 2023 Networld Corporation All Rights Reserved. Terraform が Infrastructure as Code を実現する 再利用可能な ソースコードとして インフラの構成を 定義する 多様なインフラを ワークフローを 変えることなく 導入する 出典 : Terraformで超サクッとループで リソースを用意する方法 https://dev.classmethod.jp/cloud/ aws/terraform-network-variable/ 出典 : Azure 上の HashiCorp Terraform https://azure.microsoft.com/ja- jp/solutions/devops/terraform/
11. 15 Copyright © 2023 Networld Corporation All Rights Reserved. Terraform を提供する HashiCorp とネットワールドの関係 ネットワールド、米HashiCorp社と 世界初のディストリビューター契約を締結 出典 : https://headlines.yahoo.co.jp/hl?a=20200417-00173793-bcn-prod
12. Copyright © 2023 Networld Corporation All Rights Reserved. Networld X というイベントで…
13. 17 Copyright © 2023 Networld Corporation All Rights Reserved.
14. 18 Copyright © 2023 Networld Corporation All Rights Reserved.
15. 19 Copyright © 2023 Networld Corporation All Rights Reserved.
16. 20 Copyright © 2023 Networld Corporation All Rights Reserved. アーカイブで配信中
17. 21 Copyright © 2023 Networld Corporation All Rights Reserved.
18. 22 Copyright © 2023 Networld Corporation All Rights Reserved. ChatGPT芸を打つ 入力したプロンプト 「この構成図とヒアリング項目に基づいて Terraformのコードを生成してください。 セキュリティの観点からクレデンシャル情報の 項目は別ファイルにします。」
19. 23 Copyright © 2023 Networld Corporation All Rights Reserved. ChatGPT芸を打つ
20. 24 Copyright © 2023 Networld Corporation All Rights Reserved. 実際に使った画像と項目がこちら
21. 25 Copyright © 2023 Networld Corporation All Rights Reserved. 実際のリポジトリ : 手作業の修正なし、ガチでコミットした https://github.com/unnowataru/networld-x-2023/
22. 26 Copyright © 2023 Networld Corporation All Rights Reserved. Terraform Cloud で Azure にプロビジョニングする流れ • 生成したコードを GitHub に格納する
23. 27 Copyright © 2023 Networld Corporation All Rights Reserved. Terraform Cloud で Azure にプロビジョニングする流れ • Terraform Cloud の初期設定 と リポジトリの紐付けをする
24. 28 Copyright © 2023 Networld Corporation All Rights Reserved. このときはちゃんと動いてくれた
25. Copyright © 2023 Networld Corporation All Rights Reserved. 同じプロンプトと同じ素材 での再現性はどうか
26. 30 Copyright © 2023 Networld Corporation All Rights Reserved. １回目 • 「... additional resources for NIC, public IP, VM, etc.」が発生 • main.tf の１ファイル構成
27. 31 Copyright © 2023 Networld Corporation All Rights Reserved. ２回目 • またしても１ファイル構成かつ “terraform init” ができない
28. 32 Copyright © 2023 Networld Corporation All Rights Reserved. ３回目 • ちゃんとしてそう • main.tf, secrets.tfvars, variables.tf の３ファイル構成
29. 33 Copyright © 2023 Networld Corporation All Rights Reserved. ４回目 • なんかあやしい • ファイル名の定義なし と secrets.tfvars の２ファイル構成
30. 34 Copyright © 2023 Networld Corporation All Rights Reserved. みたいな感じで５回目～１０回目まで繰り返した結果 応答言語 実行可否 ファイルNo.1 ファイルNo.2 ファイルNo.3 コメント 評価 1st 英語 × main.tf × 2nd 英語 × ファイル名なし × 3rd 英語 ◦ secrets.tfvars main.tf variables.tf 美しい ◦ 4th 英語 ◦ ファイル名なし secrets.tfvars 手作業でファイル名を変更 △ 5th 英語 × main.tf × 6th 英語 × main.tf × 7th 英語 ◦ variables.tf main.tf secrets.tfvars 美しい ◦ 8th 英語 × ファイル名なし × 9th 英語 ◦ ファイル名なし secrets.tfvars variables.tf 手作業でファイル名を変更 △ 10th 英語 × ファイル名なし ×
31. Copyright © 2023 Networld Corporation All Rights Reserved. 同じプロンプトと別の素材 での再現性はどうか
32. 36 Copyright © 2023 Networld Corporation All Rights Reserved. 次に試す画像がこちら (項目は同じ)
33. 37 Copyright © 2023 Networld Corporation All Rights Reserved. いけますね • 普通に ”terraform apply” まで実行できた
34. 38 Copyright © 2023 Networld Corporation All Rights Reserved. ２回目～１０回目まで • また繰り返す… (２回目はイマイチだった)
35. 39 Copyright © 2023 Networld Corporation All Rights Reserved. みたいな感じで１０回目まで繰り返した結果 応答言語 実行可否 ファイルNo.1 ファイルNo.2 ファイルNo.3 コメント 評価 1st 英語 ◦ ファイル名なし secrets.tfvars 手作業でファイル名を変更 ◦ 2nd 英語 × ファイル名なし × 3rd 英語 × ファイル名なし × 4th 英語 × ファイル名なし × 5th 英語 × ファイル名なし × 6th 英語 ◦ secrets.tfvars main.tf ◦ 7th 英語 ◦ variables.tf secrets.tfvars main.tf ◦ 8th 英語 × ファイル名なし × 9th 英語 × ファイル名なし secrets.tfvars variables.tf 一部欠落したパラメータあり × 10th 英語 △ ファイル名なし secrets.tfvars 手作業でファイル名を変更 △
36. Copyright © 2023 Networld Corporation All Rights Reserved. ヒアリング項目だけではどうか
37. 41 Copyright © 2023 Networld Corporation All Rights Reserved. もしかして画像は関係ないのでは… 入力したプロンプト 「この構成図とヒアリング項目に基づいて Terraformのコードを生成してください。 セキュリティの観点からクレデンシャル情報の 項目は別ファイルにします。」
38. 42 Copyright © 2023 Networld Corporation All Rights Reserved. 日本語で応答が出力される • しかも、精度が高く感じられる
39. 43 Copyright © 2023 Networld Corporation All Rights Reserved. ５回目まで繰り返した結果 応答言語 実行可否 ファイルNo.1 ファイルNo.2 ファイルNo.3 コメント 評価 1st 日本語 ◦ ファイル名なし secrets.tfvars 手作業でファイル名を変更 ◦ 2nd 日本語 ◦ main.tf secrets.tfvars ◦ 3rd 日本語 ◦ terraform.tfvars main.tf 丁寧な解説付き ◎ 4th 日本語 ◦ ファイル名なし variables.tf secrets.tfvars 手作業でファイル名を変更 ◦ 5th 日本語 ◦ ファイル名なし secrets.tfvars 手作業でファイル名を変更 ◦
40. Copyright © 2023 Networld Corporation All Rights Reserved. (参考)手書きのヒアリング項目だけではどうか
41. 45 Copyright © 2023 Networld Corporation All Rights Reserved. 一応生成はしてくれる • 誤読あり AIGen → A1Gen • 一部欠落のセクションあり (NSGがない)
42. Copyright © 2023 Networld Corporation All Rights Reserved. (参考)構成図だけではどうか
43. 47 Copyright © 2023 Networld Corporation All Rights Reserved. 一応生成はしてくれる
44. Copyright © 2023 Networld Corporation All Rights Reserved. まとめ
45. 49 Copyright © 2023 Networld Corporation All Rights Reserved. まとめ 今回の検証条件では… 構成図を含めると期待する回答への応答精度が下がった 構成図を含めたときに 期待する回答への打率は３割ぐらい ヒアリング項目をテキストのみで伝えた場合は まさかの100% とは言え、正しいかどうかを判断するためには 各プロダクトやサービスの知識が必要ですよね
46. 50 Copyright © 2023 Networld Corporation All Rights Reserved. 詳しい Terraform の概要は過去の HCCJP をご覧ください!! https://www.youtube.com/watch?v=WXFTPh7EnHY ChatGPT と組み合わせて もっとすぐできるようになってます