学生サークルで開発するVMプロビジョニングツール

私の所属するNekko Cloud Teamでは、VPNでメンバーの自宅サーバを接続し、プライベートクラウドを構築しています。
ProxmoxでIaaS環境を運用しているのですが、手作業でVMを作成する工程は冗長であり、時間のかかる面倒な作業でした。

そこで、我々は「VMを作成する工程」をトイルと定義し、VM用プロビジョニングツール「Terrakko」を作成しました。
今回は、Terrakkoプロジェクトを通して、Nekko Cloud TeamにPlatform Engineeringという考え方をもたらす過程を紹介します。

アジェンダ：
マルチリージョンプライベートクラウド Nekko Cloud
Nekko Cloud IaaS基盤の開発における課題
サークル内のトイルと向き合う方法
Infrastructure as Codeという選択
プロビジョニングツール Terrakko

Transcript

1. 学生サークルで開発する VMプロビジョニングツール @cyokozai
2. 井上 裕介 a.k.a cyokozai 千葉工業大学 情報科学部 情報工学科 B4 ❏ ネットワークコンテンツ研究会 Nekko Cloud Team ❏ 株式会社スリーシェイク sreake事業部 学生インターン生 :~$ YAML, Shell Script, Python, Go :~$ 本屋巡り、ダンス、サカナクション 自己紹介
3. • マルチリージョンプライベートクラウド Nekko Cloud • Nekko Cloud IaaS基盤の開発における課題 • サークル内のトイルと向き合う方法 • Infrastructure as Codeという選択 • プロビジョニングツール Terrakko 車輪をあえて再発明するという選択 アジェンダ
4. マルチリージョン プライベートクラウド Nekko Cloud
5. Nekko Cloud • メンバーの所有するサーバを VPNでつないでプライベート クラウドを制作 • クラウドの設計・開発・運用を 通してクラウド技術を学ぼう！ • Proxmox VEクラスタを用いた IaaS基盤
6. Nekko Cloud 浦和リージョン ちょこざい宅
7. Nekko Cloud 幕張リージョン いるまる（部長）宅
8. Nekko Cloud 津田沼リージョン たけのこ宅
9. リージョン構成 NGN網内折り返し+WireGuardで拠点間を接続 (ping 約 5 ms) NGN網内折り返し WireGuard VPN ちょっとフリーメイソンっぽい...w
10. Proxmox VEクラスタ
11. Proxmox VEクラスタ
12. Nekko Cloud IaaS基盤の 開発における課題
13. VM作るのがめんどくさい！！！
14. VMの設定にかかる工程 工程 作業内容 VM作成 Nekko Cloud上で最適に動作するように毎回 各種パラメーターを大量入力&コマンド入力 OSインストール IPアドレス・ユーザー名・SSH鍵・ qemu agentインストール
15. VM設定を簡略化 工程 作業内容 解決策 VM作成 Nekko Cloud上で最適に動作するように毎回 各種パラメーターを大量入力&コマンド入力 テンプレートの作成 OSインストール IPアドレス・ユーザー名・SSH鍵・ qemu agentインストール Cloud-Initで自動化
16. VM設定を簡略化 工程 作業内容 解決策 VM作成 Nekko Cloud上で最適に動作するように毎回 各種パラメーターを大量入力&コマンド入力 テンプレートで簡略化 OSインストール IPアドレス・ユーザー名・SSH鍵・ qemu agentインストール Cloud-Initで簡略化 部長いるまるが12月の JPmoxs勉強会で登壇予定
17. Nekko Cloudの開発を行う中で どうしても避けられない課題が見えてきた
18. そ　れ　で　も VM作るのがめんどくさい！！！
19. VM作るのめんどくせーなー • Webコンソールを開いて操作に慣れていないと大変 • 勉強や開発のためにVMを使ってくれない • 複数のVM立てる時はかなり面倒くさい • もっと気軽にVMを建てたい Discordでコメントする感覚で....
20. VM作るのめんどくせーなー • Webコンソールを開いて操作に慣れていないと大変 • 勉強や開発のためにVMを使ってくれない • 複数のVM立てる時はかなり面倒くさい • もっと気軽にVMを建てたい Discordでコメントする感覚で.... この課題は後で再定義します
21. Terrakko - DiscordからVMを作成！ • Discordから直感的な操作でVMの作成・削除・起動が可能 • VMの複数同時生成に対応 • 事前にユーザ情報やSSHキーを登録することで約10秒で VM作成が可能！
22. Terrakko開発の裏話
23. サークル内のトイルと向き合う方法
24. と い る ってご存知ですか？
25. トイル (Toil) とは • toil: 苦労、骨が折れる • トイル≠面倒で苦労のかかる仕事 • 工学におけるトイルには明確な定義が存在する
26. トイル (Toil) の定義 • 手作業で行う工程が多い • 頻繁に割り込みで発生する作業 • 繰り返し発生する作業 • 非生産的な作業 • 開発の規模に比例して工程が増加する • 工程と作業の自動化が可能
27. トイル (Toil) の定義 • 手作業で行う工程が多い • 頻繁に割り込みで発生する作業 • 繰り返し発生する作業 • 非生産的な作業 • 開発の規模に比例して工程が増加する • 工程と作業の自動化が可能
28. 「VM作るのめんどくさい」はトイルか？ • 手作業でWebコンソールを操作 → 工数が非常に多い • 数十台のVMを必要とした場合 → 手作業は相当厳しい • IaCツールを導入することで自動化が可能
29. トイルを排除したい 何について調べますか？ お前を消す方法
30. トイルを排除する工学的手法 • SRE (Site Reliability Engineering) システムの信頼性の維持と向上 システムの監視と自動化 • Platform Engineering 開発チームの認知負荷を下げ生産性の最適化 開発効率を上げるプラットフォームの設計
31. SRE or Platform Engineering • どちらの手法が良いか → あなたが所属するチーム次第 • 問題の分析、原因の明確化、文化や習慣 etc…
32. Nekko Cloud Teamに必要なのはどっち？ Platform Engineeringを選択 • プラットフォームそのものを開発するチームである → 開発チームの生産性を上げることに関心がある • 開発メンバーがもっと楽にVMを使える環境を目指す • 開発メンバーの認知負荷を下げる
33. Infrastructure as Codeという選択
34. IaC (Infrastructure as Code) • インフラリソースをソースコードで定義する • 手動で行っていた手順をコード化する • 冪等性の確保 (何度やっても同じ結果になる) • Gitによるバージョン管理が可能
35. 代表的なIaCツール • Terraform • Ansible • Pulumi
36. 代表的なIaCツール • Terraform • Ansible • Pulumi
37. Terraformの優れているところ • 複雑なインフラ構成を独自の構造言語で記述 • 各クラウドプロバイダでの利用実績 • 豊富なプロバイダに対応 • プロビジョニングツールのデファクトスタンダード
38. Terraformを使ったVM作成 工程 作業内容 解決策 VM作成 Nekko Cloud上で最適に動作するように毎回 各種パラメーターを大量入力&コマンド入力 Terraformコマンドを実行 → 遠隔からテンプレート を自動でクローン OSインストール IPアドレス・ユーザー名・SSH鍵・ qemu agentインストール Cloud-Initで簡略化
39. Terraformを使って見えてきた課題 • テンプレートのCloud-init設定をTerraformが上書きしてしまう • Terraform側でもCloud-initと全く同じ設定を維持する • VMを作るだけなのにわざわざTerraformに入門するのか？
40. Terraformを使って見えてきた課題 • テンプレートのCloud-init設定をTerraformが上書きしてしまう • Terraform側でもCloud-initと全く同じ設定を維持する • VMを作るだけなのにわざわざTerraformに入門するのか？
41. テンプレートのCloud-init設定をTerraformが 上書きしてしまう • 既に完成したテンプレートを単にクローンしたい • tffileで未定義の部分はクローン時にテンプレートの構成 をTerraform Providerの初期値で上書きされてしまう 手動でクローン Terraformでクローン
42. Terraformを使って見えてきた課題 • テンプレートのCloud-init設定をTerraformが上書きしてしまう • Terraform側でもCloud-initと全く同じ設定を維持する • VMを作るだけなのにわざわざTerraformに入門するのか？
43. Terraform側でもCloud-initと全く同じ設定を維持する • テンプレートの設定を変更したときにTerraformの設定も 変更する必要があり管理コストが倍になってしまう 別々のフォーマットで書かれた設定ファイルから 同じテンプレートが作成できなければならない
44. Terraformを使って見えてきた課題 • テンプレートのCloud-init設定をTerraformが上書きしてしまう • Terraform側でもCloud-initと全く同じ設定を維持する必要 • VMを作るだけなのにわざわざTerraformに入門するのか？
45. VMを作るだけなのに わざわざTerraformに入門するのか？ • tfvars, tfstateの管理に注意が必要 → 使いこなすにはある程度知識が不可欠 • かえって認知負荷の増加になっているのでは？ Terraformで定義した変数の内、センシティブなものを 定義するファイル、Terraform版 .env Terraformでプロビジョニングしたインフラリソースの状態を 保存するファイル
46. Nekko Cloudに欲しいのはもっと単純な機能
47. プロビジョニングツール Terrakko 車輪をあえて再発明するという選択
48. • メリット ◦ 既にTerraformを使えばVMの作成自体は可能 ◦ 工数の削減、複数VM作成の自動化は達成できた • デメリット ◦ Terraform導入後の管理コストが大きい ◦ VM作成に対する学習コストが高い Terraformを採択するか・手放すか
49. 我々はTerraformを手放した
50. 車輪の再発明 • TerraformはProxmox VE APIを叩いて処理を行う • APIを叩くアプリ → どこからAPIを叩くのが良いか？
51. 「Proxmox VE APIをDiscord Botが叩く」 というアイデア • Pythonのライブラリproxmoxerとdiscord.pyを使用 • 普段からサークル活動で使っているDiscordサーバーからVMを作成 • 技術にまだ慣れない新入生でも簡単にVMを作成できる
52. Nekko Cloud IaaSプロビジョニングツール Terrakko • DiscordからVMの作成・削除・起動 • VMの複数同時生成に対応 • 約10秒でVM作成が可能！
53. • クラウドを作るサークルならではの問題と向き合った • 開発チームにかかる負荷を見直す良い機会が得られた • トイルを明確にしていたことで、開発の方針を考え直す ことができた • ベータテスト→ FBを集めver1.0リリースを目指す まとめ
54. • SREにおけるトイルの判断と切り分け方 https://sreake.com/blog/sre-toil-select/external_link • Infrastructure as Code (IaC) とは何ですか? https://aws.amazon.com/jp/what-is/iac/ • Proxmox VE API https://pve.proxmox.com/wiki/Proxmox_VE_API 参考資料
55. Thank you for listening!