Share
Embed
Terraform 0 to 100:100個以上のリポジトリを常に最新にし続けるための自動化
CloudNative Days Winter 2026(https://cloudnativedays.jp/) の発表資料です。
https://cloudnativedays.jp/sessions/3188
sue445
November 19, 2026
Transcript
68 slides
-
Terraform 0 to 100:100個 以上のリポジトリを常に最新に し続けるための自動化 CloudNative Days Winter 2026
https://cloudnativedays.jp/sessions/3188 pixiv Inc. sue445 2026/11/19 -
自己紹介 sue445 シニアテックリード 2 • Go Sueyoshi (a.k.a. sue445, sue-san)
◦ https://x.com/sue445 ◦ https://github.com/sue445 ◦ https://gitlab.com/sue445 • ピクシブ株式会社 (2018年〜) ◦ Infrastructure Unit所属 • CloudNative Daysは何回かProposalを出し ていて4回目で初採択🎉 -
今日話すこと • 何もないところからTerraformを導入して、リポジトリが100個以上にな るまでの道のり • 増えたTerraformリポジトリの運用を楽にするために行ったことと、作っ たツールの紹介 • 段階ごとに話す ◦
0→1 ◦ 1→10 ◦ 10→50 ◦ 50→100 7 -
リポジトリ数 • アーカイブされていないTerraformリポジトリが115個ある ◦ 利用終了したAWSアカウントやGoogle Cloudプロジェクトはシャット ダウンしてTerraformリポジトリもアーカイブしているため、アーカイ ブされているものを含めると150個以上 • 1つのリポジトリで、本番や開発など複数のAWSアカウントやGoogle
Cloudプロジェクトを管理していることもある ◦ そのためアカウントやプロジェクトの数は、リポジトリ数より多い 11 -
何をどこで管理しているか • 基本的にはほぼ全部GitLabにある ◦ GitLabはGoogle Cloud上で動かしている。GitLab自身が載っているプ ロジェクトを管理するTerraformリポジトリだけはGitHubにある • 大半はAWSやGoogle Cloudを管理するTerraformリポジトリで、それ以
外も一部ある ◦ 例. Cloudflare, GitLabやGitHubの一部の権限, DatadogのMonitorなど 12 -
Terraformについて • Terraformは、クラウドなどの構成をコードで管理する Infrastructure as Code (IaC) のツール ◦ https://developer.hashicorp.com/terraform
• 今でこそピクシブ社内のデファクトスタンダードだが、社内で最初に導入 したのはsue445 16 -
IaC導入時に比較したもの • CloudFormation (AWS), Deployment Manager (Google Cloud) • 入社時点では、AWSとGoogle
Cloudの利用率がだいたい同じくらいだっ た • 両方を同じツールとエコシステムで運用した方が楽なので、両方に対応し ているTerraformを採用した(2018年) • 余談:Deployment Managerは2026/3/31にサポート終了になっていて、 今はTerraformベースのInfrastructure Managerへの移行が推奨されてい る 17 -
1つ目のTerraformリポジトリでの運用 • Terraformの実行は全てGitLab CIで行っていた ◦ MR(Merge Request, GitHubのPull RequestのGitLab版)で terraform
plan (dry run)を実行 ◦ MRのマージ後にデフォルトブランチで自動 terraform apply (本実行) ◦ 必要に応じてMRで手動 terraform apply • 1つ目の時点では .gitlab-ci.yml (GitLab CIの設定ファイル)は特に共通化 していなかった 18 -
terraform-templateで実装した機能 • terraform plan • terraform fmt で差分があった時にエラーにする ◦ MRでも実行することにより、デフォルトブランチには常に整形済のtf
ファイルが入ることが保証される • MRのマージ後にデフォルトブランチで自動 terraform apply • 必要に応じてMRで手動 terraform apply 22 -
リポジトリを作るのが大変 • Terraform用リポジトリの初期構築がまあまあ大変 ◦ AWSなら、リポジトリ以外にも terraform.tfstate 用のS3バケット や、CIでTerraformを実行するIAMユーザーやIAMロールが必要 ◦ 最近ならキーレスCIのためにOIDCも初手で入れたい
• Google Cloudでも同じようなことが必要 ◦ GCS, サービスアカウント, Workload Identity Federation 27 -
解決方法:テンプレートリポジトリ • AWS用とGoogle Cloud用のテンプレートリポジトリを作り、新規作成時 はそれをベースにした • テンプレートリポジトリはGitHubだと無料で使えるが、GitLabの有償版 の機能 ◦ 当時は無料版のGitLabを使っていたので、テンプレートリポジトリを
コピーして使っていた • CIの設定を含めて一括で構築できるようにした 28 -
ピクシブでのAWS用のTerraformの初 期セットアップ手順 1. AWSアカウント開設 2. テンプレートリポジトリを元にTerraformリポジトリを作成 3. テンプレートリポジトリ内に含まれているCloudFormationのテンプレー トファイルをAWSのコンソールからアップロードして、backendのバケッ ト名などを入力して実行
4. Terraform内のbackendバケットなどのアカウント固有の設定修正 5. CIでTerraformが実行できるようになる 30 -
Setup Terraform for Google Cloud • 当初はDeployment ManagerでTerraformをセットアップしていた • 前述の通りサポート終了したので、同じ処理を
setup-terraform.sh に書 き直した • 公式はInfrastructure Managerへの移行を推奨してるが採用しなかった のは、Terraformのセットアップのために別のTerraformを使うのが微妙 だったため 31 -
ピクシブでのGoogle Cloud用の Terraformの初期セットアップ手順 1. Google Cloudプロジェクト開設 2. テンプレートリポジトリを元にTerraformリポジトリを作成 3. テンプレートリポジトリ内に含まれている
setup-terraform.sh をローカ ルで実行 4. Terraform内のbackendバケットなどのプロジェクト固有の設定修正 5. CIでTerraformが実行できるようになる 32 -
for GitHub • GitHub派な人はOSS版を使ってください ◦ https://github.com/sue445/terraform-aws-template ◦ https://github.com/sue445/terraform-gcp-template • OSS版をベースに社内版を作っているので、構成はほぼ同じ
◦ 違いはGitHub ActionsかGitLab CIかくらい • 前述のCloudFormationのテンプレートファイルや setup-terraform.sh もGitHub版はOSSで公開している 33 -
Terraform本体を自動でバージョンアッ プする for GitLab • ざっくりとした方針 ◦ バージョンは .terraform-version のようなファイルに書いて、CIでも
そのバージョンを参照させる ◦ このファイルを更新するだけでバージョンアップできるようにする 37 -
補足 • ただしGitLab CIの仕様上 .terraform-version の内容を直接 image で使 うことが難しかった。(できないことはないがjobの構成がちょっと複雑に なる)
• そのため .terraform-version と TERRAFORM_VERSION の2箇所にバー ジョンを定義しつつ、バージョンアップ時に一緒に書き換えるようにした (後述) 38 -
Renovateでバージョンアップする • .terraform-version に関しては実はRenovateで対応している ◦ https://docs.renovatebot.com/modules/manager/terraform-versi on/ • しかし社内のTerraformの定期バージョンアップを導入した時期にはまだ Renovateは対応してなかったため、ピクシブでは別の仕組みでバージョ
ンアップしている ◦ 発表概要に「既存ツールだとTerraform本体のバージョンアップができ なかった」と書いていたのはRenovate対応前に社内導入したため🙏 • 前述の .terraform-version と TERRAFORM_VERSION の2箇所を同時に 更新するのも頑張れば可能 39 -
terraform-version-updater • https://github.com/sue445/terraform-version-updater • .terraform-version を更新するツール • 元々似たような社内ツールがあったのだが、社内GitLabへの依存をなく しつつゼロベースで作り直してOSS化した •
GitLabに依存しないので、GitHubでも使える • Terraform本体がサプライチェーン攻撃を受けた場合に備え、cooldown 機能を入れている 41 -
複数リポジトリ版 (for GitLab) • リポジトリが1つなら、そのリポジトリにCIの設定を書けばいい • しかし弊社にはTerraformリポジトリがたくさんあるので、全部に同じ設 定を書いて回るのは大変 ◦ 今ならCoding
Agentを使えばパッチを量産するコストは下がるが、そ れでも大変 • 設定は1箇所で管理しつつ、複数のリポジトリに terraform-version-updater と create-merge-request を透過的に実行 したい 43 -
Scheduled pipeline execution policiesとは • https://docs.gitlab.com/ja-jp/user/application_security/policies/sc heduled_pipeline_execution_policies/ • Security Policyの機能の1つ
• 特定のグループ配下のリポジトリに対して、GitLab CIのjobを透過的に定 期実行できる 46 -
Scheduled pipeline execution policiesとは • 通常のGitLab CIは、.gitlab-ci.yml(かそのinclude先)に設定を書かな いとjobが定義されない ◦ GitHubでいうと、.github/workflows/
にymlを書かないとjobが定義さ れないのと同じ • この機能を使うと、各リポジトリにjob定義が無くても、Security Policy 側のjobを定期実行できる 47 -
Scheduled pipeline execution policiesとは • 社内のTerraformリポジトリは基本的に名前が -terraform で終わり、リ ポジトリ内に .terraform-version
が含まれている ◦ この条件に合う全リポジトリに対して透過的に terraform-version-updater と create-merge-request を実行してい る 48 -
Terraform本体を自動でバージョンアッ プする for GitHub 1. .terraform-version を hashicorp/setup-terraform でも使う 2.
いい感じに .terraform-version を更新する 50 -
1. .terraform-version を hashicorp/setup-terraform でも使う • GitHub ActionsでTerraformを使う時は https://github.com/hashicorp/setup-terraform を使うことが多いと思
うが、hashicorp/setup-terraform は .terraform-version に対応してい ない ◦ cf. https://github.com/hashicorp/setup-terraform/issues/298 • そのため、後述のような工夫が必要 51 -
2. いい感じに .terraform-version を更新す る • 単一リポジトリなら下記のいずれか ◦ https://github.com/sue445/terraform-version-updater +
https://github.com/peter-evans/create-pull-request ◦ https://docs.renovatebot.com/modules/manager/terraform-versi on/ • 前者の場合、複数リポジトリなら Reusable workflows でworkflowの定 義を集約しておくと楽 ◦ cf. https://docs.github.com/ja/actions/how-tos/reuse-automations/ reuse-workflows 53 -
なぜ自動マージに踏み切ったか • 本体やProviderのバージョンアップMRは自動で作られるが、マージは手 動だったので、MRは溜まっていく一方だった • 手動にしていた理由:MRをマージすると基本的にはCIがすぐに terraform apply(本番反映)する。ドリフト状態などで意図しない差分があるまま反 映すると事故になるので、マージ前にplan結果を見たかった •
一方、月1回の更新でもGitLab全体で200〜300件のMRが作られる。手動 では限界だった 57 -
自動で作られるMRを自動でマージする • これを参考に、差分が0件(create, update, deleteの合計が0件)なら自動 マージするような仕組みを導入した ◦ 通称:自信マージbot • Providerの仕様変更やドリフトでplanに差分が出るときだけ、手動でマー
ジすればよくなった • 変な差分が出ない限り、TerraformやProviderをバージョンアップする MRが自動マージされて最新に追従するようになった 59 -
for GitHub • https://github.com/sue445/terraform-plan-changes-count • GitHub Actionsで terraform plan の差分件数を取得するAction
• 個人でもTerraformリポジトリを10個以上メンテしており、手動マージが 大変になったので、自動マージの準備として作った • cf. https://sue445.hatenablog.com/entry/2026/01/04/005312 61 -
やったこと2. 棚卸し • 使われてないものに対してTerraformを入れるのは無駄なので、IaCが 入っていない全てのAWSアカウントやGoogle Cloudプロジェクトの利用 実態を調査した • 自分の入社前に作られたものなので作られた経緯や当時の関係者を探すの が一番大変だった…
• Slackや社内ドキュメントをひたすら検索しまくった • 実際に利用された費用などを見て、利用実態が無いものを全てシャットダ ウンした 66 -
まとめ • ピクシブ社内では100個以上のTerraformリポジトリを運用している • 増えるたびにボトルネックが変わったので、その都度仕組みを足した ◦ 1→10: CI定義の集約 ◦ 10→50:
リポジトリ作成と、本体・Providerのバージョンアップの自動 化 ◦ 50→100: plan差分が無いMRの自動マージ • 人が見るのは、差分が出たときだけになった 68