Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AKS と HCP Vault の組み合わせでつまずいた話 / Stumbles with A...
Search
ののし
September 16, 2023
Technology
1
120
AKS と HCP Vault の組み合わせでつまずいた話 / Stumbles with AKS and HCP Vault combination
ののし
September 16, 2023
Tweet
Share
More Decks by ののし
See All by ののし
今から、 今だからこそ始める Terraform で Azure 管理 / Managing Azure with Terraform: The Perfect Time to Start
nnstt1
0
340
HCP Vault Secrets でシークレット管理を始めよう / Getting Started with Secret Management Using HCP Vault Secrets
nnstt1
0
95
HashiCorp Ambassador が予想!Red Hat × HashiCorp の未来 / The Future of Red Hat and HashiCorp
nnstt1
1
180
Terraform を使った Front Door の小ネタ / Terraform for Front Door
nnstt1
0
130
つまずきから学ぶ Backstage の Golden Path 構築
nnstt1
2
1.2k
Azure ユーザに捧げる Terraform Cloud 101 / Terraform Cloud 101 for Azure Users
nnstt1
0
500
Vault Secrets Operator と HCP Vault を使った AKS のシークレット管理 / AKS secret management using the Vault Secrets Operator and HCP Vault
nnstt1
0
160
Vault Secrets Operator と Dynamic Secrets で安全にシークレットを使おう / Vault Secrets Operator and Dynamic Secrets
nnstt1
4
860
OpenShift を身近に感じる Single Node OpenShift と OpenShift Local / Single Node OpenShift and OpenShift Local that makes OpenShift familiar
nnstt1
1
1.1k
Other Decks in Technology
See All in Technology
OPENLOGI Company Profile for engineer
hr01
1
22k
Amazon EKS Auto ModeでKubernetesの運用をシンプルにする
sshota0809
0
120
セマンティックレイヤー入門
ikkimiyazaki
9
3.3k
Keynote - KCD Brazil - Platform Engineering on K8s (portuguese)
salaboy
0
130
React Server Componentは 何を解決し何を解決しないのか / What do React Server Components solve, and what do they not solve?
kaminashi
6
1.3k
小さく始めるDevOps 内製化支援から見えたDevOpsの始め方 / 20250317 Ken Takayanagi
shift_evolve
1
110
OPENLOGI Company Profile
hr01
0
61k
どっちの API SHOW?SharePoint 開発における SharePoint REST API Microsoft Graph API の違い / Which API show? Differences between Microsoft Graph API and SharePoint REST API
karamem0
0
110
20250326_管理ツールの権限管理で改善したこと
sasata299
1
430
数百台のオンプレミスのサーバーをEKSに移行した話
yukiteraoka
0
680
製造業の会計システムをDDDで開発した話
caddi_eng
3
990
大規模プロジェクトにおける 品質管理の要点と実践 / 20250327 Suguru Ishii
shift_evolve
0
290
Featured
See All Featured
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
102
18k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
28
1.6k
Code Reviewing Like a Champion
maltzj
522
39k
Six Lessons from altMBA
skipperchong
27
3.7k
How STYLIGHT went responsive
nonsquared
99
5.4k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Side Projects
sachag
452
42k
Speed Design
sergeychernyshev
28
870
Music & Morning Musume
bryan
46
6.4k
GraphQLとの向き合い方2022年版
quramy
45
14k
Building Flexible Design Systems
yeseniaperezcruz
328
38k
Transcript
AKS と HCP Vault の組み合わせで つまずいた話 Japan Azure User Group
13周年イベント 2023/9/16
自己紹介 Name Taichi Nonoshita X @nnstt1 Company 株式会社エーピーコミュニケーションズ Love 3人の息子たち(3歳・1歳双子)
めざせ Azure 資格全冠! (まだ折り返してない …)
お話しすること・しないこと お話しすること • HashiTalks のセッションを準備するにあ たって Azure でつまずいた経験 お話ししないこと •
AKS の詳しい説明 • HashiCorp Vault の詳しい説明
• HashiCorp が開発しているシークレット管理ツール • 様々な環境で利用可能 ◦ コミュニティ版 Vault ◦ セルフマネージドな
Vault Enterprise ◦ マネージドサービスの HCP Vault ←本日の対象 • Dynamic Secrets という機能が特徴的(個人の感想) ◦ ユーザからのリクエストに応じて Microsoft Entra ID (Azure AD) や Database などに期限付きのユーザを作成 簡単な HashiCorp Vault の説明 とても雑な
• HCP (HashiCorp Cloud Platform) で提供されている Vault のマネージドサービス • HVN
(HashiCorp Virtual Network) を Azure に作成、 ユーザ管理の VNet とピアリングすることで HCP Vault にプライベートアクセス可能 • HCP Vault が Azure に対応したのは 2023/2 HCP Vault とは
• 2023/3 に公開された Vault Secrets Operator により、Kubernetes の シークレットを Vault
で管理することがより簡単になった • Vault Secrets Operator と HCP Vault を使えば AKS のシークレットを 安全に管理できそう HCP Vault で AKS のシークレットを管理
AKS にはシークレット管理の機能があるのでは?
• 既に AKS では Secret Store CSI Driver という機能を使った シークレット管理が提供されている
◦ Key Vault のシークレットを AKS のアプリケーション (Pod) に連携 ◦ Secret リソースとしても作成可能 ◦ Key Vault のシークレット更新も AKS 内に反映 AKS のシークレット管理 Azure Portal での有効化はこちらから
好きなサービス・ツール同士を掛け合わせたい(浪漫) が、つまずきも多い
つまずきポイント 1. HVN を Azure VNet をピアリングできない 2. AKS から
HCP Vault に繋がらない 3. HCP Vault から AKS (Private Cluster) に繋がらない
• 事前に HVN と VNet をピアリングする必要があ る • HCP ポータルでピアリング用
Terraform が表 示されるので実行 ◦ 個人テナントでは ピアリング成功 ◦ 会社テナントでは ピアリング失敗 HVN と Azure VNet をピアリングできない つまずき1
HVN と Azure VNet をピアリングできない • ピアリングの流れ a. HashiCorp 管理のアプリケーション
ID を エンタープライズアプリケーションとして Microsoft Entra ID (Azure AD) に登録 b. サービスプリンシパルに VNet のカスタムロー ル割り当て c. HashiCorp アプリケーションが HVN と VNet をピアリング つまずき1
• ピアリングの流れ a. HashiCorp 管理のアプリケーション ID を エンタープライズアプリケーションとして Microsoft Entra
ID (Azure AD) に登録 b. サービスプリンシパルに VNet のカスタムロー ル割り当て c. HashiCorp アプリケーションが HVN と VNet をピアリング アプリケーション登録の権限不足 アプリケーション管理者 ロールが必要だった つまずき1
• ピアリングもできたので AKS から HCP Vault のプライベート URL にアクセ スさせてみよう
→ 繋がらない AKS から HCP Vault に繋がらない HVN VNet ピアリング プライベート URL へのアクセス =Azure バックボーン経由 パブリック URL へのアクセス =インターネット経由 つまずき2
VNet • ピアリングした VNet とは別に AKS 用の VNet を作成していた •
HVN とピアリングした VNet にAKS を作成することで プライベート URL でアクセス可能になった AKS 作成時の VNet 確認不足 HVN VNet ピアリング 実際の構成 つまずき2
• プライベート AKS クラスタの API サーバはパブリックアクセス不可 • Kubernetes 認証するときに HCP
Vault から AKS に対して通信が発生 • プライベート AKS クラスタを使って認証もセキュアにしよう →繋がらない HCP Vault から AKS (Private Cluster) に繋がらない VNet HVN ピアリング プライベートアクセス失 敗 パブリックアクセスは不可 つまずき3
• HCP Vault はピアリングしているが Azure の名前解決できない ◦ AKS だけでなく他のサービスもアクセス不可 •
プライベート AKS クラスタはプライベート DNS ゾーンに レコードが登録される ◦ プライベート DNS ゾーンの仮想ネットワークリンクも不可 • HashiCorp Consul というサービスディスカバリを使えば HCP Vault から Azure サービスにプライベートアクセス可能? HCP Vault が名前解決できない つまずき3 まだ対処できてません …
まとめ • HCP Vault (HVN) を Azure VNet とピアリングする ときはアプリケーション管理ロールが必要
• AKS を作る際は “新規 VNet” or “既存 VNet” を要確認 • HCP Vault から Azure サービスへのプライベート アクセスは(現時点では)難しい