ウォンテッドリーのマイクロサービス運用・開発を加速する kube

Transcript

1. © 2024 Wantedly, Inc. ウォンテッドリーのマイクロサービス運用・開発を加速する kube Wantedly Tech Night #8 Feb. 25 2025 - Ken Kato
2. © 2024 Wantedly, Inc. 自己紹介 加藤 健 Infra Squad 2024年1月 中途入社 AWS上のKubernetes、PostgreSQLを運用 X: @kkato25
3. © 2024 Wantedly, Inc. ウォンテッドリーの開発環境 多数のマイクロサービスを全てk8sで管理している
4. © 2024 Wantedly, Inc. kubeの概要 ウォンテッドリーではkubeという CLI ツールを内製している kube = kubectl + 開発用機能 • kubectlの各種設定隠蔽 • 開発を効率化するための機能
5. © 2024 Wantedly, Inc. kubeの概要 ウォンテッドリーではkubeという CLI ツールを内製している kube = kubectl + 開発用機能 • kubectlの各種設定隠蔽 • 開発を効率化するための機能
6. © 2024 Wantedly, Inc. kubeの設計思想 ウォンテッドリーにおけるPlatform Engineeringを実現するツール • 開発者体験の向上 ◦ 以前ウォンテッドリーはHerokuを使っており、開発者がコマンド一発でデプロイしていた ◦ 現在k8s上でもkubeを使うことで、開発者がコマンド一発でデプロイできる体験を提供し ている • セルフサービス化 ◦ インフラがボトルネックにならず、リリースを高速に行えるようにしたい ◦ 開発者自身で開発に必要なものを用意できるようにする
7. © 2024 Wantedly, Inc. k8s上で開発・デプロイするための手順 1. GitHubリポジトリを用意する 2. GitHubリポジトリにアプリケーションコードをプッシュする 3. Dockerfileを作成する 4. k8sマニフェストを作成する: kube generate 5. ArgoCDにアプリケーションを登録する 6. コンテナイメージをビルドする: kube ci-build 7. アプリケーションをデプロイする: kube deploy
8. © 2024 Wantedly, Inc. kubeの機能① kube generate k8sマニフェストを自動生成してくれるコマンド • k8sマニフェストを手動作成する場合、作成に時間がかかる、設定ミスが起こりや すい、フォーマットが統一されていない • kubeの場合、作成が短時間で完了する、設定ミスが起こりにくい、フォーマットが 統一されている
9. © 2024 Wantedly, Inc. kubeの機能① kube generate % cat kube-generate.yaml generates: - namespace: clusters: - sandbox % kube generate --update Generate manifests by using /Users/kenkato/ghq/github.com/wantedly/test-deploy-app/kube-generate.yaml generated "/Users/kenkato/ghq/github.com/wantedly/test-deploy-app/kubernetes/sandbox/namespace.yaml" % cat kubernetes/sandbox/namespace.yaml --- apiVersion: v1 kind: Namespace metadata: labels: istio-injection: "enabled" name: test-deploy-app
10. © 2024 Wantedly, Inc. kubeの機能② kube ci-build コンテナイメージをビルドし、レジストリにプッシュするためのコマンド GitHub ActionsなどのCI上で実行される • dockerコマンドの場合、時間がかかる、設定ミスが起こりやすい • kubeの場合、短時間で設定でき、設定ミスが起こりにくい docker build -t <repo>:$GITHUB_SHA . docker tag <repo>:$GITHUB_SHA <account-id>.dkr.ecr.ap-northeast-1.amazonaws.com/<repo>:$GITHUB_SHA docker push <account-id>.dkr.ecr.ap-northeast-1.amazonaws.com/<repo>:$GITHUB_SHA kube ci-build
11. © 2024 Wantedly, Inc. kubeの機能③ kube <env> deploy k8sにアプリケーションをデプロイするためのコマンド • ローカル環境とCI環境で動作する • kubectl の場合、環境の切り替えが必要、設定ミスが起こりやすい • kubeの場合、環境の切り替えは不要、手順ミスが起こりにくい kubectl config user-context <env> kubectl set image deployment/<deployment> <container>=<image>:$GITHUB_SHA kubectl rollout restart deployment/<deployment> kube <env> deploy $GITHUB_SHA
12. © 2024 Wantedly, Inc. kubectlの設定隠蔽 素のkubectlを設定するのは、開発者にとって大変 kubeが各種設定を隠蔽するため、開発者自身で設定する必要はない kube = kubectl + 開発用機能 • kubectlの各種設定隠蔽 • 開発を効率化するための機能
13. © 2024 Wantedly, Inc. kubectl の各種設定隠蔽① クラスタの切り替え ウォンテッドリーには、sandbox、qa、prodという3つの環境が存在する • kubectlの場合、開発者自身でkubeconfigを設定、手動でクラスタを切り替える 必要がある • kubeの場合、kubeconfigは自動で設定、環境を指定して直接コマンドを実行で きる kubectl config use-context <env> kube get pods kube <env> get pods
14. © 2024 Wantedly, Inc. kubectl の各種設定隠蔽② 認証情報の設定 ウォンテッドリーでは、OIDC認証している • kubectlの場合、OIDCプロバイダーからトークンを取得し、それをkubeconfigに 設定する必要がある • kubeの場合、↑を自動で実施しており、手動で設定する必要がない
15. © 2024 Wantedly, Inc. その他機能 kube vault 独自管理しているvaultから秘匿情報を参照、更新、削除するためのコマンド kube <env> argocd-utils ArgoCDを使って、特定のブランチの k8sマニフェストを反映するためのコマ ンド kube <env> lock 特定の開発者以外のデプロイを禁止するためのコマンド kube <env> status ロック状態を確認するためのコマンド kube <env> canary カナリアリリースを実現するためのコマンド (この後の発表で詳細説明 ) kube <env> sh 任意のコンテナイメージの Podをデプロイする kube <env> bash デバッグに役立つコマンドを内包したコンテナイメージの Podをデプロイする kube <env> history デプロイ履歴を確認するためのコマンド kube <env> fork kubeforkを使用するためのコマンド (この後の発表で詳細説明 )
16. © 2024 Wantedly, Inc. kubeの内部構造 kubeはGo (+ Cobra) を使って実装している • Goを使っている理由 ◦ k8sと相性が良い ▪ k8sを操作するためのライブラリが充実している ◦ ツールとして配布しやすい ▪ 環境依存がない ▪ マルチプラットフォーム対応 • 実装上の工夫 ◦ 既存のCLIツールを内包している ▪ 実装コストを抑えるため、既存ツールの知識を再利用するため、client-go などで再実装するのではなく、kubectlをwrapしている
17. © 2024 Wantedly, Inc. kubeの内部構造 kubeではテストをしやすいように設計している • DIの利用 ◦ Googleが提供しているwireというライブラリを活用している ◦ wireが自動で依存関係を構築してくれる • スナップショットテストの導入 ◦ cupaloyというライブラリを活用している ◦ cupaloyを使うと簡単にスナップショットテストを導入できる ◦ https://speakerdeck.com/izumin5210/techniques-that-support -building-cli-tools-2019-spring
18. © 2024 Wantedly, Inc. まとめ 「kube = kubectl + 開発用機能」これを開発者に配布することで、ウォンテッドリーに おけるプラットフォームエンジニアリングを実現している • 開発者体験の向上 ◦ k8sの細かい設定を意識せず、開発できる ◦ kube deployを使えば、Herokuのようにコマンド一発でデプロイ可能 • セルフサービス化 ◦ 開発者がCI/CDを自分で回せる環境を提供 ◦ インフラチームに頼らず、開発者自身でk8sマニフェストを用意できる