Share
Embed
Transcript
45 slides
-
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 @mtsmfm
Fumiaki Matsushima スタディサプリ/Quipper Product Meetup #3 -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 2 ➔ Web Dev at
Quipper ◆ 主に学校向け機能の開発 ➔ Ruby と麻雀と DbD が好き ➔ 西日暮里.rb 主催 @mtsmfm.inspect -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 Agenda | 01 02 03
小中高におけるデプロイの流れ Canary release まとめ 3 -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 Git flow で monorepo 上で開発
6 https://quipper.hatenablog.com/entry/2019/04/02/quipper-web-git-flow-on-monorepo -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 k8s namespace 7 Service Router
(NGINX) student-api Server student-frontend Server User -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 各ディレクトリに k8s 関連ファイルがある student-api Dockerfile
kubernetes kustomization.yaml deployment.yaml overlays production kustomization.yaml develop ... 9 -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 overlays - kustomize による環境毎の差分管理 10
https://github.com/kubernetes-sigs/kustomize/blob/30b378a9244d757c1cda31b95694fabd6cbdb8e1/docs/images/overlay.jpg -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 Build と Deploy は CircleCI
から .circleci config.yml build.sh deploy.sh 11 -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 Deploy Test and Build student-api
12 docker build docker push test student-frontend docker build docker push student-api test kustomize build kubectl apply student-frontend kustomize build kubectl apply -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 Canary release とは “Canary release
is a technique to reduce the risk of introducing a new software version in production by slowly rolling out the change to a small subset of users before rolling it out to the entire infrastructure and making it available to everybody.” 15 https://martinfowler.com/bliki/CanaryRelease.html -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 Feature Toggles 17 https://speakerdeck.com/ujihisa/almost-microservices?slide=60 @ujihisa
"雑" / Almost Microservices Rails DM 2019 -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 k8s namespace 18 student-api Server
User if enable_new_feature?(user) new_logic else old_logic end Service Router Feature Toggles -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 k8s namespace 19 Service Router
student-api Server student-api-new Server User Canary release if canary_release?(user) new_host else old_host end -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 Canary release と Feature toggles
20 ➔ Canary release ◆ プロセスごと分離するため、用いるライブラリのバージョンを変えられる ◆ プロセスを2系統上げておかないといけない ➔ Feature toggles ◆ プロセス内で分岐するため導入しやすい ◆ ライブラリのバージョンは変えられない -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 やらないといけないこと ➔ 新旧フレームワークでテストを回して開発が止まらないようにする ◆ 簡単にフレームワークのバージョンが切り替えられるようにする
➔ 新旧フレームワーク両方デプロイされるようにする ➔ 割り振るルールを決める ➔ エラー監視 21 -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 やらないといけないこと ➔ 新旧フレームワークでテストを回して開発が止まらないようにする ◆ 簡単にフレームワークのバージョンが切り替えられるようにする
➔ 新旧フレームワーク両方デプロイされるようにする ➔ 割り振るルールを決める ➔ エラー監視 22 -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 新旧フレームワークでテストを回して開発が止まらないように する ➔ アップグレードに関わっている人よりそうでない人の方が多い ➔
開発を停止するわけにはいかない ◆ 全員に両方でテストが通るコードを書いてもらう ➔ 依存する社内 gem も2系統で回す 23 -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 2種類のライブラリバージョン管理ファイルを持つ student-api Gemfile Gemfile.lock gemfiles
new-version Gemfile Gemfile.lock 24 -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 2種類のライブラリバージョン管理ファイルを持つ student-api Gemfile Gemfile.lock gemfiles
new-version Gemfile Gemfile.lock 25 元の Gemfile を引き継ぐ 方法は懇親会で! -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 やらないといけないこと ➔ 新旧フレームワークでテストを回して開発が止まらないようにする ◆ 簡単にフレームワークのバージョンが切り替えられるようにする
➔ 新旧フレームワーク両方デプロイされるようにする ➔ 割り振るルールを決める ➔ エラー監視 26 -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 簡単にフレームワークのバージョンが切り替えられるように する ➔ 2種類のライブラリバージョン管理ファイルを持つ ◆
Ruby で使われるパッケージ管理ツール (Bundler) の場合環境変数1 つで変えられるので便利 • BUNDLE_GEMFILE ➔ Dockerfile 上では ARG で差し替えられるようにしておく 27 -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 やらないといけないこと ➔ 新旧フレームワークでテストを回して開発が止まらないようにする ◆ 簡単にフレームワークのバージョンが切り替えられるようにする
➔ 新旧フレームワーク両方デプロイされるようにする ➔ 割り振るルールを決める ➔ エラー監視 28 -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 新旧フレームワーク両方デプロイされるようにする ➔ 既に Monorepo にしつつ各ディレクトリ
== サービス ◆ シンボリックリンク + build arg や overlay のカスタマイズ • これにより各ディレクトリ == サービスの延長で考えられるので build、deploy スクリプトに大きく手を入れる必要がない 29 -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 シンボリックリンクで楽をする student-api Dockerfile kubernetes overlays
production student-api-new kustomization.yaml student-api-new 30 -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 やらないといけないこと ➔ 新旧フレームワークでテストを回して開発が止まらないようにする ◆ 簡単にフレームワークのバージョンが切り替えられるようにする
➔ 新旧フレームワーク両方デプロイされるようにする ➔ 割り振るルールを決める ➔ エラー監視 31 -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 割り振るルールを決める ➔ 同じユーザには同じ挙動をしないと問い合わせ対応や再現確認が大変 ➔ ログインしていないユーザもいるかもしれない
➔ 一度新しいバージョンが使われたら戻ってほしくない ➔ 初回アクセス時に Cookie に canary release 用 id を振る ➔ 環境変数で Canary release の割合を制御 32 -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 k8s namespace 33 student-api Server
User Cookie id = 0.0 ~ 1.0 Version = id < Ratio ? new : old Ratio = X Service Router (NGINX) -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 k8s namespace 34 student-api Server
User Cookie id = 0.3 Version = old Ratio = 0 Service Router (NGINX) -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 k8s namespace 35 student-api Server
User Cookie Ratio = 0.2 id = 0.3 Version = old Service Router (NGINX) -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 k8s namespace 36 student-api Server
User Cookie Ratio = 0.5 id = 0.3 Version = new id < Ratio になったので バージョン切り替え用の Cookie も付与 Service Router (NGINX) -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 k8s namespace 37 student-api Server
student-api-new Server User Cookie Version == new バージョン切り替え用の Cookie だけ見て Host 切り替え Service Router (NGINX) -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 移行 ➔ 0 -> 0.1
-> 1 -> 10 -> 50 -> 100 ◆ ロジックミスっていないかの確認のため 0 は挟んだほうがいい ◆ 念の為 curl で数百回回すスクリプト書いて確率通りか見る ◆ 一週間に1段階上げていた 38 -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 やらないといけないこと ➔ 新旧フレームワークでテストを回して開発が止まらないようにする ◆ 簡単にフレームワークのバージョンが切り替えられるようにする
➔ 新旧フレームワーク両方デプロイされるようにする ➔ 割り振るルールを決める ➔ エラー監視 39 -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 エラー監視 ➔ Sentry にフレームワークのバージョンをタグとして付与、そのタグがついて いる場合のエラー通知先を分離
◆ 普段は Slack の #exception-<service 名> 部屋に通知 ◆ 移行期間だけ #upgrade-rails 部屋に通知 ➔ タグがついていない場合も同じエラーが起きたことがあるか一通りチェック 40 -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 何が起きたか ➔ 本番でフレームワークのバージョン起因の問題は何も起きなかった ◆ ステージングは
Canary release の割合を高めていた (最初から50%) のでエラーを拾って対処できた ◆ 自動テストがしっかりしていた ◆ 簡単に後戻りできる安心感があった ➔ 一度実験していると今後も使える ◆ フレームワークのバージョンは上げ続ける必要がある 42 -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 改善点 ➔ 段階を進めるのを週次リリースに合わせていたが時間かかりすぎ ◆ 全部で2ヶ月くらい
◆ 1日1段階、100%にするのに1週間くらいがいい? ➔ 新エラーの判別を楽したい ◆ 最後の方は全エラーの半分を背負うことになる 43 -
#sapurimeetup Canary release - フレームワークのアップグレードを安心して進めるためのリリース戦略 まとめ ➔ 新しいサービスを簡単に足せるようにさえなっていれば、Canary release は
単純な実装で実現できる ◆ Monorepo だとサービスを足しやすかった ◆ その分 CI 周りは複雑になる ➔ 足回りの整備が進んでいることで Web Dev としても可能性が広がる ◆ SRE Dev ➔ アップグレードとの戦いはサービスが続く限り続く 45