データベースにプログレッシブデリバリーを導入しよう

2024年4月26日に開催した以下のイベントでの登壇資料です。

Jagu'e'r Observability-SRE分科会 Meetup#7 ハイブリッド
開発者に捧げる Site Reliability Engineering
https://jaguer.connpass.com/event/314081/

アプリケーションではブルーグリーンデプロイメントやカナリーリリースといった継続的デリバリーの手法により、安全なアプリケーションへの変更が確立されています。
データベースではステートを持つという特性から、アプリケーションほど柔軟なリリースを行うことが困難でした。

しかしデータベースの障害は可用性違反を一発で引き起こすため、データベースにこそロールバックが容易な段階的なデリバリープロセスが必要となります。
この資料ではデータベースでブルーグリーンデプロイメントを実践するテクニックを紹介します。

Transcript

1. データベースに プログレッシブデリバリーを導入しよう Jagu'e'r Observability-SRE分科会 Meetup#7 ハイブリッド 株式会社スリーシェイク 中楯 直希
2. \du 2 株式会社スリーシェイク Sreake事業部 業務内容 • DBRE兼SRE見習い ◦ データベースを中心にインフラ・アプリ領域もがんばってます • 自称データ雑用係 ◦ DBAでもDBREでもデータエンジニアでも 最近注目しているデータベース • Tsurugi • YugabyteDB 中楯 直希 @nnaka2992 @nnaka2992.bsky.social
3. • 対象 ◦ データベースエンジニア ◦ SREer・DBREer • 伝えたいこと ◦ データベース(RDB)におけるプログレッシブデリバリーの種類 ◦ Google Cloudでの実現方法 この資料のコンセプト 3
4. • アプリケーションのプログレッシブデリバリーとの違い • データベースにおけるプログレッシブデリバリー • まとめ Agenda 4
5. アプリケーションのプログレッシブデリバリーとの違い 01
6. 一番の違いはステートの有無 • アプリケーションはステートを持たない → 壊れてもロールバックすればよい • データベースはステートを持つ → 壊れた場合の影響が大きい アプリケーションのプログレッシブデリバリーとの違い 6 Google Kubernetes Engine Cloud Functions Cloud Run App Engine Cloud Spanner Cloud SQL Alloy DB
7. アプリケーションのプログレッシブデリバリーとの違い : データベースの復旧 7 データベースを復旧する場合リードタイムが長い • バックアップから復旧する場合最低でも数時間。 ◦ ひどい場合は数日 ◦ バックアップの取得方法やアプリケーションの実装によっては 復旧できないデータも データベースこそプログレッシブデリバリーをするべきでは？
8. データベースにおける変更とは？ 02
9. データベースにおける変更とは？ 9 データベースにおける変更は大きく分けて４つ 1. パラメータの変更 2. ストアドプロシージャ・ファンクション・トリガの変更 3. データベースバージョンの変更 4. テーブル定義の変更
10. データベースにおける変更とは？ 10 データベースにおける変更は大きく分けて４つ 1. パラメータの変更 2. ストアドプロシージャ・ファンクション・トリガの変更 3. データベースバージョンの変更 4. テーブル定義の変更 クリティカルな変更になりにくいので省略
11. データベースにおける変更とは？ 11 データベースにおける変更は大きく分けて４つ 1. パラメータの変更 2. ストアドプロシージャ・ファンクション・トリガの変更 3. データベースバージョンの変更 4. テーブル定義の変更 今時のアプリケーション開発で導入することは 少ないので省略
12. データベースにおける変更とは？ 12 データベースにおける変更は大きく分けて４つ 1. パラメータの変更 2. ストアドプロシージャ・ファンクション・トリガの変更 3. データベースバージョンの変更 4. テーブル定義の変更 今回はこの２つにフォーカスします
13. データベースにおける変更とは？ : データベースバージョンの変更 13 基本的には以下の２方式がある 1. インプレースアップデート サービスの停止を伴ううえにロールバックも大変 2. ブルーグリーンアップデート ダウンタイムが最小でロールバックも容易
14. データベースにおける変更とは？ : データベースバージョンの変更 14 ブルーグリーンアップデートの手順 1. データベースを新規で作成し、バックアップから復旧 Cloud SQL for PostgreSQL 15 Cloud SQL PostgreSQL 15 バックアップやDMSで複製 Cloud Run SQLを実行
15. データベースにおける変更とは？ : データベースバージョンの変更 15 ブルーグリーンアップデートの手順 2. Green をインプレースアップデート Cloud SQL for PostgreSQL 15 Cloud Run SQLを実行 Cloud SQL PostgreSQL 16 アップグレードを実行
16. データベースにおける変更とは？ : データベースバージョンの変更 16 ブルーグリーンアップデートの手順 3. Green へのデータ移行を再開 Cloud SQL for PostgreSQL 15 Cloud Run SQLを実行 Cloud SQL PostgreSQL 16 レプリケーションや DMSで書 き込みを複製
17. データベースにおける変更とは？ : データベースバージョンの変更 17 ブルーグリーンアップデートの手順 4 - a. アプリケーションの向き先を Green に変更 Cloud SQL for PostgreSQL 15 Cloud Run SQLを実行 Cloud SQL PostgreSQL 16 一番簡単なもののロールバックは出来ない ロールバックを諦められるなら このパターンを利用するべき
18. データベースにおける変更とは？ : データベースバージョンの変更 18 ブルーグリーンアップデートの手順 4 - b. アプリケーションの向き先に Green を変更し、逆方向レプリケーションを設定 Cloud SQL for PostgreSQL 15 Cloud Run SQLを実行 Cloud SQL PostgreSQL 16 Blue から Green にレプリ ケーションを実行 ひと手間かかるものの ニアリアルタイムのロールバックが 可能に！
19. データベースにおける変更とは？ : データベースバージョンの変更 19 ブルーグリーンアップデートの手順 4 - c. アプリケーションの向き先に Green を追加する Cloud SQL for PostgreSQL 15 Cloud Run SQLを実行 Cloud SQL PostgreSQL 16 データベースは楽できるものの アプリケーションの改修が必要に
20. 他クラウドでは a のパターンはマネージドでサポートしていることも データベースにおける変更とは？ : データベースバージョンの変更 20 Google Cloudにも頑張っていただきたい
21. データベースにおける変更とは？ : テーブルの変更 21 基本的には以下の２方式がある 1. クラスタレベルのブルーグリーンアップデート データベースのアップデートと同じことを行うので、ほとんどのケースで実現可能 2. テーブルレベルのブルーグリーンアップデート 自前でやるハードルは高いものの、ロールバックが非常に簡単
22. データベースにおける変更とは？ : テーブルの変更 22 ブルーグリーンアップデートの手順(fullnameカラムの分割) 前提. アプリケーションからアクセスするのは必要なカラムのみに絞ったビューとする Cloud Run Users(View) text text id fullname SQLを実行 Users text text id fullname
23. データベースにおける変更とは？ : テーブルの変更 23 ブルーグリーンアップデートの手順(fullnameカラムの分割) 1. firstname / lastname カラムを追加する Cloud Run Users(View) text text id fullname SQLを実行 Users text text id fullname text firstname text lastname
24. データベースにおける変更とは？ : テーブルの変更 24 ブルーグリーンアップデートの手順(fullnameカラムの分割) 2. fullname カラムを firstname / lastname カラムに分割してインサートする Cloud Run Users(View) text text id fullname SQLを実行 Users text text id fullname text firstname text lastname スペース等で区切って INSERT INSERTは細かいバッチサイズで 実行すること！ 大きなサイズで行くとロック範囲が大きく大障害に ......!
25. データベースにおける変更とは？ : テーブルの変更 25 ブルーグリーンアップデートの手順(fullnameカラムの分割) 3. カラムの分割が終わったら Green 用 View を作成する Cloud Run Users(View) text text id fullname SQLを実行 Users text text id fullname text firstname text lastname Users(View) text text text id firstname lastname
26. データベースにおける変更とは？ : テーブルの変更 26 ブルーグリーンアップデートの手順(fullnameカラムの分割) 3. Green 用 View を利用するアプリケーションを追加する Cloud Run Users(View) text text id fullname SQLを実行 Users text text id fullname text firstname text lastname Users(View) text text text id firstname lastname
27. データベースにおける変更とは？ : テーブルの変更 27 ブルーグリーンアップデートの手順(fullnameカラムの分割) 4 - a. 問題が発生しなければ Blue 用 View を利用するアプリケーションをロールアウトする Cloud Run Users(View) text text id fullname SQLを実行 Users text text id fullname text firstname text lastname Users(View) text text text id firstname lastname
28. データベースにおける変更とは？ : テーブルの変更 28 ブルーグリーンアップデートの手順(fullnameカラムの分割) 5 - a. Blue 用 View を削除する Cloud Run SQLを実行 Users text text id fullname text firstname text lastname Users(View) text text text id firstname lastname
29. データベースにおける変更とは？ : テーブルの変更 29 ブルーグリーンアップデートの手順(fullnameカラムの分割) 6 - a. 不要なカラムを DROP する Cloud Run SQLを実行 Users text id text firstname text lastname Users(View) text text text id firstname lastname
30. データベースにおける変更とは？ : テーブルの変更 30 ブルーグリーンアップデートの手順(fullnameカラムの分割) 6 - a. 不要なカラムを DROP する Cloud Run SQLを実行 Users text id text firstname text lastname Users(View) text text text id firstname lastname リリースが完了！
31. データベースにおける変更とは？ : テーブルの変更 31 ブルーグリーンアップデートの手順(fullnameカラムの分割) 4 - b. 問題が発生した場合 Green 用 View を利用するアプリケーション切り戻す Cloud Run Users(View) text text id fullname SQLを実行 Users text text id fullname text firstname text lastname Users(View) text text text id firstname lastname
32. データベースにおける変更とは？ : テーブルの変更 32 ブルーグリーンアップデートの手順(fullnameカラムの分割) 5 - b. Green 用 View を削除する Cloud Run Users(View) text text id fullname SQLを実行 Users text text id fullname text firstname text lastname
33. データベースにおける変更とは？ : テーブルの変更 33 ブルーグリーンアップデートの手順(fullnameカラムの分割) 6 - b. 不要になったカラムを DROP する Cloud Run Users(View) text text id fullname SQLを実行 Users text text id fullname
34. データベースにおける変更とは？ : テーブルの変更 34 ブルーグリーンアップデートの手順(fullnameカラムの分割) 6 - b. 不要になったカラムを DROP する Cloud Run Users(View) text text id fullname SQLを実行 Users text text id fullname ロールバックが完了！
35. データベースにおける変更とは？ : テーブルの変更 35 テーブルレベルでブルーグリーンする方法はメリットが大きい • 手順はデータベースによって若干かわるものの、ほとんどの DBで適用できる • ただし手順が複雑 ◦ PostgreSQL であればツールがある ▪ pgroll ▪ reshape MySQL 版をご存じの方教えてください
36. まとめ 03
37. まとめ 37 • データベースでもブルーグリーンデプロイメント程度なら可能！ ◦ マネージドブルーグリーンデプロイメントを出してほしい • テーブルレベルでブルーグリーンデプロイメントを行うことで アプリケーションのプログレッシブデリバリーと接続することが可能 ◦ とても複雑なものの、一連を自動化したツールもある
38. 38 参考資料 38 • データを移行してデータベースのメジャー バージョンをアップグレードする | Cloud SQL for MySQL ◦ https://cloud.google.com/sql/docs/mysql/upgrade-major-db-version-migrate?hl=ja • データを移行してデータベースのメジャー バージョンをアップグレードする | Cloud SQL for PostgreSQL ◦ https://cloud.google.com/sql/docs/postgres/upgrade-major-db-version-migrate?hl=ja • Aurora MySQL 一段飛ばしのバージョンアップとその他もろもろの話 ◦ https://www.docswell.com/s/hmatsu47/Z7WR15-2022-11-21-232543 • Amazon RDS ブルー/グリーンデプロイの概要 ◦ https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/blue-green-deployments-overview.html
39. 39 参考資料 39 • Postgres schema changes are still a PITA | xata ◦ https://xata.io/blog/postgres-schema-changes-pita • Handling table and column renames | PlanetScale ◦ https://planetscale.com/docs/learn/handling-table-and-column-renames#how-to-rename-a-column-on-planetscale • 運用中のPostgreSQLのスキーマを無停止で安全に変更する | 株式会社ヌーラボ(Nulab inc.) ◦ https://nulab.com/ja/blog/typetalk/change-postgresql-schema-with-safety-and-non-stop/ • Safe and unsafe operations for high volume PostgreSQL | Leopard Blog ◦ https://leopard.in.ua/2016/09/20/safe-and-unsafe-operations-postgresql • 令和最新版: PostgreSQLの安全なSET NOT NULL | Wantedly Engineer Blog ◦ https://www.wantedly.com/companies/wantedly/post_articles/433252
40. 40 参考資料 40 • Introducing pgroll: zero-downtime, reversible, schema migrations for Postgres | xata ◦ https://xata.io/blog/pgroll-schema-migrations-postgres • pgrollで実現するスキーマブルーグリーンデプロイメント ◦ https://speakerdeck.com/nnaka2992/pgrolldeshi-xian-surusukimaburugurindepuroimento • sqldefとpgrollを利用したPostgreSQLでのスキーマブルーグリーンデプロイメント ◦ https://zenn.dev/nnaka2992/articles/blue_grean_on_postgres_with_sqldeff_and_pgroll • xataio/pgroll ◦ https://github.com/xataio/pgroll • fabianlindfors/reshape ◦ https://github.com/fabianlindfors/reshape