Web開発を支えるマイグレーションツールについて / sqldef introduction for psql users

Web開発を⽀えるマイグレーションツールについて第11回 PostgreSQLアンカンファレンス@東京

⾃⼰紹介 @yudppp 株式会社HRBrain CTO 好きな⾔葉: 冪等性  嫌いなモノ: 浮動⼩数点の誤差基本的にWebエンジニア 

⽬標評価管理クラウド

HRBrainとは • ⽬標と評価を管理するクラウドSaaSを作っている会社です。 • リリース開始からもうすぐで3年

先⽇Buildersconにて  Row Level Securityはマルチテナントの銀の弾丸になりうるのか  という話をしました https://speakerdeck.com/yudppp/row-level-security-is-silver-bullet-for-multitenancy

概要 • SaaS開発していく上でリリース頻度を⾼く開発していくには真のマルチテナント(全ての会社の情報が⼀つのDB)にしていきたいが、セキュリティ的な不安要素をPostgreSQLの RowLevelSecurityを使って解決した話

PostgreSQL Conference Japanでこの内容とマイグレーションについて話そうとしたら CfP落ちました。。

現在のリリース頻度 • 週に2回リリース • 毎回ではないがSQLのマイグレーションが頻繁に必要

みなさんマイグレーションの管理どうされていますか

元々のマイグレーション管理 gooseというGo製のToolを利⽤

起きた問題① Aさん「81_modify_user_birthday_col.sql」 Bさん「81_add_era_table.sql」 Aさん「Merge!」 Bさん「Merge!」 CI 「Test / Deploy 失敗！」

CIでTest実⾏した瞬間は⼤丈夫なので Mergeされる前に検知するのが難しい

起きた問題② 前提：  みんなでdev環境⼀つを共有していてfeature ブランチをSlackで告知すれば好きなタイミングであげれる運⽤ (本当はfeatureブランチごとdeployしたい)

起きた問題② Bさん「令和追加した確認するのでdev使います。」  CI 「Deployed!」 Migrationがなぜか呼ばれない。。  誰かがあげたMigrationがdownされてない

この運⽤をしていると Migrationを戻すタイミングが難しい

解決策を探す

k0kubun/sqldef The easiest idempotent MySQL/PostgreSQL schema management by SQL. This
is inspired by Ridgepole but using SQL, so there's no need to remember Ruby DSL. 定義したschema.sqlとDB接続した情報を⽐較していい感じにALTER⽂を流してくれる Go製なのでbinaryだけで動く

https://github.com/k0kubun/sqldef

どうなるか常にschemaファイルとDBの状態が等しくなるので、上記のような問題は起きない。もし起きたとしても、schemaファイルが Conﬂictするので気づける。

sqldefの内部実装 Vitess(Vitess is a database clustering system for horizontal scaling
of MySQL)のsqlparser のsourceを拡張して作られている。 information_schema.table_constraintsあたりをSELECTした結果を元にCREATE⽂を Buildしている。

既知の課題基本的な構⽂は対応しているが、Vitessから派⽣したこともありPostgreSQLのあまり使われない構⽂が未対応だったりする。(そう例えばRowLevelSecurityとか) sqldefのPostgreSQLのユーザーがそこまで多くなさそう。

まとめ冪等性が担保された安全な⽣活がしたい。 sqldefをPostgreSQLで使うユーザーを増やして、より洗礼されたツールになってほしい今⽇の発表で1⼈でもユーザーが増えたら嬉しい

参考資料 •SQLで羃等にDBスキーマ管理ができるツール「sqldef」を作った (https:// k0kubun.hatenablog.com/entry/2018/08/ 25/114455) •http://vitess.io/

Web開発を支えるマイグレーションツールについて / sqldef introduction ...