Rustで管理しない開発用データの作り方

登壇資料

イベント
Rust、何もわからない... #6
https://estie.connpass.com/event/270226/

紹介したライブラリ
https://crates.io/crates/cder
https://github.com/estie-inc/cder

Transcript

1. 管理のいらない開発用シードを作ってみた 2023/01/25 Rust、何もわからない... #6 koji @fursich0
2. 自己紹介 1 • kojiと呼ばれています（ハンドル名が読めない問題） • 2022年5月から業務委託としてestieに参画中 • Rust歴半年ちょっとです • 休日はわりと登っています fursichです。
3. 1. 開発データをサクッと再投入したい 2. シーディング方法の比較 3. 実装方針 4. Rustで実装してみた 目次 2
4. 開発シード、どうやって管理してますか？
5. シードのない開発 立ち上げ期、まだ小さなチーム、小さなデータだったころ 開発に必要なデータは各自がポチポチつくっていました。 4
6. シードのない開発 5 productsテーブルのcodeカラムに ユニーク制約を入れました！ 制約違反があったら各自データを消して ください！ マイグレーションで落ちたのですが どんなSQL流せばいいですか？ update room set name = "" where name is null; で一旦動きます〜!
7. シードのない開発 • 数日ごとに壊れる開発DB • 秘伝化するセットアップ方法 • 毎回データを作る手間 さすがにつらい 6
8. シードをつくろう！
9. DB シード登録処理 データ定義 シードの実装は簡単 8
10. DB シード登録処理 データ定義 スキーマは日々変わる 9 スキーマ変更
11. DB シード登録処理 データ定義 シードの管理は簡単ではない 10 壊れる 壊れる スキーマ変更
12. 「人気アーティスト」のデータが必要だから、 artists.id=1の持つアルバムの評価を5に変更し ておくよ アプリケーション上のデータの意味も日々かわる 11 artists id name city_id 1 The Beatles 2 2 Eric Clapton 1 3 U2 4 4 Oasis 3 albums id title rating is_new 1 Revolver 4.5 false 2 Definitely Maybe 3.5 true 3 October 3 false 4 Unplugged 5 false 「新着アルバム」画面を出す必要があるから albums.id=2を新着扱いにするよ
13. 管理のいらないシードがほしい
14. 世の中ではシードをどうやって実装しているのか よくみかける３つのパターン 13
15. データ定義 ①データ・コードをSQLで定義する シード登録処理 ＋ 14 • プログラマが自由に定義しやすい • データの関係性が複雑になると可読性・メンテナビリティが悪くなる DB
16. ①データ・コードをSQLで定義する create table countries ( id int not null, name varchar(100) not null ); insert into countries (id, name) values (1, 'Afghanistan'); insert into countries (id, name) values (2, 'Albania'); insert into countries (id, name) values (3, 'Algeria'); insert into countries (id, name) values (4, ‘Andorra’); insert into countries (id, name) values (5, ‘Angola’); … create table users ( id int not null, name varchar(256) not null, country_id int not null ); insert into users (id, name, country_id) values (1, 'Bob', 15); insert into users (id, name, country_id) values (2, 'Alice', 33); … 15 一般的にはIDを固定して外部キーを指定するため マジックナンバー管理になり、可読性は低い
17. ②データ・コードをプログラムで管理する 構造体（モデル）定義 その永続化を行う アプリケーションコード 16 DB データ定義 インスタンス組み立て ＋ 永続化のためのグルーコード ＋ • プログラマが自由に定義・カスタマイズしやすい • 言語機能やDSLを利用できるため、可読性・メンテナビリティは相対的に高い
18. https://github.com/prisma/prisma-examples/blob/latest/typescript/graphql/prisma/seed.ts データ定義 ORMを利用したグルーコード アプリケーション側での モデル定義 17 ライブラリやフレームワークでサポートされるケースが多い
19. DB 登録処理 ③他のDBからデータをダンプ • データ管理不要 • センシティブなデータのマスク、アクセス管理が必要 • 環境別・個人ごとのカスタマイズは困難 本番・staging DB 18
20. まとめ 導入コスト データ管理コスト コード管理コスト SQLで定義 ◎ ✖ ✖ コード定義 ◎ （ライブラリのサポート前提） ▲ 一部アプリケーションコードが 流用可能 ダンプ インフラ側の対応がいる セキュリティ面の検討など ◎ ◎ 19
21. まとめ 導入コスト データ管理コスト コード管理コスト SQLで定義 ◎ ✖ ✖ コード定義 ◎ （ライブラリのサポート前提） ▲ 一部アプリケーションコードが 流用可能 ダンプ インフラ側の対応がいる セキュリティ面の検討など ◎ ◎ 20
22. 実装してみた
23. ナイーブに実装する 22 データ定義 インスタンス組み立て ＋ 永続化のためのグルーコード ＋ 構造体定義 永続化を行う アプリケーションコード DB 流用できる
24. 見通しが悪くメンテが辛そう・・ 23 let pool = setup_mysql().await?; // userを作成する処理 let user_id1 = User::insert(&pool, &UserInput{ first_name: "Taro".to_string(), last_name: "Yamada".to_string(), email: "taro@example.com".to_string(), } ).await?; let user_id2 = User::insert(&pool, &UserInput{ first_name: "Jane".to_string(), last_name: "Conley".to_string(), email: "jane@example.com".to_string(), } ).await?; let user_id3 = User::insert(&pool, &UserInput{ first_name: "Jack".to_string(), last_name: "Johnson".to_string(), email: "jack@example.com".to_string(), } ).await?; let user_id3 = User::insert(&pool, &UserInput{ first_name: "Foo".to_string(), last_name: "Bar".to_string(), email: "foobar@example.com".to_string(), } ).await?; // …snip // productを作成する処理 let product_id1 = Product::insert(&pool, &ProductInput { name: "keyboard".to_string(), price: 100000, } ).await?; let product_id2 = Product::insert(&pool, &ProductInput { name: "microphone".to_string(), price: 20000, } ).await?; let product_id3 = Product::insert(&pool, &ProductInput { name: "guitar".to_string(), price: 50000, } ).await?; // dealerを作成する処理 let dealer_id1 = Dealer::insert(&pool, &DealerInput { name: "MacroSoft".to_string(), country: "US".to_string(), contract_type: 3, } ).await?; let dealer_id2 = Dealer::insert(&pool, &DealerInput { name: "April Computer".to_string(), country: "JP".to_string(), contract_type: 2, } ).await?; // 購入記録を作成する処理 let purchase_id1 = Purchase::insert(&pool, &PurchaseInput { buyer_id: user_id2, dealer_id: dealer_id1, product_id: product_id1, amount: 3, discount: None, tax: 14550, net_price: 314550, purchased_at: NaiveDateTime::parse_from_str("2022-02-01 21:23:45", "%Y-%m-%d %H:%M:%S")?, } ).await?; let purchase_id3 = Purchase::insert(&pool, &PurchaseInput { buyer_id: user_id2, dealer_id: dealer_id2, product_id: product_id2, amount: 1, discount: None, tax: 3300, net_price: 23330, purchased_at: NaiveDateTime::parse_from_str("2022-02-01 18:55:20", "%Y-%m-%d %H:%M:%S")?, } ).await?; let purchase_id3 = Purchase::insert(&pool, &PurchaseInput { buyer_id: user_id3, dealer_id: dealer_id1, product_id: product_id2, amount: 2, discount: Some(5000), tax: 3333, net_price: 38888, purchased_at: NaiveDateTime::parse_from_str("2022-08-02 11:20:15", "%Y-%m-%d %H:%M:%S")?, } ).await?; User構造体に新しいenum が生えました！ Purchase構造体の責務が 大きすぎるから分割しま す〜
25. 開発用途で大きなコードの塊を管理したくない 24 • コードとデータを分離する ◦ スキーマ変更時、なるべくデータの更新だけですむのが理想 • 実行時に決まるデータを扱う ◦ 外部キーのようなidなどの解決 ◦ 実行環境ごとに変えたいデータ これらを満たしてくれるシードの仕組みが欲しい！
26. 俺の考える最強のシード
27. 他言語での例 Railsの提供するテスティングフレームワーク内のfixturesという仕組み • データだけを分離してYAML管理する • 外部参照は動的に解決できる https://guides.rubyonrails.org/testing.html#the-low-down-on-fixtures Articleモデルの”first”というラベルがついた レコードを参照する （永続化時に動的に idと置換する） 26
28. 実装方針 27 • yamlファイルから構造体をデシリアライズする • 動的に決まる参照の解決には、埋め込みタグを利用する
29. シードデータの表現 28 # Companyデータ Denali: name: "有限会社デナリ" FitzRoy: name: "FitzRoy & Company" Estie: name: "株式会社エスティ" # Userデータ Alice: name: Alice email: "alice@example.com" company_id: ${{ REF(Denali) }} Bob: name: Bob email: "bob@example.com" country_code: 81 company_id: ${{ REF(FitzRoy) }} Dev: name: Developer email: ${{ ENV(DEV_EMAIL:-"developer@example.com") }} country_code: 44 company_id: ${{ REF(Estie) }} pub struct Company { pub name: String, } pub struct User { pub name: String, pub email: String, pub country_code: Option<u8>, pub company_id: i64, } こんな感じでデータ部分だけを定義したい こういう構造体があったとして・・
30. シードデータの表現 29 # Companyデータ Denali: name: "有限会社デナリ" FitzRoy: name: "FitzRoy & Company" Estie: name: "株式会社エスティ" # Userデータ Alice: name: Alice email: "alice@example.com" company_id: ${{ REF(Denali) }} Bob: name: Bob email: "bob@example.com" country_code: 81 company_id: ${{ REF(FitzRoy) }} Dev: name: Developer email: ${{ ENV(DEV_EMAIL:-"developer@example.com") }} country_code: 44 company_id: ${{ REF(Estie) }} pub struct Company { pub name: String, } pub struct User { pub name: String, pub email: String, pub country_code: Option<u8>, pub company_id: i64, } Company保存時に名前とidの対応を保 存しておき、実行時に置換
31. シードデータの表現 30 # Companyデータ Denali: name: "有限会社デナリ" FitzRoy: name: "FitzRoy & Company" Estie: name: "株式会社エスティ" # Userデータ Alice: name: Alice email: "alice@example.com" company_id: ${{ REF(Denali) }} Bob: name: Bob email: "bob@example.com" country_code: 81 company_id: ${{ REF(FitzRoy) }} Dev: name: Developer email: ${{ ENV(DEV_EMAIL:-"developer@example.com") }} country_code: 44 company_id: ${{ REF(Estie) }} pub struct Company { pub name: String, } pub struct User { pub name: String, pub email: String, pub country_code: Option<u8>, pub company_id: i64, } 実行時に環境変数と置換 （なければ developer@example.comにフォールバック）
32. 動的な参照の解決 埋め込みタグはHashMapに名前とidの対応を溜めていくことで単純に置換 YAMLパーサーの前段でプリプロセッサのような処理を行う • 同名ラベルをもつデータのidを参照できる • yaml標準のエイリアス利用を利用するアイデアも • 環境変数の参照をサポート • デフォルト値を設定した場合、フォールバック可能 31 email: ${{ ENV(DEV_EMAIL:-"developer@example.com") }} company_id: ${{ REF(Estie) }}
33. デシリアライズ serde-yamlが利用できそう • 標準的なデータ仕様にのっかれる • 表現力が高くあらゆる構造体を表現可能 • deriveマクロを足すだけで利用可能 32 https://github.com/dtolnay/serde-yaml
34. グルーコード部分のインターフェース 33 // 挿入結果のラベルとidの対応を保持する let mut seeder = DatabaseSeeder::new(); seeder.populate("companies.yml", |input: Company| { // // Companyを挿入する関数 // Fn<Company> -> Result<i64> })?; seeder.populate("users.yml", |input: User| { // // Userを挿入する関数 // Fn<User> -> Result<i64> })?; シード固有ではない共通処理はなるべくまとめ、グルーコード部分を小さく保ちたい 共通する定型処理をまとめたい • ファイルの読み取り • 埋め込みタグの解決（置換） • yamlのデシリアライズ • 一つ一つのレコードをブロックに渡し • ラベルとブロックの評価結果を紐付けして保存 • 後のラベルの解決に使う
35. グルーコード 34 let mut seeder = DatabaseSeeder::new(); // non-asyncブロック（関数）を利用する場合 seeder.populate("users.yml", |input: User| { User::insert(pool, input) })?; let mut seeder = DatabaseSeeder::new(); // asyncブロック(関数）を利用する場合 seeder.populate_async("users.yml", |input: User| { Box::pin(async move { User::insert(pool, input).await }) }) .await?; 非同期関数も扱えるとさらによい
36. 実装！
37. ツールとして汎用性がありそう・・？ 36
38. OSS化しました
39. cder公開！ 38 special thanks to: @kenkoooo, @khei4, @hoyo, @matsu7874 https://github.com/estie-inc/cder
40. 解決したいこと • 依存関係・参照の自動解決 ◦ ファイルを一括で読み込んで自動で依存解決できるとオシャレ ◦ 今は読み込み順に依存する ◦ トポロジカルソートできる（はず） • asyncブロックにSendを指定するとhigher-ranked lifetime errorになる問題 • コメントの中にタグを入れるとバグる 39
41. 使ってみた感想やPR、ぜひお願いします！！ 40