Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
いかにして不足・不整合なくデータ移行したか
Search
momochi29
October 15, 2024
Programming
1
1.2k
いかにして不足・不整合なくデータ移行したか
Hatena Engineer Seminar #31 「少年ジャンプ+」 サーバーサイド編
https://hatena.connpass.com/event/331414/
momochi29
October 15, 2024
Tweet
Share
More Decks by momochi29
See All by momochi29
データのマスタが変わっても継続的に分析したい!
tjmtmmnk
1
200
初めてのデータ移行プロジェクトから得た学び
tjmtmmnk
0
930
Other Decks in Programming
See All in Programming
Semantic Kernelのネイティブプラグインで知識拡張をしてみる
tomokusaba
0
180
各クラウドサービスにおける.NETの対応と見解
ymd65536
0
110
なまけものオバケたち -PHP 8.4 に入った新機能の紹介-
tanakahisateru
1
120
【re:Growth 2024】 Aurora DSQL をちゃんと話します!
maroon1st
0
780
「Chatwork」Android版アプリを 支える単体テストの現在
okuzawats
0
180
創造的活動から切り拓く新たなキャリア 好きから始めてみる夜勤オペレーターからSREへの転身
yjszk
1
130
SymfonyCon Vienna 2025: Twig, still relevant in 2025?
fabpot
3
1.2k
わたしの星のままで一番星になる ~ 出産を機にSIerからEC事業会社に転職した話 ~
kimura_m_29
0
180
ある日突然あなたが管理しているサーバーにDDoSが来たらどうなるでしょう?知ってるようで何も知らなかったDDoS攻撃と対策 #phpcon.2024
akase244
1
150
rails statsで大解剖 🔍 “B/43流” のRailsの育て方を歴史とともに振り返ります
shoheimitani
2
940
Jakarta EE meets AI
ivargrimstad
0
260
開発者とQAの越境で自動テストが増える開発プロセスを実現する
92thunder
1
190
Featured
See All Featured
Git: the NoSQL Database
bkeepers
PRO
427
64k
Designing for humans not robots
tammielis
250
25k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
28
2.1k
A Philosophy of Restraint
colly
203
16k
Imperfection Machines: The Place of Print at Facebook
scottboms
266
13k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
44
9.3k
How To Stay Up To Date on Web Technology
chriscoyier
789
250k
The Cost Of JavaScript in 2023
addyosmani
45
7k
Art, The Web, and Tiny UX
lynnandtonic
298
20k
4 Signs Your Business is Dying
shpigford
181
21k
Raft: Consensus for Rubyists
vanstee
137
6.7k
Making the Leap to Tech Lead
cromwellryan
133
9k
Transcript
いかにして不足・不整合 なくデータ移行したか 発表者: momochi29 1
自己紹介 id:momochi29 • データ移行の検証など • マンガメディア開発の チーム歴は5年程度 • 「ワールドトリガー」 が好き
2
ゴール ユーザから見て移管前後でデータが変わって いない 3
そのためには? 本番移行までに 移行時の直すべきエラー・原因不明のエラー をすべて洗い出し、解消する 4
全体像 5
サイクルの全体像 移行 検証 エラー 修正 完了! エラーがない エラーがある 6
サイクルの全体像 移行 検証 エラー 修正 完了! エラーがない エラーがある 7
サイクルの全体像 移行 検証 エラー 修正 完了! エラーがない エラーがある ここを話します 8
検証 9
検証が必要な背景 期間1 エラーなし 期間2 エラーなし ・・・ データ移行(分割移行) 10
検証が必要な背景 期間1 エラーなし 期間2 エラーなし ・・・ 期間ごとにエラーがないので おそらく不整合はないだろう データ移行(分割移行) 11
検証が必要な背景 期間1 エラーなし 期間2 エラーなし ・・・ 期間ごとにエラーがないので おそらく不整合はないだろう データ移行(分割移行) ユーザ単位ですべてのデータに不整合
がないことは保証できていない 12
検証が必要な背景 期間1 エラーなし 期間2 エラーなし ・・・ 期間ごとにエラーがないので おそらく不整合はないだろう データ移行(分割移行) そもそも…
移行処理にバグがあってデグレしてい るかもしれない 13
検証が必要な背景 1. ユーザ単位ですべてのデータに不整合がない ことを保証できていない 2. 移行処理にバグがあってデグレしているかも しれない 14
何を検証するのか 1. ユーザに対する検証 2. 移行自体に対する検証 15
ユーザに対する検証 • ユーザが持っているデータが移行前後で変化 していないことをユーザごとに検証する 16
ユーザに対する検証 • ズレるとユーザに不利益がある箇所を重点的 に検証する ◦ 例) レンタル期限が一致するか ▪ ズレるとレンタルしていたはずの話が読めなくなったり… 17
移行自体に対する検証 • 移行が仕様通りに実装されているかを検証す る 18
仕様通りに実装されているかの検証 移行元テーブル 移行先テーブル 移行先テーブル ︙ 変換ルールに則って移行 19
移行元テーブル 移行先テーブル 移行先テーブル ︙ 変換ルールに則って移行 単体テストによって ルールに従っている か検証している 仕様通りに実装されているかの検証 20
移行元テーブル 移行先テーブル 移行先テーブル ︙ 変換ルールに則って移行 単体テストによって ルールに従っている か検証している 仕様通りに実装されているかの検証 これで充分?
21
仕様通りに実装されているかの検証 • No • 移行処理に実装漏れがあると、テストが存在 しないので仕様に従っているか確認されない ◦ 移行先観点でのテストになるので漏れやすい 22
仕様通りに実装されているかの検証 移行元テーブル 移行先テーブル 変換ルールに則って移行 移行先テーブルから 移行元テーブルを再現できる か検証する 23
テーブルの再現による検証 • 移行先のテーブルからデータを集めて変換 ルールを適用して移行元のテーブルを作る • これによって移行元との差分がわかり、移行 漏れを無くせる 24
検証失敗時には? • エラーを記録する • 分類しやすいようにフォーマットを統一 25
直す価値のあるエラーを得る • 直す価値のあるエラーとは、直さないと本番 環境でも発生するエラー • 移行元の本番環境のスナップショットを使っ て、移行→検証することで価値のあるエラー を得る 26
検証を動かす • データ移行を動かしているStep Functions + AWS Batchに検証ジョブを追加した ◦ 数百の検証ジョブを並行で動かすことで十分高速に検 証できた
• ただ、リソース上の問題があったのでチュー ニングした 27
検証のチューニング • 移行に利用しているDBのCPU使用率が張り付 いている ◦ → 検証は読み込み専用DBを使う • 検証のタスクがOOM ◦
→ メモリ使用量の上限を引き上げ ◦ → あえてN+1にする 28
エラー修正 29
エラー修正 • エラー数を0にするのがゴール • 多種多様なエラーをうまくハンドリングする には? 30
エラーフォーマットの統一 • ジョブの種類 • エラーメッセージ • エラーコード ◦ レコードが存在しない、一致しないの2種類 •
デバッグのために必要な情報 ◦ エラーになった場所、レコードのID 31
CloudWatch Logs Insights • ジョブの種類、エラーごとに first_seen, last_seen, エラー総数を出す 32
CloudWatch ダッシュボード • Logs Insightsで作ったクエリの実行結果を集 約できる • ここだけ見ればオッケーにできる ◦ 移行・検証のエラーに対するクエリ結果と、その他に
必要な情報をウィジェットとして追加した 33
CloudWatch ダッシュボード 34
ゴールが数値で見える嬉しさ • 移行作業は長いトンネルを歩く感覚がある • エラー数が減るとゴールに近付いていること を実感できてよかった 35
修正サイクルを回す エラー 修正 移行 ダッシュ ボード 確認 エラーがある 完了! エラーがない
36
修正サイクルを回す エラー 修正 移行 ダッシュ ボード 確認 新規のエラー: first_seenから判断 既存のエラーが直っていない:
last_seenから判断 完了! エラーがない 37
あとはエラーがなくなる までひたすらやる 38
結果 • 本番環境での移行で未知のエラーに遭遇せず に移行を完了することができた ◦ 本番同等のデータを使ってエラーが無くなるまでサイ クルを回した賜物 • データ移行に起因する大きな問題はなかった 39
まとめ • ユーザに対する検証と移行自体に対する検証 の2面からの検証によって、不足・不整合なく 移行できた • 移行元の本番環境のデータを使って修正サイ クルを回すことで未知のエラーに遭遇するこ となく移行できた 40