RDBのログを取る時にDMSを使うという選択肢

Transcript

1. RDBのログを取る時にDMS を使うという選択肢 レバレジーズ株式会社 村本 雄太 2018/12/12
2. いきなりですが、
3. RDBのログを取ったことはありますか？
4. 今日の内容は、 DMSでRDSのログを取るお話です
5. 自己紹介.yaml Name: 村本 雄太 BelongsTo: レバレジーズ株式会社: メディカル事業部 Tags: - 新卒2年目 - いんふらえんじにあ - AWS Certified Solutions Architect Associate
6. DMSとは
7. DMSとは DMSとは、AWSが提供しているデータベース移行サービス • 既存のDBを、最小のDowntimeでAWS移行するサービス • バッチ + 継続的なレプリケートをサポート • 異種エンジン間のMigrateをサポート
8. DMSとは DMSの仕組み https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/Welcome.html
9. DMSを使ってRDBの変更ログをとろう
10. • DMSの移行先にはS3を選択できる ◦ Postgresql -> S3 ◦ Mysql -> S3 ◦ ... DMSを使ってRDBの変更ログをとろう DMSの移行先をS3にする https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Target.S3.html
11. DMSを使ってRDBの変更ログをとろう DMSの移行先をS3にする • DMSの移行先をS3にすると... ◦ <schema_name>/<table_name>/LOAD001.csv ◦ <schema_name>/<table_name>/LOAD002.csv ◦ <schema_name>/<table_name>/<timestamp>.csv ◦ ... https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Target.S3.html
12. DMSを使ってRDBの変更ログをとろう 出力ファイルの先頭にはオペレーションコードがつく Op id name age created_at updated_at I 101 Bob 20 2016-12-12T00:00:00 2016-12-12T00:00:00 U 101 Bob 22 2016-12-12T00:00:00 2018-12-12T00:00:00 U 101 Boby 22 2016-12-12T00:00:00 2018-12-12T20:00:00 D 101 Boby 22 2016-12-12T00:00:00 2016-12-12T22:00:00 例: public/user/20181212-22320009.csv
13. 変更ログが取れた！
14. DMSでRDBの変更ログをとる時の注意点
15. DMSを使ってRDBの変更ログをとろう 1. バッチロードのファイルにはオペレーションコードがつかない id name age created_at updated_at 97 Alice 19 2016-12-12T00:00:00 2016-12-12T00:00:00 98 Make 18 2016-12-12T10:00:00 2016-12-12T10:00:00 99 Chris 22 2016-12-12T20:00:00 2016-12-12T20:00:00 100 Pole 21 2016-12-12T24:00:00 2016-12-12T24:00:00 例: public/user/LOAD001.csv
16. DMSを使ってRDBの変更ログをとろう 解決法: オペレーションコードを差し込むスクリプトを書く 例: public/user/LOAD001.csv Op id name age created_at updated_at I 97 Alice 19 2016-12-12T00:00: 00 2016-12-12T00:00:00 I 98 Make 18 2016-12-12T10:00: 00 2016-12-12T10:00:00 I 99 Chris 22 2016-12-12T20:00: 00 2016-12-12T20:00:00 I 100 Pole 21 2016-12-12T24:00: 00 2016-12-12T24:00:00
17. DMSを使ってRDBの変更ログをとろう 2. Postgresの場合、wal_levelをlogicalにしないといけない • WAL = ログ先行書き込み • ログに吐くレベルをlogicalにする必要がある • 特にRDSの場合、手動で再起動が必要になるため注意 ◦ 5秒~5分のダウンタイムが発生する
18. DMSでRDBの変更ログをとる時の注意点 3. DMSのタスクが死ぬとヤバイ • DMSのソースが Postgresql の場合 1. DMSのタスクが死ぬ 2. レプリケーションスロットにログがたまり続ける 3. DBサーバのDiskを圧迫する
19. 図1. ヤバイ時のRDSのDisk使用量
20. https://qiita.com/uramotot/items/6901142800a67ac7696d DMSでRDBの変更ログをとる時の注意点 解決策: レプリケーションスロットを解放する SELECT * FROM pg_replication_slots; SELECT pg_drop_replication_slot( '<レプリケーションスロット名 >')
21. 図2. レプリケーションスロット解放後の RDSのDisk使用量
22. DMSでRDBの変更ログをとる時の注意点 対策: タスクが死んでも対応できるように準備しておく 1. DMSタスクが死んだ時にAlertを飛ばすようにする 2. RDBのDisk使用量が増えた時も(早めに)Alertを飛ばす 3. レプリケーションインスタンスには余裕をもたせる
23. まとめ
24. まとめ • DMSを使えばRDBの変更ログを簡単にとれる • DB内にログテーブルを作りたくない時に便利 • S3に出力するので、低コスト ◦ AthenaやRedShift Spectrumでクエリ可能