COSCUP 2018 - How to alter a large table

Web page of talk: https://2018.coscup.org/programs/large-table/

COSCUP ( Conference for Open Source Coders, Users and Promoters) is an annual conference since 2006. It's a major force of Free software movement advocacy in Taiwan.

Transcript

1. How to alter a large table? Chun-Yen Huang Back-End Engineer @COSCUP 2018 x Database Community
2. Hi, I am Chun-Yen Huang(@luka7go) Back-End Engineer work for Splashtop.
4. Overview • What is altering a table? • If rows > 10 millions, how to alter a table? • If we have read replicas, how to alter a table? • How to use an open source solution to alter a table?
5. Overview • What is altering a table? • If rows > 10 millions, how to alter a table? • If we have read replicas, how to alter a table? • How to use an open source solution to alter a table?
6. What is altering table 修改已建⽴的 table ，就會調⽤到 Database 的 ALTER TABLE 指令。
7. class AlterUsersTable < ActiveRecord::Migration def up add_column :users, :group_id, :integer add_index :users, [:group_id] rename_column :users, :email, :mail end def down remove_column :users, :group_id remove_index :users, [:group_id] rename_column :users, :mail, :email end end Example of Rails Migration
8. 執行 rake db:migrate 會產生這樣的 SQL 指令 ALTER TABLE `users` ADD `group_id` int(11) `updated_at` datetime DEFAULT NULL CREATE INDEX `index_users_on_group_id` ON `users` (`group_id`) ALTER TABLE `users`
9. 從以上例子可以了解 執行 Migration 實際上是使用 Database 中的 ALTER TABLE 指令
10. Outlines • If rows > 10 millions, how to alter a table? • If we have multiple read replicas, how to alter a table? • How to use open source solution to alter a large table? • How to use LHM without Ruby on Rails?
11. If rows > 10 millions, how to alter a table?
12. How a normal migration works?
13. ⼀般的 Migration 使⽤ ALTER TABLE 指令來修改表
14. 剛剛的例子 ALTER TABLE `users` ADD `group_id` int(11) `updated_at` datetime DEFAULT NULL CREATE INDEX `index_users_on_group_id` ON `users` (`group_id`) ALTER TABLE `users`
15. 在修改表(ALTER TABLE)的時候，原本的 Table 無法寫入，但可以讀取。 ref:https://melinysh.me/shopify,/rails,/backend,/lhm/2017/05/14/rails-migrations-at-scale.html
16. 資料全部更新到新的 Table 後，新舊 Table 互 換名稱，交換結束後舊的 Table 被移除。 ref:https://melinysh.me/shopify,/rails,/backend,/lhm/2017/05/14/rails-migrations-at-scale.html
17. 直接使用 ALTER TABLE 會有什麼問題? • 在 ALTER TABLE 的過程中，寫操作持續地被鎖 住。 • 如果是一個寫入頻繁的系統(write-heavy system)，會有一大堆的寫操作在等待被鎖住的 row 釋放它的鎖。 • 這樣的狀況很可能造成資料庫的 CPU 使用率和 記憶體使用率飆高，甚至當掉都有可能。
18. LHM - Large Hadron Migrator is an open source solution for this situation.
19. What is LHM? • SoundCloud’s open source project • Since 2012 (v1.0.0) • LHM is still working today. • Shopify maintain a fork here
20. How LHM works?
21. LHM 在 Table 寫⼊資料時，由 Mysql trigger ⽤⾮同步的⽅式將資料更新到新 的 Table。 ref:https://melinysh.me/shopify,/rails,/backend,/lhm/2017/05/14/rails-migrations-at-scale.html
22. 在寫入的當下，原始的 table 還是會鎖住， 但是一旦寫入完畢，lock 就會被釋放。 ref:https://melinysh.me/shopify,/rails,/backend,/lhm/2017/05/14/rails-migrations-at-scale.html
23. 結束時新的 Table 取代掉舊的 Table。 ref:https://melinysh.me/shopify,/rails,/backend,/lhm/2017/05/14/rails-migrations-at-scale.html
24. Example of LHM migration require 'lhm' class MigrateUsers < ActiveRecord::Migration def self.up Lhm.change_table :users do |m| m.add_column :group_id, "INT(12)" m.add_index [:group_id] m.rename_column(:email, :mail) end end def self.down Lhm.change_table :users do |m| m.remove_index [:group_id] m.remove_column :group_id m.rename_column(:mail, :email) end end end
25. class AlterUsersTable < ActiveRecord::Migration def up add_column :users, :group_id, :integer add_index :users, [:group_id] rename_column :users, :email, :mail end def down remove_column :users, :group_id remove_index :users, [:group_id] rename_column :users, :mail, :email end end 對照之前未使用LHM的 Migration
26. 改變的不大，非常平易進人
27. 接著進入下一個主題
28. 你的資料庫有讀寫分離，又 使用 LHM 的話可能會發生 什麼事情?
29. Introduce database read replica
30. 在大型系統中，為了讓主要的 Database 記憶體和CPU的使用量 更穩定，通常會使用讀寫分離 來分擔壓力
32. 如果你的系統使用了讀寫分離，並且沒 有實際去了解 LHM 的機制，很可能遇到 的問題以下的問題:
33. 如果你的系統使用了讀寫分離，並且沒 有實際去了解 LHM 的機制，很可能遇到 的問題以下的問題: l 即使 LHM 使用 trigger 的方式，該 table 執行 寫入的次數仍然會是原來的兩倍。
34. 如果你的系統使用了讀寫分離，並且沒 有實際去了解 LHM 的機制，很可能遇到 的問題以下的問題: l 即使 LHM 使用 trigger 的方式，該 table 執行 寫入的次數仍然會是原來的兩倍。 l 因此在執行 LHM 的同時，slave lag 很有可能 會變長
35. 如何在這種極端的情況下， 安全的使用 LHM 呢?
36. LHM 在新版中推出了 SlaveLag Throttler
37. 請注意! 新版指的是 Shopify fork 出 來的版本，而 Soundcloud 原始的 版本從 2015 年開始就沒有在維護。
38. SlaveLag Throttler 大致上的概念是: l 如果 RDMS 的 SlaveLag 大於你設定的最 高延遲時間 LHM 同步的速度就會減緩。 l 直到 SlaveLag 降低至可以接受的範圍才 會停止。
39. Lhm::Throttler::SlaveLag 運作原理
40. 接著來看 Lhm::Throttler::SlaveLag 的原始碼
41. 其中最關鍵的一段(1) 附上 Source Code 連結 def execute sleep(throttle_seconds) end
42. 其中最關鍵的一段(2) def throttle_seconds lag = max\_current\_slave_lag if lag > @allowed_lag && @timeout_seconds < MAX_TIMEOUT Lhm.logger.info("Increasing timeout between strides from #{@timeout_seconds} to #{@timeout_seconds * 2} because #{lag} seconds of slave lag detected is greater than the maximum of #{@allowed_lag} seconds allowed.") @timeout_seconds = @timeout_seconds * 2 elsif lag <= @allowed_lag && @timeout_seconds > INITIAL_TIMEOUT Lhm.logger.info("Decreasing timeout between strides from #{@timeout_seconds} to #{@timeout_seconds / 2} because #{lag} seconds of slave lag detected is less than or equal to the #{@allowed_lag} seconds allowed.") @timeout_seconds = @timeout_seconds / 2 else @timeout_seconds end end
43. 名詞解釋 • timeout_seconds 用來控制同步的速度 • allow_lag 與允許的 lag 時間，可由使用者 自行設定 • lag 每次執行的時候會偵測最大的 slave lag
44. Improvements by Shopify’s fork • 搬移的筆數預設從 40000 筆降低至 2000 筆。 • 在 LHM 執行的同時，可以在 Log 看到目前 的搬移狀況與 Read Replica 延遲的狀況 • 持續維護中，2018 的 7 月至今不斷有新的 commit 加入。
45. How to use LHM without Ruby on Rails?
46. 沒有 Rails 的環境也能使用 LHM 1. 直接調用 ruby script 2. 包在 migration 內使用
47. ORM / Migration n PHP n Lavavel Migration n maghead by c9s n Golang n Gorm
48. 實際作法
49. 執行 ruby migration_file.rb 即可使用 LHM require 'active_record' require 'lhm' ActiveRecord::Base.establish_connection( :adapter => 'mysql', :host => '127.0.0.1', :database => 'lhm' ) # and migrate Lhm.change_table :users do |m| m.add_column :arbitrary, "INT(12)" m.add_column :locale, "VARCHAR(2) NOT NULL DEFAULT 'en'" m.add_index [:arbitrary_id, :created_at] m.ddl("alter table %s add column flag tinyint(1)" % m.name) end
50. Thanks for listening.