Upgrade to Pro — share decks privately, control downloads, hide ads and more …

TiUG #1 LT

Kaoru
March 28, 2024
12

TiUG #1 LT

Data Migration と Changefeed の間

Kaoru

March 28, 2024
Tweet

Transcript

  1. ©2024 Voicy, Inc. 本日は
 TiDB Cloud での Data Migration と

    Changefeedにつ いて、Voicy で使用してみた経験をお話したいと思い ます。
 
 ※Serverless では双方とも使用できないので、対象 は Dedicated Cluster になります。

  2. ©2024 Voicy, Inc. Data Migration(DM) とは
 ・TiDB のデータ移行ツールの一つ
 
 ・データソースは、MySQL、AWS

    Aurora MySQL、 AWS RDS MySQL の三種類
 
 ・移行先は、TiDB Dedicated Cluster
 
 ・同期すれば、Latency は 0-数ms以内(現状)

  3. ©2024 Voicy, Inc. DM の注意点
 ・1TB以上のデータ量の場合は、Lightning や Dumpling の使用が推 奨される


    
 ・移行スピードは、DMのRCUとTiDB Cluster のインスタンス数によ り変わる
 
 ・最初の Export は比較的速いが、その後の Import は結構時間が かかる(リソース次第)
 
 ・データソース側のBinlogの有効化が必要
 
 ・FOREIGN KEY 制約には対応してない

  4. ©2024 Voicy, Inc. Changefeed の注意点
 ・完全レプリケーションしたい場合は、Changefeed から先に設定を行う
 
 ・Changefeed を使用する場合、DM

    の Migration Mode は、Logical のみとなる(それしか選択できな い)
 
 ・同期後も、Latency は 1s 前後