TiUG #1 LT

Data Migration と Changefeed の間

Transcript

1. LT
 TiUG #1
 〜Data Migration と Changefeed の間〜
 2024/3/29

2. ©2024 Voicy, Inc. 自己紹介 名前：織田 薫(かおる)
 会社：株式会社Voicy
 職業：SRE
 趣味：ゴスペル・ぺんぎん
 特技：Ask me

3. ©2024 Voicy, Inc.
4. ©2024 Voicy, Inc. 本日は
 TiDB Cloud での Data Migration と Changefeedにつ いて、Voicy で使用してみた経験をお話したいと思い ます。
 
 ※Serverless では双方とも使用できないので、対象 は Dedicated Cluster になります。

5. ©2024 Voicy, Inc. TiDB Dedicated Cluster では
 ・Data に４つの項目があります

6. ©2024 Voicy, Inc. TiDB Dedicated Cluster では
 
 ・Data に４つの項目があります

7. ©2024 Voicy, Inc. Data Migration（DM） とは
 ・TiDB のデータ移行ツールの一つ
 
 ・データソースは、MySQL、AWS Aurora MySQL、 AWS RDS MySQL の三種類
 
 ・移行先は、TiDB Dedicated Cluster
 
 ・同期すれば、Latency は 0-数ms以内（現状）

8. ©2024 Voicy, Inc. DM の注意点
 ・1TB以上のデータ量の場合は、Lightning や Dumpling の使用が推 奨される
 
 ・移行スピードは、DMのRCUとTiDB Cluster のインスタンス数によ り変わる
 
 ・最初の Export は比較的速いが、その後の Import は結構時間が かかる（リソース次第）
 
 ・データソース側のBinlogの有効化が必要
 
 ・FOREIGN KEY 制約には対応してない

9. ©2024 Voicy, Inc. Changefeed とは
 ・TiDB のデータ移行ツールの一つ
 
 ・データソースは、TiDB Dedicated Cluster
 
 ・移行先は、Kafka、MySQL、AWS S3、TiDB Serverless

10. ©2024 Voicy, Inc. Changefeed の注意点
 ・完全レプリケーションしたい場合は、Changefeed から先に設定を行う
 
 ・Changefeed を使用する場合、DM の Migration Mode は、Logical のみとなる（それしか選択できな い）
 
 ・同期後も、Latency は 1s 前後

11. ©2024 Voicy, Inc. ということで
 Data Migration
 Changefeed

12. ©2024 Voicy, Inc. 宣伝

13. ©2024 Voicy, Inc. We’re hiring
 エンジニア募集してます！
 カジュアル面談しましょう

14. ©2024 Voicy, Inc. ご清聴
 ありがとうございました！