Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
TiUG #1 LT
Search
Kaoru
March 28, 2024
0
26
TiUG #1 LT
Data Migration と Changefeed の間
Kaoru
March 28, 2024
Tweet
Share
More Decks by Kaoru
See All by Kaoru
技術選定を突き詰める 懇親会LT
okaru
2
1.3k
Amazon S3 Tables + Amazon Athena / Apache Iceberg
okaru
2
330
JAWS-UG SRE支部 #11 LT EKS Auto Mode をやりたい
okaru
0
12
今年の一番の機能追加って何だろう?
okaru
0
100
宇宙最速のランチRecap LT会 (AWS re:Invent 2024)
okaru
2
180
TiDBを入れたけれど オートスケールがなかったよ
okaru
0
21
『Datadogのコスト削減』やってみた
okaru
0
29
令和最新版 メールの技術LT会 @ yabaibuki.dev #1 〜BIMIって・・・〜
okaru
0
130
ゆるSRE勉強会 #6 LT
okaru
0
420
Featured
See All Featured
Why You Should Never Use an ORM
jnunemaker
PRO
56
9.4k
Optimizing for Happiness
mojombo
378
70k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Building an army of robots
kneath
306
45k
The World Runs on Bad Software
bkeepers
PRO
68
11k
Reflections from 52 weeks, 52 projects
jeffersonlam
349
20k
Embracing the Ebb and Flow
colly
85
4.7k
Code Reviewing Like a Champion
maltzj
523
40k
Why Our Code Smells
bkeepers
PRO
336
57k
Facilitating Awesome Meetings
lara
54
6.4k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.6k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Transcript
LT TiUG #1 〜Data Migration と Changefeed の間〜 2024/3/29
©2024 Voicy, Inc. 自己紹介 名前:織田 薫(かおる) 会社:株式会社Voicy 職業:SRE 趣味:ゴスペル・ぺんぎん 特技:Ask
me
©2024 Voicy, Inc.
©2024 Voicy, Inc. 本日は TiDB Cloud での Data Migration と
Changefeedにつ いて、Voicy で使用してみた経験をお話したいと思い ます。 ※Serverless では双方とも使用できないので、対象 は Dedicated Cluster になります。
©2024 Voicy, Inc. TiDB Dedicated Cluster では ・Data に4つの項目があります
©2024 Voicy, Inc. TiDB Dedicated Cluster では ・Data に4つの項目があります
©2024 Voicy, Inc. Data Migration(DM) とは ・TiDB のデータ移行ツールの一つ ・データソースは、MySQL、AWS
Aurora MySQL、 AWS RDS MySQL の三種類 ・移行先は、TiDB Dedicated Cluster ・同期すれば、Latency は 0-数ms以内(現状)
©2024 Voicy, Inc. DM の注意点 ・1TB以上のデータ量の場合は、Lightning や Dumpling の使用が推 奨される
・移行スピードは、DMのRCUとTiDB Cluster のインスタンス数によ り変わる ・最初の Export は比較的速いが、その後の Import は結構時間が かかる(リソース次第) ・データソース側のBinlogの有効化が必要 ・FOREIGN KEY 制約には対応してない
©2024 Voicy, Inc. Changefeed とは ・TiDB のデータ移行ツールの一つ ・データソースは、TiDB Dedicated
Cluster ・移行先は、Kafka、MySQL、AWS S3、TiDB Serverless
©2024 Voicy, Inc. Changefeed の注意点 ・完全レプリケーションしたい場合は、Changefeed から先に設定を行う ・Changefeed を使用する場合、DM
の Migration Mode は、Logical のみとなる(それしか選択できな い) ・同期後も、Latency は 1s 前後
©2024 Voicy, Inc. ということで Data Migration Changefeed
©2024 Voicy, Inc. 宣伝
©2024 Voicy, Inc. We’re hiring エンジニア募集してます! カジュアル面談しましょう
©2024 Voicy, Inc. ご清聴 ありがとうございました!