3年近くTiDBを使ってきた話 @ TiUG Kick Off #0 / My Journey with TiDB: Nearly Three Years On @ TiDB User Group Kick Off #0

Transcript

1. © SAKURA internet Inc. 3年近くTiDBを使ってきた話 2024年1⽉26⽇ @ TiUG Kick Off #0 (TiDB User Group) さくらインターネット株式会社 技術推進統括担当執⾏役員 / CISO / CIO 江草 陽太
2. © SAKURA internet Inc. ⾃⼰紹介 2 2 @chibiegg 江草 陽太 【所属】 • さくらインターネット株式会社 新卒⼊社 執⾏役員 技術推進統括担当 兼 CISO 兼 CIO 【経歴】 • ロボカップジュニア (中学・⾼校) / NHK⼤学ロボコン • ⼤阪⼤学⼯学部電⼦情報⼯学科情報通信⼯学専攻 • 個⼈事業主 (⼤学⽣時代に開業) • ⼤阪⼤学⼤学院⼯学研究科中退 【趣味】 旅⾏/温泉/写真/電⼦⼯作/プログラミング/かわいい服
3. © SAKURA internet Inc. 3 趣味 (電⼦⼯作)
4. © SAKURA internet Inc. 4 趣味 (写真)
5. © SAKURA internet Inc. 5 ⾯⽩コンテンツの紹介 https://www.youtube.com/watch?v=hqMlAE93G48 散財系鯖主うんちゃま チャンネル 情報分電盤に⾮常⽤電源設備まで…新築な⼀般のご家庭がやっぱり逸般の誤家庭だった件【突撃!逸般の誤家庭#5】
6. © SAKURA internet Inc. 6 TiKV/TIDB の さくらインターネットでの導⼊ • sakura.io (LTEによるIoTプラットフォーム) 2020年より「データストア(V2)」でTiKVを採⽤ 端末 (モジュール) からのデータを蓄積し検索に利⽤ NewSQL TiDBを⽀える分散KVS "TiKV"⼊⾨ / @kamijin_fanta https://blog.kamijin-fanta.info/2022/09/tikv-get-started/ • さくらのクラウドなど ⼀部機能において管理システムにTiDBを採⽤ これまでならMariaDBやPostgreSQLを利⽤していた場⾯に導⼊ 2021年より「エンハンスドデータベース(TiDB)」を提供開始 SaaSサービスや社内システムでも利⽤
7. © SAKURA internet Inc. 7 TiDBの運⽤経歴 • 2021年4⽉ ⽯狩リージョンに構築 (v5.0.0) • 2021年6⽉ v5.1.0 にアップデート • 2021年7⽉ v5.1.1 にアップデート (EDB提供開始) • 2022年1⽉ v5.3.0 にアップデート • 2022年5⽉ v5.4.1 にアップデート • 2022年10⽉ v6.1.1 にアップデート • 2023年3⽉ v6.5.1 にアップデート • 2023年4⽉ 東京リージョンでの提供開始 • 2023年6⽉ v7.1.0 にアップデート • 2023年7⽉ TiFlashノードを構築 (⾃社利⽤⽬的) • 2023年10⽉ v7.1.1 にアップデート • 2023年10⽉ v7.1.2 にアップデート • 2024年1⽉ v7.5.0 にアップデート ! 祝 8.0 compatible ！
8. © SAKURA internet Inc. 8 TiDBのメリット (実際に使っている範囲で) • メンテナンス作業が容易 • tiup すごい • スケールアウトが可能で容易 • tiup すごい • TiFlashを活⽤しOLTPとHTAPが⼀つのシステムで実現する • いざとなったら⼒技で殴れる • Dashbordが便利
9. © SAKURA internet Inc. 9 Dashboard
10. © SAKURA internet Inc. 10 構築と運⽤の流れ • Terraform + SacloudProvider でサーバ等のリソース作成 • Ansibleで基本的なOSのセットアップ • tiup でクラスタの構築やメンテナンス • ⽇常的には tiup のみを利⽤すればよい
11. © SAKURA internet Inc. 11 仕組み https://speakerdeck.com/chibiegg/about-tidb-at-sakura-internet-tech-nignt-number-5-online
12. © SAKURA internet Inc. エンハンスドデータベース (TiDB)
13. © SAKURA internet Inc. 13 エンハンスドデータベース (TiDB) ⽯狩と東京で運⽤されているTiDBクラスタを共⽤で提供 データベース名とパスワードを指定するだけで作成可能 数秒で利⽤可能
14. © SAKURA internet Inc. データベースの作成
15. © SAKURA internet Inc. 接続先情報の確認
16. © SAKURA internet Inc. 接続
17. © SAKURA internet Inc. 活⽤事例
18. © SAKURA internet Inc. 18 公開可能な活⽤事例 • 宅配便取次アプリ (Slackで宅急便が送れるサービス) • Antenna-eye (クラウドカメラサービス) • ネットワーク品質計測可視化システム ほとんどがDjangoを使った開発で、django-tidbを利⽤ ⼀部でGolangとentまたはgormを利⽤ https://github.com/pingcap/django-tidb
19. © SAKURA internet Inc. https://www.sakura.ad.jp/taqbin/
20. 集荷と持ち込み
21. 管理機能
23. ライブ・録画・イベント記録
24. TiFlashの活⽤ ある⽇とあるAPIのエンドポイントがとても遅くなった 機能改修によるものであったが、短時間での解決が困難だった ⼀時的にTiFlashを利⽤して凌ぐことにした 10秒程度かかるクエリが0.1秒程度に⾼速化 その後クエリやインデックスを調整しTiKVでも問題無いようにした ⼀部 Manual Hint を⼊れてTiFlashも継続利⽤ SELECT /*+ read_from_storage(tiflash[table_name]) */ ... FROM table_name; ALTER TABLE `table_name` SET TIFLASH REPLICA 2;
26. メトリクスとイベント情報 メトリクスはPrometheus 管理情報やメトリクス以外の測定データはTiDBに保管 時系列のTracerouteの結果などが⼊っており このデータベースだけで約400GBある
27. © SAKURA internet Inc. 28 メリットとデメリット メリット 可⽤性がとても⾼い アップデートが頻繁に⾏える スケールする安⼼感がある デメリット 台数が多くなるので単純なコストだけで⾒ると⾼く⾒える 分散システムなので複雑に⾒える