CData Sync V25.1 アップデートを プロダクトスペシャリストが大解説 kintone のリバースETL 機能など

2024年のアップデート情報を振り返るとともに、V25.1 で追加された「kintone へのリバースETL」「Redshift / Databricks パフォーマンスの大幅改善」「DB2 CDC」など、基幹システムとデータウェアハウス・BIツールの連携をさらに密接にするアップデートをご紹介します。最後に、次期バージョンのV25.2で予定されているアップデート内容についてもお届けします。

Transcript

1. 「拡張型CDC」「リバースETL拡張」「コネクタ大強化」など、 CData Sync Update ウェビナー CData Sync V25.1 アップデートを プロダクトスペシャリストが大解説 kintone のリバースETL 機能など～ 「kintone へのリバースETL」「パフォーマンスの大幅改善」「DB2 CDC」など、基幹システムとデータウェアハウス・BIツールの連携を さらに密接にするアップデート。 講師：Senior Product Specialist 宮本 航太 Part 2
2. 講師紹介 宮本 航太 シニアプロダクトスペシャリスト、PM for Apps - 2019 年よりCData Software にジョイン - 5年ほどApps 系を中心にサポートチームで活動 - 2024 年からApps 系のローカルPMに従事 2
3. アジェンダ ✓ Sync V24 アップデート内容の振り返り ✓ Sync V25.1 アップデート情報 ✓ Sync V25.2 の予定 3
4. Sync V24 アップデート内容の振り返り 4
5. Sync V24 アップデート内容の振り返り 2024年8月：V24.2 リリース：リバースETLソース拡充、D365 CDC、PostgreSQL 連携のパフォーマンス強化、 ジョブリトライ、CDC初回スキップ 2024年5月： V24 リリース：Snowflake、SQL Server からSalesforce へのリバースETL、dbt Cloud 連携 2025年4月：V25.1 リリース 5 2025年1月：V24.3 リリース：拡張型CDC、リバースETLソース拡充、 Snowflake 連携のパフォーマンス強化、カスタムロール、BigQuery のマルチバ イト名をサポート
6. Sync V25.1 アップデート情報 6
7. V25.1 アップデート概要 リバースETL対応拡大 7 Kintone、Hubspot、Zoho CRM への連携 拡張型CDCの対応拡大 DB2／Informix をサポート パフォーマンス改善 Redshift / Databricks で高速転送に対応 ワークスペース機能追加 ユーザーごとの分離作業スペースを提供 その他改善点 管理・CDCの利便性向上機能を複数追加
8. Kintone リバースETL – 機能概要 8 DBから kintone への 連携 シンプルな アーキテクチャ 複数の更新 モード
9. Kintone リバースETL – 技術仕様 9 Insert モード DB 側に随時蓄積されるレコードをkintone に追加型で送信 例：別サービスからの移行、DWHで集計後に別アプリに登録 Sync ジョブ リクエスト kintone Update モード Kintone データをDB 上で更新し、レコードIDをキーとして転送する 例：kintone アプリにある顧客データのスコアリング結果書き戻し Upsert モード 任意の項目（業務上のキー項目）をキーとして指定し、追加更新を自 動的に行う 例：基幹DBから入出庫データをkinotne の在庫管理アプリに連携
10. Kintone リバースETL – ユースケース 構成ポイント 【⇒ DB】 ・ 販売チャネル別アプリをDB に定期連携 ・ 変換ジョブで1アプリに集計 ・ 集計時の実行時間もセットで登録 【⇒ kintone】 ・ DB の集計データをkintone 販売集計アプリに登 録 業務価値 ・ kintone 側で売上状況を把握 ・ 集計作業の自動化で、現場判断のスピードを向上 10
11. 11 Kintone リバースETL – デモ
12. その他：リバースETL対応コネクタ 12 Hubspot Zoho CRM
13. Redshift / Databricks への連携パフォー マンスを大幅改善 13 大量データ連携時のデータ転送処理を効率化 80万件データで計測 Redshift：処理時間が約1/2（300秒→117秒） Databricks：処理時間が約1/3（755秒→215秒） 連携時の仕組見直しでメモリ使用量の効率化
14. Redshift: 旧方式での転送処理 14 バルクインサートで一時テーブルを直接更新 一時テーブルから本テーブルへのMerge
15. Redshift: 新方式での転送処理 15 取得データをGzip圧縮してローカルに保存 ファイルをS3に繰り返しアップロード COPYコマンドでS3にアップしたファイルから Redshift の一時テーブルに一括取り込み 一時テーブルから本テーブルへのMerge
16. ワークスペース機能 16 ワークスペース単位でジョブ、コネクション、変換ジョブをグルーピング化 カスタムロール機能との組合せで、個々のユーザー単位の制御からワークス ペース単位での制御が可能 大規模環境での運用管理やセキュリティ設計の負担を大幅に軽減
17. 拡張型CDC 対応のコネクタを追加 17 Db2（LUW） 、IBM Informix をサポート リアルタイムに変更データを取得 削除レコードの取得、更新日時を持たない テーブルでも変更データの取得が可能
18. その他アップデート 18 【管理機能】システムヘルスアラート機能 （メモリとディスク使用状況を監視） 【ジョブ】一部のレプリケートタスクだけを停止 【変換機能】dbt Cloud セルベースアーキテクチャへの接続 【ジョブ】 CDCモードでのカスタムクエリ利用をサポート（カラム名変 更や複合キーの指定が可能に）
19. CData Sync V25.2 の予定 19
20. CData Sync V25.2 の予定 パフォーマンス ➢ クラウドデータウェアハウスへの大量データ転送のパフォーマンス改善（Google BigQuery、Azure Synapse） ➢ 変換機能での並列実行をサポート 変更データキャプチャ機能強化 ➢ Db2 for i (AS/400) CDC リバースETL ➢ Oracle Source ➢ 初回スキップ機能（変更レコードからの連携） これらは現時点での予定であり、変更される可能性はございます 20 管理機能 ➢ SAML統合によるSSOログインをサポート
21. Thank you!