RDBMSとNoSQLの架け橋に！ 新時代のデータ統合、活用を実現する「GlueSync」

4/25(木) に開催したWebセミナーのプレゼン資料です。
下記で録画も公開しています。
https://www.climb.co.jp/soft/webseminar/2024/0425/

非構造化データを扱うために、NoSQLを利用されているケースは多いかと思いますが、基幹まで含めたデータ分析やデータ統合、他のアプリケーションとの連携など、もう一歩進んだ活用はできていますか？

基幹データとしてRDBMS上にある構造化データをNoSQL上の半構造化データへ連携するためにはデータの特性に合わせたデータモデリングが必要です。

GlueSyncでは主要RDBMS（Microsoft SQL Server、Oracle、DB2、PostgreSQLなど）とNoSQL（Aerospike、Couchbase、MongoDB、DynamoDBなど）間でリアルタイムにデータをレプリケートでき、その際のモデリングも柔軟に行えます。

今回のセミナーでは、このGlueSyncの特長やアーキテクチャなどを解説、実際のデモにて、実際のデータ同期、モデリングの動作をご紹介します。

Transcript

1. Gluesync
2. RDBMSとNoSQL • 関係性のあるデータ＞構造化データ • SQLによる一貫性を保った複雑な処理が可能 • データ量に依存して性能劣化 • シンプルなデータ＞半構造化データ • SQL不要で取り扱いが容易 • データ量が増えても性能劣化が起きづらい
3. 両方のメリットを活かすために • データを同期 基幹系システム 分析系システム
4. データ構造を意識した連携が必要 • RDBMS：データを正規化 • NoSQL：非正規化（単純化）し、アプリケーションが使いやす い構造へ 複雑なSQLクエリで抽出 簡単なクエリで必要なドキュメントを参照 基幹系システム 分析系システム
5. Gluesyncで対応可 NoSQL NoSQL SQL SQL NoSQL NoSQL
6. 対応RDBMS/NoSQL：SQL＞NoSQL SQL NoSQL
7. 対応RDBMS/NoSQL：NoSQL＞SQL SQL NoSQL
8. 対応RDBMS/NoSQL：NoSQL＞NoSQL NoSQL NoSQL
9. 変更追跡でリアルタイム同期 • Gluesync Data Capture機能によるトリガー方式 • DB2 LUW、Maria DB、MySQL、Sybase • Oracle、PostgreSQL（ネイティブでも対応） • データベースのネイティブ機能 • IBM i(AS/400)：IBM i ジャーナル API • SQL Server：CDC技術または変更追跡技術 • Oracle：Xstream API • PostgreSQL：レプリケーション スロット テクノロジ
10. 変更追跡でリアルタイム同期 • NoSQLのネイティブ機能 • DynamoDB：DynamoDB Streams • MongoDB：Change Streams機能 • Aerospike ：ESPコネクタ • Couchbase： Eventing サービス • Apache HBase：scan機能
11. クラウドネイティブで動作 • DockerやKubernetes上で動作 • オンプレ、クラウド問わず実行可能
12. クラウドネイティブで動作 • ステートレスなコンテナで提供 • 処理したトランザクションIDなどはソース、ターゲットで保持 GS管理テーブル GS管理ドキュメント
13. JSON形式の構成ファイル { "sourceHost": "192.168.33.15", "sourcePort": "1433", "sourceName": "demo", "sourceUsername": "gs-user", "sourcePassword": "P@ssword123", "mssql": { "temporaryTableNamePrefix": "gs", "statePreservationTableNamePrefix": "gs" }, "targetHost": "192.168.33.15", "targetPort": "8091", "targetName": "demo", "targetUsername": "gs-user", "targetPassword": "password", "couchbase": { "useCollections": true }, "sourceEntities": { "tableSync": { "schema": "dbo", "table": "DRIVERS", "type": "drivers", "scope": "data" } }, "sourceChangeRetention": 5, "copySourceEntitiesAtStartup": true, "maxItemsCountPerTransaction": 100, "maxMigrationItemsCountPerIteration": 20000 } • ソース/ターゲット接続設定 • エンティティ設定 • 同期対象のテーブル • データモデリング • 同期設定 • 変更履歴の保持 • 管理用テーブルのプレフィックス • 最大同時処理数
14. 柔軟なデータモデリング •テーブルのレコードをそのままドキュメントへ •SQLクエリ結果をドキュメントへ •ネスト構造へデータモデリング SQLクエリ
15. テーブルをそのままドキュメントへ "sourceEntities": { "tableSync": { "schema": "dbo", "table": "DRIVERS", "type": "drivers", "scope": "data" } }
16. SQLクエリ結果をドキュメントへ "sourceEntities": { "INNER_JOIN": { "type": "INNER_JOIN", "schema": "dbo", "scope": "data", "query": "SELECT o.ID, o.注文番号, o.注文日時, c. 氏名 as お客様名, c.ふりがな, c.メールアドレス, c.電話番号, a.都道府県 + a.市区町村 + a.番地 as 送り先住所, d.姓 + ' ' + d.名 as 担当ドライバー FROM dbo.注文ヘッダー o INNER JOIN dbo.顧客情報 c on c.ID = o.顧客ID INNER JOIN dbo. 住所 a on a.ID = o.住所ID INNER JOIN dbo.ドライバー d on d.ID = o.ドライバーID where o.ステータス = 1" } },
17. SQLクエリ結果をドキュメントへ { "ID": 111, "注文番号": "SO-97411111", "注文日時": "2021-10-30T02:06:03", "お客様名": "クライム 太郎", "ふりがな": "くらいむ たろう", "メールアドレス": "climbtest@climb.co.jp", "電話番号": "03-9336-3660", "送り先住所": "東京都中央区日本橋蛎殻町１丁目３６−７蛎殻町千葉ビル4F", "担当ドライバー": "クライム配達員", "scope": "data", "type": "INNER_JOIN" }
18. 対応コマンド SQLコマンド Gluesyncの互換性 INNER JOIN OUTER JOIN LEFT JOIN WHERE foo + ' ' + barのような文字列連結 * + - /のような算術演算子 UNION 複数エンティティで同じ宛先（type とscope）を使用すると同様の結果 を得られます。
19. ネスト構造へのモデリング
20. "sourceEntities": { "order": { "type": "order", "scope": "data", "dataModeling": [ { "level": 1, "name": "注文", "tables": [ { "table":"dbo.注文ヘッダー", "keys": { "ID":"oh_ID" }, "fields": { "ID":"oh_ID", "注文番号": "注文番号", …省略… "level": 2, "name": "注文詳細", "tables": [ { "table": "dbo.注文詳細", "keys": { "ID": "o_ID" }, "fields": { "ID": "o_ID", "数量": "数量", "注釈": "詳細注釈" }, "alias": "o", "join": { "with": "dbo.注文ヘッダー" } }, { "table": "dbo.商品情報", "keys": { "ID": "a_ID" }, "fields": { "ID": "a_ID", "商品名": "商品名", "説明": "商品説明" }, "alias": "a", "join": { "with": "dbo.注文詳細" } } ] } ] } }
21. ネスト構造へのモデリング { "oh_ID": 107, "注文番号": "SO-!IAMNEW!-03", …省略… "注文詳細": [ { "o_ID": 1010, "数量": 10, "詳細注釈": "コンテナでデプロイ", "a_ID": 5, "商品名": "グルーシンク", "商品説明": "主要RDBMSとNoSQL間でリアルタイムなクラウドネイティブ データレプリケーションを実現" }, {…省略…} ], "scope": "data", "type": "order" }
22. 監視、ログ、アラート • Prometheus互換のメトリクスで監視可能 • Logbackでロギング、メールアラート • Java のロギングライブラリ
23. デモ • Docker • SQL Server ＞ Couchbase
24. まとめ •主要SQLからNoSQLへ同期 • データモデリングで半構造化データに変換 •コンテナベース、クラウドネイティブに実行可能 • 次期バージョン2.0ではWeb GUIを追加予定！
25. お問い合わせ Gluesync製品ページ https://www.climb.co.jp/soft/gluesync/ お問合せ先 東京：03-3660-9336 大阪：06-6147-8201 https://www.climb.co.jp/soft/contact/contact.php