本当にペタバイトまでスケールアウトできる！！ＩｏＴ向けデータベースGridDBのコア技術と事例紹介

ＩｏＴ化が進展し従来のＤＢ技術では達成困難な高いレベルの高速性・柔軟性・拡張性が必要となっています。本セッションでは、そのような要求のために開発されたスケールアウト型ＤＢ、GridDBのＤＢクラスタ等のコア技術を説明するとともに、ペタバイト級のデータを管理し稼働し続けているＩｏＴ事例を紹介します。

服部 雅一

東芝デジタルソリューションズ株式会社
デジタルイノベーションテクノロジーセンター
技術開発室
シニアフェロー

浪岡 保男

株式会社 東芝
生産技術センター 業務プロセス変革推進領域
シニアフェロー

Transcript

1. © 2023 Toshiba Digital Solutions Corporation 東芝デジタルソリューションズ（株） 服部 雅一 (株）東芝 浪岡 保男 db tech showcase 2023 本当にペタバイトまでスケールアウトできる！！ ＩｏＴ向けデータベースＧｒｉｄＤＢの コア技術と事例紹介 ※ GridDBは、東芝デジタルソリューションズ株式会社の日本における登録商標です。
2. 2 © 2023 Toshiba Digital Solutions Corporation 構成 １．ＩｏＴ向けデータベースＧｒｉｄＤＢのコア技術 服部 雅一 masakazu.hattori@toshiba.co.jp （株）東芝 デジタルイノベーションテクノロジーセンター技術開発室 シニアフェロー 兼 東芝デジタルソリューションズ（株） シニアフェロー 入社以降、AIシステムやデータベースの研究開発に従事 2012年、スケールアウト型DB “GridDB” の研究立ち上げ 翌年、V1.0を上市。以降、チーフアーキテクトとして開発を主導 ２．事例紹介「製造拠点の品質管理のためのPB級DBシステム」 浪岡 保男 yasuo.namioka@toshiba.co.jp​ (株) 東 芝 生産技術センター 業務プロセス変革推進領域 シニアフェロー 入社以降、AIを応用した設計支援システム、生産システムの研究開発に従事 2018年以降、品質管理システムの設計、開発、運用支援の中でGridDBを適用中
3. 3 © 2023 Toshiba Digital Solutions Corporation GridDBを自製化 開発背景 • 社会インフラシステムにおけるIoTデータ管理 • システム規模の拡大 → RDB、NoSQLでは拡張性や信頼性に不安 電力系統制御 PV監視制御 BEMS HEMS 上下水道 交通 医療 MEMORY HDD Scale Out GridDB
4. 4 © 2023 Toshiba Digital Solutions Corporation IoTデータの特徴 APL ログ Web サイト Web・SNS ログ RDBMS CRM/ERP センサー 異常検出 見える化 各種集計 ミリ秒オーダーで 高頻度に発生 24H365D 絶え間なく発生 データ一貫性 の保証 発生直後から リアルタイム参照 大量データが 単調増加 時間 デ ｜ タ 量 データベース 時系列データ
5. 5 © 2023 Toshiba Digital Solutions Corporation IoTデータの特徴 APL ログ Web サイト Web・SNS ログ RDBMS CRM/ERP センサー 異常検出 見える化 各種集計 ミリ秒オーダーで 高頻度に発生 24H365D 絶え間なく発生 データ一貫性 の保証 発生直後から リアルタイム参照 大量データが 単調増加 時間 デ ｜ タ 量 データベース 時系列データ 高い処理能力 High Performance 高い処理能力 High Performance IoT指向 IoT Oriented 高い信頼性 High Reliability 高い拡張性 High Scalability
6. 6 © 2023 Toshiba Digital Solutions Corporation GridDBの特長 IoT指向の データモデル 高い信頼性 • レコードのコピーをノード間で自動的に持ち合う • ノード障害があってもフェールオーバによりサービス継続 • 数秒から数十秒の時間でフェールオーバ 高い拡張性 • 少ないノード台数で初期投資を抑制 • 負荷量や容量の増大に合わせるノンストップスケールアウト • 独自のDBクラスタ技術 高性能な NoSQL+SQL • データ登録からデータ分析までをカバーするデュアルインターフェイス • イベント駆動モデルや軽量リカバリによる性能改善 • 分散並列SQL処理によるスケールアウト効果 • キー・コンテナ データモデル • IoTデータを効率よく管理する時系列コンテナ • コンテナ内でのデータ一貫性を保証
7. 7 © 2023 Toshiba Digital Solutions Corporation GridDBの特長 IoT指向の データモデル 高い信頼性 • レコードのコピーをノード間で自動的に持ち合う • ノード障害があってもフェールオーバによりサービス継続 • 数秒から数十秒の時間でフェールオーバ 高い拡張性 • 少ないノード台数で初期投資を抑制 • 負荷量や容量の増大に合わせるノンストップスケールアウト • 独自のDBクラスタ技術 高性能な NoSQL+SQL • データ登録からデータ分析までをカバーするデュアルインターフェイス • イベント駆動モデルや軽量リカバリによる性能改善 • 分散並列SQL処理によるスケールアウト効果 • キー・コンテナ データモデル • IoTデータを効率よく管理する時系列コンテナ • コンテナ内でのデータ一貫性を保証
8. 8 © 2023 Toshiba Digital Solutions Corporation 自律データ再配置技術 (ADDA : Autonomous Data Distribution Algorithm) 独自のDBクラスタ技術 管理ノード DBノード DBノード DBノード クライアント 仲介ノード FSノード FSノード FSノード DBノード (マスタノード) DBノード DBノード クライアント データ複製 データ配置 データ複製 データ配置 要求 要求 従来技術 GridDB 自律的なDBクラスタ技術 ADDR DBノード DBノード DBノード 従来技術 日米欧等特許出願、一部特許登録済
9. 9 © 2023 Toshiba Digital Solutions Corporation 具体的な挙動 ① 単一障害点（SPOF）を排除した、マスターノード無しクラスタ ② ノード間で負荷アンバランス、レプリカ欠損を検知し、 バックグラウンドで高速データ再配置 ③ クライアントとの協調で自動切換え 〈ノード間データ再配置〉 〈アクセス先切替え〉 〈負荷アンバランスの検知〉 DBノード 負荷小 クライアント 更新ログ メモリブロック
10. 10 © 2023 Toshiba Digital Solutions Corporation GridDBの特長 IoT指向の データモデル 高い信頼性 • レコードのコピーをノード間で自動的に持ち合う • ノード障害があってもフェールオーバによりサービス継続 • 数秒から数十秒の時間でフェールオーバ 高い拡張性 • 少ないノード台数で初期投資を抑制 • 負荷量や容量の増大に合わせるノンストップスケールアウト • 独自のDBクラスタ技術 高性能な NoSQL+SQL • データ登録からデータ分析までをカバーするデュアルインターフェイス • イベント駆動モデルや軽量リカバリによる性能改善 • 分散並列SQL処理によるスケールアウト効果 • キー・コンテナ データモデル • IoTデータを効率よく管理する時系列コンテナ • コンテナ内でのデータ一貫性を保証
11. 11 © 2023 Toshiba Digital Solutions Corporation NoSQL＋SQLデュアルインターフェイス GridDB クラスタ DB ノード DB ノード DB ノード キー・バリュー型インターフェイス （Java/C/Python/Rubyドライバ） SQLインターフェイス （JDBC/ODBC） 他DB BI ETL 他システム SELECT sum(l_extendedprice) / 7.0 as avg_yearly FROM lineitem, part, ( SELECT l_partkey AS agg_partkey, 0.2 * avg(l_quantity) AS avg_quantity FROM lineitem GROUP BY l_partkey ) part_agg WHERE p_partkey = l_partkey AND agg_partkey = l_partkey AND p_brand = 'MFGR#2228' AND and p_container = 'SM CASE' AND l_quantity < avg_quantity LIMIT 1 LineitemContainer.put(lineitem) LineitemContainer.put(lineitem) LineitemContainer.put(lineitem) LineitemContainer.put(lineitem) …
12. 12 © 2023 Toshiba Digital Solutions Corporation 高性能なSQL SQLノード KVSノード SQLノード KVSノード クライアント SQLルータ RDBMS RDBMS NoSQL+SQL ノード NoSQL+SQL ノード クライアント SQLが話せる スケールアウト型データベース GridDB VS
13. 13 © 2023 Toshiba Digital Solutions Corporation クライアント 分散並列SQL処理によるスケールアウト効果 GridDBの内部構造 DBノード C0 C1 C2 C3 Val Val Val Val Val Val Val Val Val Val Val Val a@0 C4 C5 C6 Val Val Val Val Val Val Val Val Val b@0 C0 C1 C2 C3 Val Val Val Val Val Val Val Val Val Val Val Val a@1 C4 C5 C6 Val Val Val Val Val Val Val Val Val b@1 C0 C1 C2 C3 Val Val Val Val Val Val Val Val Val Val Val Val a@2 C4 C5 C6 Val Val Val Val Val Val Val Val Val b@2 Task Task Task Task パイプライン並列化 パーティション並列化 (タスク)独立並列化 C0 C2 C７ Val Val Val Val Val Val C0 C2 C6 Val Val Val Val Val Val Val Val Val C0 C2 C6 Val Val Val Val Val Val Val Val Val SQL NoSQL Task Task Task Task Task Task
14. 14 © 2023 Toshiba Digital Solutions Corporation IoTデータの分散方法 テーブルパーティショニング DBノード 装置 データ 製造品 データ 試験 データ 2023/8/1 2023/8/2 2023/8/3 2023/8 2023/9 2023/10 2023,A 2023,B 2018,C SQL NoSQL
15. 15 © 2023 Toshiba Digital Solutions Corporation クライアント パイプライン並列化のイメージ DBノード SQL NoSQL SCAN Executor SCAN Executor SCAN Executor SCAN Executor SCAN Executor SCAN Executor JOIN Executor JOIN Executor JOIN Executor AGGREGATE Executor AGGREGATE Executor AGGREGATE Executor UNION Executor CREATE TABLE A (num INT NOT NULL, id INT, ...) PARTITION BY HASH(num) PARTITIONS 3 SELECT A.num, SUM(A.id) FROM A, B WHERE A.num = B.num GROUP BY A.num
16. 16 © 2023 Toshiba Digital Solutions Corporation NoSQL処理の性能 0 100 200 300 400 500 600 700 800 900 Workload A Workload B Workload C Workload D Workload E スループット(x1000オペレーション/秒) YCSB ワークロード毎のスループット Cassandra GridDB 25倍 7.5倍 20倍 15.5倍 14.5倍
17. 17 © 2023 Toshiba Digital Solutions Corporation NoSQL処理の性能 0 20,000 40,000 60,000 80,000 100,000 120,000 スループット(オペレーション/秒) 登録 InfluxDB GridDB 0 500 1,000 1,500 2,000 2,500 3,000 3,500 4,000 4,500 ワークロードA InfluxDB GridDB 0 500 1,000 1,500 2,000 2,500 3,000 3,500 4,000 4,500 ワークロードB InfluxDB GridDB 6.5倍 7.5倍 6.5倍
18. 18 © 2023 Toshiba Digital Solutions Corporation SQL処理の性能 0 10 20 30 40 50 60 70 80 90 100 PostgreSQL 1ノード 2ノード 3ノード 4ノード 応答時間の比 TPC-H(SF100) 応答時間 GridDB • PostgreSQL 9.6 • GridDB AE 4.0 • CPU : 8-core Intel® Xeon® E5-2620 v4 2.10GHz • Memory : 64GB • HDD : SAS 12TB • OS : CentOS 7 with kernel 3.10.0-514.el7.x86_64 • Network : 1Gb Ethernet • HDD : SAS 12T • OS : CentOS 7 with kernel 3.10.0-514.el7.x86_64 • Network : 1Gb Ethernet • Dataset : TPC-H(SF 100), Q1-Q8
19. 19 © 2023 Toshiba Digital Solutions Corporation 単体製品、クラウドサービス、Meister DigitalTwin基盤などを通してビジネス展開 ペタバイト級IoTデータを高速に処理するスケールアウト型データベース GridDB • 2013年 GridDB（NoSQLのみ）上市 • 2015年 GridDB/NewSQL（SQLインターフェイス機能） • 2016年 OSS公開 • 2017年 SQL並列分散処理化 • 2019年 1ノードあたりペタバイト級のデータ管理に対応 • 2022年 アーキテクチャ刷新、クラウド対応強化 • 2011年 研究開発スタート
20. 20 © 2023 Toshiba Digital Solutions Corporation 代表的な導入事例 社会インフラを中心に、高い信頼性・性能が求められるシステムで採用 • 電力会社 低圧託送業務システム スマートメータから収集される電力使用量を集計し、需要量と発電量のバランスを調整 • 製造拠点の品質管理のためのPB級DBシステム 製造履歴・製品特性データを長期にわたって蓄積・分析し、品質分析・改善に適用 • 半導体製造ラインのトレーサビリティ管理 製造履歴や品質履歴、材料データなどのデータを横串で分析し、製品の品質管理やトレーサビリティに適用 • 半導体製造ラインの故障検出システム 製造ラインのセンサーデータをリアルタイムにAIで分析し、製造ラインの異常を検出 • デンソー ファクトリーIoT 工場のDigital Twinを実現し、生産性を向上。 • DENSO International America 次世代車両管理システム 車両の各センサーデータを用いた車両管理システムのPoC
21. © 2023 Toshiba Corporation 浪岡 保男† 服部 雅一‡ † (株)東芝 生産技術センター ‡ 東芝デジタルソリューションズ(株) db tech showcase 2023 事例紹介 製造拠点の品質管理のための PB級DBシステム
22. 22 © 2023 Toshiba Corporation 2022/6/2 「東芝グループ経営方針」より
23. 23 © 2023 Toshiba Corporation 2022/6/2 「東芝グループ経営方針」より
24. 24 © 2023 Toshiba Corporation 東芝内における生産技術センターの位置づけ 生産技術センター コーポレートスタッフ 株式会社 東芝 東芝グループ エネルギー事業 デバイス＆ストレージ事業 デジタルソリューション事業 社会インフラ事業 研究開発センター 製品作りの基礎研究から実用化まで 将来の製品やサービスに向けた独創的な技術開発 ＊ソフトウェアのR&D機能を含む デジタルイノベーションテクノロジーセンター Point モノづくりの 現場に近い 研究開発部門 コ ー ポ レ ー ト 研 究 開 発 組 織 経営企画部 CPSxデザイン部 人事・総務部 電池事業部 ： ビルソリューション事業 リテール＆プリンティング事業
25. 25 © 2023 Toshiba Corporation 生産技術センターに求められる技術 幅広いコア技術で応えています モノづくりの生産現場で活かされる様々な技術 知識・情報システム 生産エンジニアリング 光応用・画像検査 実装 電子機器パッケージング 機械設計・製造 制御 課題解決技術 材料・デバイスプロセス メカトロニクス 知能化ロボット
26. 26 © 2023 Toshiba Corporation 事例拠点における 製造ビッグデータの生成、利活用、その特徴など ・ 24H稼働の製造現場から数TB/dayのデータ時々刻々と登録され、数PBのデータを蓄積、数万回のエンドユーザ問い合わせ ・ 旧DBシステムからの老朽更新を2019年からスタート、旧システムのデータを引継ぎつつ2020年から段階的に稼働開始 ・ 当初DBサーバー4台のクラスタを構成、段階的に拡張し10台超のDBサーバーにて稼働中 ・ 製造履歴データ、品質管理・保証に関わる特性データ、製造履歴・製造Log等のエビデンスファイル等を蓄積 現場 一次サーバー 製造データ収集・蓄積システム 分析アプリケーション プログラマ/ユーザ 製造データベース Local DB 製品：製品ID ・・・ ・・・ 履歴データ / 特性デー タ 作業者： 作業者ID 作業日時 。。。 Device_ID Operator_ID Equipment_ID Process_ID Process_Date 。。。 Device_ID Operator_ID Equipment_ID Process_ID Process_Date 。。。 Device_ID Operator_ID Equipment_ID Process_ID Process_Date 。。。 データテーブル 製品ID 作業者ID 装置ID 工程ID 処理日時 特性値1 。。。 分析・可視化 アプリケーション 分析・可視化アプリ 製作/活用 課題抽出・ 改善検討 データ 問い 合わせ 結果 データ 問い 合わせ テーブル定義 パーティション定義 マスターテーブル他 装置 装置ID 処理日時 。。。 製造データベース 製造履歴 特性値 キー BLOB エビデンス
27. 27 © 2023 Toshiba Corporation DBシステムの選定(2018年当時) 複数システムについて調査し、更新前のシステムのデータを用いてベンチマーク(登録、更新、検索など)を実施 DBシステムの特徴、性能、拡張性、ライセンス料等を総合的に判断 比較ケース ① ② ③ ④ ⑤ ⑥ 開発元 MapR様、 Vertica Systems様 Teradata様 Oracle様 IBM様 Oracle様 東芝デジタルソ リューションズ DB製品 Apache Hadoop ディ ストリビューショ ン＋Vertica Analytics Platform Teradata MySQL Enterprise Edition Netezza (IBM Integrated Analytics Systemとなる 前の製品) Oracle Enterprise Edition GridDB 実データを用い たベンチマーク の実施 有 無 有 有 有(更新前の 社内システム) 有
28. 28 © 2023 Toshiba Digital Solutions Corporation IoTデータの特徴＝製造ビッグデータに対する特徴 APL ログ Web サイト Web・SNS ログ RDBMS CRM/ERP センサー 異常検出 見える化 各種集計 ミリ秒オーダーで 高頻度に発生 24H365D 絶え間なく発生 データ一貫性 の保証 発生直後から リアルタイム参照 大量データが 単調増加 時間 デ ｜ タ 量 データベース 時系列データ 高い処理能力 High Performance 高い処理能力 High Performance IoT指向 IoT Oriented 高い信頼性 High Reliability 高い拡張性 High Scalability
29. 29 © 2023 Toshiba Corporation IoTデータの特徴＝製造ビッグデータに対する特徴：高い処理能力 現場 一次サーバー 製造データ収集・蓄積システム 分析アプリケーション プログラマ/ユーザ 製造データベース Local DB 製品：製品ID ・・・ ・・・ 履歴データ / 特性デー タ 作業者： 作業者ID 作業日時 。。。 Device_ID Operator_ID Equipment_ID Process_ID Process_Date 。。。 Device_ID Operator_ID Equipment_ID Process_ID Process_Date 。。。 Device_ID Operator_ID Equipment_ID Process_ID Process_Date 。。。 データテーブル 製品ID 作業者ID 装置ID 工程ID 処理日時 特性値1 。。。 分析・可視化 アプリケーション 分析・可視化アプリ 製作/活用 課題抽出・ 改善検討 データ 問い 合わせ 結果 データ 問い 合わせ テーブル定義 パーティション定義 マスターテーブル他 装置 装置ID 処理日時 。。。 高い処理能力 High Performance NoSQL:数TB/day → 数PB蓄積→ 数万回のSQL検索/day • データ登録からデータ分析までをカバーするNoSQL/SQLデュアルインターフェイス • イベント駆動モデルや軽量リカバリによる性能改善 • 分散並列SQL処理によるスケールアウト効果 製造データベース 製造履歴 特性値 キー BLOB エビデンス
30. 30 © 2023 Toshiba Corporation IoTデータの特徴＝製造ビッグデータに対する特徴：高い処理能力 現場 一次サーバー 製造データ収集・蓄積システム 分析アプリケーション プログラマ/ユーザ 製造データベース Local DB 製品：製品ID ・・・ ・・・ 履歴データ / 特性デー タ 作業者： 作業者ID 作業日時 。。。 Device_ID Operator_ID Equipment_ID Process_ID Process_Date 。。。 Device_ID Operator_ID Equipment_ID Process_ID Process_Date 。。。 Device_ID Operator_ID Equipment_ID Process_ID Process_Date 。。。 データテーブル 製品ID 作業者ID 装置ID 工程ID 処理日時 特性値1 。。。 分析・可視化 アプリケーション 分析・可視化アプリ 製作/活用 課題抽出・ 改善検討 データ 問い 合わせ 結果 データ 問い 合わせ テーブル定義 パーティション定義 マスターテーブル他 装置 装置ID 処理日時 。。。 高い信頼性 High Reliability • レコードのコピーをノード間で自動的に持ち合う • ノード障害があってもフェールオーバによりサービス継続 • 数秒から数十秒の時間でフェールオーバ 製造データベース 製造履歴 特性値 キー BLOB エビデンス サーバートラブル等によるDBサーバー停止への備え
31. 31 © 2023 Toshiba Corporation IoTデータの特徴＝製造ビッグデータに対する特徴：高い処理能力 現場 一次サーバー 製造データ収集・蓄積システム 分析アプリケーション プログラマ/ユーザ 製造データベース Local DB 製品：製品ID ・・・ ・・・ 履歴データ / 特性デー タ 作業者： 作業者ID 作業日時 。。。 Device_ID Operator_ID Equipment_ID Process_ID Process_Date 。。。 Device_ID Operator_ID Equipment_ID Process_ID Process_Date 。。。 Device_ID Operator_ID Equipment_ID Process_ID Process_Date 。。。 データテーブル 製品ID 作業者ID 装置ID 工程ID 処理日時 特性値1 。。。 分析・可視化 アプリケーション 分析・可視化アプリ 製作/活用 課題抽出・ 改善検討 データ 問い 合わせ 結果 データ 問い 合わせ テーブル定義 パーティション定義 マスターテーブル他 装置 装置ID 処理日時 。。。 高い拡張性 High Scalability • 少ないノード台数で初期投資を抑制 • 負荷量や容量の増大に合わせるノンストップスケールアウト • 独自のDBクラスタ技術 4台でミニマムスタート、ノンストップで段階的に10台超に拡張 製造データベース 製造履歴 特性値 キー BLOB エビデンス
32. 32 © 2023 Toshiba Corporation IoTデータの特徴＝製造ビッグデータに対する特徴：高い処理能力 現場 一次サーバー 製造データ収集・蓄積システム 分析アプリケーション プログラマ/ユーザ 製造データベース Local DB 製品:製品ID ・・・ ・・・ 履歴データ / 特性デー タ 作業者： 作業者ID 作業日時 。。。 製造履歴 分析・可視化 アプリケーション 分析・可視化アプリ 製作/活用 課題抽出・ 改善検討 データ 問い 合わせ 結果 データ 問い 合わせ 装置 装置ID 処理日時 。。。 IoT指向 IoT Oriented • キー・コンテナ データモデル • IoTデータを効率よく管理する時系列コンテナ • コンテナ内でのデータ一貫性を保証 特性値 キー BLOB エビデンス データの性質に合わせて、製造履歴(テーブル)、特性データ(キー・コンテナ、時系列)、エビデンスファイル(BLOB)にて蓄積
33. 33 © 2023 Toshiba Corporation 事例紹介 まとめ • 事例紹介として製造拠点の品質管理のためのPB級DBシステムについてご紹介 • 事例拠点における 製造ビッグデータの生成、利活用、その特徴など ・24H稼働の製造現場から数TB/dayのデータ時々刻々と登録され、数PBのデータ を蓄積、数万回のエンドユーザ問い合わせ ・旧DBシステムからの老朽更新を2019年からスタート、旧システムのデータを引継ぎ つつ2020年から段階的に稼働開始 ・クラスタを構成:当初DBサーバー4台、段階的に拡張し10台超にて稼働中 ・製造履歴データ、品質管理・保証に関わる特性データ、製造履歴・製造Log等の エビデンスファイル等を蓄積 • GridDBの特徴(高い処理能力、高い信頼性、高い拡張性、IoT指向)が製造 ビッグデータの活用にも適している
34. APPENDIX 34 © 2022 Toshiba Corporation
35. 35 © 2023 Toshiba Corporation (一)日本データベース学会：アカデミック支援プログラム (一)日本データベース学会 のアカデミック支援プログラム にて、大学等の教育機関に おける研究・教育のために１ 年間の無償提供を実施中 https://www.global.toshiba/jp/products-solutions/ai-iot/griddb/developer/academic.html
36. 36 © 2023 Toshiba Digital Solutions Corporation 日本データベース学会の第4回「業績賞」受賞 DB技術と産業の発展に貢献との評価
37. 37 © 2023 Toshiba Digital Solutions Corporation 導入事例 :電力会社 低圧託送業務システム • 電力会社が電力小売り事業者に対し、電力送配電網の使用料を請求するシステム • 電力の自由化に伴い、多数の電力小売り事業者が参入 • 数千契約 → 数百万契約 • ビッグデータ技術を適用
38. 38 © 2023 Toshiba Digital Solutions Corporation 導入事例 :電力会社 低圧託送業務システム • 数百万台のスマートメータから30分おきに送られてくるメータデータ3ヶ月分をGridDB に蓄積（データサイズ：数百億レコード、数TB） • HadoopのMapReduceを使って使用量を計算 • 2016年4月の運用開始以来、安定稼働 MDMS Hadoop 料金計算 4台クラスタ インバランス集計 30分同時同量 3台クラスタ Hadoop 検針値App AppServer SmartEDA 3台クラスタ GridDB 3台クラスタ GridDB 5台クラスタ RDB HAクラスタ 速報値 使用量 電力 小売り 事業者 使用量 電力 小売り 事業者 確定値 数百万スマートメーター SM SM SM 数TB
39. 39 © 2023 Toshiba Digital Solutions Corporation RDBを使った従来システムに比べ、GridDB+Hadoopは処理性能が35倍に 導入事例 :電力会社 低圧託送業務システム スマートメータ 179万件 GridDB 処理時間=103秒 サーバー（12 コア）×5台 スマートメータ 5万件 RDB 処理時間=102秒 サーバー（32コア）× 1台 1万メータあたり 20.4秒 1万メータあたり 0.57秒 処理能力 35倍 旧システム 新システム