Upgrade to Pro — share decks privately, control downloads, hide ads and more …

遂に登場! GridDBからデータベースサービス GridDB Cloud ~その設計思想と運...

GridDB
November 19, 2021

遂に登場! GridDBからデータベースサービス GridDB Cloud ~その設計思想と運用の原則~

2021.11.19 (金) 16:30 - 17:15
GridDB Cloud は、GridDBを中心とするオープンソースをコアとして、東芝デジタルソリューションズが100%開発・運用・サポートするIoTシステムに最適化したデータベースサービス(DBaaS)です。 高頻度・大量に発生する時系列データの蓄積とリアルタイムな活用を実現するデータベースGridDBの特長を継承しつつマネージドサービスを実現するGridDB Cloudの設計思想と運用の原則などについてお伝えします。

GridDB

November 19, 2021
Tweet

More Decks by GridDB

Other Decks in Technology

Transcript

  1. © 2021 Toshiba Digital Solutions Corporation 東芝デジタルソリューションズ株式会社 ソフトウェアシステム技術開発センター ソフトウェア開発部 藤田

    慎一 2021.11.19 ~その設計思想と運用の原則~ 遂に登場! GridDBからデータベースサービス GridDB Cloud
  2. 1 © 2021 Toshiba Digital Solutions Corporation 01 03 02

    GridDB Cloudをつかってみたい GridDB Cloudの紹介 GridDBとは Contents
  3. 3 © 2021 Toshiba Digital Solutions Corporation GridDBとは ビッグデータ・IoTシステム向け超高速スケールアウト型データベース 従来のデータベースでは不可能だったビッグデータのリアルタイム分析が可能に

    4つの特長 • 時系列データ指向 • 高い処理能力 • 高い信頼性と柔軟な拡張性 • 開発の俊敏性と使いやすさ NoSQLインターフェース … 大量高頻度のデータ収集にはNoSQL SQLインターフェース … 分析や他システムとの連携にはSQL ・・・・ BI/BA 他のデータベース 他のシステム 分析アプリ ビッグデータ IoTデータ
  4. 4 © 2021 Toshiba Digital Solutions Corporation GridDBの特長 時系列 データ指向

    高頻度で大規模な時系 列データを効率よくリアル タイム処理する時系列 データ指向 高い信頼性と 柔軟な拡張性 障害の発生時やサーバ 増設においてもノンストッ プ運用を実現する高い信 頼性と柔軟な拡張性 ペタバイト級の 高い処理能力 ペタバイト規模のデータを 扱うためにさまざまな工夫 を組み込み、高い処理能 力を実現 開発の俊敏性 と使いやすさ NoSQLインターフェースだ けではなく、SQLインタ フェースを用意し、開発の 俊敏性と使いやすさを実 現 時系列データ:時間とともに変化するデータ
  5. 5 © 2021 Toshiba Digital Solutions Corporation 時系列データ指向モデル GridDBはIoTデータ向けに拡張した独自のキーコンテナ型データモデル キーバリュー型

    (例:Redis) カラム指向型 (例:Cassandra) リレーション型 (例:RDBMS) ドキュメント指向型 (例:MongoDB) キーコンテナ型 GridDB キー 値 キー 値 キー 値 キー 値 キー 値 キー 値 キー 値 キー 値 キー 値 キー 値 値 値 値 値 値 値 値 値 値 値 値 値 値 値 値 値 キー ドキュメント キー ドキュメント キー ドキュメント キー ドキュメント キー ドキュメント キー キー キー テーブル テーブル
  6. 6 © 2021 Toshiba Digital Solutions Corporation 時系列データ指向モデル GridDBのキーコンテナ型はIoTデータを管理するのに最適 機器

    1 機器 2 機器 3 機器 4 データソース 時刻 センサ A センサB 00:00:00 1.12 2.13 00:00:01 1.11 3.12 ・・・・ ・・・・ ・・・・ 時刻 センサ C センサD センサE 00:00:00 1.12 2.13 1.13 00:00:02 1.01 3.33 2.33 ・・・・ ・・・ ・・・・ ・・・・ 時刻 センサ F センサG 00:00:00 1.12 2.13 00:00:01 1.11 3.12 ・・・・ ・・・・ ・・・・ 時刻 センサ センサ 00:00:00 0.12 1.13 00:00:01 1.11 3.12 ・・・・ ・・・・ ・・・・ 対象データ毎に格納 • コンテナに対してデータ型を定義するスキーマ設定が可能 • ユニークなコンテナ名とロウキーで値を特定 • カラムのインデックス設定が可能 • コンテナ内のロウ単位でトランザクション操作が可能 • コンテナ単位で一貫性保証 モ デ リ ン グ
  7. 7 © 2021 Toshiba Digital Solutions Corporation ペタバイト級の高い処理能力 GridDBはCPUをフル回転で使用 イベント駆動エンジン

    クライアント クライアント 他サーバ 他サーバ GridDBサーバ CPU メモリ ディスク 1処理タスクを1スレッド に割り当てて、複数スレッ ド間でのリソース共有を 排除し、フルスピードで データ処理を実行 内部的な小さな単位 のタスクを組み合わせ て処理 ➜ タスク間の処理の受け 渡しのオーバヘッドが 発生 CPUコア/スレッド毎に専 有するメモリ、DBファイル を割当て排他処理、同 期待ちを排除 ブロックの読み書きサイズ を最適化し、I/O待ちを 削減 RDBMS クライアント クライアント 他サーバ 他サーバ 1処理 タスク 1スレッド
  8. 8 © 2021 Toshiba Digital Solutions Corporation ペタバイト級の高い処理能力 メモリを最大限有効活用する時系列データ配置技術 TDPA

    新しい 古い コンテナ設計:センサごとにコンテナを作成. ア プ リ ケ ー シ ョ ン put/ multiPut Get/ multuGet データ検索: センサと時間を条件として 検索すると、検索対象の データは局所的に配置さ れているため、高速に検索 データ格納: センサデータは時刻順 に生成され、時刻順 に格納される TDPA:Time Series Data Placement Algorithm 複数センサであっても、 同じ時間のデータは 近接して配置・格納 される。
  9. 9 © 2021 Toshiba Digital Solutions Corporation 高い信頼性と柔軟な拡張性 サーバ間でデータのコピーを保持しあう自動レプリケーションにより、 万一の障害時にも処理を継続可能

    サーバ2 バックアップデータ オリジナルデータ サーバ1 オリジナルデータ バックアップデータ サーバ3 バックアップデータ オリジナルデータ サーバ4 バックアップデータ オリジナルデータ
  10. 10 © 2021 Toshiba Digital Solutions Corporation 高い信頼性と柔軟な拡張性 スケールアウト型データベースの弱点を克服 スケールアウト型データベースの弱点

     データ配置のバランスが悪いと、特定のサーバに負荷が集中  データのコピー(レプリカ)が不足すると、可用性が低下 サーバ間でバランスよくかつ高速にデータを再配置
  11. 11 © 2021 Toshiba Digital Solutions Corporation 高い信頼性と柔軟な拡張性 自律データ再配置技術 (ADDA)

    クライアント クライアント クライアント クライアント クライアント クライアント 目標 現状 長期同期 プランニング クライアント クライアント クライアント Redoログ (短期同期) メモリブロック (長期同期) ❶ インバランス状態 の検知 マスターノードがノード情報を収 集、ノード間のデータの不均衡 やバックアップの欠如を検知 ❹ アクセス切替え 完了後、データ配置情報を 書き換えて、アクセス切替え ❷ 長期同期プランニング 定常的な、短期同期 と は別に、現状 (インバランス) 状態から長期同期の計画 を決定 ❸ データ再配置実行 (長期同期/短期同期) リクエスト処理へ負荷を与えない 範囲で、メモリブロックとDB更新 ログを使い分けながら、バックグラン ドで高速同期 負荷小 ADDA:Autonomous Data Distribution Algorithm レプリカ 2
  12. 12 © 2021 Toshiba Digital Solutions Corporation 開発の俊敏性と使いやすさ NoSQLとSQLのデュアルインターフェースを提供 NoSQL

    インタフェース  高速・高スループットな登録・検索・更新 が可能  Java / C / Ruby / Perl / Python / Go / Node.jsクライアント SQL インタフェース  複雑な検索が可能  標準化されたSQLなので、他ソフトウェア との連携が容易 GridDB クラスタ DB ノード DB ノード DB ノード NoSQL インターフェース SQLインターフェース BI/BA ETL 他のシステム 他のDBMS
  13. 13 © 2021 Toshiba Digital Solutions Corporation 開発の俊敏性と使いやすさ GridDBならリアルタイム分析が可能に 従来のデータ基盤

    ※1 ODS (Operational Data Store):収集データを一時的に保持するデータベース ※2 ETL (Extract/Transform/Load):データの整形、統合を専門に行うツール ※3 DWH (Data Warehouse):情報を時系列に整理して保管するデータベース ODS※1 ETL※2 データ蓄積用DB 収集データ バッチによるデータ整形 データ分析用DB 分析 DWH※3 リアルタイム分析が可能に! GridDBの場合 POS データ 店舗 データ 気象 データ 人流 データ … … 収集データ 分析 GridDB 2つのデータベースを管理するのは面倒だ…。 リアルタイムに分析できないじゃないか⁉
  14. 15 © 2021 Toshiba Digital Solutions Corporation GridDB Cloudをリリースした背景 お客さまの声を反映して

    ・DBシステムの設計・構築に時間をかけたくない ・リソースの増強、削減が大変 ・(集めたデータを使って)いろいろな分析をしてみたい パブリッククラウドでサービスとしてGridDBを提供
  15. 16 © 2021 Toshiba Digital Solutions Corporation GridDB Cloud 3つのポイント

    GridDB CloudはIoTシステムに最適化した データベースクラウドサービスです パブリッククラウドで稼働するマネージドサービス クラウドネイティブアプリと簡単・高速に連携 データ収集やデータの見える化機能が充実
  16. 17 © 2021 Toshiba Digital Solutions Corporation GridDBの特徴を継承しつつ、マネージドサービスを実現 運用・監視は当社が一括して実行 電力

    製造 交通 ロジスティクス スマート コミュニティ データ分析 顧客のクラウドネイティブな アプリケーション 運用・監視 WebAPI ODBC JDBC
  17. 18 © 2021 Toshiba Digital Solutions Corporation GridDB Cloudのご提供プラン お客様の要件に合わせた実行環境を選択可能

    サービス名 条件 vCPU メモリ SSD ノード 標準(3ノード構成) GridDB Cloud(Standard) 4 vCPU 16GB 1TB 3 GridDB Cloud(Professional) 8 vCPU 32GB 1TB 3 GridDB Cloud(Enterprise) 16 vCPU 64GB 1TB 3 シングルノード構成 GridDB Cloud(Standard) シングルノード構成 4 vCPU 16GB 1TB 1 GridDB Cloud(Professional) シングルノード構成 8 vCPU 32GB 1TB 1 GridDB Cloud(Enterprise) シングルノード構成 16 vCPU 64GB 1TB 1 ノード追加 GridDB Cloud(Standard) 1ノード追加 4 vCPU 16GB 1TB 1 GridDB Cloud(Professional) 1ノード追加 8 vCPU 32GB 1TB 1 GridDB Cloud(Enterprise) 1ノード追加 16 vCPU 64GB 1TB 1
  18. 19 © 2021 Toshiba Digital Solutions Corporation GridDB Cloudのセキュリティ いろいろな機能やサービスを活用してセキュリティを実現

    ・通信の暗号化 GridDB Cloudでは、GridDBとお客様のアプリとの間をWeb APIで通 信する際に暗号化しています。 ・格納領域の暗号化 GridDB Cloudでは、GridDBに格納するデータをAzureの機能を使い、 暗号化しています。 ・VNet Peeringによる接続 GridDB Cloudでは、GridDBとAzure上のお客様のアプリとの間で通 信する際にVNet Peeringを使用します。
  19. 20 © 2021 Toshiba Digital Solutions Corporation ディスク障害対策 ローカル冗長ストレージで物理ディスク障害にも対応 GridDBの

    レプリカ機能 Azureのマネージドディスクの ローカル冗長ストレージ(LRS) 継続運用(可/不可) 復旧(可/不可) マネージドディスク障害(1ノード) 可 可 マネージドディスク障害(2ノード) 不可 可 物理ディスク障害(1台) 可 可 物理ディスク障害(2台) 不可 可 Azureのデータセンター障害※ 可 可 Azureのリージョン障害※ 可 可 GridDBが3ノード構成の場合 ※データセンター障害(AZ障害)については近々のリリースバージョンで対応予定 ※リージョン障害については今後のリリースバージョンで対応予定
  20. 22 © 2021 Toshiba Digital Solutions Corporation 充実したDB管理画面 可視化画面以外にもさまざまな管理画面を提供 SQL/TQL

    実行 ユーザ 管理 クラスタ/ ノード管理 クラスタ 監視 ノード 設定 ビュー 管理
  21. 23 © 2021 Toshiba Digital Solutions Corporation GridDB Cloudの接続全体像 さまざまな接続方法を提供

    ①JDBC/ODBC接続 ②Java/C API接続 ③WebAPI接続 ④Fluentdによる接続 ⑤Embulkによる接続 etc.… JDBC ODBC お客様 アプリケーション Java C API お客様 アプリケーション Embulk Plugin Embulk Web API GridDB JDBC ODBC Java C API お客様 アプリケーション Fluentd Plugin Fluentd VNet Peering VNet1 VNet2 RDB ログ RDB ログ ① ② ③ ④ ⑤ GridDB Cloud Cloud
  22. 24 © 2021 Toshiba Digital Solutions Corporation WebAPI お客様アプリケーションと簡単連携 お客様のアプリケーションからインターネットを介してGridDB

    Cloudに接続する ためのWebAPIがあります。ユーザ認証や、通信暗号化にも対応しています。 お客様 アプリケーション WebAPI GridDB Internet
  23. 25 © 2021 Toshiba Digital Solutions Corporation Java/C API &

    VNet Peering APIを使って高速連携 Java C API GridDB Java C API お客様 アプリケーション VNet Peering VNet1 VNet2 Java/C APIでGridDB Cloudに接続することができます。接続する場合に は、お客様のアプリケーションをAzure上に配置し、VNet Peeringで接続し ます。 JDBC/ODBCによる接続も同様の構成になります。
  24. 26 © 2021 Toshiba Digital Solutions Corporation アプリケーション開発 アプリケーション開発における技術習得コストの抑制 WebAPI

    C API Java API WebAPI C API Java API GridDB 今までの開発手法が継承でき、技術習得のコストが抑えられます。 従来のGridDBと同じAPI、WebAPIを使用して接続することができます。
  25. 27 © 2021 Toshiba Digital Solutions Corporation いろいろなツールとの連携 単なるDBaaSではなく様々なツールと連携しクラウドデータ基盤を目指す 収集ツール

    見える化・分析ツール Azure Functions Azure IoT Hub※ Other Service Coming soon… Power BI Service Azure Functions Azure ML※ Other Service Coming soon… ※現在対応を計画しているツール。 ※
  26. 29 © 2021 Toshiba Digital Solutions Corporation Azure / Microsoftのサービスとの連携例

    GridDB Cloudのデータを使ったPower BI Desktopによる分析
  27. 33 © 2021 Toshiba Digital Solutions Corporation GridDB Cloudを無料で使ってみませんか? 評価版の申し込みフォーム

    評価版のスペックは製品版の Standard(シングルノード構成)と 同等スペック CPU 4 core メモリ 16 GB ディスク 1 TB 期間 1ヶ月