Upgrade to Pro — share decks privately, control downloads, hide ads and more …

NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~コマンド...

GridDB
March 11, 2022

NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~コマンドライン・インターフェース(CLI)を使ってみましょう~

オープンソースカンファレンス2022 Spring セミナープログラム
NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~コマンドライン・インターフェース(CLI)を使ってみましょう~

2022年3月11日(金) 15:00 〜 15:45

セッション概要

GridDBはIoT向けの日本発の膨大なリアルタイムのセンシングデータを
活用するIoTシステムをターゲットにデザインしたオープンソース・データベースです。

GridDBではJava/Pythonなどの様々な開発言語で操作可能なNoSQLインターフェースと
データベースの標準操作言語であるSQLで操作可能なSQLインターフェースを備えています。
また、対話的な操作が可能なコマンドライン・インターフェースも提供しています。

本セミナーでは、コマンドライン・インターフェースを中心にGridDBの操作方法について
ご紹介します。

GridDB

March 11, 2022
Tweet

More Decks by GridDB

Other Decks in Technology

Transcript

  1. © 2022 Toshiba Digital Solutions Corporation 東芝デジタルソリューションズ株式会社 GridDBコミュニティ版担当 野々村 克彦

    2022.03.11 NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB ~ コマンドライン・インターフェース(CLI)を使ってみましょう ~
  2. 4 © 2022 Toshiba Digital Solutions Corporation IoT向けデータベースGridDB • 日本発のビッグデータ/IoT向け

    データベース • V1.0製品化(2013年)、OSS化 (2016年)、V4.6CE(2021年) • 社会インフラ、製造業を中心に、高 い信頼性・可用性が求められるシス テムに適用されている 電力系統制御 PV監視制御 BEMS HEMS 上下水道 交通 医療 MEMORY HDD Scale Out GridDB
  3. 5 © 2022 Toshiba Digital Solutions Corporation IoTデータの特長 ミリ秒オーダーで 高頻度に発生

    24H365D 絶え間なく発生 大量データが 単調増加 発生直後から リアルタイム参照 データ一貫性 の保証 APL ログ Web サイト Web・SNS ログ CRM/ERP センサー 異常検出 見える化 各種集計 時間 デ | タ 量 データベース 時系列データ 収集 蓄積 読み出し・ 分析
  4. 6 © 2022 Toshiba Digital Solutions Corporation GridDBの特長 時系列 データ指向

    高頻度で大規模な時系 列データを効率よくリアル タイム処理する時系列 データ指向 高い信頼性と 柔軟な拡張性 障害の発生時やサーバ 増設においてもノンストッ プ運用を実現する高い信 頼性と柔軟な拡張性 ペタバイト級の 高い処理能力 ペタバイト規模のデータを 扱うためにさまざまな工夫 を組み込み、高い処理能 力を実現 開発の俊敏性 と使いやすさ NoSQLインターフェースだ けではなく、SQLインタ フェースを用意し、開発の 俊敏性と使いやすさを実 現 時系列データ:時間とともに変化するデータ
  5. 7 © 2022 Toshiba Digital Solutions Corporation NoSQLとSQLのデュアルインターフェイス GridDB クラスタ

    DB ノード DB ノード DB ノード キー・バリュー型インターフェイス SQLインターフェイス 他DB BI ETL 他システム NoSQL(キー・バリュー型)インターフェイス • 高可用、高スループット指向のKVS • キーコンテナに対するCRUD、TQL • バッチ処理(MultiPut/MultiGet/MultiQuery) • Java/C/Python/Node.JS/Go APIなど SQLインターフェイス • 分散並列SQLデータベース • 巨大テーブルに対するテーブルパーティショニング • ジョインなど複数テーブルに対するSQL • JDBC/ODBCドライバー
  6. 8 © 2022 Toshiba Digital Solutions Corporation GridDB SQL •

    データ定義言語(DDL):CREATE(DROP) DATABASE/USER/TABLE/INDEX/VIEW • データ制御言語(DCL):GRANT/REVOKE/SET PASSWORD • データ操作言語(DML):SELECT/INSERT/UPDATE/DELETE • 句 – FROM/GROUP BY/HAVING/ORDER BY/WHERE/LIMIT/OFFSET – JOIN • 内部結合 [NATURAL] [INNER] JOIN • 左外部結合 [NATURAL] LEFT [OUTER] JOIN • クロス結合 [NATURAL] CROSS JOIN – UNION/INTERSECT/EXCEPT • 演算子、関数、CASEなど
  7. 9 © 2022 Toshiba Digital Solutions Corporation • データ登録数が多い巨大なテーブルのデータを分散配置することで、プロセッサの並 列実行を可能とし、巨大テーブルのアクセスを高速化するための機能

    • ハッシュパーティショニング  選択基準:散らすべきキーにランダム性が高く、キーの間に処理上の関連性が無い場合 • インターバルパーティショニング  選択基準:散らすべきキーの数値的な範囲で散らしたい場合 • インターバルハッシュパーティショニング  選択基準:インターバルパーティショニングでは力不足の場合 -- ハッシュ CREATE TABLE a3 (code INT, ts TIMESTAMP, dest STRING NOT NULL) PARTITION BY HASH(dest) PARTITIONS 10 -- インターバル CREATE TABLE a1 (code INT, ts TIMESTAMP NOT NULL, dest STRING) PARTITION BY RANGE(ts) EVERY(1,DAY) -- インターバルハッシュ CREATE TABLE a4 (code INT NOT NULL, ts TIMESTAMP, dest STRING) PARTITION BY RANGE(ts) EVERY(1,DAY) SUBPARTITION BY HASH(dest) SUBPARTITIONS 2 テーブルパーティショニング
  8. 10 © 2022 Toshiba Digital Solutions Corporation テーブルパーティショニングとSQLにおける分散並列処理 NoSQL(KVS) SQL

    処理 エンジン DBノード Task a Task a Task a Task a Task a Task a クライアント SQL 結果セット 大規模 テーブル 分割格納 Task b Task c Task b データ並列化 タスク並列化 パイプライン並列化
  9. 11 © 2022 Toshiba Digital Solutions Corporation SQL性能 • TPC-H(Transaction

    Processing Performance Council) • SQLのスケールアウト効果
  10. 12 © 2022 Toshiba Digital Solutions Corporation 主な適用事例 • 社会インフラ、製造業を中心に、高い信頼性・可用性が求められるシステムに適用

    ・フランス リヨン 太陽光発電 監視・診断システム 発電量の遠隔監視、発電パネルの性能劣化を診断 ・電力会社 低圧託送業務システム スマートメータから収集される電力使用量を集計し、需要量と発電量のバランスを調整 ・HDD製造会社 品質管理システム 製造装置のセンサーデータを長期に渡って蓄積・分析し、品質分析・改善に適用 ・半導体製造ライン 履歴管理システム 製造履歴や品質履歴、材料データなどを横串で分析し、製品の品質管理やトレーサビリティに利用 ・半導体製造ライン 異常検知システム 製造ラインのセンサーデータをリアルタイムにAIで分析し、製造ラインの異常を検知 ・デンソー ファクトリー IoT 工場のDigitalTwinを実現し、生産性向上 ・DENSO International Americaの次世代の車両管理システム 車両の各種センサーデータを用いる車両管理システムのPoC ....
  11. 13 © 2022 Toshiba Digital Solutions Corporation エディション体系 GridDB Community

    Edition GridDB Enterprise Edition GridDB Cloud 高頻度・大量に発生する時系列デー タの蓄積とリアルタイムな活用をスムー ズに実現する次世代の オープンソースデータベース 高頻度・大量に発生する時系列デー タの蓄積とリアルタイムな活用をスムー ズに実現し、ビジネスを大きく成長させ るために 最適化された次世代のデータベース 高頻度・大量に発生する時系列デー タの蓄積とリアルタイムな活用をスムー ズに実現する クラウドデータベースサービス
  12. 14 © 2022 Toshiba Digital Solutions Corporation 各エディションの違い 項目 機能

    Community Edition Enterprise Edition Cloud サポート ✓ ✓ プロフェッショナルサービス ✓ ✓ データ管理 時系列コンテナ ✓ ✓ ✓ コレクションコンテナ ✓ ✓ ✓ 索引 ✓ ✓ ✓ アフィニティ ✓ ✓ ✓ テーブルパーティショニング ✓ ✓ ✓ クエリ言語 TQL ✓ ✓ ✓ SQL ✓ ✓ ✓ NoSQLインタフェース Java ✓ ✓ ✓ C言語 ✓ ✓ ✓ NewSQL(SQL) インタフェース JDBC ✓ ✓ ✓ ODBC ✓ ✓ WebAPI ✓ ✓ ✓ 時系列データ 時系列分析関数 ✓ ✓ ✓ 期限付き解放機能 ✓ ✓ 長期アーカイブ ✓ ✓ クラスタリング 機能クラスタ構成 ✓ ✓ 分散データ管理 ✓ ✓ レプリケーション ✓ ✓ 運用管理 ローリングアップグレード ✓ オンラインバックアップ ✓ ✓ エクスポート / インポート ✓ ✓ 運用管理GUI ✓ ✓ 運用コマンド ✓ ✓ セキュリティ 信暗号化 (TLS/SSL) ✓ ✓ 認証機能 (LDAP) ✓ オンプレミス環境 オンプレミス環境 ✓ ✓ クラウドサービス クラウドサービス ✓ • インターフェイスはほぼ同じ • クラスタ構成の有無の違い
  13. 16 © 2022 Toshiba Digital Solutions Corporation GridDB コマンドライン・インターフェース(CLI) •

    対話的に操作できるお手軽なツール(コマンドインタープリタ、gs_shとも呼ばれる) - 初心者向け - (Python/Javaなどで)作成したアプリの動作確認用、など GridDBの学習の流れ: 1.GridDBサーバのインストール、設定、起動など  CLIによるGridDB操作 2.Python/Javaなどのクライアントライブラリによるアプリ開発 3.バッチ処理、テーブルパーティショニングなど JDBCドライバ (コンパイル言語) Javaクライアント (コンパイル言語) Pythonクライアン ト (スクリプト言語) コマンドライン・イン ターフェース(CLI) お手軽さ △ △ 〇 ◎ 操作範囲 〇 〇 〇 △ インターフェース(I/F) SQL NoSQL NoSQL NoSQL/SQL
  14. 17 © 2022 Toshiba Digital Solutions Corporation ソフトウェアスタック Javaクライアント (NoSQL

    I/F) JDBCドライバ (SQL I/F) Cクライアント (NoSQL I/F) コマンドライン・インターフェース (NoSQL/SQL I/F) Python/Node.JS/Go/PHPクライアント (NoSQL I/F) サーバ
  15. 18 © 2022 Toshiba Digital Solutions Corporation その他の利用方法 ①Java環境によるSQLインターフェースの利用 –

    SQLWorkbench/J (https://www.sql-workbench.eu/) • Java環境&JDBCドライバ経由で動くSQL実行ツール ※特定の国の政府機関は利用できない制限があるが、日本は利用制限に含まれていない ②Python環境によるSQLインタフェースの利用 – JayDeBeApi (https://github.com/baztian/jaydebeapi) • Python標準のデータベースAPIの仕様であるDB-API(PEP 249)の1実装 – https://www.python.org/dev/peps/pep-0249/ ③WebAPIによるSQLインタフェースの利用 – GridDB WebAPI ※SQLはSELECT文のみ GridDB Server SQLWorkBench/J JayDeBeApi GridDB JDBC Driver GridDB WebAPI SQL ※ OSC 2021 Online/Fallにて発表済 https://github.com/knonomura/griddb-docker/blob/master/README_ja.md
  16. 19 © 2022 Toshiba Digital Solutions Corporation コマンドライン・インターフェースによるGridDB利用方法の内容 <利用方法の流れ> 1.

    各種ソフトウェアのインストール 2. GridDBサーバの設定・起動・クラスタ構成 3. コマンドライン・インターフェースの起動 4. コマンド実行 <動作環境例> • Ubuntu • 同一マシンに全ソフトウェアをインストール。ローカル実行 • GridDBのクラスタ名はmyCluster(デフォルト) • GridDB管理者の名前はadmin、パスワードはadmin FROM Ubuntu:bionic RUN apt-get update && apt-get install –y wget python2.7 default-jre vim RUN ln –sf /usr/bin/python2.7 /usr/bin/python2 Dockerfile
  17. 20 © 2022 Toshiba Digital Solutions Corporation 各種ソフトウェアのインストール 1. GridDBサーバ(Javaクライアント含む)のインストール

    $ wget https://github.com/griddb/griddb/releases/download/v4.6.1/griddb_4.6.1_am64.deb $ dpkg -i griddb_4.6.1_amd64.deb 2. GridDB JDBCドライバのインストール $ wget https://repo1.maven.org/maven2/com/github/griddb/gridstore-jdbc/4.6.0/gridstore-jdbc- 4.6.0.jar -O /usr/share/java/gridstore-jdbc.jar 3. GridDB CLIのインストール $ wget https://github.com/griddb/cli/releases/download/v4.6.0/griddb_cli_4.6.0_am64.deb $ dpkg -i griddb-cli_4.6.0_amd64.deb (設定ファイルのダウンロード) $ wget https://raw.githubusercontent.com/griddb/cli/main/sample/init.gsh ※GridDBサーバ、Javaクライアント:https://github.com/griddb/griddb ※GridDB JDBCドライバ:https://mvnrepository.com/artifact/com.github.griddb/gridstore-jdbc ※GridDB CLI:https://github.com/griddb/cli
  18. 21 © 2022 Toshiba Digital Solutions Corporation GridDBサーバの設定・起動・クラスタ構成 1. gsadmユーザでログイン

    $ su - gsadm 2. GridDB管理者(admin)のパスワード設定 $ gs_passwd admin > admin 3. GridDBサーバの起動、(1ノードでの)クラスタ構成 $ gs_startnode $ gs_joincluster –u admin/admin –c myCluster ・Stat確認 $ gs_stat –u admin/admin
  19. 22 © 2022 Toshiba Digital Solutions Corporation 1. 初期設定ファイルの設定(コピー) $

    cp /init.gsh .gsshrc 2.コマンドライン・インターフェース起動 $ gs_sh > GridDBコマンドライン・インターフェース起動 #ノード変数の定義 setnode node0 127.0.0.1 10040 #クラスタ変数の定義 setcluster cluster0 myCluster 239.0.0.1 31999 $node0 setclustersql cluster0 myCluster 239.0.0.1 41999 #ユーザ情報の定義 setuser admin admin init.gsh
  20. 23 © 2022 Toshiba Digital Solutions Corporation 実行例(1) #接続 >

    connect $cluster0 # テーブル(コンテナ作成) > createcollection mycontainer c0 long c1 long (sql) create table t1 (c0 long, c1 long); # データ登録 > putrow mycontainer 1 2 (sql) insert into t1 values(1, 2); ※SQL文の先頭が下記文字列のいずれかである場合、コマンド名sqlを省略することができます。 select update insert replace delete create drop alter grant revoke pragma explain
  21. 24 © 2022 Toshiba Digital Solutions Corporation 実行例(2) # 検索

    > tql mycontainer select *; (sql) select * from t1; > get # 切断 > disconnect ※TQL:1テーブルに対するSELECT文に相当
  22. 25 © 2022 Toshiba Digital Solutions Corporation 実行例(3) # テーブル(コンテナ)一覧

    > showcontainer (sql) select * from “#tables”; # ステイタス確認 > showevent > showconnection # クエリの実行計画表示 > tqlexplain mycontainer select *; (sql) explain select * from t1; getplantxt getplanjson ※ここまでは非常に簡単な操作になりますが、 更にテーブルパーティショニングの操作も可能です。
  23. 26 © 2022 Toshiba Digital Solutions Corporation 主なコマンド一覧 (1) コマンド

    引数 説明 setnode [テキストファイル名] ノード変数を定義します。 setcluster クラスタ変数名 クラスタ名 マルチキャストアドレス ポート番号 [ノード変数... ] クラスタ変数を定義します。 setclustersql クラスタ変数名 クラスタ名 SQLアドレス SQLポート番号 クラスタ構成にSQLの接続先を定義します。 setuser ユーザ名 パスワード [OSユーザgsadmのパスワード] クラスタにアクセスするユーザおよびパスワー ドを定義します。 show [変数名] 変数の定義内容を表示します。 save [スクリプトファイル名] 変数定義をスクリプトファイルに保存します。 load [スクリプトファイル名] スクリプトファイルを読み込み、実行します。 変数定義 コマンド 引数 説明 connect クラスタ変数 [データベース名] GridDBクラスタに接続します。 disconnect GridDBクラスタから切断します。 接続・切断
  24. 27 © 2022 Toshiba Digital Solutions Corporation 主なコマンド一覧 (2) コマンド

    引数 説明 createcollection コンテナ名 カラム名 タイプ [カラム名 タイプ …] コンテナ(コレクション)を作成します。 dropcontainer コンテナ名 コンテナを削除します。 putrow コンテナ名 値 [値...] コンテナにロウを登録します。 removerow コンテナ名 ロウキー値 [ロウキー値...] コンテナのロウを削除します。 createindex コンテナ名 カラム名 索引タイプ... 指定カラムに索引を作成します。 tql コンテナ名 クエリ ; TQL検索を実行し、検索結果を保持します。 sql SQL文 ; SQL文を実行し、検索結果を保持します。 get [ 取得件数 ] 検索結果を取得し、標準出力に表示します。 tqlexplain コンテナ名 クエリ ; 指定TQL文の実行計画を表示します。 コンテナ操作 ※SQL文の先頭が下記文字列のいずれかである場合、コマンド名sqlを省略することができます。 select update insert replace delete create drop alter grant revoke pragma explain
  25. 28 © 2022 Toshiba Digital Solutions Corporation 主なコマンド一覧 (3) コマンド

    引数 説明 showcontainer (showtable) [ コンテナ名(テーブル名) ] コンテナ(テーブル)情報を表示します。 searchcontainer [コンテナ名] コンテナ名からコンテナを検索します。 showsql [クエリID] 実行中のSQL処理を表示します。 showevent 実行中のイベント一覧を表示します。 showconnection コネクションの一覧を表示します。 ステイタス・一覧表示 コマンド 引数 説明 getplantxt [テキストファイル名] 実行計画をテキスト形式で表示します。 getplanjson [JSONファイル名] 実行計画をJSON形式で表示します。 実行計画
  26. 30 © 2022 Toshiba Digital Solutions Corporation GridDBのオープンソース化 griddb github

    検索 https://github.com/griddb/ • GridDBをGitHub上にソース公開(2016/2) https://github.com/griddb/griddb • 目的 – ビッグデータ技術の普及促進 • 多くの人に知ってもらいたい、使ってみてもらいたい。 • いろんなニーズをつかみたい。 – 他のオープンソースソフトウェア、システムとの連携強化 • ライセンス – サーバはAGPL-3.0 – 各種開発言語のクライアント、OSSとのコネクタはApache-2.0
  27. 31 © 2022 Toshiba Digital Solutions Corporation 主なOSS活動 ① GridDB本体の機能強化

    ② 主要OSSとの連携強化 ③ APIの拡充 ④ GitHub以外のサイトからの情報発信 – パッケージ – デベロッパーズサイト(WP、ブログなど)・・・フィックスターズ社 – SNS・・・フィックスターズ社 ⑤ 主要OSSリポジトリへのコントリビュート ⑥ プラットフォームの拡充 ⑦ その他 – OSCなどカンファレンス参加 – ハンズオン無料セミナー・・・(株)アイ・ティ・イノベーション
  28. 32 © 2022 Toshiba Digital Solutions Corporation Javaクライアント JDBCドライバ OSS活動の全体イメージ

    GridDB V4.6 CE(Community Edition) Cクライアント Hadoop MapReduce コネクタ YCSB コネクタ Spark コネクタ 収集 可視化 分散処理 分析 Webアプリ 性能測定 Kafka コネクタ ②主要OSSとの連携強化 ⑤主要OSSリポジトリへのコントリビュート GitHub AI/機械学習 ①GridDB本体の機能強化 WebAPI Python/Node.JS/Go/PHP/Ruby/Perlクライアント Fluentd/Grafana/Redash プラグイン ③APIの拡充 ④GitHub以外のサイトからの情報発信 PyPI/npm/Maven/Packagist/… … ⑥プラットフォームの拡充 CentOS+ Ubuntu、openSUSE Windows、MacOS Docker https://github.com/griddb/
  29. 33 © 2022 Toshiba Digital Solutions Corporation 最近の主な活動(2021年度) 2021年 •

    5月 Node API (Node.JS V16対応) • 7月 Redash Plugin (SQL対応) • 8月 V4.6.1CEのソース公開 Node API (バッチ処理対応) • 9月 Pythonクライアント (Python3.9対応) • 11月 V4.6向けDockerイメージ 2022年 • 1月 Node API(worker threads対応) Goクライアント(Go 1.16対応) • 3月 PHPクライアント(PHP 8対応)
  30. 34 © 2022 Toshiba Digital Solutions Corporation デベロッパーズサイト • アプリケーション開発者向けのサイト

    • 様々なコンテンツを公開 – ホワイトペーパ – ブログ など https://griddb.net/ griddb net 検索
  31. 35 © 2022 Toshiba Digital Solutions Corporation ツイッター griddb jp

    検索 https://twitter.com/griddb_jp • GridDBに関するリリース、イベント、 などをお知らせします。 (日本国内向け)
  32. 37 © 2022 Toshiba Digital Solutions Corporation まとめ • GridDBはビッグデータ・IoT向けのデータベースです。

    • GridDBコマンドライン・インターフェースとオープンソース活動をご紹介しました。 • 今後も様々な拡張、拡充を進めて参ります。 GridDBのオープンソース版(GridDB CE)を是非とも使ってみてください。 https://github.com/griddb/ ※本資料に掲載の製品名、サービス名には、各社の登録商標または商標が含まれています。
  33. 38 © 2022 Toshiba Digital Solutions Corporation ご参考:GridDBに関する情報 • GridDB

    GitHubサイト – https://github.com/griddb/griddb/ • GridDB デベロッパーズサイト – https://griddb.net/ • Twitter: GridDB (日本) – https://twitter.com/griddb_jp • Twitter: GridDB Community – https://twitter.com/GridDBCommunity • Facebook: GridDB Community – https://www.facebook.com/griddbcommunity/ • Wiki – https://ja.wikipedia.org/wiki/GridDB • GridDB お問い合わせ – OSS版のプログラミング関連:Stackoverflow(https://ja.stackoverflow.com/search?q=griddb)もしくはGitHub サイトの各リポジトリのIssueをご利用ください プログラミング関連以外:[email protected]もしくは[email protected]をご利用ください griddb net 検索 griddb jp 検索 griddb github 検索