Upgrade to Pro — share decks privately, control downloads, hide ads and more …

革新的な新しいウルトラ・ハイ・パフォーマンス並列処理クエリーエンジン、HeatWaveの仕組み...

革新的な新しいウルトラ・ハイ・パフォーマンス並列処理クエリーエンジン、HeatWaveの仕組み / How HeatWave works

2021年10月8日に開催された、Cloud Native Database Meetup #2 でのLT資料です。
https://cndata.connpass.com/event/222535/

革新的な新しいウルトラ・ハイ・パフォーマンス並列処理クエリーエンジンである、HeatWaveの仕組みについて紹介しています。

YoshiakiYamasaki

October 08, 2021
Tweet

More Decks by YoshiakiYamasaki

Other Decks in Technology

Transcript

  1. Copyright © 2021, Oracle and/or its affiliates 3 FY21の年間の決算報告での Larry

    Ellisonの発言より ※FY:Financial Year (会計年度)
  2. Copyright © 2021, Oracle and/or its affiliates 4 "The world's

    two most popular databases are the Oracle Autonomous Database and Oracle MySQL," said Oracle Chairman and CTO, Larry Ellison. "The Oracle Database once again delivered solid revenue growth in FY21. And while our Oracle Database business as measured by revenue currently dwarfs our MySQL database business— that is about to change because the latest version of Oracle MySQL has been upgraded to include a revolutionary new ultra-high- performance parallel processing query engine called HeatWave.” 出典:https://investor.oracle.com/investor-news/news-details/2021/Oracle-Announces-Fiscal-2021-Fourth-Quarter-and-Fiscal-Full-Year-Financial-Results/default.aspx
  3. Copyright © 2021, Oracle and/or its affiliates 5 "a revolutionary

    new ultra-high-performance parallel processing query engine called HeatWave.” 出典:https://investor.oracle.com/investor-news/news-details/2021/Oracle-Announces-Fiscal-2021-Fourth-Quarter-and-Fiscal-Full-Year-Financial-Results/default.aspx
  4. Copyright © 2021, Oracle and/or its affiliates 9 MySQL Database

    Service 専用の クエリーアクセラレーター
  5. Copyright © 2021, Oracle and/or its affiliates 13 MySQL Database

    Serviceの バックエンドで動作する
  6. Copyright © 2021, Oracle and/or its affiliates 14 HeatWaveノード ×

    2台~64台 HeatWave専用の MySQL Database Service オラクルクラウド上の サーバー (クライアント) HeatWave バックグラウンド通信 ユーザーによるアクセス
  7. Copyright © 2021, Oracle and/or its affiliates 25 RAPID Analytics

    Processing In DRAM (メモリ上での高速分析処理)
  8. Copyright © 2021, Oracle and/or its affiliates 26 Oracle Labsで長年研究していた技術

    https://labs.oracle.com/pls/apex/f?p=94065:12:2257546553334:14
  9. Copyright © 2021, Oracle and/or its affiliates 31 column 1

    column 2 column 3 column N partition 1 partition P . . . . . . Chunk M Chunk 1 . . . vector 1 vector 2 vector 3 vector N tile 1 tile K RAPID Column-store ノード数追加に よる性能拡張性 チャンク分割に よりマルチコア 環境で性能向上 チャンク単位で 複数レコードを 1度に処理
  10. Copyright © 2021, Oracle and/or its affiliates 32 CPU Core

    CPU Core CPU Core Chunk n Results チャンク単位で処理した結果を集約
  11. Copyright © 2021, Oracle and/or its affiliates 39 Each CPU

    core executes a join kernel between small R and S partitions Hash tables are typically compact and fits into lower level CPU caches k S h1 (key) . . . 1 p . . . . . . R h1 (key) 1 p k . . . ① Partition ① Partition ② Build ③ Probe h2 (k) join kernel このデータが通常はCPUの下位のキャッシュに収まるサイズ
  12. HeatWave、オラクルクラウドのチュートリアルがあります!! Copyright © 2021, Oracle and/or its affiliates 44 オラクルクラウドのチュートリアルページにMySQL

    Database Service、HeatWaveのチュートリアルも掲載されています! 画面キャプチャー付きで詳細に手順を解説しています! 入門編 - Oracle Cloud Infrastructure を使ってみよう https://oracle-japan.github.io/ocitutorials/beginners/ チュートリアル : Oracle Cloud Infrastructure を使ってみよう https://oracle-japan.github.io/ocitutorials/
  13. • ハンズオン1:HeatWaveを活用した驚異的なパフォーマンスを持つ分析基盤構築 • 開催日:2021年10月15日(金) 15:00 – 17:00 • ハンズオン2:オンプレミスのMySQLからOracle Cloud

    Infrastructure上の MySQL Database Serviceへのレプリケーションによるデータ連携 • 開催日:2021年10月20日(水) 15:00 – 17:00 • ハンズオン3:Oracle Analytics CloudとMySQL HeatWaveによるデータ分析 • 開催日:2021年10月27日(水) | 15:00 – 17:00 • セミナー詳細、申し込み:https://go.oracle.com/LP=116603 • 参加費は無料 HeatWaveハンズオンセミナー Copyright © 2021, Oracle and/or its affiliates 46