Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Oracle CloudWorld 2023現地参加レポート / OCW2023 MySQL ...

Oracle CloudWorld 2023現地参加レポート / OCW2023 MySQL HeatWave

2023年10月21日(土)に開催された「第13回 関西DB勉強会」での発表資料です。
https://kansaidbstudy.connpass.com/event/294889/

Oracle CloudWorld 2023の会場の様子や、Oracle CloudWorld 2023で発表された内容を中心にMySQL HeatWaveの最新アップデートについて紹介しています。

YoshiakiYamasaki

October 21, 2023
Tweet

More Decks by YoshiakiYamasaki

Other Decks in Technology

Transcript

  1. Oracle CloudWorld 2023現地参加レポート 第13回 関⻄DB勉強会 MySQL Master Principal Solution Engineer

    / MySQL Cloud Evangelist MySQL Global Business Unit ⽇本オラクル株式会社 2023年10⽉21⽇ ⼭﨑 由章 / Yoshiaki YAMASAKI
  2. • 名前︓⼭﨑 由章(やまさき よしあき) • 所属︓⽇本オラクル株式会社 MySQL Community Team /

    MySQL Global Business Unit • 役割︓MySQLのプリセールス、MySQL 及び MySQL HeatWave Database Service の 普及促進活動、など • Twitter ID︓@yyamasaki1 • 出⾝地︓明⽯市 • 趣味︓美味しいものを⾷べること、 ⾊々な所に⾏くこと、ボードゲーム、など ⾃⼰紹介 Copyright © 2023, Oracle and/or its affiliates 2
  3. Copyright © 2023, Oracle and/or its affiliates 5 1. Oracle

    CloudWorld 2023 @ Las Vegas Sep. 18 - 21, 2023
  4. 現在はLA(Limited Availability︓限定公開) OCI上でのPostgreSQLマネージドサービス、2023年12⽉にGA予定︕︕ Copyright © 2023, Oracle and/or its affiliates.

    14 Experience the best of PostgreSQL with OCI Database with PostgreSQL https://blogs.oracle.com/cloud-infrastructure/post/oci-database-postgres
  5. Copyright © 2023, Oracle and/or its affiliates 16 2. MySQL

    HeatWave at OCW2023 @ Las Vegas Sep. 18 - 21, 2023
  6. OLTP、機械学習、データウェアハウスに最適化されたMySQLマネージドサービス MySQL HeatWave Copyright © 2023, Oracle and/or its affiliates

    18 クエリ 結果 ソーシャル、eコマース、ゲーム、ヘルスケア、フィンテック等のアプリ、統計と機械学習のツール MySQL HeatWave 統計 Autopilot OLTP AutoML リアルタイム統計、機械学習、 OLTPをただ1つのクラウド データベースサービスで実現 MySQL
  7. • インメモリデータベースである • カラムナーデータベース(列指向データベース)である • 複数ノードで分散処理できる • 最低ノード数は1台、最⼤ノード数は64台 • Oracle

    Labsで⻑年研究していたProject RAPIDの 成果を活⽤している https://labs.oracle.com/pls/apex/f?p=94065:12:103385944489261:14 • RAPID Analytics Processing In DRAM (メモリ上での⾼速分析処理) • RAPIDでは、ハードウェアリソースを最⼤限活⽤して、 超並列処理できるアーキテクチャーになっている HeatWave が⾼速に処理できる理由 Copyright © 2023, Oracle and/or its affiliates. 19
  8. Copyright © 2023, Oracle and/or its affiliates. 20 • MySQLに対してSQLを実⾏するだけで⾃動的に⾼速化される

    (HeatWaveの制限事項に該当する場合は、フロントにあるMDSで処理される) • データの更新はフロントにあるMDSで処理され、更新データは随時HeatWaveノードに反映される MySQL HeatWave Database Service のアーキテクチャ MySQL Database Service 分析 クエリ 結果 セット MySQL コンパイラ & オプティマイザー 分析クエリ 最適化 Insert/ Update OLTPクエリ 最適化 リアルタイム 更新 InnoDB ストレージエンジン MySQL クエリ実⾏ HeatWave Node インメモリデータ管理 分析クエリ実⾏ 分析ジョブスケジューラ 結果 クエリ プッシュダウン 並列化 Object Storage リロード ※HeatWaveの制限事項 https://dev.mysql.com/doc/heatwave/en/heatwave-limitations.html
  9. 業界最速のデータウェアハウス TPC-H 10TB ベンチマーククエリはTPC-Hベンチマークから派⽣したものですが、結果はTPC-H仕様に準拠していないため、公表されているTPC-Hベンチマークの結果とは直接⽐較できません。. 4.2倍 Redshiftより⾼速 3.3倍 Snowflakeより⾼速 5.6倍 BigQueryより⾼速

    7.4倍 Databricksより⾼速 10X ra3.4xlarge X-Large Cluster 800スロット Large Cluster 分析時間の⾼速化で市場のトレンドにいちはやく対応 数⽇ではなく、数時間で答えを導出 Copyright © 2023, Oracle and/or its affiliates 21
  10. オブジェクトストレージの休眠データを活⽤ MySQL HeatWave Lakehouse Copyright © 2023, Oracle and/or its

    affiliates 24 ソーシャル、eコマース、ゲーム、ヘルスケア、フィンテック等のアプリ、統計と機械学習のツール MySQL HeatWave 統計 Autopilot OLTP AutoML データはオブジェクト・スト アに残したまま、クエリ処 理はHeatWaveで⾏う 16 GB から 512 TB までスケール可能 オブジェクト・ストア Database exports MySQL クエリ 結果
  11. オブジェクト・ストレージ上のデータを データ分析基盤にロードした上で分析処理を実⾏ Oracle Autonomous Database、 MySQL HeatWave Lakehouse, Redshiftなど ü

    データ分析基盤の処理性能を活⽤可能 オブジェクト・ストレージに対して直接分析クエリを実⾏ Oracle Autonomous Databaseの外部表、 Amazon Athena, Redshift Spectrumなど ü 分析対象データの事前のロードが不要 補⾜︓オブジェクト・ストレージ上のデータ分析の2パターン Copyright © 2023, Oracle and/or its affiliates 25 データ可視化ツール データ分析実⾏基盤 オブジェクト・ストレージ データをロード 分析処理を指⽰ データ可視化ツール クエリ実⾏サービス オブジェクト・ストレージ 分析処理を実⾏ 分析処理を指⽰
  12. • HeatWave Lakehouse on AWS (Limited Availability) • AutoML on

    HeatWave Lakehouse (AWS版では既にリリース済みらしい) • JavaScript ストアド・プログラム サポート (Limited Availability) • JSONサポート (近⽇リリース予定) • Autopilot indexing (Limited Availability) • Generative AI with vector store (Private Preview) MySQL HeatWave関連の主な新発表 Copyright © 2023, Oracle and/or its affiliates. 26
  13. • HeatWave on AWSのコンソールからこの機能を使⽤可能 • クエリー実⾏時間の改善⾒込みやストレージ消費量の⾒込みも確認可能 Autopilot indexing (LA) Copyright

    © 2023, Oracle and/or its affiliates. 34 出典︓Automatic Indexing of MySQL Database with Machine Learning [LRN3502] の講演資料
  14. • ベンチマーク結果 Autopilot indexing (LA) Copyright © 2023, Oracle and/or

    its affiliates. 35 出典︓Automatic Indexing of MySQL Database with Machine Learning [LRN3502] の講演資料
  15. • HeatWaveでベクトル・ストアをサポート • ⽣成系AIを活⽤して、⾃然⾔語による問い合わせも可能に Generative AI with vector store(Private Preview)

    Copyright © 2023, Oracle and/or its affiliates. 36 出典︓Scale Out Data Warehousing with MySQL HeatWave [HOL3504] の講演資料
  16. • Edward Screvenによるキーノートでの発表 • トヨタ⾃動⾞社様によるHeatWave 及び HeatWave Lakehouseの検証事例 • Aiwifi様のCTOによるHeatWave

    on AWS 及び HeatWave AutoMLの採⽤事例 • NVIDIA様によるMDS、HeatWave採⽤事例、HeatWave AutoMLの検証事例 MySQL HeatWave関連の主な事例発表 Copyright © 2023, Oracle and/or its affiliates. 37
  17. サードパーティのcsvデータも活⽤することで、活⽤範囲がより広がる HeatWave Lakehouseによりオブジェクト・ストレージ上のデータと MySQL上のデータを統合して分析可能 Copyright © 2023, Oracle and/or its

    affiliates 39 MySQL HeatWave クエリ 結果 MySQL上のデータ 売り上げデータなどの トランザクションデータ オブジェクト・ストレージ上のデータ 天気、⼈⼝など、普段OLTP系の DBに⼊れていないデータ
  18. • データロード処理がHeatWave Lakehouseにより65倍⾼速化された • 11TBのCSVファイルのデータロードにかかった時間︓4⽇以上 => 88分に短縮 • HeatWaveノードの⼀時停⽌・再開によるデータロードは、更に11.7倍⾼速だった •

    11TBのデータロードにかかった時間︓88分(CSV) => 7.5分(HeatWaveのネイティブフォーマット) トヨタ⾃動⾞社様︓HeatWave Lakehouse検証事例 Copyright © 2023, Oracle and/or its affiliates. 41 出典︓Oracle CloudWorld 2023での講演資料 Evaluating Large Data Loads and Analysis with MySQL HeatWave Lakehouse at Toyota [LRN4164]
  19. MySQL HeatWave and MySQL Database Day Tokyo 2023 開催︕︕ •

    ⽇時︓2023年11⽉6⽇ 14:00−17:00 • 場所︓⽇本オラクル株式会社 本社 13F セミナールーム 東京都港区北⻘⼭2-5-8 オラクル⻘⼭センター (外苑前駅直結) • 詳細、申し込み︓https://www.oracle.com/jp/events/mysql-day/ Copyright © 2023, Oracle and/or its affiliates. 46
  20. HeatWavejp (MySQL HeatWave Japan User Group) は、 MySQL HeatWave Database

    Service の⽇本での普及と発展を ⽬的としたユーザーグループです。 ユーザー同⼠でノウハウやナレッジを共有できるコミュニティ活動を⾏っていきます。 MySQL HeatWave をより良く知り、学びあい、盛り上げていきましょう。 https://join.slack.com/t/heatwavejp/ shared_invite/zt-1n3vprmly- N3Si6Y7IuGVXx9KNTmjdZg @HeatWavejp https://twitter.com/Heatwavejp https://heatwavejp.connpass.com/ Copyright © 2023 HeatWavejp All Rights Reserved. ユーザーグループへの参加 イベント情報 & イベント参加 SNSフォロー & 情報収集
  21. 展⽰会場での1コマ︓Oracle 3D Spatial In The Digital, Immersive, and Physical World

    Copyright © 2023, Oracle and/or its affiliates 49 3Dスキャン 3Dデータ 完成物(例)
  22. ORACLE WAY と CLOUD WAY が 交わるところに⾏ってきました︕ Austinのオラクル本社にて Copyright ©

    2023, Oracle and/or its affiliates 50 ※写真は敷地外の違う場所から撮ったものです (敷地内での写真撮影はセキュリティの⽅に⽌められました)
  23. MySQL コミュニティ Copyright © 2023, Oracle and/or its affiliates 53

    10/21/23 § MySQL コミュニティの紹介 § MySQL への貢献 § Oracle Contribution Agreement (OCA) § MySQL無償認証制度
  24. MySQL コミュニティの紹介 Copyright © 2023, Oracle and/or its affiliates 54

    • MySQL コミュニティへの貢献プロセスの運営 • MySQL ユーザーグループへの⽀援 https://dev.mysql.com/community/mug/ • 全世界でのサードパーティによるカンファレンスやイベントへの⽀援や参加 https://dev.mysql.com/community/ • 教育ビデオの作成 • MySQL 短編動画 (MySQL Shorts) • MySQL ⼊⾨編シリーズ (MySQL 101 for Biginners) • https://www.youtube.com/@mysql • MySQL RockStar プログラム • MySQLの利⽤促進に最も精⼒的に取り組んだ MySQL コミュニティ・メンバーへの表彰 • 第1回: https://blogs.oracle.com/mysql/post/mysql-rockstars-2022 • MySQL ACE プログラム • MySQL プロジェクトでの ACE プログラムの運営 • https://ace.oracle.com/pls/apex/ace_program/r/oracle-aces/home
  25. MySQL への貢献 • MySQL オープンソースプロジェクトのコントリビューターコミュニティへの参加: https://forums.oracle.com/ords/apexds/post/contributing-code-to-mysql-8037 • コントリビュータになるために持つべきこと • MySQL

    の機能を変更/修正したい、あるいは新しい機能を追加したいといった要望 • MySQL ソースコードのダウンロード http://dev.mysql.com/downloads/ • bugs.mysql.com のアカウント http://bugs.mysql.com or • 有効な GitHub アカウント https://github.com • Oracle Contribution Agreement (OCA) への署名 https://oca.opensource.oracle.com/ • OCAは、コントリビューターとオラクルの両⽅を法的攻撃から保護する短い法的契約です。OCAに署名することにより、コントリビュー ターはオラクルがコントリビューターのコードをオラクル・ソフトウェアで使⽤することが法的に許可されていること、およびコントリビューター の知る限りにおいて、そのコードに特許的な問題がないことに同意することになります。 Copyright © 2023, Oracle and/or its affiliates 55
  26. MySQL 無償認証制度 • MySQL コミュニティチームは、Oracle University および Oracle Academy と協⼒し、

    mylearn.oracle.com を介して、2ヶ⽉間の指定期間内に使⽤できる無料のトレーニングバウチャー/クレジッ トを受講者に提供します。 • ご興味のある⽅は、以下についての詳細をお知らせくだされば、MySQL コミュニティから連絡いたします。 • 名前 • 姓 • Email アドレス • 居住国 • https://education.oracle.com/ Copyright © 2023, Oracle and/or its affiliates 56
  27. 連絡先 • MySQL コミュニティとのコンタクト先⼀覧: • MySQL コミュニティページ, https://dev.mysql.com/community/ • MySQL

    Slack, https://mysqlcommunity.slack.com • The Oracle MySQL ブログ, https://blogs.oracle.com/mysql/ • The Oracle MySQL Japan ブログ, https://blogs.oracle.com/mysql-jp/ • Planet MySQL, https://planet.mysql.com/ • LinkedIn, https://www.linkedin.com/groups/60715/ • ブログ, https://lefred.be/ • MySQL フォーラム, http://lists.mysql.com/ • ディスカッションフォーラム, http://forums.mysql.com Copyright © 2023, Oracle and/or its affiliates 57