Databricks ソリューションマーケットプレースとガバナンス

[データブリックス レイクハウス プラットフォームにおける最新動向 LT大会 登壇資料]
竹下 俊一郎 氏 (データブリックス)

イベント開催日：2023年7月26日

イベントの趣旨：
データブリックス社とエーピーコミュニケーションズ共同開催のLTイベントです。
6月にサンフランシスコで行われたDatabricks社主催の世界最大のデータ&分析&AIをテーマにしたカンファレンス「DATA+AI SUMMIT 2023」の内容から、関連した情報や今後のDatabricksにおける技術情報などをテーマとしています。
データ分析基盤に少しでも興味のある方、データブリックスやLLM（大規模言語モデル）、AIなどデータ分析基盤の導入を検討中のユーザー様を対象にしています。

アーカイブ動画：https://youtu.be/RDcjUBjygBI

Transcript

1. ©2023 Databricks Inc. — All rights reserved Databricks The data and AI company LT4 Databricks ソリューションマーケットプレースと データとAIのガバナンス お問合せ先 marketing-jp@databricks.com
2. ©2023 Databricks Inc. — All rights reserved 2 低コストで高速にデータウェアハウスから 機械学習モデル活用までシームレスに 大規模言語モデル LakehouseIQ Databricks Marketplace MosaicML English SDK for Spark Unity Catalog for AI Lakehouse Monitoring Lakehouse Federation Delta Lake 3.0 Lakehouse AI Lakehouse APPs Predictive IO Liquid Clustering
3. ©2023 Databricks Inc. — All rights reserved Unity Catalog for AI
4. ©2023 Databricks Inc. — All rights reserved データ を全ての従業員に民主化 AI を全てのプロダクトで民主化 この世界観を生まれ変わった Unity Catalog で実現します！ 4
5. ©2023 Databricks Inc. — All rights reserved ファイルへの アクセス権限 テーブル、行、列への アクセス権限 機械学習モデル、特徴量への アクセス権限 レポートやダッシュボードへのアク セス権限 ガバナンスチーム “データ資産の セキュリティ担保 ” “アクセス対象者と アクセス方法 ” “コンプライアンス遵 守方法” データ レイク データ ウェアハウス AI プラットフォーム BI ダッシュボード データ サイエンティスト データ エンジニア データ アナリスト データ利用者 機械学習 実行者 “必要なデータ、モデル、ノー トブック、ダッシュボードはど こにあるのか ?” 5 Data + AI のガバナンスは非常に複雑
6. ©2023 Databricks Inc. — All rights reserved データ レイク データ ウェアハウス AI プラットフォーム BI ダッシュボード ガバナンスチーム データ サイエンティスト データ エンジニア データ アナリスト データ利用者 機械学習 実行者 “必要な資産を見つけるの が簡単に!!” Databricks Unity Catalog 構造化／非構造化データおよび AIに対応する 　単一のセキュリティおよびガバナンス・モデル “データと AI ガバナンス のためのシンプルな 統合ソリューション ” “背後にある アーキテクチャの 複雑さを 抽象化。” 6 データブリックスは、Data + AI のガバナンスを統合
7. ©2023 Databricks Inc. — All rights reserved セキュアかつ 監査が可能である 7 正確かつ品質が 担保される 欲しいデータを 探すことができる 使いやすく 性能が良い ガバナンスのための考慮点
8. ©2023 Databricks Inc. — All rights reserved 8 DataもAIも中央集権 で管理を行う DataとAIの来歴 および品質管理 ビルトインのデータ検 索および探索機能 スケーラブルな 性能確保 どのように実現するか？
9. ©2023 Databricks Inc. — All rights reserved 9 DataもAIも中央集権 で管理を行う DataとAIの来歴 および品質管理 ビルトインのデータ検 索および探索機能 スケーラブルな 性能確保 どのように実現するか？
10. ©2023 Databricks Inc. — All rights reserved クラウド ストレージ Bronze Silver Gold モデル ノートブック/ クエリー 特徴量ストア ダッシュボード + 行 & 列レベル セキュリティ MODELS = AI に関する アクセス制御 その他 システム … LAKEHOUSE FEDERATION = レイクハウス上で ガバナンスを実現! テーブル群 = テーブル形式データの制御 10 VOLUMES = 表形式でないデータのアクセス制御 Data と AI 資産のアクセス制御
11. ©2023 Databricks Inc. — All rights reserved クエリーフェデレーションにより、様々なサブシステムのデータを利用して需要予測を実施 例：小売流通業の需要予測 売上 顧客 在庫 全てのデータを 予測に利用したい
12. ©2023 Databricks Inc. — All rights reserved クラウド ストレージ その他 システム … モデル ノートブック/ クエリー 特徴量ストア ダッシュボード Hive メタストア 自身の Hive メタストアに ガバナンスを効かせてアクセス Bronze Silver Gold 12 Hive メタストア フェデレーション Coming Soon!
13. ©2023 Databricks Inc. — All rights reserved Databricks では Federation 機能で他DBのデータ取得も アクセスするデータベースを選択
14. ©2023 Databricks Inc. — All rights reserved Databricks では Federation 機能で他DBのデータ取得も Databricks Snowflake PostgreSql MySQL
15. ©2023 Databricks Inc. — All rights reserved Models Notebooks/ queries Feature store Dashboards Feature store Bronze Silver Gold 15 Hive Interface / Uniform Hive & Iceberg 互換ツール群 外部ツールから Unity Catalog にアクセス可能 クラウド ストレージ その他 システム … Hive メタストア Hive メタストア インターフェース & Uniform Private Preview
16. ©2023 Databricks Inc. — All rights reserved 16 DataもAIも中央集権 で管理を行う DataとAIの来歴 および品質管理 ビルトインのデータ検 索および探索機能 スケーラブルな 性能確保 どのように実現するか？
17. ©2023 Databricks Inc. — All rights reserved 17 Public Preview Coming Soon! データの意味合いとタグ付け
18. ©2023 Databricks Inc. — All rights reserved データとAI資産の検索と探索 18 レイクハウス内の多様なエンティティ検索 ノートブックからデータ一覧参照
19. ©2023 Databricks Inc. — All rights reserved データ に対する洞察 利用の多いユーザ: 誰が専門家である のか？ よく使われている ノートブック/クエリー/ダッシュボード: どこから手がけるか？ よく使われる ジョイン: データエンリッチす るには? 19
20. ©2023 Databricks Inc. — All rights reserved 20 DataもAIも中央集権 で管理を行う DataとAIの来歴 および品質管理 ビルトインのデータ検 索および探索機能 スケーラブルな 性能確保 どのように実現するか？
21. ©2023 Databricks Inc. — All rights reserved Predictive optimization これまでの課題 テーブル最適化により、コスパを向 上させることができるが… • どのテーブルを? • どの頻度で? • どのような最適化? 21
22. ©2023 Databricks Inc. — All rights reserved Predictive Optimization ソリューション • AIモデルが最適化するテーブルを決定 • Bin-packing • Liquid clustering • Vacuuming • Table statistics • Intelligent storage tiering • Databricksは自動的にメンテナンスを行う • 超最適化されたサーバーレス・コンピュート使用 22 Private Preview
23. ©2023 Databricks Inc. — All rights reserved 結果: 手間を掛けずに 下記は不要: • どのテーブルを最適化　す べきか • クラスターの実行と管理 23 Predictive optimization Private Preview 遅 高 速 高 安 速
24. ©2023 Databricks Inc. — All rights reserved 24 DataもAIも中央集権 で管理を行う DataとAIの来歴 および品質管理 ビルトインのデータ検 索および探索機能 スケーラブルな 性能確保 どのように実現するか？
25. ©2023 Databricks Inc. — All rights reserved ファイル フェデレーション • DLT • 特徴量ストア • モデル 25 自動でデータ関連の ドキュメント化 インパクト分析 根本原因の調査 レイクハウスのデータ来歴（リネージ）
26. ©2023 Databricks Inc. — All rights reserved データ品質アラート 機械学習モデル性能と ドリフト監視 センシティブなデータの自 動分類の実行 26 Public Preview Lakehouse monitoring DataおよびMLの 両方を対象とした 初のAI搭載監視サービス Lakehouse monitoring
27. ©2023 Databricks Inc. — All rights reserved 根本原因の調査 27 Lakehouse Monitoring にて問題を検知 Root Cause リネージ + Lakehouse monitoring
28. ©2023 Databricks Inc. — All rights reserved プロアクティブな アラート実現 28 品質問題が検知された 下流へのインパクト 今後の リスク リネージ + Lakehouse monitoring
29. ©2023 Databricks Inc. — All rights reserved Databricks Solution Marketplace
30. ©2023 Databricks Inc. — All rights reserved 単にデータを共有されてもストレスがたまるだけ！ 共有された 3rd Party データから価値を出すのは大変時間がかかる。 データを探す データにアクセス データを加工する データを分析 欲しいデータを探し て異なるベンダーの データ価格を比較し て選ぶ セキュリティ IT 部門のレビューを通 過してデータにアク セスをする データ評価 クレンジング 構造化 妥当性評価 モデリング エンリッチメント 可視化 洞察
31. Open marketplace for all your data, analytics, and AI Databricks Marketplace Data Tables Solution Accelerators Apps Notebooks AI Models Dashboards Data Files Databricks Marketplace Providers Share more than just data Reach users on any platform Consumers Discover more than just data Avoid vendor lock-in Faster time to insights Share data securely (public or private)
32. Marketplace momentum Marketplace <3 months 45k unique users 500+ marketplace listings 75+ Data Providers Financial Services Media & Entertainment + Retail Healthcare & Life Sciences Horizontal Datasets Carto
33. Marketplace momentum
34. ©2023 Databricks Inc. — All rights reserved Thank You! Thank you so much for visiting the Data AI Summit in San Francisco for a week. We look forward to working with you and let’s push forward on the democratization of data and AI in Japan.