Databricksで完全履修！オールインワンレイクハウスは実在した！

©2024 Databricks Inc. — All rights reserved Databricksで完全履修！オールインワンレイクハウスは
実在した！ Akihiro Kuwano

©2024 Databricks Inc. — All rights reserved プロダクトセーフハーバー
ステートメントこの情報は、データブリックスの一般的な製品の方向性を概説するために提供されるものであり、情報提供のみを目的としています。データブリックスのサービスを購入するお客様は、現在利用可能なサービス、特徴、機能のみに依拠して購入を決定してください。将来見通しに関する記述に記載されている未発表の機能または特徴は、データブリックスの裁量で変更される可能性があり、計画通りまたは全く提供されない可能性があります。

©2024 Databricks Inc. — All rights reserved スピーカー Akihiro Kuwano
/ 桑野章弘経歴 ▪ 道玄坂の緑の会社B2C企業でのインフラエンジニアとしてのキャリアや、目黒のオレンジの会社パブリッククラウドベンダーでソリューションアーキテクトとしてキャリアを重ね、現在は京橋のブロックの会社でソリューションアーキテクトをしています！ ▪ B2C企業担当のソリューションアーキテクトとして様々な案件において技術支援を実施しております！ Databricks Japan 株式会社 Solutions Architect

©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksについてご存知ない？
▪ レイクハウスとは？ ▪ Databricks＝オールインワンレイクハウス！ ▪ そしてデータインテリジェンスプラットフォームへ ▪ Databricksを使って実現できること ▪ TROCCOさんとDatabricksは仲良し！ ▪ Databricksを使ってみよう！

©2024 Databricks Inc. — All rights reserved Creator of: 9
12,000+ 顧客数 $3B+ (約4500億円) 年間売上 $62B+ (約9.5兆円) 推定企業価値 lakehouse の発明者で、 generative AI のパイオニア Gartner が認知するリーダーの 1社 - Cloud Database Management Systems - Data Science and ML Platforms データ+AIカンパニー LEADER 2023 Cloud Database Management Systems LEADER 2024 Data Science & Machine Learning Analytic Stream Processing

第三者機関から、データ＋ AI領域のリーダーとして評価 Gartner Cloud Database Management Systems Data Science and
Machine Learning Platform FORRESTER Data Lakehouse AI Foundation Models For Languages

©2024 Databricks Inc. — All rights reserved レイクハウスとはレイクハウスはデータレイクの柔軟性とデータウェアハウスの管理性を兼ね備えた統合アーキテクチャで
以下の特徴を持ちます ▪ クラウドストレージを活用したデータレイク層を持つ ▪ データレイク層上にメタデータとデータガバナンスを管理するアプリケーション層を持つ（Delta Lake, Iceberg, HudiなどのOTF） ▪ データウェアハウスの機能、データサイエンスの機能、機械学習の機能を同一インターフェースから利用可能(Dataframe API) ▪ ストレージレイヤへアクセスするためのオープンな方法を提供 Machine Learning データレイク　（S3、ADLS、GCS）構造化データ BI/User Data Science メタデータ & ガバナンスレイヤコンピュートレイヤ ETL Photon

©2024 Databricks Inc. — All rights reserved レイクハウスとは何か簡単に言うとこんな感じ！ ▪
管理できるデータレイク ▪ DWH/AI/MLなど幅広くサポートが可能 ▪ パフォーマンスも従来のDWHと同等以上 ▪ OTFでクラウドストレージを有効活用 Machine Learning データレイク　（S3、ADLS、GCS）構造化データ BI/User Data Science メタデータ & ガバナンスレイヤコンピュートレイヤ ETL Photon

©2024 Databricks Inc. — All rights reserved レイクハウスが実現することレイクハウスが実現することとは、、、！？ ▪
データの一元管理 ▪ コストパフォーマンス最適化 ▪ BI〜AIまで高度な分析/機械学習のサポート ▪ データガバナンスの強化 ▪ スケーラビリティ ▪ 柔軟性

©2024 Databricks Inc. — All rights reserved コンピュートレイヤデータの一元管理データレイク
　（S3、ADLS、GCS）メタデータ & ガバナンスレイヤ ETL Machine Learning BI/User Data Science すべてのデータをデータレイクへと保存サイロの排除構造化、非構造化ファイルの同一I/Fでの扱いクラウドストレージの有効活用

©2024 Databricks Inc. — All rights reserved コストパフォーマンス最適化データレイク　（S3、ADLS、GCS）
メタデータ & ガバナンスレイヤコンピュートレイヤ Machine Learning BI/User Data Science すべてのデータをデータレイクへと保存サイロの排除構造化、非構造化ファイルの同一I/Fでの扱いクラウドストレージの有効活用コンピュートとストレージの分離安価なクラウドストレージの活用 ETL

©2024 Databricks Inc. — All rights reserved BI〜AIまで高度な分析/機械学習のサポートデータレイク　（S3、ADLS、GCS）
メタデータ & ガバナンスレイヤコンピュートレイヤ Machine Learning BI/User Data Science すべてのデータをデータレイクへと保存サイロの排除構造化、非構造化ファイルの同一I/Fでの扱いクラウドストレージの有効活用コンピュートとストレージの分離安価なクラウドストレージの活用 BI〜AIまで必要な処理を実行可能 ETL

©2024 Databricks Inc. — All rights reserved データガバナンスの強化データレイク　（S3、ADLS、GCS）
メタデータ & ガバナンスレイヤコンピュートレイヤ Machine Learning BI/User Data Science すべてのデータをデータレイクへと保存サイロの排除構造化、非構造化ファイルの同一I/Fでの扱いクラウドストレージの有効活用コンピュートとストレージの分離安価なクラウドストレージの活用 BI〜AIまで必要な処理を実行可能統一されたデータガバナンス ETL

©2024 Databricks Inc. — All rights reserved スケーラビリティデータレイク　（S3、ADLS、GCS）
メタデータ & ガバナンスレイヤコンピュートレイヤ Machine Learning BI/User Data Science すべてのデータをデータレイクへと保存サイロの排除構造化、非構造化ファイルの同一I/Fでの扱いクラウドストレージの有効活用コンピュートとストレージの分離安価なクラウドストレージの活用 BI〜AIまで必要な処理を実行可能統一されたデータガバナンス必要な処理分スケール可能必要な処理分スケール可能パフォーマンスの最適化 ETL

©2024 Databricks Inc. — All rights reserved 柔軟性データレイク　（S3、ADLS、GCS）
メタデータ & ガバナンスレイヤコンピュートレイヤ Machine Learning BI/User Data Science すべてのデータをデータレイクへと保存サイロの排除構造化、非構造化ファイルの同一I/Fでの扱いクラウドストレージの有効活用コンピュートとストレージの分離安価なクラウドストレージの活用 BI〜AIまで必要な処理を実行可能統一されたデータガバナンス必要な処理分スケール可能必要な処理分スケール可能パフォーマンスの最適化 ETL

©2024 Databricks Inc. — All rights reserved もっと詳しく知りたい方は？ここでレイクハウスについて説明してますので是非見てみてくださいね！資料
動画

©2024 Databricks Inc. — All rights reserved レイクハウスアーキテクチャとはこれらを実現するための新しいデータアーキ
テクチャ

©2024 Databricks Inc. — All rights reserved 要するに必要な全ての機能が揃っているレイクハウスアーキテクチャを提供す
るサービスなのです（長い）

©2024 Databricks Inc. — All rights reserved ノートブックデータ分析、ETL、機械学習、アプリ開発まで行える万能インターフェイスマルチ言語対応
SQL / Python / R / Scala リアルタイム共同編集柔軟なクラスター管理処理や負荷に応じたスペック選択サーバーレスオプション開発者フレンドリー生成AIアシスタントによる支援、自動履歴保存、Git連携、変数の表示、デバッグ etc.

©2024 Databricks Inc. — All rights reserved ワークフロー Notebookをはじめとした様々な処理をパイプラインで実行可能
柔軟なワークフロー管理パラメータ渡し、for eachタスク、など柔軟なワークフローの構築が可能様々な実行形式 Notebook, Delta Live Table(Lakeﬂow pipeline), dbt core, SQL, などなど様々な処理をパイプラインのタスクとして実行可能低コスト実行されるクラスタ料金以外追加での料金発生なし

©2024 Databricks Inc. — All rights reserved SQLウェアハウス高性能・低コストなSQLとBIの実行基盤 SQL
& 組み込みの BI SQLエディタ、SQLノートブック、ダッシュボード、Genieの実行基盤主要BIツールからの接続性 Power BI / Tableau / Looker etc. JDBC / ODBC接続をサポートアドバンスドな機能ユーザー定義関数 / AI (LLM) 関数フェデレーションクエリ(Snowﬂake / BigQuery / Redshift / 各種RDB etc.)

©2024 Databricks Inc. — All rights reserved 機械学習実験から本番運用まで MLOpsをワンストップで実現
ライフサイクル管理実験管理、モデル管理、サービング、モニタリングまで一気通貫でサポートリアルタイム推論本番環境グレードのサーバーレスのリアルタイム推論エンドポイント LLM機能カスタムLLMの構築・Fine Tuning AIエージェントの開発から評価まで AutoML ノーコードで迅速なモデル開発生成されたノートブックでさらに改善

©2024 Databricks Inc. — All rights reserved Unity Catalog データとAIを一元管理する
ガバナンス基盤ガバナンステーブル、ファイル、モデルなどを一元管理検索、LLMによる自動コメント生成リネージや利用状況の可視化データ共有 Databricks同士/異なるプラットフォームへの安全なデータ共有クリーンルームでの安全なコラボレーション

©2024 Databricks Inc. — All rights reserved ディザスターリカバリコストコントロールエンタープライズセキュリティ
100% サーバレスレイクハウス AI/BI ビジネスインテリジェンス Databricks SQL データウェアハウス Workﬂows/DLT 取り込み、ETL ストリーミング Mosaic AI 人工知能 Databricksデータインテリジェンスプラットフォーム

データインテリジェンスプラットフォームレイクハウスデータとガバナンスの統合 AI AI tuned to your business
AI あなたのビジネスにチューンされたAI

©2024 Databricks Inc. — All rights reserved AI/BI ダッシュボードデータを素早く可視化、洞察を即座に共有
AIアシスト日本語の指示でグラフを作成 SQLに不慣れでも利用できる自由度の高い分析 SQLでのデータセット定義や手動でのグラフ作成も勿論可能強固なインフラ SQLウェアハウスが実行基盤 Unity Catalogとの強固な統合日本語で指示すると可視化してくれる必要なデータも選択可定期実行も可能

©2024 Databricks Inc. — All rights reserved SQLいらずでデータアクセス：自然言語によるクエリ機能により、複雑な SQLの知
識がなくても質問を入力するだけでデータ分析が可能データに応じた答え：データと文脈の変化に応じて、 Genieが独自に学習して質問に回答しますコンテキスト認識機能を備え、ユーザーの過去の質問や分析履歴を理解して、より関連性の高い結果を提供 AI/BI Genie 自然言語でデータにアクセスできるAIエージェント

©2024 Databricks Inc. — All rights reserved AIエージェント作成： Databricksの機能やLLMと連携し、一般的なAIユースケース向けのドメイン固有
AIエージェントシステムを作成可能シンプルなローコード：ドメイン固有のAIエージェントシステムを簡単に構築・最適化できる環境を提供。技術的な実装の複雑さを軽減 AI Builder(ベータ) ローコードでAIエージェント構築！ Databricks上に構築：セキュリティやガバナンスからデータ取り込み、ベクトルデータベース、品質評価など Databricks データインテリジェンスプラットフォームとシームレスに連携

©2024 Databricks Inc. — All rights reserved このように AIを活用した機能がドンドンでているわけ
です

©2024 Databricks Inc. — All rights reserved Databricksを使って実現できること ▪ データの一元管理
▪ ワークフローを管理してETL処理〜AI/MLワークフローまでを綺麗に管理可能 ▪ データメッシュアーキテクチャ ▪ LLMを活用したマルチLLMエージェント作成

©2024 Databricks Inc. — All rights reserved 61 マニュアルユーザフィードバック
ハードウェア情報在庫情報天気情報サービス履歴変換ナレッジベクターDB ダッシュボード設備稼働在庫サービス履歴天気対話型UI sql queries 実現しようとしているシステムイメージ 1. 社内の様々なタイプのデータを集約 2. ナレッジが集まっているテキストデータとLLMを用いて社内ナレッジを対話型活用 3. 様々なデータを集約してダッシュボードを構成 4. ユーザは同一UIから情報にアクセスし、対話側でアクションを判断 LLM

©2024 Databricks Inc. — All rights reserved 62 マニュアル設備稼働
在庫天気変換ナレッジベクターDB ダッシュボード設備稼働在庫サービス履歴天気対話型UI sql queries Databricksができること 1. 社内の様々なタイプのデータを集約 2. ナレッジが集まっているテキストデータとLLMを用いて社内ナレッジを対話型活用 3. 様々なデータを集約してダッシュボードを構成 4. ユーザは同一UIから情報にアクセスし、対話側でアクションを判断 LLM 構造化データ非構造化データストリーミングデータ外部データ生成AI データ加工ダッシュボードユーザアプリリアルタイム処理データカタログ、データガバナンスデ Iタ統合 DWH

©2024 Databricks Inc. — All rights reserved SCM G Data
Data Product DWH Insight Apps 製造 G Data Data Product DWH Insight Apps データとAIのセキュリティとガバナンスデータ AIハブ G Data Apps Apps Apps Data ML LLM Data Product データ連携・加工・名寄せ・品質管理・MLモデル Corporate G Data Data Product DWH Insight Apps グループ会社 G Data Data Product DWH Insight Apps 開発 G Data Data Product DWH Insight Apps 事業部 G Data Data Product DWH Insight Apps 外部業者など G Data Data Product DWH Insight Apps APP：業界アドバイザリー海外ドメイン G Data Data Product DWH Insight Apps 海外データ AIハブマーケットプレイス G LLM Bot デルタシェアリング複数ワークスペースにおけるデータAI ガバナンス例データメッシュアーキテクチャ 63 Marketing G Data Data Product DWH Insight Apps デルタシェアリング

©2024 Databricks Inc. — All rights reserved SCM G Data
Data Product DWH Insight Apps 製造 G Data Data Product DWH Insight Apps データとAIのセキュリティとガバナンスデータ AIハブ G Data Apps Apps Apps Data ML LLM Data Product データ連携・加工・名寄せ・品質管理・MLモデル Corporate G Data Data Product DWH Insight Apps グループ会社 G Data Data Product DWH Insight Apps 開発 G Data Data Product DWH Insight Apps 事業部 G Data Data Product DWH Insight Apps 外部業者など G Data Data Product DWH Insight Apps APP：業界アドバイザリー海外ドメイン G Data Data Product DWH Insight Apps 海外データ AIハブマーケットプレイス G LLM Bot デルタシェアリング複数ワークスペースにおけるデータAI ガバナンス例データメッシュアーキテクチャ 64 Marketing G Data Data Product DWH Insight Apps デルタシェアリング Delta Sharing でDatabricks 間のデータ共有！ LLM Botでデータ取得マーケットプレイスでデータ共有この辺は1つの Databricks内でデータ分割

©2024 Databricks Inc. — All rights reserved LLMエージェント作成開発プロセスを回す部品が揃っている！ 65
データ準備エージェント構築エージェントデプロイエージェント評価エージェントサービング LLM ジャッジピア・ラベリングトレース MLOps / LLMOps ML 特徴量ベクトルインデックスリネージデータ取り込み GenAI モデル Classical ML モデル関数 & ツール Credentials AI guardrails エージェント管理 AI ガードレール利用状況の追跡 Credentials レート・リミット

©2024 Databricks Inc. — All rights reserved LLMエージェント作成開発プロセスを回す部品が揃っている！ 66
データ準備エージェント構築エージェントデプロイエージェント評価エージェントサービング LLM ジャッジピア・ラベリングトレース MLOps / LLMOps ML 特徴量ベクトルインデックスリネージデータ取り込み GenAI モデル Classical ML モデル関数 & ツール Credentials AI guardrails エージェント管理 AI ガードレール利用状況の追跡 Credentials レート・リミット Apache Spark Unity Catalog mlﬂow AI Gateway AI Builder AI Agent Framework Workﬂow model serving Foundation model

TROCCO® Destination データ取り込みからリバースETL まで！！！様々なデータコネクタでデータを取り込める！

TROCCO® Destination データ取り込みからリバースETL まで！！！様々なデータコネクタでデータを取り込める！他のサービスにデータを出力したり、DBにリバース ETLしたり！

©2024 Databricks Inc. — All rights reserved TROCCOさんとの連携でデータ活用を加速 • 海外サービスだけでなく
国内のSaaS、Ad等にも対応 • ETL / Reverse ETLにも対応 • GUIベースで直感的に操作可能 • マネージドデータ転送にも対応 • データ取り込みだけではなく Workﬂow、 dbt連携、リネージ機能も搭載連携のポイント種類が豊富！！！

Databricksで完全履修！オールインワンレイクハウスは実在した！

Databricksで完全履修！オールインワンレイクハウスは実在した！

More Decks by Akihiro Kuwano

Other Decks in Technology

Featured

Transcript