Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ基盤からデータベースまで?広がるユースケースのDatabricksについて教えるよ!
Search
Akihiro Kuwano
July 10, 2025
Technology
3
120
データ基盤からデータベースまで?広がるユースケースのDatabricksについて教えるよ!
DB Tech Showcase でやりましたLTです!
Akihiro Kuwano
July 10, 2025
Tweet
Share
More Decks by Akihiro Kuwano
See All by Akihiro Kuwano
Databricksで完全履修!オールインワンレイクハウスは実在した!
akuwano
0
210
レイクハウスとはなんだったのか?
akuwano
18
3k
Delta Commit…の最近...
akuwano
2
250
貴方のツールボックスにねじこみたい!ドキュメントデータベースのススメ
akuwano
3
850
これから始めるNoSQL!AWSのNoSQLサービスを紹介します!
akuwano
1
400
Purpose-Build Database Advanced Design Pattern
akuwano
0
300
今日はMongoDBの話はしない
akuwano
0
1.9k
銀河レベルのLT(とは)
akuwano
0
6.1k
AWSのログ管理ベストプラクティス
akuwano
16
81k
Other Decks in Technology
See All in Technology
Lazy application authentication with Tailscale
bluehatbrit
0
220
DatabricksにOLTPデータベース『Lakebase』がやってきた!
inoutk
0
120
いつの間にか入れ替わってる!?新しいAWS Security Hubとは?
cmusudakeisuke
0
130
対話型音声AIアプリケーションの信頼性向上の取り組み
ivry_presentationmaterials
1
170
LLM時代の検索
shibuiwilliam
2
300
ネットワーク保護はどう変わるのか?re:Inforce 2025最新アップデート解説
tokushun
0
210
SRE不在の開発チームが障害対応と 向き合った100日間 / 100 days dealing with issues without SREs
shin1988
0
150
オーティファイ会社紹介資料 / Autify Company Deck
autifyhq
10
130k
B2C&B2B&社内向けサービスを抱える開発組織におけるサービス価値を最大化するイニシアチブ管理
belongadmin
2
7.2k
CRE Camp #1 エンジニアリングを民主化するCREチームでありたい話
mntsq
1
130
United™️ Airlines®️ Customer®️ USA Contact Numbers: Complete 2025 Support Guide
flyunitedguide
0
140
成長し続けるアプリのためのテストと設計の関係、そして意思決定の記録。
sansantech
PRO
0
120
Featured
See All Featured
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
Unsuck your backbone
ammeep
671
58k
Into the Great Unknown - MozCon
thekraken
40
1.9k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.4k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
How GitHub (no longer) Works
holman
314
140k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Become a Pro
speakerdeck
PRO
29
5.4k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Speed Design
sergeychernyshev
32
1k
Transcript
©2024 Databricks Inc. — All rights reserved データ基盤からデータベースま で? 広がるユースケースの
Databricksについて教えるよ! Akihiro Kuwano
©2024 Databricks Inc. — All rights reserved プロダクト セーフ ハーバー
ステートメント この情報は、データブリックスの一般的な製品の方向性を概説するために提供 されるものであり、情報提供のみを目的 としています。データブリックスのサー ビスを購入するお客様は、現在利用可能なサービス、特徴、機能のみに依拠し て購入を決定してください。将来見通しに関する記述に記載されている未発表 の機能または特徴は、データブリックスの裁量で変更される可能性があり、計画 通りまたは全く提供されない可能性があります。
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksってデータベースもやってるの?
▪ そもそもDatabricksって、、、何じゃい! ▪ DatabricksがなんでDB Tech Showcaseにいるんじゃい! ▪ Lakebaseじゃい!!! ▪ データ基盤がデータベースをなんでやるんでしょうか?(震え声) ▪ 最後に
©2024 Databricks Inc. — All rights reserved スピーカー Akihiro Kuwano
/ 桑野 章弘 経歴 ▪ 道玄坂の緑の会社B2C企業でのインフラエンジニアとしてのキャリア や、目黒のオレンジの会社パブリッククラウドベンダーでソリューション アーキテクトとしてキャリアを重ね、現在は京橋のブロックの会社 でソ リューションアーキテクトをしています! ▪ B2C企業担当のソリューションアーキテクトとして様々な案件において技術 支援を実施しております! Databricks Japan 株式会社 Solutions Architect
©2024 Databricks Inc. — All rights reserved そもそもDatabricksっ て、、、何じゃい!
©2024 Databricks Inc. — All rights reserved Databricks…
©2024 Databricks Inc. — All rights reserved 知ってます?
©2024 Databricks Inc. — All rights reserved 知ってるひと!
©2024 Databricks Inc. — All rights reserved Creator of: 9
12,000+ 顧客数 $3B+ (約4,500億円) 年間売上 $62B+ (約9.5兆円) 推定企業価値 レイクハウス の発明者で、 生成AI のパイオニア Gartner が認知するデータ +AIのダブルリーダー データベース管理システム データサイエンスと機械学習プラットフォーム 2013年設立 (日本法人は 2019年) データ & AIカンパニー LEADER 2023 Cloud Database Management Systems LEADER 2024 Data Science & Machine Learning
第三者機関から、データ+ AI領域のリーダーとして評価 Gartner Cloud Database Management Systems Data Science and
Machine Learning Platform FORRESTER Data Lakehouse AI Foundation Models For Languages
©2024 Databricks Inc. — All rights reserved まじめか?
©2024 Databricks Inc. — All rights reserved Databricksです! ▪ Databricksはデータ分析からAI/MLまで一気通
貫にやれるやつ(データ分析基盤/AIML基盤)! ▪ レイクハウスアーキテクチャを作ったのは Databricksが最初だ!(そもそも論文作ったのが 創業者) ▪ 最近もりあがってるよね!(同意を求める目
©2024 Databricks Inc. — All rights reserved データウェアハウスとか使ってますか? ETL 構造化
データ BI/User DWH
©2024 Databricks Inc. — All rights reserved データウェアハウスとか使ってますか? ETL 構造化
データ BI/User DWH ストレージ、コンピュー ト多い方でスケール する必要がある ストレージ高 い? コスト 最適化の 難しさ 非構造化データ 扱いづらい ETL処理を基本 とする
©2024 Databricks Inc. — All rights reserved データウェアハウスとか使ってますか? ETL 構造化
データ BI/User DWH ストレージ、コンピュー ト多い方でスケール する必要がある ストレージ高 い? コスト 最適化の 難しさ 非構造化データ 扱いづらい ETL処理を基本 とする 大変な事もある
©2024 Databricks Inc. — All rights reserved じゃあデータレイクだ!!! Machine Learning
データレイク (S3、ADLS、GCS) 構造化 データ ETL DWH BI/User Data Science
©2024 Databricks Inc. — All rights reserved じゃあデータレイクだ!!! Machine Learning
データレイク (S3、ADLS、GCS) 構造化 データ ETL DWH BI/User Data Science データの管理に 課題 メタデータ管理やバージョ ン管理は限定的 速度面の課題 DWHとDL間の データ一貫性 & データの鮮度 & データのサイロ化
©2024 Databricks Inc. — All rights reserved じゃあデータレイクだ!!! Machine Learning
データレイク (S3、ADLS、GCS) 構造化 データ ETL DWH BI/User Data Science データの管理に 課題 メタデータ管理やバージョ ン管理は限定的 速度面の課題 DWHとDL間の データ一貫性 & データの鮮度 & データのサイロ化 大変な事もある んだって
©2024 Databricks Inc. — All rights reserved よし、じゃあアレだな
©2024 Databricks Inc. — All rights reserved レイクハウスとは? レイクハウスが実現すること ▪
データの一元管理 ▪ コストパフォーマンス最適化 ▪ BI〜AIまで高度な分析/機械学習のサポート ▪ データガバナンスの強化 ▪ スケーラビリティ ▪ 柔軟性
©2024 Databricks Inc. — All rights reserved レイクハウスへ Machine Learning
データレイク (S3、ADLS、GCS) 構造化 データ ETL DWH BI/User Data Science Machine Learning データレイク (S3、ADLS、GCS) 構造化 データ BI/User Data Science メタデータ & ガバナンスレイヤ コンピュートレイヤ ETL
©2024 Databricks Inc. — All rights reserved データレイク (S3、ADLS、GCS) メタデータ
& ガバナンスレイヤ コンピュートレイヤ Machine Learning BI/User Data Science すべてのデータ をデータレイクへ と保存 サイロの排 除 構造化、非構造 化ファイルの同 一I/Fでの扱い クラウドスト レージの有 効活用 コンピュートとスト レージの 分離 安価なクラウドス トレージの 活用 BI〜AIまで 必要な処理を 実行可能 統一された データ ガバナンス 必要な処理分 スケール可能 必要な処理分 スケール可能 パフォーマン スの最適化 ETL
©2024 Databricks Inc. — All rights reserved Delta Lake/Icebergでク ラウドストレージを活用し
つつハイパフォーマンス、 低コストを実現
©2024 Databricks Inc. — All rights reserved これまでのデータ基盤アーキテクチャ (複雑なパイプライン・分断されたアーキテクチャ・困難な管理・高コスト )
CDP/CRM 組織間・社外連携 (データ提供・連携 ) データ提供 組織内・意思決定 データソース データ同期・収集 加工 機能 活用先 技術スタッフ (データ検索) 競争的活動 モバイルアプリケーション POSデータ IoTデータ ビデオ & 画像 Eコマース メッセー ジキュー BI・可視化 サプライヤーへの データ提供 店舗運営・スタッフ モバイルアプリ 事業運営 マーケティング施策 新しく発生する ユースケース 社内システム データサービス RDBMS 社内システム リアルタイムデータ 新しく発生するデータタイプ ・・・ ・・・ 蓄積 データ 転送 データレイク 外部DB連携 ETLツール オーケストレーショ ンツール ETLツール 通知 起動 取込み 取込み 抽出データ保存 ETLツール データレイク データウェアハウス データ マート マスタ データ 非構造化データ基盤 構造化データ基盤 リアルタイムデータ基盤 リアルタイムDB データシェア データ APIサービス オーケストレーショ ンツール AI/ML 基盤 モデル学習 モデル管理 モデルサービング 特徴量抽出 通知・アラート ダッシュボード カタログ機能 DWHのみ その他・全ての種類の ビジネスデータ
©2024 Databricks Inc. — All rights reserved Databricks on AWSのレイクハウス構成
(あらゆるデータ・スピード・量・ユースケースに即時対応可能なレイクハウス構成 ) データ 転送 フィルタ、前処理、 スキーマ処理 [ウェアハウス ] Silver 生データ [レイク ] Bronze ビジネスレベル サマリデータ [マート ] Gold データカタログ (Unity Catalog) Model Serving データ APIサービス (Databricks SQL) データシェア (Delta Share) AI/機械学習 分散高速コンピュート データソース データ同期・収集 蓄積・加工 活用 活用先 競争的活動 モバイルアプリケーション POSデータ IoTデータ ビデオ & 画像 Eコマース メッセー ジキュー RDBMS 社内システム その他・全ての種類の ビジネスデータ リアルタイムデータ データレイク 新しく発生するデータタイプ ・・・ アラート通知 外部DB連携 オーケストレーション Workflow / Delta Live Table AutoML ダッシュボード CDP/CRM 組織間・社外連携 (データ提供・連携 ) データ提供 組織内・意思決定 技術スタッフ (データ検索) BI・可視化 サプライヤーへの データ提供 店舗運営・スタッフ モバイルアプリ 事業運営 マーケティング施策 新しく発生する ユースケース 社内システム データサービス ・・・ チャット (Genie)
©2024 Databricks Inc. — All rights reserved めでたし、めでたし
©2024 Databricks Inc. — All rights reserved 〜Fin〜
©2024 Databricks Inc. — All rights reserved ちゃうねん!
©2024 Databricks Inc. — All rights reserved Databricksがなんで DB Tech
Showcase にいるんじゃい!
©2024 Databricks Inc. — All rights reserved よ、、、呼ばれたから、、、
©2024 Databricks Inc. — All rights reserved そうだよね、ちがうね
©2024 Databricks Inc. — All rights reserved Lakebase!!!
Lakebase ANNOUNCING The transactional database designed for the AI era
©2024 Databricks Inc. — All rights reserved Lakebase Databricksに完全統合された、Managed Postgres
Database Postgres 基盤 コンピュートと ストレージの分 離 AI時代を拓く 開発者体験 レイクハウスとの統合 & エンタープライズ対応 Announcing Lakebase Public Preview | Databricks Blog What Is a Lakebase? | Databricks Blog
©2024 Databricks Inc. — All rights reserved Lakebase - 特徴
Databricksに完全統合された、Managed Postgres Database Postgres基盤 ▪ オープンソース のPostgres上に構築 ▪ 10ms未満のレイテンシーと、毎秒10,000以 上のクエリを捌くコンカレンシー ▪ 広範なツール、ライブラリ、 拡張機能のエコシステムを活用可能 + 参考:Postgres compatibility | Databricks Documentation
©2024 Databricks Inc. — All rights reserved Storage Lakebase -
特徴 Databricksに完全統合された、Managed Postgres Database コンピュートとストレージの分離 ▪ 最下層:データレイク に物理データを 保持 ▪ 中間層:ストレージの高速なキャッシュ として 動作 ▪ 最上層:一時的なPostgresインスタンス が 稼働 Object Storage Pageserver Safekeeper Compute Postgres Postgres 参考:Neon architecture - Neon Docs
©2024 Databricks Inc. — All rights reserved Lakebase - 特徴
Databricksに完全統合された、Managed Postgres Database AI時代を拓く開発者体験 ▪ サーバーレス:AIエージェントの起動に合 わせて迅速に起動 ・利用がない 場合はゼロにスケール ▪ 従量課金制:使用した分だけ 支払う ▪ 即時ブランチ作成:本番DBを瞬時に 複製・テストに使用可能 main e2e test 参考:Branching - Neon Docs
©2024 Databricks Inc. — All rights reserved Lakebase - 特徴
Databricksに完全統合された、Managed Postgres Database レイクハウスとの統合 & エンタープライズ対応 ▪ レイクハウスのDelta Tableと 数クリックで同期可能 ▪ インフラストラクチャ / データベースのエン タープライズ要件 対応 ※コンピュートのハードニング、暗号化、ネットワークセキュリ ティ、高可用性、DR、スナップショット、etc
©2024 Databricks Inc. — All rights reserved データ基盤屋さんがデー タベースをなんでやるんで しょうか?(震え声)
©2024 Databricks Inc. — All rights reserved RDSやりたいの?
©2024 Databricks Inc. — All rights reserved No!
©2024 Databricks Inc. — All rights reserved 非推奨ユースケース Lakebaseで推奨していないユースケース ▪
大規模なOLTPの移行 ▪ (レイクハウスが関与しない)一般的なシステム 開発 要するに一般的なRDBMSとしての利用は推奨して いない
©2024 Databricks Inc. — All rights reserved 推奨ユースケース Lakebaseで推奨しているユースケース ▪
AI Agentのメモリストアなど ▪ 特徴量ストア ▪ アプリケーションの状態管理 ▪ AIを活用した顧客体験最適化とオペレーション の効率化 Lakebaseは基本的には、AI/MLワークロードや、一 時的なデータストアとしてのRDBMSとして使うことを 推奨している
©2024 Databricks Inc. — All rights reserved インテリジェント・アプリケーションは、トランザク ション、OLTPデータベースが必要! Eコマース
• パーソナライズされたレコメンデーション • 顧客セグメンテーション ヘルスケア • 臨床ワークフローの推奨 • 臨床試験データの管理 ファイナンス • 自動市場取引 • 銀行/証券会社のクロスセル /アップセル 小売 • チャットボットによるショッピング体験 • リアルタイムオファー
©2024 Databricks Inc. — All rights reserved 最後に
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何?
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何? ー オールインワンデータプラットフォーム
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何? ー オールインワンデータプラットフォーム
▪ レイクハウスって何?
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何? ー オールインワンデータプラットフォーム
▪ レイクハウスって何? ー Open Table Formatとクラウドストレージを活用し たデータアーキテクチャ
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何? ー オールインワンデータプラットフォーム
▪ レイクハウスって何? ー Open Table Formatとクラウドストレージを活用し たデータアーキテクチャ ▪ Lakebaseって何?
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何? ー オールインワンデータプラットフォーム
▪ レイクハウスって何? ー Open Table Formatとクラウドストレージを活用し たデータアーキテクチャ ▪ Lakebaseって何? ー AI/MLワークロードに特化したDatabricksのRDBMS サービス
©2024 Databricks Inc. — All rights reserved です!
©2024 Databricks Inc. — All rights reserved 今後ともヨロシク・・・
©2024 Databricks Inc. — All rights reserved 〜こんどこそ Fin〜