Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ基盤からデータベースまで?広がるユースケースのDatabricksについて教えるよ!
Search
Akihiro Kuwano
July 10, 2025
Technology
3
220
データ基盤からデータベースまで?広がるユースケースのDatabricksについて教えるよ!
DB Tech Showcase でやりましたLTです!
Akihiro Kuwano
July 10, 2025
Tweet
Share
More Decks by Akihiro Kuwano
See All by Akihiro Kuwano
Databricksで完全履修!オールインワンレイクハウスは実在した!
akuwano
0
240
レイクハウスとはなんだったのか?
akuwano
18
3.2k
Delta Commit…の最近...
akuwano
2
270
貴方のツールボックスにねじこみたい!ドキュメントデータベースのススメ
akuwano
3
870
これから始めるNoSQL!AWSのNoSQLサービスを紹介します!
akuwano
1
410
Purpose-Build Database Advanced Design Pattern
akuwano
0
310
今日はMongoDBの話はしない
akuwano
0
1.9k
銀河レベルのLT(とは)
akuwano
0
6.1k
AWSのログ管理ベストプラクティス
akuwano
16
81k
Other Decks in Technology
See All in Technology
Language Update: Java
skrb
2
290
サラリーマンの小遣いで作るtoCサービス - Cloudflare Workersでスケールする開発戦略
shinaps
2
410
AI開発ツールCreateがAnythingになったよ
tendasato
0
120
生成AIでセキュリティ運用を効率化する話
sakaitakeshi
0
550
DevIO2025_継続的なサービス開発のための技術的意思決定のポイント / how-to-tech-decision-makaing-devio2025
nologyance
1
370
Skrub: machine-learning with dataframes
gaelvaroquaux
0
120
フルカイテン株式会社 エンジニア向け採用資料
fullkaiten
0
8.7k
Generative AI Japan 第一回生成AI実践研究会「AI駆動開発の現在地──ブレイクスルーの鍵を握るのはデータ領域」
shisyu_gaku
0
140
AIのグローバルトレンド2025 #scrummikawa / global ai trend
kyonmm
PRO
1
270
テストを軸にした生き残り術
kworkdev
PRO
0
190
大「個人開発サービス」時代に僕たちはどう生きるか
sotarok
20
9.8k
AWSで推進するデータマネジメント
kawanago
1
1.3k
Featured
See All Featured
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.5k
What's in a price? How to price your products and services
michaelherold
246
12k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
580
YesSQL, Process and Tooling at Scale
rocio
173
14k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.7k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.6k
Code Reviewing Like a Champion
maltzj
525
40k
A designer walks into a library…
pauljervisheath
207
24k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3k
Bash Introduction
62gerente
615
210k
Fireside Chat
paigeccino
39
3.6k
Transcript
©2024 Databricks Inc. — All rights reserved データ基盤からデータベースま で? 広がるユースケースの
Databricksについて教えるよ! Akihiro Kuwano
©2024 Databricks Inc. — All rights reserved プロダクト セーフ ハーバー
ステートメント この情報は、データブリックスの一般的な製品の方向性を概説するために提供 されるものであり、情報提供のみを目的 としています。データブリックスのサー ビスを購入するお客様は、現在利用可能なサービス、特徴、機能のみに依拠し て購入を決定してください。将来見通しに関する記述に記載されている未発表 の機能または特徴は、データブリックスの裁量で変更される可能性があり、計画 通りまたは全く提供されない可能性があります。
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksってデータベースもやってるの?
▪ そもそもDatabricksって、、、何じゃい! ▪ DatabricksがなんでDB Tech Showcaseにいるんじゃい! ▪ Lakebaseじゃい!!! ▪ データ基盤がデータベースをなんでやるんでしょうか?(震え声) ▪ 最後に
©2024 Databricks Inc. — All rights reserved スピーカー Akihiro Kuwano
/ 桑野 章弘 経歴 ▪ 道玄坂の緑の会社B2C企業でのインフラエンジニアとしてのキャリア や、目黒のオレンジの会社パブリッククラウドベンダーでソリューション アーキテクトとしてキャリアを重ね、現在は京橋のブロックの会社 でソ リューションアーキテクトをしています! ▪ B2C企業担当のソリューションアーキテクトとして様々な案件において技術 支援を実施しております! Databricks Japan 株式会社 Solutions Architect
©2024 Databricks Inc. — All rights reserved そもそもDatabricksっ て、、、何じゃい!
©2024 Databricks Inc. — All rights reserved Databricks…
©2024 Databricks Inc. — All rights reserved 知ってます?
©2024 Databricks Inc. — All rights reserved 知ってるひと!
©2024 Databricks Inc. — All rights reserved Creator of: 9
12,000+ 顧客数 $3B+ (約4,500億円) 年間売上 $62B+ (約9.5兆円) 推定企業価値 レイクハウス の発明者で、 生成AI のパイオニア Gartner が認知するデータ +AIのダブルリーダー データベース管理システム データサイエンスと機械学習プラットフォーム 2013年設立 (日本法人は 2019年) データ & AIカンパニー LEADER 2023 Cloud Database Management Systems LEADER 2024 Data Science & Machine Learning
第三者機関から、データ+ AI領域のリーダーとして評価 Gartner Cloud Database Management Systems Data Science and
Machine Learning Platform FORRESTER Data Lakehouse AI Foundation Models For Languages
©2024 Databricks Inc. — All rights reserved まじめか?
©2024 Databricks Inc. — All rights reserved Databricksです! ▪ Databricksはデータ分析からAI/MLまで一気通
貫にやれるやつ(データ分析基盤/AIML基盤)! ▪ レイクハウスアーキテクチャを作ったのは Databricksが最初だ!(そもそも論文作ったのが 創業者) ▪ 最近もりあがってるよね!(同意を求める目
©2024 Databricks Inc. — All rights reserved データウェアハウスとか使ってますか? ETL 構造化
データ BI/User DWH
©2024 Databricks Inc. — All rights reserved データウェアハウスとか使ってますか? ETL 構造化
データ BI/User DWH ストレージ、コンピュー ト多い方でスケール する必要がある ストレージ高 い? コスト 最適化の 難しさ 非構造化データ 扱いづらい ETL処理を基本 とする
©2024 Databricks Inc. — All rights reserved データウェアハウスとか使ってますか? ETL 構造化
データ BI/User DWH ストレージ、コンピュー ト多い方でスケール する必要がある ストレージ高 い? コスト 最適化の 難しさ 非構造化データ 扱いづらい ETL処理を基本 とする 大変な事もある
©2024 Databricks Inc. — All rights reserved じゃあデータレイクだ!!! Machine Learning
データレイク (S3、ADLS、GCS) 構造化 データ ETL DWH BI/User Data Science
©2024 Databricks Inc. — All rights reserved じゃあデータレイクだ!!! Machine Learning
データレイク (S3、ADLS、GCS) 構造化 データ ETL DWH BI/User Data Science データの管理に 課題 メタデータ管理やバージョ ン管理は限定的 速度面の課題 DWHとDL間の データ一貫性 & データの鮮度 & データのサイロ化
©2024 Databricks Inc. — All rights reserved じゃあデータレイクだ!!! Machine Learning
データレイク (S3、ADLS、GCS) 構造化 データ ETL DWH BI/User Data Science データの管理に 課題 メタデータ管理やバージョ ン管理は限定的 速度面の課題 DWHとDL間の データ一貫性 & データの鮮度 & データのサイロ化 大変な事もある んだって
©2024 Databricks Inc. — All rights reserved よし、じゃあアレだな
©2024 Databricks Inc. — All rights reserved レイクハウスとは? レイクハウスが実現すること ▪
データの一元管理 ▪ コストパフォーマンス最適化 ▪ BI〜AIまで高度な分析/機械学習のサポート ▪ データガバナンスの強化 ▪ スケーラビリティ ▪ 柔軟性
©2024 Databricks Inc. — All rights reserved レイクハウスへ Machine Learning
データレイク (S3、ADLS、GCS) 構造化 データ ETL DWH BI/User Data Science Machine Learning データレイク (S3、ADLS、GCS) 構造化 データ BI/User Data Science メタデータ & ガバナンスレイヤ コンピュートレイヤ ETL
©2024 Databricks Inc. — All rights reserved データレイク (S3、ADLS、GCS) メタデータ
& ガバナンスレイヤ コンピュートレイヤ Machine Learning BI/User Data Science すべてのデータ をデータレイクへ と保存 サイロの排 除 構造化、非構造 化ファイルの同 一I/Fでの扱い クラウドスト レージの有 効活用 コンピュートとスト レージの 分離 安価なクラウドス トレージの 活用 BI〜AIまで 必要な処理を 実行可能 統一された データ ガバナンス 必要な処理分 スケール可能 必要な処理分 スケール可能 パフォーマン スの最適化 ETL
©2024 Databricks Inc. — All rights reserved Delta Lake/Icebergでク ラウドストレージを活用し
つつハイパフォーマンス、 低コストを実現
©2024 Databricks Inc. — All rights reserved これまでのデータ基盤アーキテクチャ (複雑なパイプライン・分断されたアーキテクチャ・困難な管理・高コスト )
CDP/CRM 組織間・社外連携 (データ提供・連携 ) データ提供 組織内・意思決定 データソース データ同期・収集 加工 機能 活用先 技術スタッフ (データ検索) 競争的活動 モバイルアプリケーション POSデータ IoTデータ ビデオ & 画像 Eコマース メッセー ジキュー BI・可視化 サプライヤーへの データ提供 店舗運営・スタッフ モバイルアプリ 事業運営 マーケティング施策 新しく発生する ユースケース 社内システム データサービス RDBMS 社内システム リアルタイムデータ 新しく発生するデータタイプ ・・・ ・・・ 蓄積 データ 転送 データレイク 外部DB連携 ETLツール オーケストレーショ ンツール ETLツール 通知 起動 取込み 取込み 抽出データ保存 ETLツール データレイク データウェアハウス データ マート マスタ データ 非構造化データ基盤 構造化データ基盤 リアルタイムデータ基盤 リアルタイムDB データシェア データ APIサービス オーケストレーショ ンツール AI/ML 基盤 モデル学習 モデル管理 モデルサービング 特徴量抽出 通知・アラート ダッシュボード カタログ機能 DWHのみ その他・全ての種類の ビジネスデータ
©2024 Databricks Inc. — All rights reserved Databricks on AWSのレイクハウス構成
(あらゆるデータ・スピード・量・ユースケースに即時対応可能なレイクハウス構成 ) データ 転送 フィルタ、前処理、 スキーマ処理 [ウェアハウス ] Silver 生データ [レイク ] Bronze ビジネスレベル サマリデータ [マート ] Gold データカタログ (Unity Catalog) Model Serving データ APIサービス (Databricks SQL) データシェア (Delta Share) AI/機械学習 分散高速コンピュート データソース データ同期・収集 蓄積・加工 活用 活用先 競争的活動 モバイルアプリケーション POSデータ IoTデータ ビデオ & 画像 Eコマース メッセー ジキュー RDBMS 社内システム その他・全ての種類の ビジネスデータ リアルタイムデータ データレイク 新しく発生するデータタイプ ・・・ アラート通知 外部DB連携 オーケストレーション Workflow / Delta Live Table AutoML ダッシュボード CDP/CRM 組織間・社外連携 (データ提供・連携 ) データ提供 組織内・意思決定 技術スタッフ (データ検索) BI・可視化 サプライヤーへの データ提供 店舗運営・スタッフ モバイルアプリ 事業運営 マーケティング施策 新しく発生する ユースケース 社内システム データサービス ・・・ チャット (Genie)
©2024 Databricks Inc. — All rights reserved めでたし、めでたし
©2024 Databricks Inc. — All rights reserved 〜Fin〜
©2024 Databricks Inc. — All rights reserved ちゃうねん!
©2024 Databricks Inc. — All rights reserved Databricksがなんで DB Tech
Showcase にいるんじゃい!
©2024 Databricks Inc. — All rights reserved よ、、、呼ばれたから、、、
©2024 Databricks Inc. — All rights reserved そうだよね、ちがうね
©2024 Databricks Inc. — All rights reserved Lakebase!!!
Lakebase ANNOUNCING The transactional database designed for the AI era
©2024 Databricks Inc. — All rights reserved Lakebase Databricksに完全統合された、Managed Postgres
Database Postgres 基盤 コンピュートと ストレージの分 離 AI時代を拓く 開発者体験 レイクハウスとの統合 & エンタープライズ対応 Announcing Lakebase Public Preview | Databricks Blog What Is a Lakebase? | Databricks Blog
©2024 Databricks Inc. — All rights reserved Lakebase - 特徴
Databricksに完全統合された、Managed Postgres Database Postgres基盤 ▪ オープンソース のPostgres上に構築 ▪ 10ms未満のレイテンシーと、毎秒10,000以 上のクエリを捌くコンカレンシー ▪ 広範なツール、ライブラリ、 拡張機能のエコシステムを活用可能 + 参考:Postgres compatibility | Databricks Documentation
©2024 Databricks Inc. — All rights reserved Storage Lakebase -
特徴 Databricksに完全統合された、Managed Postgres Database コンピュートとストレージの分離 ▪ 最下層:データレイク に物理データを 保持 ▪ 中間層:ストレージの高速なキャッシュ として 動作 ▪ 最上層:一時的なPostgresインスタンス が 稼働 Object Storage Pageserver Safekeeper Compute Postgres Postgres 参考:Neon architecture - Neon Docs
©2024 Databricks Inc. — All rights reserved Lakebase - 特徴
Databricksに完全統合された、Managed Postgres Database AI時代を拓く開発者体験 ▪ サーバーレス:AIエージェントの起動に合 わせて迅速に起動 ・利用がない 場合はゼロにスケール ▪ 従量課金制:使用した分だけ 支払う ▪ 即時ブランチ作成:本番DBを瞬時に 複製・テストに使用可能 main e2e test 参考:Branching - Neon Docs
©2024 Databricks Inc. — All rights reserved Lakebase - 特徴
Databricksに完全統合された、Managed Postgres Database レイクハウスとの統合 & エンタープライズ対応 ▪ レイクハウスのDelta Tableと 数クリックで同期可能 ▪ インフラストラクチャ / データベースのエン タープライズ要件 対応 ※コンピュートのハードニング、暗号化、ネットワークセキュリ ティ、高可用性、DR、スナップショット、etc
©2024 Databricks Inc. — All rights reserved データ基盤屋さんがデー タベースをなんでやるんで しょうか?(震え声)
©2024 Databricks Inc. — All rights reserved RDSやりたいの?
©2024 Databricks Inc. — All rights reserved No!
©2024 Databricks Inc. — All rights reserved 非推奨ユースケース Lakebaseで推奨していないユースケース ▪
大規模なOLTPの移行 ▪ (レイクハウスが関与しない)一般的なシステム 開発 要するに一般的なRDBMSとしての利用は推奨して いない
©2024 Databricks Inc. — All rights reserved 推奨ユースケース Lakebaseで推奨しているユースケース ▪
AI Agentのメモリストアなど ▪ 特徴量ストア ▪ アプリケーションの状態管理 ▪ AIを活用した顧客体験最適化とオペレーション の効率化 Lakebaseは基本的には、AI/MLワークロードや、一 時的なデータストアとしてのRDBMSとして使うことを 推奨している
©2024 Databricks Inc. — All rights reserved インテリジェント・アプリケーションは、トランザク ション、OLTPデータベースが必要! Eコマース
• パーソナライズされたレコメンデーション • 顧客セグメンテーション ヘルスケア • 臨床ワークフローの推奨 • 臨床試験データの管理 ファイナンス • 自動市場取引 • 銀行/証券会社のクロスセル /アップセル 小売 • チャットボットによるショッピング体験 • リアルタイムオファー
©2024 Databricks Inc. — All rights reserved 最後に
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何?
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何? ー オールインワンデータプラットフォーム
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何? ー オールインワンデータプラットフォーム
▪ レイクハウスって何?
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何? ー オールインワンデータプラットフォーム
▪ レイクハウスって何? ー Open Table Formatとクラウドストレージを活用し たデータアーキテクチャ
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何? ー オールインワンデータプラットフォーム
▪ レイクハウスって何? ー Open Table Formatとクラウドストレージを活用し たデータアーキテクチャ ▪ Lakebaseって何?
©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksって何? ー オールインワンデータプラットフォーム
▪ レイクハウスって何? ー Open Table Formatとクラウドストレージを活用し たデータアーキテクチャ ▪ Lakebaseって何? ー AI/MLワークロードに特化したDatabricksのRDBMS サービス
©2024 Databricks Inc. — All rights reserved です!
©2024 Databricks Inc. — All rights reserved 今後ともヨロシク・・・
©2024 Databricks Inc. — All rights reserved 〜こんどこそ Fin〜