Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DatabricksにOLTPデータベース『Lakebase』がやってきた!
Search
Takeru Ino
July 09, 2025
Technology
0
110
DatabricksにOLTPデータベース『Lakebase』がやってきた!
Cross Data Platforms Meetup #1.5 登壇資料
Takeru Ino
July 09, 2025
Tweet
Share
Other Decks in Technology
See All in Technology
LLM時代の検索
shibuiwilliam
2
170
FOSS4G 2025 KANSAI QGISで点群データをいろいろしてみた
kou_kita
0
400
fukabori.fm 出張版: 売上高617億円と高稼働率を陰で支えた社内ツール開発のあれこれ話 / 20250704 Yoshimasa Iwase & Tomoo Morikawa
shift_evolve
PRO
2
7.8k
OSSのSNSツール「Misskey」をさわってみよう(右下ワイプで私のOSCの20年を振り返ります) / 20250705-osc2025-do
akkiesoft
0
170
ゼロからはじめる採用広報
yutadayo
3
950
怖くない!はじめてのClaude Code
shinya337
0
400
Geminiとv0による高速プロトタイピング
shinya337
1
270
What’s new in Android development tools
yanzm
0
320
CDKTFについてざっくり理解する!!~CloudFormationからCDKTFへ変換するツールも作ってみた~
masakiokuda
1
150
KubeCon + CloudNativeCon Japan 2025 Recap by CA
ponkio_o
PRO
0
300
いつの間にか入れ替わってる!?新しいAWS Security Hubとは?
cmusudakeisuke
0
130
United Airlines Customer Service– Call 1-833-341-3142 Now!
airhelp
0
170
Featured
See All Featured
Code Review Best Practice
trishagee
69
18k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Build The Right Thing And Hit Your Dates
maggiecrowley
36
2.8k
How to train your dragon (web standard)
notwaldorf
95
6.1k
Being A Developer After 40
akosma
90
590k
The Cult of Friendly URLs
andyhume
79
6.5k
Documentation Writing (for coders)
carmenintech
72
4.9k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.5k
Code Reviewing Like a Champion
maltzj
524
40k
The Language of Interfaces
destraynor
158
25k
Into the Great Unknown - MozCon
thekraken
40
1.9k
Transcript
© 2025 NTT DATA Japan Corporation © 2025 NTT DATA
Japan Corporation DatabricksにOLTPデータベース 『Lakebase』がやってきた! Cross Data Platforms Meetup #1.5 2025年7月9日 株式会社NTTデータ 井能 猛
© 2025 NTT DATA Japan Corporation Data+AI Summitで『Lakebase』発表 & Public
Preview開始 https://www.databricks.com/blog/what-is-a-lakebase
© 2025 NTT DATA Japan Corporation Databricksに登場した、Postgresをベースに、サーバレスに最適化されたOLTP(トランザクショナル)データベース。 What is Lakebase?
フルマネージドな Postgresデータベース 10ms未満のレイテンシ、10ks以上のQPS 拡張、ツールなどのエコシステムも利用可能 コンピュート・ストレージが 分離されたアーキテクチャ オートスケール(≧0)による性能拡張性や セカンダリノードによる可用性の担保 現代のAI開発に 最適化された開発体験 ブランチやPoint-in-timeリカバリなど NeonをベースとしたDevExの提供 Lakehouse(OLAP)との統合
© 2025 NTT DATA Japan Corporation サーバーレスなPostgresデータベースサービスを提供しており、2025年3月にDatabricksによる買収を発表。 LakebaseはNeonのテクノロジーをベースに構築されている。 What is
Neon? https://neon.com/docs/introduction/architecture-overview
© 2025 NTT DATA Japan Corporation コンピュートとストレージに分離されており、個別にスケール可能であるため性能拡張やコスト最適化が可能。 ストレージはデータレイクをベースにしており、キャッシュやバッファとして機能する中間層が存在する。 Lakebaseのアーキテクチャ compute
storage Pageserver (参照リクエスト処理、参照キャッシュ) Safekeeper (データレイク更新完了までの書き込みバッファ) Object Storage (データレイク) https://youtu.be/ul8cRLIP_Vk?t=2494 中間層
© 2025 NTT DATA Japan Corporation Neonがベースとなっており、ユーザーが認識できる範囲ではアーキテクチャに違いはない。 参考:Neonのアーキテクチャとの比較 https://neon.com/docs/introduction/architecture-overview Lakebase
© 2025 NTT DATA Japan Corporation インスタンスサイズ、point-in-timeリカバリ用のデータ保持期間、セカンダリノードの有無などを指定して作成。 親インスタンスやデータ断面を指定したコピーオンライトのクローン作成も可能。 Lakebaseのインスタンス作成 クローンするデータの断面の指定
クローンするデータベースの指定 クローンの有無 Read onlyのセカンダリ作成有無 フェイルオーバーの有効/無効 インスタンスサイズ データ保持期間(リカバリ可能期間)
© 2025 NTT DATA Japan Corporation DatabricksのSQL Editorからクエリを実行することも、 psqlで任意のクライアントから接続することも可能。 Lakebaseへのクエリ実行
© 2025 NTT DATA Japan Corporation Unity Catalog上のDeltaテーブルをLakebaseに同期(ETL)することも、 逆に、LakebaseのテーブルをUnity Catalogに登録する(Federation)することも可能。
Unity Catalogとの同期・連携 Unity Catalog to Lakebase Enabled Lakebase to Unity Catalog Enabled ETL with DLT Federation
© 2025 NTT DATA Japan Corporation Unity CatalogのDeltaテーブルの詳細画面から数クリックで同期テーブルを作成可能。 裏でDelta Live
TableのETLパイプラインが自動作成される。同期頻度はパイプラインの実行頻度で調整。 参考:Unity Catalog上のテーブルをLakebaseに同期
© 2025 NTT DATA Japan Corporation Lakebaseのデータベースインスタンスの詳細画面からUnity Catalogへの登録が可能。 仮想化による登録となるため、参照にはLakebaseのインスタンスとCluster/SQLウェアハウスの起動が必須。 参考:LakebaseのテーブルをUnity
Catalogに登録
© 2025 NTT DATA Japan Corporation データベースの利用に際するストレージ・コンピュートの従量課金および、 データの同期・仮想化に際するコンピュートの従量課金が発生する。 Lakebaseの課金体系 ストレージ
コンピュート コンピュート データベース利用に際する従量課金 データ同期に際する従量課金
© 2025 NTT DATA Japan Corporation 今後緩和される可能性はあるものの、論理サイズ上限が2TBなどの制約がある。 現時点ではOLTPデータベースの完全な置き換えを目的としたものではなく、限定した用途での利用が想定される。 制約事項 •
ワークスペースでは、最大 10 個のインスタンスを使用できます。 • 各インスタンスは、最大 1000 の並列接続をサポートします。 • インスタンス内のすべてのデータベースの論理サイズ制限は 2 TB です。 • データベース インスタンスのスコープは 1 つのワークスペースです。 ユーザーは、同じメタストアにアタッチされている他のワークスペースから必要な Unity Catalog アクセス許可を持っている場合、カタログ エクスプローラーでこれらのテーブルを表示できますが、 テーブルの内容にはアクセスできません。 https://docs.databricks.com/aws/en/oltp/instance
© 2025 NTT DATA Japan Corporation 用途はアプリケーション、AIエージェント、オンライン推論などが中心。 従来のLakehouse(OLAP)では難しかった、トランザクション処理やレイテンシが求められる処理が使いどころ。 Lakebaseの使いどころ for
AIエージェント Agent • エージェントのメモリーとして利用 • Vector Indexとして利用 for オンライン推論 ML Model • オンライン特徴量ストアとして利用 for アプリケーション Apps • アプリの状態保持のために利用 • トランザクション処理に利用 従来はAuroraなどのOLTPを別途立てる必要があったユースケースもDatabricksで完結可能に!
© 2025 NTT DATA Japan Corporation 参考:HPの冒頭にも「for data apps and
AI agents」と記載あり https://www.databricks.com/product/lakebase
© 2025 NTT DATA Japan Corporation まとめ:『いまできること』と、『もう少しでできること』 https://youtu.be/3Bmnku-x0Yo?si=VFaRLXytc9R-y3Np ◼ 完全マネージドのPostgres
◼ Lakehouseとの統合 ✓ 自動で作成されるETLパイプライン ✓ 自動で作成される仮想化設定 ✓ 一貫したアクセス制御 ◼ マルチクラウド対応 ◼ 高可用性の維持 ◼ Point-in-timeリカバリ ◼ インスタンスの即時起動 ➢ 現在は所要時間3-5分程度 ◼ オートスケーリング ➢ 現在はインスタンス数は固定 ◼ 完全なブランチング機能 ➢ 現在もデータ断面を指定したクローンは可能 ◼ より高速なLakehouseとの同期 ◼ Neonと同等のDevEx提供 いまできること もう少しでできること
© 2025 NTT DATA Japan Corporation ご清聴ありがとうございました!Zennの記事も是非御覧ください! https://zenn.dev/nttdata_tech/articles/04789d6c573830
None