Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DatabricksにOLTPデータベース『Lakebase』がやってきた!
Search
Takeru Ino
July 09, 2025
Technology
0
230
DatabricksにOLTPデータベース『Lakebase』がやってきた!
Cross Data Platforms Meetup #1.5 登壇資料
Takeru Ino
July 09, 2025
Tweet
Share
More Decks by Takeru Ino
See All by Takeru Ino
DatabricksのOLTPデータベース『Lakebase』に詳しくなろう!
inoutk
0
210
Other Decks in Technology
See All in Technology
浸透しなさいRFC 5322&7208
hinono
0
120
モダンフロントエンド 開発研修
recruitengineers
PRO
4
1.1k
kintone開発チームの紹介
cybozuinsideout
PRO
0
73k
Goでマークダウンの独自記法を実装する
lag129
0
220
『FailNet~やらかし共有SNS~』エレベーターピッチ
yokomachi
1
110
イオン店舗一覧ページのパフォーマンスチューニング事例 / Performance tuning example for AEON store list page
aeonpeople
2
310
生成AI利用プログラミング:誰でもプログラムが書けると 世の中どうなる?/opencampus202508
okana2ki
0
190
見てわかるテスト駆動開発
recruitengineers
PRO
6
840
Claude Code x Androidアプリ 開発
kgmyshin
1
600
ソフトウェア エンジニアとしての 姿勢と心構え
recruitengineers
PRO
8
2.1k
会社にデータエンジニアがいることでできるようになること
10xinc
9
1.6k
RAID6 を楔形文字で組んで現代人を怖がらせましょう(実装編)
mimifuwa
1
320
Featured
See All Featured
Raft: Consensus for Rubyists
vanstee
140
7.1k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
Building Adaptive Systems
keathley
43
2.7k
Automating Front-end Workflow
addyosmani
1370
200k
Testing 201, or: Great Expectations
jmmastey
45
7.6k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
The World Runs on Bad Software
bkeepers
PRO
70
11k
Rails Girls Zürich Keynote
gr2m
95
14k
Statistics for Hackers
jakevdp
799
220k
Six Lessons from altMBA
skipperchong
28
4k
Practical Orchestrator
shlominoach
190
11k
Transcript
© 2025 NTT DATA Japan Corporation © 2025 NTT DATA
Japan Corporation DatabricksにOLTPデータベース 『Lakebase』がやってきた! Cross Data Platforms Meetup #1.5 2025年7月9日 株式会社NTTデータ 井能 猛
© 2025 NTT DATA Japan Corporation Data+AI Summitで『Lakebase』発表 & Public
Preview開始 https://www.databricks.com/blog/what-is-a-lakebase
© 2025 NTT DATA Japan Corporation Databricksに登場した、Postgresをベースに、サーバレスに最適化されたOLTP(トランザクショナル)データベース。 What is Lakebase?
フルマネージドな Postgresデータベース 10ms未満のレイテンシ、10ks以上のQPS 拡張、ツールなどのエコシステムも利用可能 コンピュート・ストレージが 分離されたアーキテクチャ オートスケール(≧0)による性能拡張性や セカンダリノードによる可用性の担保 現代のAI開発に 最適化された開発体験 ブランチやPoint-in-timeリカバリなど NeonをベースとしたDevExの提供 Lakehouse(OLAP)との統合
© 2025 NTT DATA Japan Corporation サーバーレスなPostgresデータベースサービスを提供しており、2025年3月にDatabricksによる買収を発表。 LakebaseはNeonのテクノロジーをベースに構築されている。 What is
Neon? https://neon.com/docs/introduction/architecture-overview
© 2025 NTT DATA Japan Corporation コンピュートとストレージに分離されており、個別にスケール可能であるため性能拡張やコスト最適化が可能。 ストレージはデータレイクをベースにしており、キャッシュやバッファとして機能する中間層が存在する。 Lakebaseのアーキテクチャ compute
storage Pageserver (参照リクエスト処理、参照キャッシュ) Safekeeper (データレイク更新完了までの書き込みバッファ) Object Storage (データレイク) https://youtu.be/ul8cRLIP_Vk?t=2494 中間層
© 2025 NTT DATA Japan Corporation Neonがベースとなっており、ユーザーが認識できる範囲ではアーキテクチャに違いはない。 参考:Neonのアーキテクチャとの比較 https://neon.com/docs/introduction/architecture-overview Lakebase
© 2025 NTT DATA Japan Corporation インスタンスサイズ、point-in-timeリカバリ用のデータ保持期間、セカンダリノードの有無などを指定して作成。 親インスタンスやデータ断面を指定したコピーオンライトのクローン作成も可能。 Lakebaseのインスタンス作成 クローンするデータの断面の指定
クローンするデータベースの指定 クローンの有無 Read onlyのセカンダリ作成有無 フェイルオーバーの有効/無効 インスタンスサイズ データ保持期間(リカバリ可能期間)
© 2025 NTT DATA Japan Corporation DatabricksのSQL Editorからクエリを実行することも、 psqlで任意のクライアントから接続することも可能。 Lakebaseへのクエリ実行
© 2025 NTT DATA Japan Corporation Unity Catalog上のDeltaテーブルをLakebaseに同期(ETL)することも、 逆に、LakebaseのテーブルをUnity Catalogに登録する(Federation)することも可能。
Unity Catalogとの同期・連携 Unity Catalog to Lakebase Enabled Lakebase to Unity Catalog Enabled ETL with DLT Federation
© 2025 NTT DATA Japan Corporation Unity CatalogのDeltaテーブルの詳細画面から数クリックで同期テーブルを作成可能。 裏でDelta Live
TableのETLパイプラインが自動作成される。同期頻度はパイプラインの実行頻度で調整。 参考:Unity Catalog上のテーブルをLakebaseに同期
© 2025 NTT DATA Japan Corporation Lakebaseのデータベースインスタンスの詳細画面からUnity Catalogへの登録が可能。 仮想化による登録となるため、参照にはLakebaseのインスタンスとCluster/SQLウェアハウスの起動が必須。 参考:LakebaseのテーブルをUnity
Catalogに登録
© 2025 NTT DATA Japan Corporation データベースの利用に際するストレージ・コンピュートの従量課金および、 データの同期・仮想化に際するコンピュートの従量課金が発生する。 Lakebaseの課金体系 ストレージ
コンピュート コンピュート データベース利用に際する従量課金 データ同期に際する従量課金
© 2025 NTT DATA Japan Corporation 今後緩和される可能性はあるものの、論理サイズ上限が2TBなどの制約がある。 現時点ではOLTPデータベースの完全な置き換えを目的としたものではなく、限定した用途での利用が想定される。 制約事項 •
ワークスペースでは、最大 10 個のインスタンスを使用できます。 • 各インスタンスは、最大 1000 の並列接続をサポートします。 • インスタンス内のすべてのデータベースの論理サイズ制限は 2 TB です。 • データベース インスタンスのスコープは 1 つのワークスペースです。 ユーザーは、同じメタストアにアタッチされている他のワークスペースから必要な Unity Catalog アクセス許可を持っている場合、カタログ エクスプローラーでこれらのテーブルを表示できますが、 テーブルの内容にはアクセスできません。 https://docs.databricks.com/aws/en/oltp/instance
© 2025 NTT DATA Japan Corporation 用途はアプリケーション、AIエージェント、オンライン推論などが中心。 従来のLakehouse(OLAP)では難しかった、トランザクション処理やレイテンシが求められる処理が使いどころ。 Lakebaseの使いどころ for
AIエージェント Agent • エージェントのメモリーとして利用 • Vector Indexとして利用 for オンライン推論 ML Model • オンライン特徴量ストアとして利用 for アプリケーション Apps • アプリの状態保持のために利用 • トランザクション処理に利用 従来はAuroraなどのOLTPを別途立てる必要があったユースケースもDatabricksで完結可能に!
© 2025 NTT DATA Japan Corporation 参考:HPの冒頭にも「for data apps and
AI agents」と記載あり https://www.databricks.com/product/lakebase
© 2025 NTT DATA Japan Corporation まとめ:『いまできること』と、『もう少しでできること』 https://youtu.be/3Bmnku-x0Yo?si=VFaRLXytc9R-y3Np ◼ 完全マネージドのPostgres
◼ Lakehouseとの統合 ✓ 自動で作成されるETLパイプライン ✓ 自動で作成される仮想化設定 ✓ 一貫したアクセス制御 ◼ マルチクラウド対応 ◼ 高可用性の維持 ◼ Point-in-timeリカバリ ◼ インスタンスの即時起動 ➢ 現在は所要時間3-5分程度 ◼ オートスケーリング ➢ 現在はインスタンス数は固定 ◼ 完全なブランチング機能 ➢ 現在もデータ断面を指定したクローンは可能 ◼ より高速なLakehouseとの同期 ◼ Neonと同等のDevEx提供 いまできること もう少しでできること
© 2025 NTT DATA Japan Corporation ご清聴ありがとうございました!Zennの記事も是非御覧ください! https://zenn.dev/nttdata_tech/articles/04789d6c573830
None