Lakehouse を Kubernetes 上に作ってみる / Lakehouse on Kubernetes

Transcript

1. 2026/07/15 Oracle Cloud Hangout Cafe Season 11 #6 Lakehouse を Kubernetes 上に 作ってみる #ochacafe
2. Name: こたつ&&みかん Account: @kota2and3kan Company: Name: Scalar, Inc. Product: - ScalarDB (Distributed Transaction Manager) - ScalarDL (Byzantine Fault Detection Middleware) Job: [Technical Support, Infra Engineer] Like: DB: [PostgreSQL, CockroachDB] Bouldering: 5Q Dislike: Real Cockroach Who am I.
3. 今回の検証に利用したマニフェスト https://github.com/kota2and3kan/lakehouse-samples/blo b/2026-07-15-ochacafe/sample-b/demo.md
4. 突然ですが
5. Lakehouse が気になってます
6. Lakehouse を手軽に試したい
7. 壊しても怒られない Lakehouse がほしい
8. ということで
9. 作ってみました
10. Kubernetes (kind) DuckDB (Query Engine) Demo 環境概要 SeaweedFS (Object Storage) Lakekeeper (REST Catalog) Iceberg Table Iceberg Table Iceberg Table Catalog Operations Read/Write Table Data
11. 構成要素 1: Kubernetes (Platform) Kubernetes (kind)
12. 構成要素 2: SeaweedFS (S3 互換の Object Storage) Kubernetes (kind) SeaweedFS (Object Storage)
13. 構成要素 3: Lakekeeper (Iceberg REST Catalog) Kubernetes (kind) SeaweedFS (Object Storage) Lakekeeper (REST Catalog)
14. 構成要素 4: DuckDB (Query Engine) Kubernetes (kind) SeaweedFS (Object Storage) Lakekeeper (REST Catalog) DuckDB (Query Engine)
15. 構成要素 5: Apache Iceberg (Open Table Format) Kubernetes (kind) SeaweedFS (Object Storage) Lakekeeper (REST Catalog) Iceberg Table Iceberg Table Iceberg Table DuckDB (Query Engine)
16. Kubernetes (kind) DuckDB (Query Engine) Demo 環境概要 (再掲) SeaweedFS (Object Storage) Lakekeeper (REST Catalog) Iceberg Table Iceberg Table Iceberg Table Catalog Operations Read/Write Table Data
17. Demo https://github.com/kota2and3kan/lakehouse-samples/blo b/2026-07-15-ochacafe/sample-b/demo.md
18. まとめ
19. まとめ • ローカル環境の Kubernetes (kind) 上に Lakehouse っぽい ものを作れた。 • 実際に Catalog や Object Storage の中身を見ながら検証が できる。 • 壊しても怒られない。 • Let’s enjoy!
20. Thank you!