PostgreSQLで手軽にDuckDBを使う！DuckDB&pg_duckdb入門/osk2025-duckdb

2025年09月20日（土）に開催された オープンセミナー2025@香川での発表資料です。

## 内容

DuckDBは、PostgreSQL（OLTP）とは異なり、分析処理（OLAP）に特化した軽量な組み込み型データベースです。
数百GB単位のデータを、列指向の特性と「慣れ親しんだSQL」を用いて、高速かつシンプルに処理します。
S3上のParquetやローカルのCSV/JSONなど多様なデータソースを依存関係なく直接扱える点が大きな強みです。
本セッションでは、DuckDBがデータ分析を再び高速で楽しいものにするというテーマのもと、その基本と高速分析の仕組み、S3代替や軽量BIツールとしての活用事例を深掘りします。
また、PostgreSQLの拡張機能pg_duckdbを紹介します。
これは、PostgreSQLのプロセス内にDuckDBエンジンを組み込み、劇的な性能向上（特定ベンチマークで1500倍）を実現できるアプローチです。技術の特性を理解し、トップスピードでのデータ分析を実現する工夫を学びましょう。

話すこと
1. DuckDBとは何か？（軽量組み込み型DB、OLAP特化、高速性の秘訣）
2. pg_duckdbの紹介（OLTP/OLAPの使い分けとpg_duckdbの基本）
3. PostgreSQL + DuckDB統合のアプローチ（pg_duckdbとDuckDB PostgreSQL Extensionの違い）
4. 終わりに

Transcript

1. PostgreSQLで手軽に DuckDBを使う！ DuckDB & pg_duckdb入門 オープンセミナー2025 香川 #OSK2025 09.20.2025
2. 目次 自己紹介 DuckDBとは何か？ pg_duckdbの紹介 終わりに 01 03 02 04
3. 自己紹介 株式会社リンケージ Webアプリケーションエンジニア 日本PostgreSQLユーザー会 中国地方支部長 妻と息子と娘と岡山在住 高橋 一騎 (@ikkitang) AIデッキ TakahashiIkki TakahashiIkki ikkitang ikkitang Social
4. PostgreSQLの普及と発展を目的として活動しているNPO法人 日本PostgreSQL ユーザー会 PostgreSQLの研究開発および普及促進 PostgreSQLに関する情報の公開 会員相互および外部との技術的・人間的交流
5. 中国地方DB勉強会 日本PostgreSQLユーザー会 中国地方支部の活動 各回ごとにテーマを決めてデータベースの勉強会を実施 例） PostgreSQL 最新情報 PostgreSQL、MySQLのバージョンアップ方法 AI × SQL https://dbstudychugoku.connpass.com/ Connpass で勉強会情報をお届けしてるので. ぜひフォローを!
6. PostgreSQL Conference Japan 2025 日本PostgreSQLユーザー会の活動 2025年11月21日(金) 10:00 ~ 18:00 (東京にて) 午前2講演、午後4トラックにて16講演を予定 PostgreSQL 最新情報 チュートリアルトラック 2025/09/21 から事前チケットを販売開始予定 https://www.postgresql.jp/jpug-pgcon2025 プログラムは決まってるので随時公開予定
7. 本セッションについて 資料は後日公開予定です 質問は #osk2025 等でも投稿してもらえれば、後からでも拾います 一応、注意事項として pg_duckdb入門 と言いつつ、DuckDB側にも比重を置いた発表です DuckDB知らない人もこの機会に知ってもらえれば！
8. 2: DuckDBとは何か？
9. DuckDBとは何か? 軽量な組み込み型データベース 分析処理（OLAP）に特化しており、複数なソースからギガバイト単 位のデータに対して効率的にクエリを実行することができる それにより、高速な分析機能を提供する 多様なデータソース（CSV、Parquet、JSON、S3等）への対応 オープンソースで無料利用可能
10. DuckDBの何が嬉しいのか？ 数百GBのデータを高速にシンプルに安価に処理できる それらに加えて 豊富なデータソースを処理することができる “慣れ親しんだ“SQLによりデータソースの情報を処理できる 依存関係を一切持たず、様々な言語から利用可能 豊富なデータフォーマットとして出力できる 既存のアプリケーションの裏側にシュッと組み込んで使うのに最適
11. DuckDBの事例 S3 + DuckDB(Lambda) の構築をしてAthenaの代替とする 75%のコスト削減の例も. https://qiita.com/shinonome_taku/items/cb9bfd7419a77a80e235 高速な jq 代替 シェルスクリプトの中でJSONを読み込んで変換し標準出力に出せる DuckDB-Wasmで軽量なBIツールの提供 ダッシュボードの提供 https://zenn.dev/shiguredo/articles/duckdb-wasm-s3-parquet- opfs GeoJSONのデータをブラウザで可視化するためのツール https://tech.newmo.me/entry/duckdb-wasm-typescript
13. Demo - CSVファイルへのQuery
14. Demo - Web上のCSVファイルへのQuery
15. Demo - SUMMARIZE句 SUMMARIZE句をSELECT句の前に　　　 指定するとそのSELECT句の結果を統計的 に解釈してデータを得る事ができる ※ TABLE じゃなくて、SELECTクエリ WHERE とか SUM とか JOIN とかも 考慮してくれる
16. Demo - bar関数
17. 2: DuckDBとは何か まとめ DuckDBはOLAP処理に特化したデータベースであり、高速な分析クエリ を実現する。 DuckDBは大量のデータをSQLにより効率的に処理することできる。 様々なデータソースの入出力に対応し、またその依存性の無さから　　 様々な環境からの接続を実現できる
18. 3: pg_duckdbの紹介
19. DuckDB、激速じゃん！！！ もう、全部これで良くない？
20. DuckDB、激速じゃん！！！ もう、全部これで良くない？ ※ 良くはない
21. 項目 OLTP (PostgreSQL) OLAP (DuckDB) 目的 トランザクション処理 分析処理 データアクセス / ストレージ 行指向 （行ごとにデータを保存） 列指向 （列ごとにデータを保存） データ更新 書き込み操作が主 信頼性高い（ACID特性） 読み込み操作が主 使用例 Webアプリ 業務システム レポート 集計・分析 OLTP vs OLAP の違い
22. DuckDBはすべてを解決するものではない やりたいことに合わせて、適切に技術の選定をしてく それぞれのデータベースの特性を理解し、使い分けること が重要 例えば.. 高い信頼性でデータを管理する場合はOLTPのDB 大量データの分析が必要ならOLAPのDB DuckDBは銀の弾丸か？
23. とはいえ気持ちはわかる アプリケーション提供の中で運用するために必要なコンポーネントは 少ない方が良い → そこで pg_duckdb
24. PostgreSQLのプロセス内に DuckDBエンジンを組み込む拡張機能 DuckDBのクエリエンジンの使用を指定 し、SQLを実行することで PostgreSQLの プロセス上でDuckDBエンジンがクエリを 実行し、結果を返す PostgreSQLのpg_duckdb Extension
25. pg_duckdb の使いみち DuckDB同様 クラウド上のストレージの分析ができる → CSVのデータをPostgreSQLに Import/Export できる
26. DuckDBの拡張機能として提供 DuckDBの関数や演算子を使用して PostgreSQLのデータを分析できる DuckDBがPostgreSQLからデータを取得 する際に、バイナリでやり取りする仕組み になっているので不要な処理がスキップ　 され高速にデータを取得できる DuckDBのPostgreSQL Extension
27. pg_duckdbと DuckDB PostgreSQL Extensionの違い
28. PostgreSQL + DuckDB統合のアプローチ 既存のPostgreSQLサーバーに変更不要 マネージドサービス（RDS、Cloud SQL）でも 利用可能 メリット ネットワーク経由でのデータ転送が必要 大きなテーブルでは性能上限がある DuckDB Server の運用が必要 （“デメリット”ではないが） デメリット DuckDB PostgreSQL Extension
29. PostgreSQL + DuckDB統合のアプローチ 劇的な性能向上 （特定ベンチマークで1500倍高速化） PostgreSQLテーブルへの直接アクセス 外部ファイル（Parquet等）の読み込み可能 メリット PostgreSQLサーバーへの拡張インストールが必要 マネージドサービスの多くでは 現状利用不可 → 自前でのPostgreSQL運用が必要 現状としては、分析専用のPostgreSQLを立てる ことが推奨されている デメリット pg_duckdb
30. 3: pg_duckdbとは まとめ DuckDB 分析処理(OLAP)に特化した高速データベース PostgreSQL トランザクション処理(OLTP)に最適化 それぞれの用途に応じた使い分けが重要 PostgreSQL × DuckDBのアプローチ pg_duckdb PostgreSQL内でDuckDBの高速分析を利用可能 DuckDB PostgreSQL Extension DuckDB から PostgreSQL への分析を利用可能
31. 4: 終わりに
33. Google BigQuery のプロダクトリーダーのブログ 「ビッグデータ」のための分析基盤を！という流れがあった が、実際にビッグデータを使ってたのは一部の企業だった データストレージの総容量は1TB以下 データ保存サイズの中央値は100GB ほとんどの会社は大量のデータを必要とするのではなく、 　 信頼できるデータを収集して分析できれば十分である。 BIG DATA IS DEAD
34. 扱えるデータ量は数百GBを想定してチューニングされている 「DuckDBはデータ分析を再び高速で楽しいものにする」 データパイプラインとデータの準備が簡素化され、実際の 分析、探索、実験に多くの時間を割くことができるように なる DuckDB
35. LLM全盛の時代にあって、我々技術者が求められる成果に　 対してのスピードの期待値はどんどん高まっていくはず 技術の特性を更に理解して トップスピードを高める工夫と　 トップスピードを保つデバフを起こさない工夫を絶えず　　 やっていきましょう！ LLM全盛の時代
36. 公式ドキュメント：https://github.com/duckdb/pg_duckdb DuckDB公式: https://duckdb.org/ DuckDB実践入門: https://www.amazon.co.jp/dp/B0C5Y8X1ZK Big DATA is DEAD: https://motherduck.com/blog/big-data-is- dead/ 15分で学ぶDuckDBの可愛い使い方: https://speakerdeck.com/notrogue/15fen-dexue-buduckdbnoke- ai-ishi-ifang-duckdbnozui-jin-nogeng-xin 参考文献
37. ご清聴ありがとう ございました! [Thank you!]