DuckDBを使ってみたら分析プロジェクトが動き出した

DuckDBを使ってみたら分析プロジェクトが動き出したふくすけ (@tonegawa07) 2025/04/25 | めぐろLT 1

自己紹介ふくすけ (@tonegawa07) スタークス株式会社仕事: Engineer 主戦場はバックエンド Ruby on Rails,
TypeScript(Node.js) 趣味: サッカー観戦 (Jサポ) 2025/04/25 | めぐろLT 2

自社プロダクトの成果指標を計測したい指標が決まっているわけではなく、まず仮説を出す必要がある仮説は出たが、データソースは複数データレイクやDWHに一元化されておらず、気軽に分析できない 2025/04/25 | めぐろLT 3

とりあえず検証結果を出したい仮説段階でETLパイプラインを作り込むわけにもいかず、とりあえずRawデータをJSONやCSVでストレージに置いて手を動かしてみることに 2025/04/25 | めぐろLT 4

分析どうしよう Python (pandas) データフレームを扱う一通り触ったことはある忘れた R (dplyr) データフレームを扱う学生時代めっちゃ使ってた
忘れた 2025/04/25 | めぐろLT 5

SQLで考えたほうが楽かも Python (pandas) で始めてみたものの、、、出したい数字が出せているのか？ LLMの出力が合っているのか？ちょっとデータ出力想定と違うけどどこがおかしいんだ？ SQLで出してくれれば判断できるんだけどな〜
2025/04/25 | めぐろLT 6

DuckDB https://duckdb.org OLAP(オンライン分散処理)分析に特化した組み込み型DBMS SQLiteのOLAP版のイメージ CSV、JSON、Parquet、Excelなど、様々なファイル形式に対応 2025/04/25 | めぐろLT 7

DuckDBならSQLで書けた LLMに出力してもらったSQLを修正しつつ分析結果確認 SQLで思考できるのが本職バックエンドにはかなりありがたい import duckdb duckdb.sql(''' SELECT * FROM users
WHERE 1=1; ''') 2025/04/25 | めぐろLT 8

DuckDBでPoC用軽量ETLができた 2025/04/25 | めぐろLT 9

検証スピードUP!! 分析プロジェクトが動き出した 2025/04/25 | めぐろLT 10

社内LT会でも発表してみた pandasとの速度比較行数、列数ともに大きくなるほどDuckDBが速い 2025/04/25 | めぐろLT 11

まとめ DuckDBを採用することで検証スピードが上がったやっぱり速かった 2025/04/25 | めぐろLT 12

ご清聴ありがとうございました 2025/04/25 | めぐろLT 13

DuckDBを使ってみたら分析プロジェクトが動き出した

DuckDBを使ってみたら分析プロジェクトが動き出した

ふくすけ

More Decks by ふくすけ

Other Decks in Programming

Featured

Transcript