Upgrade to Pro — share decks privately, control downloads, hide ads and more …

誰も教えてくれない メダリオンアーキテクチャの デザインメソッド

誰も教えてくれない メダリオンアーキテクチャの デザインメソッド

JEDAI データエンジニア分科会 #1 集まれデータエンジニア! にて発表した`誰も教えてくれない メダリオンアーキテクチャの デザインメソッド`に関するスライド

https://jedai.connpass.com/event/316240/

manabian

May 24, 2024
Tweet

More Decks by manabian

Other Decks in Technology

Transcript

  1. 自己紹介 @manabian 【主な生業】 BI・DWH構築に関するSIベンダーにてテクニカルスペシャリスト職と して、次の業務を実施。 • Databricks におけるシステム実装論の整理とライブラリ開発 • データ分析基盤とアプリケーションの設計・構築に関する支援

    • データ分析基盤に関する技術検証 趣味がデータ分析基盤に関する調査や検証であり、 主に Qiita を中心に Databricks などのデータ分析基盤に関する記事を 投稿。 • 最強のデータ分析基盤を目指して~汎用的なデータ分析基盤の選定 方法の提案~ – Qiita • PySpark 開発時に知っておくべき7つのテーマ– Qiita • データエンジニア界隈で話題のdbt(data build tool)のまとめ #Python - Qiita
  2. 2. メダリオンアーキテクチャの実装方法 2-1. 全体像 引用元:Databricks ( Spark ) における Spark

    テーブル (データレイク)のディレクトリ構成の検討 - Qiita