Upgrade to Pro — share decks privately, control downloads, hide ads and more …

中央集権体制からDataOpsへの転換 / centralized-to-dataops-tr...

pei0804
March 27, 2024

中央集権体制からDataOpsへの転換 / centralized-to-dataops-transformation

【イベントページ】
https://chatwork.connpass.com/event/311948/
https://youtu.be/pV1C2oJrCGk?si=ngx2EnJez4jusGPY&t=2246
我が社が考える最強のデータ基盤'24最新版

Chatworkは約2年前よりデータ基盤の刷新プロジェクトを推進してきました。 スモールスタートで始まったプロジェクトは、今や拡大期を迎えています。 このイベントでは、そのプロセスや直面した壁などを大公開! さらにゲストには大西氏、CARTA HOLDINGSのPei氏を迎え、各社の考え方やこれからのアーキテクチャについて激論を交わします!

pei0804

March 27, 2024
Tweet

More Decks by pei0804

Other Decks in Technology

Transcript

  1. DataOpsフレームワークと当時の業務実態の比較 • Planning: データ作成者が計画・実行 • Development: データ作成者が構築(dbt, Terraform, Fivetran, etc..)

    • Integration: GitHubのmainブランチへのpushで自動反映 • Testing: dbt testでデータのテスト • Release & Deployment: GitHubのmainブランチへのpushで自動反映 • Operate: Snowflakeユーザーを払い出して、利用者に委ねる。 • Monitor: DataDog、Elementaryを使ってアラートを出している。