Upgrade to Pro — share decks privately, control downloads, hide ads and more …

2024年に描く青写真(データアーキテクチャ) / strongest-data-archit...

Avatar for pei0804 pei0804
January 16, 2024
Technology
2
3.8k

2024年に描く青写真(データアーキテクチャ) / strongest-data-architecture-discussion-2024

みんなの考えた最強のデータアーキテクチャ'24新春-最新版SP！
https://datatech-jp.connpass.com/event/301807/
Avatar for pei0804

pei0804

January 16, 2024
Tweet

More Decks by pei0804

See All by pei0804
使えるデータ基盤を作る技術選定の秘訣 / selecting-the-right-data-technology
Avatar for pei0804 pei0804
3
600
事業をデータエンジニアリングする / data-engineering-for-business
Avatar for pei0804 pei0804
10
1.1k
進化を加速させる データ基盤CI/CDの実践 / accelerating-data-platform-ci-cd
Avatar for pei0804 pei0804
1
630
RevOpsへ至る道 データ活用による事業革新への挑戦 / path-to-revops
Avatar for pei0804 pei0804
6
1.2k
ビジネスに必要な全てを担い、 自分の専門性を見つけ出す フルサイクル開発者のあり方@技育祭 秋 / how-find-own-speciality-in-full-cycle
Avatar for pei0804 pei0804
7
1.2k
データドリブン経営への転換 / transforming-to-data-driven
Avatar for pei0804 pei0804
10
3.6k
DataOps実現への道筋 持続可能な運用体制の構築 / journey-to-dataops
Avatar for pei0804 pei0804
8
1.7k
中央集権体制からDataOpsへの転換 / centralized-to-dataops-transformation
Avatar for pei0804 pei0804
10
4.7k
アドテクのビッグデータを制するSnowflakeの力 / data-cloud-world-tour-tokyo-2023
Avatar for pei0804 pei0804
6
2k

Other Decks in Technology

See All in Technology
Cursorを全エンジニアに配布 その先に見据えるAI駆動開発の未来 / 2025-05-13-forkwell-ai-study-1-cursor-at-loglass
Avatar for Hiroshi Ito itohiro73
2
350
Previewでもここまで追える！ Azure AI Foundryで始めるLLMトレース
Avatar for Tomodo_ysys tomodo_ysys
2
620
本当に必要なのは「QAという技術」だった！試行錯誤から生まれた、品質とデリバリーの両取りアプローチ / Turns Out, "QA as a Discipline" Was the Key!
Avatar for ar_tama ar_tama
9
4k
Gateway H2 モジュールで
スマートホーム入門
Avatar for MinoruInachi minoruinachi
0
140
250510 StepFunctionのテスト自動化始めました vol.1
Avatar for Takumi Abe east_takumi
1
210
CARTA HOLDINGS エンジニア向け 採用ピッチ資料 / CARTA-GUIDE-for-Engineers
Avatar for CARTA Engineering carta_engineering
0
27k
AWSを利用する上で知っておきたい名前解決の話
Avatar for nagisa_53 nagisa53
6
780
Microsoft の SSE の現在地
Avatar for skmkzyk skmkzyk
0
300
DjangoCon Europe 2025 Keynote - Django for Data Science
Avatar for William S. Vincent wsvincent
0
520
テストって楽しい！開発を加速させるテストの魅力 / Testing is Fun! The Fascinating of Testing to Accelerate Development
Avatar for END aiandrox
0
170
社内 Web システムのフロントエンド技術刷新: React Router v7 vs. TanStack Router
Avatar for Shuntaro Murakami musasabibyun
0
140
Aspire をカスタマイズしよう & Aspire 9.2
Avatar for neno nenonaninu
0
380

Featured

See All Featured
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
Avatar for panda_program panda_program
105
19k
The Invisible Side of Design
Avatar for Vitaly Friedman smashingmag
299
50k
How STYLIGHT went responsive
Avatar for nonsquared nonsquared
100
5.5k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
Avatar for Eileen M. Uchitelle eileencodes
137
33k
The Success of Rails: Ensuring Growth for the Next 100 Years
Avatar for Eileen M. Uchitelle eileencodes
45
7.2k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
Avatar for Irina Nazarova irinanazarova
8
700
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
Avatar for Joe Casabona jcasabona
32
2.3k
Helping Users Find Their Own Way: Creating Modern Search Experiences
Avatar for Dan Newman danielanewman
29
2.6k
Build your cross-platform service in a week with App Engine
Avatar for Jose L jlugia
230
18k
A better future with KSS
Avatar for Kyle Neath kneath
239
17k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
Avatar for Stéphanie Walter stephaniewalter
280
13k
Bash Introduction
Avatar for André Augusto Costa Santos 62gerente
613
210k

Transcript

  1. 2024年に 描く青写真(データアーキテクチャ) データ基盤のこれまでとこれから。 みんなの考えた最強のデータアーキテクチャ '24新春-最新版SP！

  2. 自己紹介 ぺい @pei0804 近森淳平(チカモリ　ジュンペイ) CARTA HOLDINGS CARTA MARKETING FIRM 開発局

    データ部 部長

  3. 本日の発表は、 前回の発表で紹介した データ基盤が題材。 既存のデータ基盤と別に 2022年8月から構築開始し、 現在に至ります。 DWHはSnowflake。 データ変換にdbtを使っています。 https://speakerdeck.com/pei0804/strongest-data-architecture-discussion

  4. 2023年やったこと • 各種プロダクトで、新データ基盤の利用開始。 • 旧データ基盤の利用箇所を減らして、コスト削減。 ◦ まだ、全撤退はできてない。コストクリティカルなとこは完了。 • Elementary Cloud、SELECT

    SaaSの採用。 ◦ 便利 x 続いてほしいサービスにお金を落とす。 • 守りの施策をたくさん打った。 ◦ どんだけ便利でも、不安定なデータ基盤は流行らない。 • 新卒のデータエンジニアをチームに迎え入れた。 • 開発体制の変更。 ◦ 中央集権体制からDataOpsへ。

  5. もっと詳しく！人向け。

  6. Snowflakeと共に 過ごした一年間。 その進化過程と 未来へのVision データ基盤を1から作り、 使われる過程で、どのような変化を 遂げていったかをまとめてます。 https://techblog.cartaholdings.co.jp/entry/snowflake-data-platform-vision

  7. Snowflakeの力を 引き出すためのdbtを 活用したデータ基盤 開発の全貌 dbt-snowflakeを使った開発を、 これでもかってくらい大公開。 便利マクロから、CI/CD、運用まで。 https://techblog.cartaholdings.co.jp/entry/snowflake-dbt-data-platform-vision

  8. SELECTを使った 手間なしSnowflake コスト最適化 コスト下げたい！けど、コスト下げるコス トが高い！ そんなジレンマを解決するべく Snowflakeのコスト最適化ツール SELECTを導入した話。 https://techblog.cartaholdings.co.jp/entry/select-cloud-cost-optimize-cmf

  9. アドテクのビッグデータ を制するSnowflakeの 力 がっつりと使った上で見えた Snowflakeの良さを語りました。 みんな気になるデータ基盤移行話 も少しだけ公開。 https://speakerdeck.com/pei0804/data-cloud-world-tour-tokyo-2023

  10. dbt x snowflakeで 使っていないモデルを 安全に一括で削除する dbtモデルは定義は消えてるけど、 残っちゃってるTableとかを削除。 新卒データエンジニアの@harukiが さくっとやってくれました https://techblog.cartaholdings.co.jp/entry/2024/01/15/113000

  11. 2023年時点で、 使われるデータ基盤にはなった。

  12. 2024年は、 事業の正のレバレッジになることが目標。

  13. 2024年やりたいこと（抜粋） • DataOpsを強化する。 ◦ 色々テコ入れ。Data Observability、Cost Observability、 ドキュメンテーション。 • 攻めの施策を増やす。（2023年は守りが多かった）

    ◦ 例えば、Snowflakeの新しい機能を使った課題解決の可能性模索。 要はもっとワクワクすることやりたい。 • 仲間を増やす。育てる。高め合う。 ◦ 遠くへ行きたければみんなで行け。今年は、もっと遠くに行く。 • 既存データ関連の業務を、抜本的に見直す。 ◦ 見えてる伸びしろがたくさんある！

  14. めっちゃ面白そうでしょ？

  15. 弊社では、データでゴリゴリに価値出したい シニアデータサイエンティストを探しています。 一緒に面白いことしたい人居れば、 こっそり Xの@pei0804でDMください。