Upgrade to Pro — share decks privately, control downloads, hide ads and more …

2024年に描く青写真(データアーキテクチャ) / strongest-data-archit...

Avatar for pei0804 pei0804
January 16, 2024
Technology
2
4k

2024年に描く青写真(データアーキテクチャ) / strongest-data-architecture-discussion-2024

みんなの考えた最強のデータアーキテクチャ'24新春-最新版SP！
https://datatech-jp.connpass.com/event/301807/

Avatar for pei0804

pei0804

January 16, 2024
Tweet

More Decks by pei0804

See All by pei0804
Snowflakeでデータ基盤を もう一度作り直すなら / rebuilding-data-platform-with-snowflake
Avatar for pei0804 pei0804
10
2.2k
RevOps実践で学んだ俺が最強のデータ基盤になることの重要性 / revops-practice-learned
Avatar for pei0804 pei0804
1
1.7k
Terraformで構築する セルフサービス型データプラットフォーム / terraform-self-service-data-platform
Avatar for pei0804 pei0804
1
370
使えるデータ基盤を作る技術選定の秘訣 / selecting-the-right-data-technology
Avatar for pei0804 pei0804
11
4.9k
事業をデータエンジニアリングする / data-engineering-for-business
Avatar for pei0804 pei0804
10
1.8k
進化を加速させる データ基盤CI/CDの実践 / accelerating-data-platform-ci-cd
Avatar for pei0804 pei0804
1
830
RevOpsへ至る道 データ活用による事業革新への挑戦 / path-to-revops
Avatar for pei0804 pei0804
6
1.7k
ビジネスに必要な全てを担い、 自分の専門性を見つけ出す フルサイクル開発者のあり方@技育祭 秋 / how-find-own-speciality-in-full-cycle
Avatar for pei0804 pei0804
8
1.4k
データドリブン経営への転換 / transforming-to-data-driven
Avatar for pei0804 pei0804
10
4.3k

Other Decks in Technology

See All in Technology
生成AIと余白 〜開発スピードが向上した今、何に向き合う？〜
Avatar for KAKEHASHI kakehashi
PRO
1
260
Interop Tokyo 2025 ShowNet Team Memberで学んだSRv6を基礎から丁寧に
Avatar for miyukichi_ospf miyukichi_ospf
0
100
今こそ学びたいKubernetesネットワーク ～CNIが繋ぐNWとプラットフォームの「フラッと」な対話
Avatar for Takuto Nagami logica0419
9
780
欲しいを叶える個人開発の進め方 / How to Run an Indie Project That Brings Your Ideas to Life
Avatar for Endo_Hizumi endohizumi
0
150
1,000 にも届く AWS Organizations 組織のポリシー運用をちゃんとしたい、という話
Avatar for kazzpapa3 kazzpapa3
1
270
ECS障害を例に学ぶ、インシデント対応に備えた AIエージェントの育て方 / How to develop AI agents for incident response with ECS outage
Avatar for iselegant iselegant
5
820
2026年のAIエージェント構築はどうなる？
Avatar for みのるん minorun365
10
1.6k
意志を実装するアーキテクチャモダナイゼーション
Avatar for nwiizo nwiizo
3
1.2k
GitHub Copilot CLI を使いやすくしよう
Avatar for Yuta Matsumura tsubakimoto_s
0
190
バイブコーディングで作ったものを紹介
Avatar for tatsuya1970 tatsuya1970
0
160
チーム開発の基礎_研究を事業につなげるために
Avatar for CyberAgent cyberagentdevelopers
PRO
8
3.9k
私たち準委任PdEは2つのプロダクトに挑戦する ～ソフトウェア、開発支援という”二重”のプロダクトエンジニアリングの実践～ / 20260212 Naoki Takahashi
Avatar for SHIFT EVOLVE shift_evolve
PRO
3
360

Featured

See All Featured
StorybookのUI Testing Handbookを読んだ
Avatar for Shingo Yamazaki zakiyama
31
6.6k
jQuery: Nuts, Bolts and Bling
Avatar for Doug Neiner dougneiner
65
8.4k
The Language of Interfaces
Avatar for Des Traynor destraynor
162
26k
The Power of CSS Pseudo Elements
Avatar for Geoffrey Crofte geoffreycrofte
80
6.2k
WENDY [Excerpt]
Avatar for Tessa Abrams tessaabrams
9
36k
Joys of Absence: A Defence of Solitary Play
Avatar for Sebastian Deterding codingconduct
1
290
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
Avatar for Tammy Everts tammyeverts
11
840
SERP Conf. Vienna - Web Accessibility: Optimizing for Inclusivity and SEO
Avatar for Sara Fernández Carmona sarafernandez
1
1.3k
Navigating the Design Leadership Dip - Product Design Week Design Leaders+ Conference 2024
Avatar for Andy Polaine apolaine
0
210
DBのスキルで生き残る技術 - AI時代におけるテーブル設計の勘所
Avatar for soudai sone soudai
PRO
62
50k
The Art of Delivering Value - GDevCon NA Keynote
Avatar for David Neal reverentgeek
16
1.8k
Practical Tips for Bootstrapping Information Extraction Pipelines
Avatar for Matthew Honnibal honnibal
25
1.8k

Transcript

  1. 2024年に 描く青写真(データアーキテクチャ) データ基盤のこれまでとこれから。 みんなの考えた最強のデータアーキテクチャ '24新春-最新版SP！

  2. 自己紹介 ぺい @pei0804 近森淳平(チカモリ　ジュンペイ) CARTA HOLDINGS CARTA MARKETING FIRM 開発局

    データ部 部長

  3. 本日の発表は、 前回の発表で紹介した データ基盤が題材。 既存のデータ基盤と別に 2022年8月から構築開始し、 現在に至ります。 DWHはSnowflake。 データ変換にdbtを使っています。 https://speakerdeck.com/pei0804/strongest-data-architecture-discussion

  4. 2023年やったこと • 各種プロダクトで、新データ基盤の利用開始。 • 旧データ基盤の利用箇所を減らして、コスト削減。 ◦ まだ、全撤退はできてない。コストクリティカルなとこは完了。 • Elementary Cloud、SELECT

    SaaSの採用。 ◦ 便利 x 続いてほしいサービスにお金を落とす。 • 守りの施策をたくさん打った。 ◦ どんだけ便利でも、不安定なデータ基盤は流行らない。 • 新卒のデータエンジニアをチームに迎え入れた。 • 開発体制の変更。 ◦ 中央集権体制からDataOpsへ。

  5. もっと詳しく！人向け。

  6. Snowflakeと共に 過ごした一年間。 その進化過程と 未来へのVision データ基盤を1から作り、 使われる過程で、どのような変化を 遂げていったかをまとめてます。 https://techblog.cartaholdings.co.jp/entry/snowflake-data-platform-vision

  7. Snowflakeの力を 引き出すためのdbtを 活用したデータ基盤 開発の全貌 dbt-snowflakeを使った開発を、 これでもかってくらい大公開。 便利マクロから、CI/CD、運用まで。 https://techblog.cartaholdings.co.jp/entry/snowflake-dbt-data-platform-vision

  8. SELECTを使った 手間なしSnowflake コスト最適化 コスト下げたい！けど、コスト下げるコス トが高い！ そんなジレンマを解決するべく Snowflakeのコスト最適化ツール SELECTを導入した話。 https://techblog.cartaholdings.co.jp/entry/select-cloud-cost-optimize-cmf

  9. アドテクのビッグデータ を制するSnowflakeの 力 がっつりと使った上で見えた Snowflakeの良さを語りました。 みんな気になるデータ基盤移行話 も少しだけ公開。 https://speakerdeck.com/pei0804/data-cloud-world-tour-tokyo-2023

  10. dbt x snowflakeで 使っていないモデルを 安全に一括で削除する dbtモデルは定義は消えてるけど、 残っちゃってるTableとかを削除。 新卒データエンジニアの@harukiが さくっとやってくれました https://techblog.cartaholdings.co.jp/entry/2024/01/15/113000

  11. 2023年時点で、 使われるデータ基盤にはなった。

  12. 2024年は、 事業の正のレバレッジになることが目標。

  13. 2024年やりたいこと（抜粋） • DataOpsを強化する。 ◦ 色々テコ入れ。Data Observability、Cost Observability、 ドキュメンテーション。 • 攻めの施策を増やす。（2023年は守りが多かった）

    ◦ 例えば、Snowflakeの新しい機能を使った課題解決の可能性模索。 要はもっとワクワクすることやりたい。 • 仲間を増やす。育てる。高め合う。 ◦ 遠くへ行きたければみんなで行け。今年は、もっと遠くに行く。 • 既存データ関連の業務を、抜本的に見直す。 ◦ 見えてる伸びしろがたくさんある！

  14. めっちゃ面白そうでしょ？

  15. 弊社では、データでゴリゴリに価値出したい シニアデータサイエンティストを探しています。 一緒に面白いことしたい人居れば、 こっそり Xの@pei0804でDMください。