dbt platform導入後の今

Transcript

1. dbt platform導⼊後の今 freee株式会社 データ部 ⼩越広⾂
2. freee株式会社中部拠点（名古屋）所属 • データ部Product Stream-alignedチーム • シニアアナリティクスエンジニア • テックリード • マネージャー データ基盤に興味をもって2024年3⽉にWebエンジニ アから転向。 シニアアナリティクスエンジニア アナリティクスエンジニアとして、プロダクト向けに ⼩越広⾂ 成。その他様々な技術検証を⾏う。 おこしひろおみ 2025年12⽉にはdbt Labs社主催のイベントで基調講 データ加⼯ELTパイプラインやマイクロサービスを作 演で、登壇させていただきました https://www.getdbt.com/jp/coalesce-in-tokyo 2
3. ミッション‧ビジョン‧バリュー Mission Vision Value
4. Mission スモールビジネスを、 世界の主役に。 freeeは「スモールビジネスを、世界の主役に。」をミッションに掲げ、 統合型経営プラットフォームを開発‧提供し、 だれもが⾃由に⾃然体で経営できる環境をつくっていきます。 起業やビジネスを育てていくことを、もっと魅⼒的で気軽な⾏為に。 個⼈事業や中⼩企業などのスモールビジネスに携わるすべての⼈が、 じぶんらしく⾃信をもって経営できるように。 ⼤胆にスピード感をもってアイデアを具現化できるスモールビジネスは、 今までにない多様な価値観や⽣き⽅、 新しいイノベーションを⽣み出す起爆剤だと私たちは考えています。 スモールビジネスが⼤企業を刺激し、社会をさらにオモシロク、 世の中全体をより良くする流れを後押ししていきます。 4
5. Vision だれもが⾃由に経営できる 統合型経営プラットフォーム だれもが⾃由に⾃然体で経営できる環境をつくるために、 「統合型経営プラットフォーム」を開発‧提供します。 バックオフィス業務を統合することで、⾃動化と業務全体の効率化。 さらに経営全体を可視化することで、これまでにないスマートかつ 最適なアクションまで実⾏できるプラットフォームへと進化させていきます。 また外部サービスとも連携したオープンプラットフォームとして、多様なビジネスニーズに対応。 ユーザーネットワークの中における相互取引の活性化も強化していきます。 プラットフォームの提供のみならず、スモールビジネスに携わる⼈の環境そのものを より良くしていく取り組みを⾏うことで、世の中の変化を促します。
6. ※本スライド中では契約ライセンス数等の詳細な数値につきましては、記 載を控えさせていただいておりますので、あらかじめご了承ください。 今⽇話すこと 2025年7⽉に導⼊した dbt platformについて、その後の運⽤状況や成果、課題についてお話します。 そのときの記事はこちら：https://developers.freee.co.jp/entry/dbt_cloud_verification アジェンダ 01 02 03 04 dbt platform導⼊の背景 と当時の狙い 導⼊後の運⽤状況と取り 組んだ施策 得られた成果と利⽤の広 がり 現在直⾯している課題と 取り組むべきこと 6
7. まずは結論から アナリティクスエンジニアが主導することで推進⼒は増したが、組織全体への定着や⾃⾛化の実現 に向けては依然として課題が多く、真の成功までは道半ばである。 推進⼒の向上（これまでの成果） 定着と⾃⾛化（今後の課題） AE（アナリティクスエンジニア）主導の推進 組織全体への展開と⾃⾛の壁 • 専⾨スキルを持ったメンバーによる迅速な開発と試⾏錯誤 • ⼀部メンバー依存からの脱却と全社への浸透 • データマート‧パイプライン整備における強⼒なリード • ドメインチームが⾃らデータを活⽤‧運⽤できる体制構築 • 初期フェーズにおけるプロジェクト推進速度の確⽴ • 真の成功（全社的なデータ活⽤⽂化の定着）に向けた道半ば 7
8. dbt platform導⼊の背景と 当時の狙い 01
9. 導⼊前の課題 前提：マルチプロダクト戦略 データ推進の課題 発⽣している悪影響 データ活⽤の推進 現状把握により判明したボトルネック 現場で直⾯している具体的障害 • 当社は、マルチプロダクト戦略を推進 しており、多様なプロダクト施策を データ活⽤で⽀えている。 サイロ化: 各プロダクトが独⾃の⽅法でデータを連 携しており、⾮効率な「⾞輪の再発明」が 散⾒される。 • 既存データの有無が不明確 • ⻑年運⽤されているプロダクトに加 え、M&Aによって加わった企業のプロ ダクトも含まれるため、様々な環境で データ活⽤のニーズが存在する。 • 各プロダクト環境のデータを相互に参 照するニーズがある。 DWHの不⾜: プロダクトが活⽤可能な状態にあるデー タが不⾜している。 ➔ これらを解決する環境を⽤意する必要 がある。 • 膨⼤なデータソースから成るSQLの複 雑化による集計テーブル変更の困難さ • 他プロダクトのデータスキーマ調査に 時間を要し、プロダクトで活⽤可能な データ集計まで進まない • データ集計環境構築の⼈材リソース不 ⾜ 9
10. 当時運⽤していたdbt Core環境にも課題があった 既存のdbt Core環境における保守課題を解消し、dbt platformによる全社的なデータモデリング環境の構築へ 既存環境の課題（保守のボトルネック） dbt platform 採⽤による解決策 dbt Core運⽤における懸念点 全社モデリング環境の統⼀と容易化 • 既存の利⽤状況: 既にdbt Coreを使った開発環境⾃体は構築‧運⽤されてい た。 • 既存資産の継承: 既存のSQLやdbt Coreといった使い慣れたツール‧資産をそ のまま活⽤可能。 • 今後のボトルネック化: dbtの全社利⽤を推進するにあたり、既存集計環境のライブラ リアップデートや保守作業が⼤きな負荷となり、運⽤のボト ルネックになることが予想された。 • 環境の統⼀と容易な構築: dbt platformを全社環境に採⽤し、データ集計環境の統⼀と 容易なモデリング構築を実現。 • 課題の根本解決: 保守運⽤コストを削減し、データ活⽤推進の障壁をクリア。 10
11. dbt platformの導⼊にあたって期待したこと A スムーズな移⾏と最新プラクティスの導⼊ B 開発環境の簡素化と可視化 既存資産を活かしたモダンデータスタックへのスムーズな移 ⾏と最新プラクティスの導⼊を推進します。 GUIによる統合開発環境を通じた、エンジニア不要での迅速 なデータ作成やモデル依存関係の可視化を実現します。 C データ品質と⼀貫性の向上 D 運⽤‧保守コストの削減 全社でのツール統⼀による重複するデータ作成の防⽌と、 データ品質‧⼀貫性の向上を図ります。 クラウドベースのマネージドサービスによる環境整備、バー ジョンアップ、サーバー保守の不要化を実現します。 11
12. 導⼊後の運⽤状況と 取り組んだ施策 02
13. 最初の利⽤状況 初期設定と検証 最初の1ヶ⽉は、社内システムへのつ なぎ込みと、設定⾃体に問題ないか のセキュリティアセスメントなど設 定に時間をかけた。 ⽅針変更 利⽤率の低迷 もともとdbt Coreを使⽤していた チームの⽅針が変わってしまった。 結果として社内で利⽤できる状態に なったが、意に反して⾃分たちの チームしか利⽤しておらず契約した ライセンスの6割程度しか利⽤されて ないという状況になった。 13
14. どんなことをしたか dbt platformを導⼊してどんなことをしたかを具体的におしらせすると以下の通り。 01. サイロ化の解消 02. リバースETLの提供 03. マイクロサービス開発 既存のデータマートにあるデータ モデルのサイロ化を解消 データを扱いたいシステムに対し てリバースETLの仕組みを提供 加えてリバースETLの仕組みとし て、マイクロサービスを開発 【成果‧変化】 その結果、様々な仕組みに組み込みたいという要望が増え始め、dbt platformで作成した成果が⽬⽴ちはじめた。 14
15. データが増えて実績が積み上がった データモデル‧データマートの拡充 リードタイム短縮と信頼の獲得 【利⽤率向上に向けた取り組み】 【圧倒的なスピード提供と成果】 • 数ヶ⽉間 dbt platform の利⽤率が100%ではない状況 が続いていた背景を受け、積極的な活⽤推進を実施 • データモデル作成の標準リードタイム設定：2週間 • ⾃チーム主体で様々な部署からの依頼を柔軟に受け ⼊れ • 社内で誰でも迅速に利⽤可能なデータモデルやデー タマートを継続的に増強 • 実際の提供スピード：1週間以下（想定の半分以下） • 迅速な価値提供により実績が積み上がり、結果とし て社内での強い信頼を獲得 → 社内で興味‧関⼼を醸成したようだが、戦略的に そうしたわけではない 15
16. ⼤切にしていたこと 01 継続的に利⽤してもらえること 作成したデータモデルが、 使ってもらいつづけられること 02 持続可能な保守の実現 メンテナンスし続けられること
17. 継続的に利⽤してもらえること 1 課題にはすぐに対応する • 上流のデータ変更に対して反応 できるように通知の仕組みを整 える • 障害が再発しないように対処す る 2 期待値調整をし続ける • ⾃分達の負担と利⽤者側の期待 のバランスをとる 3 情報の提供を怠らない • 上流のデータによる遅延で遅く なること • 季節性によって提供時期が変わ る場合は事前に伝える
18. 持続可能な保守の実現 1 データコントラクトの作成 2 独⽴性の確保 責任分界点を明確にする 利⽤者側の仕組みに依存しないこと • データ提供者と利⽤者の役割‧責務を定義 • 基盤側と個別利⽤環境の疎結合化を推進 • データ品質の担保と予期せぬ仕様変更の防⽌ • 利⽤者側の変更によるシステム影響を極⼩化 • 運⽤トラブル時の対応フローの効率化 • 持続可能でスケーラブルな保守体制の構築
19. 得られた成果と利⽤の広がり 03
20. できるようになったこと 1 リバースETLの活⽤促進 2 社内システム基盤の強化 3 ⼩規模チームでの⾼成果 データマート構築の⾼速化 データ提供の仕組みを構築 3名の体制で広範な対応 • dbt platformを活⽤し、すばやく データマートを⽤意可能に • 統⼀されたデータモデルが整った 状態を確⽴ • AE‧アナリストあわせて3名のみ の少数精鋭チーム • エンジニアがリバースETLの仕組 みをより使いやすい環境を実現 • これまで難しかった社内システム 向けデータ提供の仕組み作成を実 現 • 多数のデータマート作成に加え、 マイクロサービス基盤も整備 20
21. 起こったこと 様々なチームから dbt platform を使わせてもらえないかという問い合わせが増え始めた  AI組織 AIモデルのデータ処理やパイ プライン構築での活⽤ニーズ   アナリスト組織 分析⽤データマートの迅速な 開発‧運⽤ニーズ  データ基盤組織 全社共通ガバナンスと基盤標 準化に向けた活⽤  ビジネス側の組織 事業部主導でのデータ活⽤‧ セルフサービス化の拡⼤ その結果、余っていたライセンスが埋まり、数ヶ⽉でライセンスが余っていた状況は解消。様々な組織 でデータマートが作られ、導⼊当時の意図を実現しはじめた。 21
22. 利⽤が広がって、ライセンスを増やす必要がでてきた 1 利⽤拡⼤に伴うライセンス数の拡張 2 付け替え運⽤によるコストと柔軟性の最適化 dbt platformの利⽤増加と今後の⾒込みに対応 ⾼額な開発者ライセンスを効率的に循環運⽤ • 利⽤者の拡⼤ 社内での利⽤者が増え、今後のさらなる増加も⾒込ま れたためライセンスを追加購⼊。 • 時期に応じた運⽤形態の変化 常に同じ担当者が同じデータマートを運⽤の固定化を せず、時期に合わせて調整。 • ⾼い稼働率の維持 契約更改のタイミングからすべてのライセンス枠が埋 まっている状況を継続。 • 柔軟なライセンス付け替え 開発者向けライセンスは⾼額なため、必要に応じて割 り当てを変更‧回して運⽤。 22
23. 現在直⾯している課題と 取り組むべきこと 04
24. まだできてないこと 01 アナリストの学習‧活⽤ dbtを使ったデータモデリングの学 習不⾜ まだ⼗分にアナリストに、データモ デリングの仕⽅を学習してもらう必 要性があり、⼗分に活⽤してもらっ ていない。 アナリティクスエンジニアの学習は 進んだが、データマートの整備を優 先したため、アナリストへの学習が 不⼗分に陥っていることが否めませ ん。ここに理想とのギャップがまだ 残っています。 02 モデリングの組織間統⼀ 03 利⽤の浸透‧コスト最適化 ⼿法の不統⼀と異動時のコスト dbt活⽤とコスト最適化の余地 組織別にデータモデリングが統⼀さ れておらず、異動などでデータマー トの作り⽅を学ぶ必要がある。 dbt platformの最適な利⽤⽅法が⼀ 部の組織でしか浸透しておらず、コ スト最適化の余地がまだ残されてい るプロジェクトがある。 24
25. やったほうがいい運⽤ 01 データモデリングの 標準化 データモデリングの標準 化を推進し、組織全体で の開発クオリティとメン テナンス性を向上させ る。 02 現状課題の把握 dbt platformを利⽤した いユーザーへのアンケー トを実施し、現場が抱え る課題を正確に把握でき るようにする。 03 勉強会の開催 dbtの操作や仕様に不慣れ なメンバーを対象とした 勉強会を継続的に開催 し、 スキルアップを⽀援 する。 04 投資価値の証明 dbt platformが解決する 課題と提供するビジネス 価値を定量的‧定性的に 分析し、継続的な投資を 得られる状態を維持す る。
26. dbt運⽤の理想とライセンスコストの課題 dbt (data build tool) は、「データモデリングやデータ変換のプロセスに、ソフトウェアエンジニ アリングのベストプラクティスを持ち込む」というコンセプトで開発され、データ業界に⾰命を起 こしたツールです。 環境はアナリティクスエンジニアリングが整え、アナリストなどデータモデルを量産する⽅が運⽤ し続けるという体制を敷くのが理想だと思います。しかし、dbt Coreで運⽤しようと思えばCIや dbtのランナーを整備しなくてはならないことから、モデリングするまでのリードタイムが⻑く、 データモデルの量産が必要といった課題に向かいづらいという課題があります。dbt platformはそ ういった課題を解決しますが、運⽤し続けるには⾼額なライセンスを⽀払い続ける必要があり、多 くのアナリストが同時に使うにはそれなりのライセンスコストを必要と思います。とはいえ先述の 通り常に使うわけではないので、ライセンスの付け替えで運⽤するのが現実的だと思います。 しかし、それをいくつにするのが最適なのかは、これからも模索が必要だと思いました。 26
27. 参考書籍 データモデリングをするにあたって以下の本がとても参考になりました。 27
28. まとめ dbt platformは環境構築が速くデータ整備を強⼒に推進する優れたツールだが、 ベストプラクティス導⼊やコスト最適化の検討は常に不可⽋ 01 dbt platformの価値 02 万能ではない限界 03 継続的な課題 迅速な環境構築とデータ整備の推 進 ベストプラクティス導⼊の必要性 コスト‧運⽤の最適化とスキル定 着 開発環境をすぐに構築できる点が最⼤ の強み。すぐにデータモデルを必要と している組織において、関係者のデー タ整備意欲を⾼め開発を強⼒に促進す るため⾮常におすすめ。 ツールを導⼊すればすべてが解決する わけではない。⾼い品質と保守性を実 現‧維持するには、データモデルのベ ストプラクティスを適⽤‧定着させる ことが必須。 開発効率の向上と引き換えにライセン スコスト等の負荷は⽣じる。不慣れな メンバーへの勉強会開催等によるスキ ルアップ⽀援と並⾏し、組織フェーズ に合わせたCoreとPlatformの最適バ ランスや運⽤設計を模索し続ける必要 がある。 28
29. ご清聴ありがとうございました！