TROCCO×dbtで実現する人にもAIにもやさしいデータ基盤

2025/8/20
https://pug.connpass.com/event/364357/
#p_UG 東京：夏のデータ活用大共有会 データ活用の第一歩からAIにやさしいデータ基盤までお届け！

Transcript

1. TROCCO×dbtで実現する 　　　人にもAIにもやさしいデータ基盤 2025.08.20 #p_UG 東京：夏のデータ活用大共有会 株式会社ニーリー 上田 健太郎 NEALLE 1
2. 2022年8月にニーリーに入社。 Analyticsチームの1人目のメンバーとなり、 「事業や経営の意思決定を支援するデータ分析結果の創出」をミッションに、 データ基盤構築から分析まで幅広く対応。 2 自己紹介 株式会社ニーリー Analyticsチーム エンジニア 上田 健太郎
3. 3 プロダクト紹介
4. 4 今日のお話 • 分析の属人化防止 (イネーブリング) のために、TROCCO×dbtでデータマートを整備した • 結果、属人化防止だけでなく、AI活用にも繋がった = 人にもAIにもやさしいデータ基盤 • 同時に、人 (Analytics Eng.) が注力すべきポイントも見えてきた
5. 5 なぜTROCCO？ : 2023年10月頃 • より事業貢献に近い領域 (データマート整備や分析) に注力したかった • データソース毎にETLを自前実装するのはマンパワー的にも困難 ◦ チーム発足当初は1名体制 (現在は5名) • テーブルやカラムの追加削除も多く、独自実装での検知・追従は非現実的
6. 6 なぜTROCCO？ : 2023年10月頃 • より事業貢献に近い領域 (データマート整備や分析) に注力したかった • データソース毎にETLを自前実装するのはマンパワー的にも困難 ◦ チーム発足当初は1名体制 (現在は5名) • テーブルやカラムの追加削除も多く、独自実装での検知・追従は非現実的 ※ BQに直接転送しているデータソースは省略 (GAなど)
7. ▼導入効果 • テーブル・カラム自動追従や豊富なコネクタにより ETLが楽になり、マート整備・分析に注力できた • サポートが充実しているのも大変ありがたかった 7 なぜTROCCO？ : 2023年10月頃 • より事業貢献に近い領域 (データマート整備や分析) に注力したかった • データソース毎にETLを自前実装するのはマンパワー的にも困難 ◦ チーム発足当初は1名体制 (現在は5名) • テーブルやカラムの追加削除も多く、独自実装での検知・追従は非現実的 ※ BQに直接転送しているデータソースは省略 (GAなど)
8. 8 なぜdbt？: 2025年3月頃 • 2024年の中盤からデータ分析の依頼が増加し続け、データ活用のイネーブリングが急務に。 同時に分析用に加工済みのデータマートの重要性が増した • dbtはデータマート定義はもちろん、データカタログの出力も可能 • TROCCOはdbt連携 (実行) が可能なので、渡りに船だった
9. 9 なぜdbt？: 2025年3月頃 • 2024年の中盤からデータ分析の依頼が増加し続け、データ活用のイネーブリングが急務に。 同時に分析用に加工済みのデータマートの重要性が増した • dbtはデータマート定義はもちろん、データカタログの出力も可能 • TROCCOはdbt連携 (実行) が可能なので、渡りに船だった
10. ▼導入効果 • メンテフリーのdbt実行環境が手に入った • マート&カタログにより分析クエリ作成に必要な知識が 大幅に低減。Bizメンバーの分析参画が増加 • dbt testなどの諸機能によりデータの信頼性・整備性が向上 10 なぜdbt？: 2025年3月頃 • 2024年の中盤からデータ分析の依頼が増加し続け、データ活用のイネーブリングが急務に。 同時に分析用に加工済みのデータマートの重要性が増した • dbtはデータマート定義はもちろん、データカタログの出力も可能 • TROCCOはdbt連携 (実行) が可能なので、渡りに船だった
11. 11 なぜAI？: 2025年7月頃 • 元々、属人化防止のために分析SQLには丁寧にコメントをつけていた ◦ 作成経緯、1行の粒度、CTE単位の処理説明、編集履歴など • マート&カタログだけでは一部のbizメンバーの分析イネーブリングに留まっていた • 手元の生成AIにSQLとdbtモデルを読ませると、結構な精度でSQLを作成できることが判明 • そんな中、社内にAI担当チームも発足。「AI Analytics Chatbot」を作ることに
12. 12 なぜAI？: 2025年7月頃 • 元々、属人化防止のために分析SQLには丁寧にコメントをつけていた ◦ 作成経緯、1行の粒度、CTE単位の処理説明、編集履歴など • マート&カタログだけでは一部のbizメンバーの分析イネーブリングに留まっていた • 手元の生成AIにSQLとdbtモデルを読ませると、結構な精度でSQLを作成できることが判明 • そんな中、社内にAI担当チームも発足。「AI Analytics Chatbot」を作ることに
13. 13 なぜAI？: 2025年7月頃 • 元々、属人化防止のために分析SQLには丁寧にコメントをつけていた ◦ 作成経緯、1行の粒度、CTE単位の処理説明、編集履歴など • マート&カタログだけでは一部のbizメンバーの分析イネーブリングに留まっていた • 手元の生成AIにSQLとdbtモデルを読ませると、結構な精度でSQLを作成できることが判明 • そんな中、社内にAI担当チームも発足。「AI Analytics Chatbot」を作ることに ▼導入効果 • AnalyticsチームのSQL開発は圧倒的に効率化 • SQLコメントとdbt定義のマート群はAIにも 解釈しやすかったようで、初版で使える精度を実現 • Bizメンバーへの効果は計測中 (公開後間もないため)
14. 14 見えてきたポイント: 人にもAIにも優しい基盤を実現するには？ No. ポイント アクション 効果 1 徹底的なドキュメンテーション ・dbtモデルでのdescription記載の強制 ・分析用SQLへのコメント記載の徹底 ・分析の属人化防止 　(イネーブリング) ・AI回答精度の向上 2 分析用データマートの充実化 ・複雑なjoinやcase式、Biz指標の定義を隠蔽 3 利用者とのコミュニケーション ・定期的な分析・マート需要のヒアリング ・実用性の高い 　データマートの企画 4 マネージドな仕組みの活用 ・TROCCO×dbt でETL・データ検証に 　要する時間を削減 ・上記対応の時間の捻出 1~4は同時に、人 (Analytics Eng.) が注力すべきポイント = AIに代替されにくいポイント でもあると思う
15. ニーリーではプロダクトエンジニア、 その他のポジションも積極採用中です！ https://jobs.nealle.com/ We are hiring!!!