Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
TROCCO×dbtで実現する人にもAIにもやさしいデータ基盤
Search
Nealle
August 19, 2025
Programming
0
2.2k
TROCCO×dbtで実現する人にもAIにもやさしいデータ基盤
2025/8/20
https://pug.connpass.com/event/364357/
#p_UG 東京:夏のデータ活用大共有会 データ活用の第一歩からAIにやさしいデータ基盤までお届け!
Nealle
August 19, 2025
Tweet
Share
More Decks by Nealle
See All by Nealle
Pythonに漸進的に型をつける
nealle
1
110
品質ワークショップをやってみた
nealle
0
610
DevHRに全部賭けろ
nealle
0
170
AI OCR API on Lambdaを Datadogで可視化してみた
nealle
0
310
生成AI、実際どう? - ニーリーの場合
nealle
0
950
“いい感じ“な定量評価を求めて - Four Keysとアウトカムの間の探求 -
nealle
4
16k
ニーリーにおけるプロダクトエンジニア
nealle
0
1.3k
プロダクト志向なエンジニアがもう一歩先の価値を目指すために意識したこと
nealle
0
510
事業KPIを基に価値の解像度を上げる
nealle
0
520
Other Decks in Programming
See All in Programming
3年ぶりにコードを書いた元CTOが Claude Codeと30分でMVPを作った話
maikokojima
0
620
ソフトウェア設計の実践的な考え方
masuda220
PRO
4
630
なんでRustの環境構築してないのにRust製のツールが動くの? / Why Do Rust-Based Tools Run Without a Rust Environment?
ssssota
7
11k
「ちょっと古いから」って避けてた技術書、今だからこそ読もう
mottyzzz
11
7.1k
チームの境界をブチ抜いていけ
tokai235
0
210
TransformerからMCPまで(現代AIを理解するための羅針盤)
mickey_kubo
6
3k
Cursorハンズオン実践!
eltociear
2
1.2k
CSC305 Lecture 10
javiergs
PRO
0
220
CSC305 Lecture 08
javiergs
PRO
0
270
Software Architecture
hschwentner
6
2.3k
CSC509 Lecture 07
javiergs
PRO
0
240
Devvox Belgium - Agentic AI Patterns
kdubois
1
140
Featured
See All Featured
Why Our Code Smells
bkeepers
PRO
340
57k
It's Worth the Effort
3n
187
28k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
230
22k
Designing Experiences People Love
moore
142
24k
Facilitating Awesome Meetings
lara
57
6.6k
A designer walks into a library…
pauljervisheath
209
24k
Java REST API Framework Comparison - PWX 2021
mraible
34
8.9k
Building Applications with DynamoDB
mza
96
6.7k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
36
6.1k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.2k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.5k
The World Runs on Bad Software
bkeepers
PRO
72
11k
Transcript
TROCCO×dbtで実現する 人にもAIにもやさしいデータ基盤 2025.08.20 #p_UG 東京:夏のデータ活用大共有会 株式会社ニーリー 上田 健太郎 NEALLE 1
2022年8月にニーリーに入社。 Analyticsチームの1人目のメンバーとなり、 「事業や経営の意思決定を支援するデータ分析結果の創出」をミッションに、 データ基盤構築から分析まで幅広く対応。 2 自己紹介 株式会社ニーリー Analyticsチーム エンジニア 上田
健太郎
3 プロダクト紹介
4 今日のお話 • 分析の属人化防止 (イネーブリング) のために、TROCCO×dbtでデータマートを整備した • 結果、属人化防止だけでなく、AI活用にも繋がった = 人にもAIにもやさしいデータ基盤
• 同時に、人 (Analytics Eng.) が注力すべきポイントも見えてきた
5 なぜTROCCO? : 2023年10月頃 • より事業貢献に近い領域 (データマート整備や分析) に注力したかった • データソース毎にETLを自前実装するのはマンパワー的にも困難
◦ チーム発足当初は1名体制 (現在は5名) • テーブルやカラムの追加削除も多く、独自実装での検知・追従は非現実的
6 なぜTROCCO? : 2023年10月頃 • より事業貢献に近い領域 (データマート整備や分析) に注力したかった • データソース毎にETLを自前実装するのはマンパワー的にも困難
◦ チーム発足当初は1名体制 (現在は5名) • テーブルやカラムの追加削除も多く、独自実装での検知・追従は非現実的 ※ BQに直接転送しているデータソースは省略 (GAなど)
▼導入効果 • テーブル・カラム自動追従や豊富なコネクタにより ETLが楽になり、マート整備・分析に注力できた • サポートが充実しているのも大変ありがたかった 7 なぜTROCCO? : 2023年10月頃
• より事業貢献に近い領域 (データマート整備や分析) に注力したかった • データソース毎にETLを自前実装するのはマンパワー的にも困難 ◦ チーム発足当初は1名体制 (現在は5名) • テーブルやカラムの追加削除も多く、独自実装での検知・追従は非現実的 ※ BQに直接転送しているデータソースは省略 (GAなど)
8 なぜdbt?: 2025年3月頃 • 2024年の中盤からデータ分析の依頼が増加し続け、データ活用のイネーブリングが急務に。 同時に分析用に加工済みのデータマートの重要性が増した • dbtはデータマート定義はもちろん、データカタログの出力も可能 • TROCCOはdbt連携
(実行) が可能なので、渡りに船だった
9 なぜdbt?: 2025年3月頃 • 2024年の中盤からデータ分析の依頼が増加し続け、データ活用のイネーブリングが急務に。 同時に分析用に加工済みのデータマートの重要性が増した • dbtはデータマート定義はもちろん、データカタログの出力も可能 • TROCCOはdbt連携
(実行) が可能なので、渡りに船だった
▼導入効果 • メンテフリーのdbt実行環境が手に入った • マート&カタログにより分析クエリ作成に必要な知識が 大幅に低減。Bizメンバーの分析参画が増加 • dbt testなどの諸機能によりデータの信頼性・整備性が向上 10
なぜdbt?: 2025年3月頃 • 2024年の中盤からデータ分析の依頼が増加し続け、データ活用のイネーブリングが急務に。 同時に分析用に加工済みのデータマートの重要性が増した • dbtはデータマート定義はもちろん、データカタログの出力も可能 • TROCCOはdbt連携 (実行) が可能なので、渡りに船だった
11 なぜAI?: 2025年7月頃 • 元々、属人化防止のために分析SQLには丁寧にコメントをつけていた ◦ 作成経緯、1行の粒度、CTE単位の処理説明、編集履歴など • マート&カタログだけでは一部のbizメンバーの分析イネーブリングに留まっていた •
手元の生成AIにSQLとdbtモデルを読ませると、結構な精度でSQLを作成できることが判明 • そんな中、社内にAI担当チームも発足。「AI Analytics Chatbot」を作ることに
12 なぜAI?: 2025年7月頃 • 元々、属人化防止のために分析SQLには丁寧にコメントをつけていた ◦ 作成経緯、1行の粒度、CTE単位の処理説明、編集履歴など • マート&カタログだけでは一部のbizメンバーの分析イネーブリングに留まっていた •
手元の生成AIにSQLとdbtモデルを読ませると、結構な精度でSQLを作成できることが判明 • そんな中、社内にAI担当チームも発足。「AI Analytics Chatbot」を作ることに
13 なぜAI?: 2025年7月頃 • 元々、属人化防止のために分析SQLには丁寧にコメントをつけていた ◦ 作成経緯、1行の粒度、CTE単位の処理説明、編集履歴など • マート&カタログだけでは一部のbizメンバーの分析イネーブリングに留まっていた •
手元の生成AIにSQLとdbtモデルを読ませると、結構な精度でSQLを作成できることが判明 • そんな中、社内にAI担当チームも発足。「AI Analytics Chatbot」を作ることに ▼導入効果 • AnalyticsチームのSQL開発は圧倒的に効率化 • SQLコメントとdbt定義のマート群はAIにも 解釈しやすかったようで、初版で使える精度を実現 • Bizメンバーへの効果は計測中 (公開後間もないため)
14 見えてきたポイント: 人にもAIにも優しい基盤を実現するには? No. ポイント アクション 効果 1 徹底的なドキュメンテーション ・dbtモデルでのdescription記載の強制
・分析用SQLへのコメント記載の徹底 ・分析の属人化防止 (イネーブリング) ・AI回答精度の向上 2 分析用データマートの充実化 ・複雑なjoinやcase式、Biz指標の定義を隠蔽 3 利用者とのコミュニケーション ・定期的な分析・マート需要のヒアリング ・実用性の高い データマートの企画 4 マネージドな仕組みの活用 ・TROCCO×dbt でETL・データ検証に 要する時間を削減 ・上記対応の時間の捻出 1~4は同時に、人 (Analytics Eng.) が注力すべきポイント = AIに代替されにくいポイント でもあると思う
ニーリーではプロダクトエンジニア、 その他のポジションも積極採用中です! https://jobs.nealle.com/ We are hiring!!!