Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
TROCCO今昔
Search
gtnao
July 18, 2025
Technology
0
310
TROCCO今昔
Data Engineering Study #30
primeNumber inc. Sponsor LT
https://primenumber.com/
gtnao
July 18, 2025
Tweet
Share
More Decks by gtnao
See All by gtnao
ClaudeCodeにキレない技術
gtnao
1
1.4k
PaaSとSaaSの境目で信頼性と開発速度を両立する 〜TROCCO®︎のこれまでとこれから〜
gtnao
8
19k
0 -> 1でフロントエンドのテストを 書く文化を作っている話
gtnao
2
2.7k
ZetaSQLを使って、 カラムリネージ機能を作った話
gtnao
3
1.9k
Other Decks in Technology
See All in Technology
オブザーバビリティと育てた ID管理・認証認可基盤の歩み / The Journey of an ID Management, Authentication, and Authorization Platform Nurtured with Observability
kaminashi
1
720
Kubernetes self-healing of your workload
hwchiu
0
550
ViteとTypeScriptのProject Referencesで 大規模モノレポのUIカタログのリリースサイクルを高速化する
shuta13
3
210
様々なファイルシステム
sat
PRO
0
250
入院医療費算定業務をAIで支援する:包括医療費支払い制度とDPCコーディング (公開版)
hagino3000
0
110
AI時代の開発を加速する組織づくり - ブログでは書けなかったリアル
hiro8ma
1
320
OSSで50の競合と戦うためにやったこと
yamadashy
3
990
スタートアップの現場で実践しているテストマネジメント #jasst_kyushu
makky_tyuyan
0
130
パフォーマンスチューニングのために普段からできること/Performance Tuning: Daily Practices
fujiwara3
2
130
FinOps について (ちょっと) 本気出して考えてみた
skmkzyk
0
220
SRE × マネジメントレイヤーが挑戦した組織・会社のオブザーバビリティ改革 ― ビジネス価値と信頼性を両立するリアルな挑戦
coconala_engineer
0
260
Observability — Extending Into Incident Response
nari_ex
1
450
Featured
See All Featured
Optimizing for Happiness
mojombo
379
70k
Navigating Team Friction
lara
190
15k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.5k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.5k
How GitHub (no longer) Works
holman
315
140k
How to train your dragon (web standard)
notwaldorf
97
6.3k
How to Think Like a Performance Engineer
csswizardry
27
2.1k
Speed Design
sergeychernyshev
32
1.2k
Why Our Code Smells
bkeepers
PRO
340
57k
Gamification - CAS2011
davidbonilla
81
5.5k
Thoughts on Productivity
jonyablonski
70
4.9k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
16
1.7k
Transcript
TROCCO今昔 Data Engineering Study #30 primeNumber inc. Sponsor LT
本スライドは Claude CodeとMarpのみで 作成されました
AGENDA 1. 自己紹介 2. TROCCOとは 3. 年表 4. 黎明期(2018年) 5.
成長期(2019年〜2023年) 6. 転換期(2024年) 7. 現在地(2025年)
Naotaka Nakane @gtnao primeNumber プロダクト開発本部 CTO室 室長 Staff Software Engineer
2018年11月入社(TROCCOリリースと同じ月!) 色々つくってきました ワークフロー プログラミングETL dbt連携 データカタログ(旧 COMETA) Self-Hosted Runner etc...
TROCCOとは 点在するデータの「統合」を自動化。 「統合」を軸にデータ基盤の構築や運用を支援するSaaSプロダクト。 データをビジネスに活用するまでのステップ
TROCCOの機能 統合の他にも、データ加工を手間なく実現できるデータマート機能や、 データ処理のプロセスを管理するワークフロー機能等も搭載し、 データ基盤の構築・運用を総合的に支援します。
7年前までタイムスリップ 🕑
TROCCO年表 2018 Next 2018.11 TROCCOリリース Embulkベースの転送機能のみを 備えたSaaSとしてローンチ 2019 夏 データマート機能
転送後の変換処理を シンプルなSQL実行機能として サポート 2020 春 ワークフロー機能 複雑な依存関係をGUIで定義し データパイプラインの構築が可能に 2022 夏 データカタログ機能 メタデータ領域に進出 2024 春 ブランドイメージ刷新 COMETA誕生 Connect 100+プロジェクト 2025 現在 最新アップデート コネクタ爆増中 Self-Hosted Runner COMETA AI
黎明期:2018年
プレスリリース(2018年11月8日)
初期のトップページ
初期の転送設定画面
初期のプレビュー画面
初期の特徴 転送設定とスケジュール実行のみのシンプルな構成 コネクタ(10個前後) DWH:BigQuery、Redshift Database:MySQL、PostgreSQL ストレージ:S3、GCS、SFTP ※ SalesforceなどのSaaS系や広告系コネクタはまだ無し
成長期:2019年〜2023年
2019年:データマート機能 データ転送後の変換処理を、シンプルなスケジュールドSQL機能として提供 SQLが書ければすぐに使える dbtよりも手軽に始められる TROCCOの屋台骨を支える機能として、2025年現在も広く使われている
2020年:ワークフロー機能 ついに本格的なワークフロー機能が登場 各転送機能の依存関係を定義可能 GUIでドラッグ&ドロップ、DAGを直感的に構築 複雑なデータパイプラインの可視化と管理 💡 実は2020年(ローンチ2年後)までワークフロー機能は存在しませんでした...
初期のワークフロー画面
以前はどうしてた? ジョブ依存機能 各設定単位で、依存する設定を定 義できる機能があった 全体を俯瞰して、フローを組める 機能はなかった
その他機能の拡充 SaaS、広告系コネクタの拡充 プログラミングETL スキーマ追従機能 変更ロールバック機能 マネージドデータ転送機能 ワークフローのループ実行 データチェック機能 dbt連携 データカタログ機能
ラベル機能 チーム機能 SAML認証・2要素認証・IP制限 監査ログ etc..
転換期:2024年
COMETAリリース TROCCOのデータカタログ機能がCOMETAとして生まれ変わる
ブランドリニューアル 親しみやすさは残したまま、信頼性の感じられるデザインへ
(参考) ブランドアイデンティティの再構築 https://note.com/kotaki_kazumasa/n/nc9fe25adbb6a
Connect 100+ 構想スタート 会計、人事、決済、RevOpsといった領域で 1年で100以上の新しいコネクタを提供する 野心的なプロジェクト
現在地:2025年
コネクタの爆発的増加 Connect 100+ プロジェクトの成果 2024年11月:110程度 2025年7月現在:170程度 9ヶ月で約60個増加 SAPなどのエンタープライズ向け コネクタもサポート
(参考) Connect 100+ を支える技術 https://speakerdeck.com/kanyamaguc/connect-100-plus-wozhi-eruji-shu
Self-Hosted Runner Dockerがあれば、どこでも転送ジョブを実行 SaaS版TROCCOとハイブリッド構成 データ転送はコンテナ内で完結 通信はコンテナから開始(セキュアな設計) ネットワーク制約を柔軟に回避
データカタログからAIデータプラットフォームへ COMETA AIチャット メタデータ自動生成
Coming Soon... ワークフローの条件分岐機能 より柔軟なフロー制御が可能に
多様な条件分岐に対応 指定可能な条件 実行時刻 ジョブの完了ステータス HTTPタスクのレスポンスコード
あらゆるデータを、ビジネスの力に変えるべく これからも開発していきます🚀
Happy Data Engineering!