Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Data Pipeline Casual Talk Vol.3 for Ready #DPCT
Search
tetsuroito
June 27, 2019
Technology
0
2k
Data Pipeline Casual Talk Vol.3 for Ready #DPCT
2019/06/27(Thu) Data Pipeline Casual Talk Vol.3のオープニングトーク資料です
tetsuroito
June 27, 2019
Tweet
Share
More Decks by tetsuroito
See All by tetsuroito
Data Engineering Study#30 LT資料
tetsuroito
2
1.5k
データエンジニアリングの潮流を俯瞰する
tetsuroito
1
1.9k
Classiが取り組んできた 機械学習の試行錯誤
tetsuroito
0
860
事業会社でのデータマネジメントのプラクティス #TechMar
tetsuroito
1
660
Data Engineering Study #9 Classiのデータ組織の歩み
tetsuroito
5
5.9k
Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと
tetsuroito
4
5k
Subscription Meetup Vol.2 Opening Talk Slide
tetsuroito
0
140
Data_Pipeline_Casual_Talk_Vol.4_for_Ready.pdf
tetsuroito
0
1.6k
データサイエンティスト養成読本ビジネス活用編のこぼれ話とエンジニアとデータサイエンティストのコラボについて
tetsuroito
3
3.3k
Other Decks in Technology
See All in Technology
CNCFの視点で捉えるPlatform Engineering - 最新動向と展望 / Platform Engineering from the CNCF Perspective
hhiroshell
0
140
Behind Postgres 18: The People, the Code, & the Invisible Work | Claire Giordano | PGConfEU 2025
clairegiordano
0
140
Retrospectiveを振り返ろう
nakasho
0
130
20251027_マルチエージェントとは
almondo_event
1
460
AIの個性を理解し、指揮する
shoota
1
210
abema-trace-sampling-observability-cost-optimization
tetsuya28
0
190
AWS DMS で SQL Server を移行してみた/aws-dms-sql-server-migration
emiki
0
250
Kubernetes self-healing of your workload
hwchiu
0
570
プレイドのユニークな技術とインターンのリアル
plaidtech
PRO
1
440
組織全員で向き合うAI Readyなデータ利活用
gappy50
3
1.2k
【SORACOM UG Explorer 2025】さらなる10年へ ~ SORACOM MVC 発表
soracom
PRO
0
160
DSPy入門
tomehirata
2
320
Featured
See All Featured
Measuring & Analyzing Core Web Vitals
bluesmoon
9
640
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
YesSQL, Process and Tooling at Scale
rocio
173
15k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
Bash Introduction
62gerente
615
210k
RailsConf 2023
tenderlove
30
1.3k
GraphQLの誤解/rethinking-graphql
sonatard
73
11k
Facilitating Awesome Meetings
lara
57
6.6k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Code Review Best Practice
trishagee
72
19k
The Art of Programming - Codeland 2020
erikaheidi
56
14k
Done Done
chrislema
185
16k
Transcript
Data Pipeline Casual Talk Vol.3 for Ready 2019/06/27(Thu) @エウレカ
みなさん こんばんは! DPCT Vol.3です
会場提供&スポンサー エウレカさん 本当にありがとうございます!!
カジュアルとは 引用 https://twitter.com/con_mame/status/457130929270435840
#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •
担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです!
申込者属性割合
申込者属性割合(前回比較)
DPCT Vol.3に期待すること 今回はDataPipelineの具体的なツール名がよく出てくるようになった MLOpsの話も期待されているようです
DPCT Vol.3に期待すること 本勉強会が、つらみの共有であることに期待している人が増加!!
ここがつらいよワークフローエンジンの例 - 公式ドキュメントが微妙 - まだまだ有用記事が少ない - DAGを定義するファイルが柔軟じゃない - 動的変数が使いたい -
1階層しか..ない..だと? - DAG of DAG - ユーザー権限管理設定をさせてくれ! - BigQueryのTokyo リージョンでは使えない うちのデータエンジニアが書き連ねたツラミ
(再掲)#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •
担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです! 狙いと期待がシンクロ してきています
というわけで、今日のお品書き
今日も 張り切って いきましょう!
最後に イベントアンケートにご協力お願いします