Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Data Pipeline Casual Talk Vol.3 for Ready #DPCT
Search
tetsuroito
June 27, 2019
Technology
0
1.9k
Data Pipeline Casual Talk Vol.3 for Ready #DPCT
2019/06/27(Thu) Data Pipeline Casual Talk Vol.3のオープニングトーク資料です
tetsuroito
June 27, 2019
Tweet
Share
More Decks by tetsuroito
See All by tetsuroito
データエンジニアリングの潮流を俯瞰する
tetsuroito
1
1.8k
Classiが取り組んできた 機械学習の試行錯誤
tetsuroito
0
830
事業会社でのデータマネジメントのプラクティス #TechMar
tetsuroito
1
620
Data Engineering Study #9 Classiのデータ組織の歩み
tetsuroito
5
5.7k
Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと
tetsuroito
4
4.8k
Subscription Meetup Vol.2 Opening Talk Slide
tetsuroito
0
130
Data_Pipeline_Casual_Talk_Vol.4_for_Ready.pdf
tetsuroito
0
1.4k
データサイエンティスト養成読本ビジネス活用編のこぼれ話とエンジニアとデータサイエンティストのコラボについて
tetsuroito
3
3.2k
サブスクリプションミートアップOPトークスライド
tetsuroito
0
4.7k
Other Decks in Technology
See All in Technology
Writing Ruby Scripts with TypeProf
mame
0
170
AWSLambdaMCPServerを使ってツールとMCPサーバを分離する
tkikuchi
1
3k
Cross Data Platforms Meetup LT 20250422
tarotaro0129
1
690
【Λ(らむだ)】最近のアプデ情報 / RPALT20250422
lambda
0
110
30代からでも遅くない! 内製開発の世界に飛び込み、最前線で戦うLLMアプリ開発エンジニアになろう
minorun365
PRO
11
3.2k
CodePipelineのアクション統合から学ぶAWS CDKの抽象化技術 / codepipeline-actions-cdk-abstraction
gotok365
5
210
ソフトウェア開発現代史: "LeanとDevOpsの科学"の「科学」とは何か? - DORA Report 10年の変遷を追って - #DevOpsDaysTokyo
takabow
0
390
SnowflakeとDatabricks両方でRAGを構築してみた
kameitomohiro
1
420
AIでめっちゃ便利になったけど、結局みんなで学ぶよねっていう話
kakehashi
PRO
0
180
Notion x ポストモーテムで広げる組織の学び / Notion x Postmortem
isaoshimizu
1
120
Running JavaScript within Ruby
hmsk
3
340
ドキュメント管理の理想と現実
kazuhe
1
210
Featured
See All Featured
4 Signs Your Business is Dying
shpigford
183
22k
It's Worth the Effort
3n
184
28k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Into the Great Unknown - MozCon
thekraken
37
1.7k
The World Runs on Bad Software
bkeepers
PRO
67
11k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
52
2.4k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Embracing the Ebb and Flow
colly
85
4.6k
Done Done
chrislema
183
16k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
45
9.5k
Transcript
Data Pipeline Casual Talk Vol.3 for Ready 2019/06/27(Thu) @エウレカ
みなさん こんばんは! DPCT Vol.3です
会場提供&スポンサー エウレカさん 本当にありがとうございます!!
カジュアルとは 引用 https://twitter.com/con_mame/status/457130929270435840
#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •
担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです!
申込者属性割合
申込者属性割合(前回比較)
DPCT Vol.3に期待すること 今回はDataPipelineの具体的なツール名がよく出てくるようになった MLOpsの話も期待されているようです
DPCT Vol.3に期待すること 本勉強会が、つらみの共有であることに期待している人が増加!!
ここがつらいよワークフローエンジンの例 - 公式ドキュメントが微妙 - まだまだ有用記事が少ない - DAGを定義するファイルが柔軟じゃない - 動的変数が使いたい -
1階層しか..ない..だと? - DAG of DAG - ユーザー権限管理設定をさせてくれ! - BigQueryのTokyo リージョンでは使えない うちのデータエンジニアが書き連ねたツラミ
(再掲)#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •
担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです! 狙いと期待がシンクロ してきています
というわけで、今日のお品書き
今日も 張り切って いきましょう!
最後に イベントアンケートにご協力お願いします