Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Data Pipeline Casual Talk Vol.3 for Ready #DPCT
Search
tetsuroito
June 27, 2019
Technology
0
1.8k
Data Pipeline Casual Talk Vol.3 for Ready #DPCT
2019/06/27(Thu) Data Pipeline Casual Talk Vol.3のオープニングトーク資料です
tetsuroito
June 27, 2019
Tweet
Share
More Decks by tetsuroito
See All by tetsuroito
データエンジニアリングの潮流を俯瞰する
tetsuroito
1
1.6k
Classiが取り組んできた 機械学習の試行錯誤
tetsuroito
0
730
事業会社でのデータマネジメントのプラクティス #TechMar
tetsuroito
0
540
Data Engineering Study #9 Classiのデータ組織の歩み
tetsuroito
5
5.4k
Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと
tetsuroito
4
4.4k
Subscription Meetup Vol.2 Opening Talk Slide
tetsuroito
0
100
Data_Pipeline_Casual_Talk_Vol.4_for_Ready.pdf
tetsuroito
0
1.3k
データサイエンティスト養成読本ビジネス活用編のこぼれ話とエンジニアとデータサイエンティストのコラボについて
tetsuroito
3
3.2k
サブスクリプションミートアップOPトークスライド
tetsuroito
0
4.6k
Other Decks in Technology
See All in Technology
OCI で始める!! Red Hat OpenShift / Get Started OpenShift on OCI
oracle4engineer
PRO
1
170
o1のAPIで実験してみたが 制限きつすぎて辛かった話
pharma_x_tech
0
120
Envoy External AuthZとgRPC Extensionを利用した「頑張らない」Microservices認証認可基盤
andoshin11
0
240
Mocking in Rust Applications
taiki45
1
410
ナレッジグラフとLLMの相互利用
koujikozaki
0
400
Javaにおける関数型プログラミンへの取り組み
skrb
7
320
テスト”ケース”駆動開発 で手戻りをなくそう
ryohma0510
0
290
疎通2024
sadnessojisan
5
1k
可視化により内部品質をあげるAIドキュメントリバース/20240910 Hiromitsu Akiba
shift_evolve
0
200
「認証認可」という体験をデザインする ~Nekko Cloud認証認可基盤計画
logica0419
2
430
eBPFのこれまでとこれから
yutarohayakawa
9
3.1k
CRTO/CRTL/OSEPの比較・勉強法とAV/EDRの検知実験
chayakonanaika
1
1.1k
Featured
See All Featured
Making Projects Easy
brettharned
113
5.8k
How to name files
jennybc
75
98k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
26
1.3k
A Modern Web Designer's Workflow
chriscoyier
691
190k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
26
1.9k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
5
480
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
502
140k
Designing Experiences People Love
moore
138
23k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
227
52k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
278
13k
Teambox: Starting and Learning
jrom
131
8.7k
Transcript
Data Pipeline Casual Talk Vol.3 for Ready 2019/06/27(Thu) @エウレカ
みなさん こんばんは! DPCT Vol.3です
会場提供&スポンサー エウレカさん 本当にありがとうございます!!
カジュアルとは 引用 https://twitter.com/con_mame/status/457130929270435840
#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •
担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです!
申込者属性割合
申込者属性割合(前回比較)
DPCT Vol.3に期待すること 今回はDataPipelineの具体的なツール名がよく出てくるようになった MLOpsの話も期待されているようです
DPCT Vol.3に期待すること 本勉強会が、つらみの共有であることに期待している人が増加!!
ここがつらいよワークフローエンジンの例 - 公式ドキュメントが微妙 - まだまだ有用記事が少ない - DAGを定義するファイルが柔軟じゃない - 動的変数が使いたい -
1階層しか..ない..だと? - DAG of DAG - ユーザー権限管理設定をさせてくれ! - BigQueryのTokyo リージョンでは使えない うちのデータエンジニアが書き連ねたツラミ
(再掲)#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •
担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです! 狙いと期待がシンクロ してきています
というわけで、今日のお品書き
今日も 張り切って いきましょう!
最後に イベントアンケートにご協力お願いします