Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Data Pipeline Casual Talk Vol.3 for Ready #DPCT
Search
tetsuroito
June 27, 2019
Technology
0
1.9k
Data Pipeline Casual Talk Vol.3 for Ready #DPCT
2019/06/27(Thu) Data Pipeline Casual Talk Vol.3のオープニングトーク資料です
tetsuroito
June 27, 2019
Tweet
Share
More Decks by tetsuroito
See All by tetsuroito
データエンジニアリングの潮流を俯瞰する
tetsuroito
1
1.8k
Classiが取り組んできた 機械学習の試行錯誤
tetsuroito
0
850
事業会社でのデータマネジメントのプラクティス #TechMar
tetsuroito
1
630
Data Engineering Study #9 Classiのデータ組織の歩み
tetsuroito
5
5.8k
Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと
tetsuroito
4
4.8k
Subscription Meetup Vol.2 Opening Talk Slide
tetsuroito
0
140
Data_Pipeline_Casual_Talk_Vol.4_for_Ready.pdf
tetsuroito
0
1.5k
データサイエンティスト養成読本ビジネス活用編のこぼれ話とエンジニアとデータサイエンティストのコラボについて
tetsuroito
3
3.3k
サブスクリプションミートアップOPトークスライド
tetsuroito
0
4.8k
Other Decks in Technology
See All in Technology
OSMnx Galleryの紹介
mopinfish
0
150
AIオンボーディングとAIプロセスマイニング
nrryuya
5
1.3k
CloudTrailも、GuardDutyも、VPC Flow logsも… ログ多すぎ問題の整理術
nikuyoshi
5
650
プラットフォームとしての Datadog / Datadog as Platforms
aoto
PRO
1
330
令和最新版TypeScriptでのnpmパッケージ開発
lycorptech_jp
PRO
0
110
ProductZine Day 2025 Assuredのプロダクトディスカバリー
kechol
0
110
プロジェクトマネジメント実践論|現役エンジニアが語る!~チームでモノづくりをする時のコツとは?~
mixi_engineers
PRO
3
170
大事なのは、AIの精度だけじゃない!〜1円のズレも許されない経理領域とAI〜
jun_nemoto
10
5.1k
Swiftは最高だよの話
yuukiw00w
2
280
シンプルな設定ファイルで実現する AWS IAM Identity Center のユーザー管理と開発チームへの委譲 / Delegating AWS IAM Identity Center User Management with a Simple DSL
yamaguchitk333
3
550
会社員しながら本を書いてきた知見の共有
sat
PRO
3
680
Houtou.pm #1
papix
0
650
Featured
See All Featured
Git: the NoSQL Database
bkeepers
PRO
430
65k
Product Roadmaps are Hard
iamctodd
PRO
53
11k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
840
Fireside Chat
paigeccino
37
3.5k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Facilitating Awesome Meetings
lara
54
6.4k
Building Better People: How to give real-time feedback that sticks.
wjessup
368
19k
Raft: Consensus for Rubyists
vanstee
137
7k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
Navigating Team Friction
lara
186
15k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
106
19k
Transcript
Data Pipeline Casual Talk Vol.3 for Ready 2019/06/27(Thu) @エウレカ
みなさん こんばんは! DPCT Vol.3です
会場提供&スポンサー エウレカさん 本当にありがとうございます!!
カジュアルとは 引用 https://twitter.com/con_mame/status/457130929270435840
#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •
担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです!
申込者属性割合
申込者属性割合(前回比較)
DPCT Vol.3に期待すること 今回はDataPipelineの具体的なツール名がよく出てくるようになった MLOpsの話も期待されているようです
DPCT Vol.3に期待すること 本勉強会が、つらみの共有であることに期待している人が増加!!
ここがつらいよワークフローエンジンの例 - 公式ドキュメントが微妙 - まだまだ有用記事が少ない - DAGを定義するファイルが柔軟じゃない - 動的変数が使いたい -
1階層しか..ない..だと? - DAG of DAG - ユーザー権限管理設定をさせてくれ! - BigQueryのTokyo リージョンでは使えない うちのデータエンジニアが書き連ねたツラミ
(再掲)#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •
担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです! 狙いと期待がシンクロ してきています
というわけで、今日のお品書き
今日も 張り切って いきましょう!
最後に イベントアンケートにご協力お願いします