Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Data Pipeline Casual Talk Vol.2 for Ready
Search
Sponsored
·
Ship Features Fearlessly
Turn features on and off without deploys. Used by thousands of Ruby developers.
→
tetsuroito
April 08, 2019
Technology
4.8k
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Data Pipeline Casual Talk Vol.2 for Ready
2019/04/16(Tue) Data Data Pipeline Casual Talk Vol.2 at SmartNewsのOpening Talkスライド
tetsuroito
April 08, 2019
More Decks by tetsuroito
See All by tetsuroito
白金鉱業meetup発表資料
tetsuroito
1
390
Data Engineering Study#30 LT資料
tetsuroito
2
2.1k
データエンジニアリングの潮流を俯瞰する
tetsuroito
1
2k
Classiが取り組んできた 機械学習の試行錯誤
tetsuroito
0
910
事業会社でのデータマネジメントのプラクティス #TechMar
tetsuroito
1
710
Data Engineering Study #9 Classiのデータ組織の歩み
tetsuroito
5
6.4k
Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと
tetsuroito
4
5.3k
Subscription Meetup Vol.2 Opening Talk Slide
tetsuroito
0
190
Data_Pipeline_Casual_Talk_Vol.4_for_Ready.pdf
tetsuroito
0
1.8k
Other Decks in Technology
See All in Technology
【CEDEC2026】専門性の高いデフォルメチームが挑んだ人材育成戦略 〜Cygames Academiaの企画から実施まで〜
cygames
PRO
0
600
ハーレムエンジニアリング
kazuma777777
0
150
制約理論(ToC)入門 2026版
recruitengineers
PRO
8
2.3k
名刺メーカーDevグループ 紹介資料
sansan33
PRO
0
1.2k
FPGAが実現する遠方宇宙の高空間分解能天体撮影 -大型地上望遠鏡の視力を補正する「補償光学」とは?-
komei_mt
0
240
Flutterをカメラで動かしたかった話
sony
1
140
【CEDEC2026】『ウマ娘 プリティーダービー』 英語版のキャラクターの方言や口調をローカライズするための創造的アプローチ
cygames
PRO
2
760
JavaScript 研修 (2026)
recruitengineers
PRO
2
540
修正PRを食べてレビュースキルが賢くなる:Claude Codeによる自己改善サイクル
yuyaumetsu
6
1.5k
認知負荷をGemini で溶かす — GKE 基盤「Orbit」における AI エージェントの実践
sansantech
PRO
1
300
モノリス Rails でも日中に rails db:migrate を走らせたい! / Daytime rails db:migrate on Monolithic Rails!
euglena1215
4
580
同じWAFが、攻撃の“形”は弾く── 正当な“形”の不正は通す
kuroneko13
0
190
Featured
See All Featured
The innovator’s Mindset - Leading Through an Era of Exponential Change - McGill University 2025
jdejongh
PRO
1
240
Getting science done with accelerated Python computing platforms
jacobtomlinson
2
430
How to Build an AI Search Optimization Roadmap - Criteria and Steps to Take #SEOIRL
aleyda
1
2.1k
Primal Persuasion: How to Engage the Brain for Learning That Lasts
tmiket
0
400
Agile that works and the tools we love
rasmusluckow
331
22k
Chasing Engaging Ingredients in Design
codingconduct
0
270
Fashionably flexible responsive web design (full day workshop)
malarkey
408
67k
Joys of Absence: A Defence of Solitary Play
codingconduct
1
430
Designing for Timeless Needs
cassininazir
1
440
The Spectacular Lies of Maps
axbom
PRO
1
910
The Illustrated Children's Guide to Kubernetes
chrisshort
51
53k
Everyday Curiosity
cassininazir
0
280
Transcript
Data Pipeline Casual Talk Vol.2 for Ready 2019/04/16(Tue) @スマートニュース
何者ですか? • 名前:伊藤 徹郎 (@tetsuroito) • 所属:Classi株式会社 データAI部 データサイエンティスト •
分野:Educational Technology , Learning Analytics • 著書:データサイエンティスト養成読本ビジネス活用編 • 運営: ◦ Machine Learning Casual Talks ◦ Data Analyst Meetup Tokyo など
カジュアルとは 引用 https://twitter.com/con_mame/status/457130929270435840
#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •
担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです!
前回のDPCT Vol.1の振り返り 詳細はクラスメソッドさんのブログに https://dev.classmethod.jp/business/bigdata/report-data-pipeline-casual-talk-vol-1/
前回のDPCT Vol.1の振り返り 詳細はクラスメソッドさんのブログに https://dev.classmethod.jp/business/bigdata/report-data-pipeline-casual-talk-vol-1/ 予期せぬ Airflow祭り!!
というわけで、今日のお品書き
Appendix:申込者属性割合 Vol.1を経て、データ基盤 実装者の割合が増加
Appendix:DPCT Vol.2に期待すること 大枠の単語は変わりませんが、ワークフローやETLなどの基盤よりの単語が出ています
Appendix:DPCT Vol.2に期待すること 無情報だったVol.1に比べて、会の趣旨が伝わっている単語の出現状況です
Appendix:DPCT Vol.2に期待すること
会場提供&スポンサー スマートニュースさん 本当にありがとうございます!!