Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Data Pipeline Casual Talk Vol.2 for Ready
Search
tetsuroito
April 08, 2019
Technology
0
4.6k
Data Pipeline Casual Talk Vol.2 for Ready
2019/04/16(Tue) Data Data Pipeline Casual Talk Vol.2 at SmartNewsのOpening Talkスライド
tetsuroito
April 08, 2019
Tweet
Share
More Decks by tetsuroito
See All by tetsuroito
Data Engineering Study#30 LT資料
tetsuroito
2
1.7k
データエンジニアリングの潮流を俯瞰する
tetsuroito
1
1.9k
Classiが取り組んできた 機械学習の試行錯誤
tetsuroito
0
880
事業会社でのデータマネジメントのプラクティス #TechMar
tetsuroito
1
680
Data Engineering Study #9 Classiのデータ組織の歩み
tetsuroito
5
6.1k
Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと
tetsuroito
4
5k
Subscription Meetup Vol.2 Opening Talk Slide
tetsuroito
0
160
Data_Pipeline_Casual_Talk_Vol.4_for_Ready.pdf
tetsuroito
0
1.7k
Data Pipeline Casual Talk Vol.3 for Ready #DPCT
tetsuroito
0
2.1k
Other Decks in Technology
See All in Technology
コスト削減から「セキュリティと利便性」を担うプラットフォームへ
sansantech
PRO
3
1.1k
入社1ヶ月でデータパイプライン講座を作った話
waiwai2111
1
210
フルカイテン株式会社 エンジニア向け採用資料
fullkaiten
0
10k
ClickHouseはどのように大規模データを活用したAIエージェントを全社展開しているのか
mikimatsumoto
0
140
予期せぬコストの急増を障害のように扱う――「コスト版ポストモーテム」の導入とその後の改善
muziyoshiz
1
1.3k
SREじゃなかった僕らがenablingを通じて「SRE実践者」になるまでのリアル / SRE Kaigi 2026
aeonpeople
6
1.9k
クレジットカード決済基盤を支えるSRE - 厳格な監査とSRE運用の両立 (SRE Kaigi 2026)
capytan
6
1.9k
(金融庁共催)第4回金融データ活用チャレンジ勉強会資料
takumimukaiyama
0
110
Azure Durable Functions で作った NL2SQL Agent の精度向上に取り組んだ話/jat08
thara0402
0
120
開発メンバーが語るFindy Conferenceの裏側とこれから
sontixyou
2
580
We Built for Predictability; The Workloads Didn’t Care
stahnma
0
130
データの整合性を保ちたいだけなんだ
shoheimitani
4
1.4k
Featured
See All Featured
Public Speaking Without Barfing On Your Shoes - THAT 2023
reverentgeek
1
300
My Coaching Mixtape
mlcsv
0
45
Building Applications with DynamoDB
mza
96
6.9k
The Mindset for Success: Future Career Progression
greggifford
PRO
0
230
The SEO identity crisis: Don't let AI make you average
varn
0
62
Site-Speed That Sticks
csswizardry
13
1.1k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
The Organizational Zoo: Understanding Human Behavior Agility Through Metaphoric Constructive Conversations (based on the works of Arthur Shelley, Ph.D)
kimpetersen
PRO
0
230
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
47
7.9k
The Curse of the Amulet
leimatthew05
1
8.1k
Embracing the Ebb and Flow
colly
88
5k
Claude Code どこまでも/ Claude Code Everywhere
nwiizo
61
52k
Transcript
Data Pipeline Casual Talk Vol.2 for Ready 2019/04/16(Tue) @スマートニュース
何者ですか? • 名前:伊藤 徹郎 (@tetsuroito) • 所属:Classi株式会社 データAI部 データサイエンティスト •
分野:Educational Technology , Learning Analytics • 著書:データサイエンティスト養成読本ビジネス活用編 • 運営: ◦ Machine Learning Casual Talks ◦ Data Analyst Meetup Tokyo など
カジュアルとは 引用 https://twitter.com/con_mame/status/457130929270435840
#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •
担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです!
前回のDPCT Vol.1の振り返り 詳細はクラスメソッドさんのブログに https://dev.classmethod.jp/business/bigdata/report-data-pipeline-casual-talk-vol-1/
前回のDPCT Vol.1の振り返り 詳細はクラスメソッドさんのブログに https://dev.classmethod.jp/business/bigdata/report-data-pipeline-casual-talk-vol-1/ 予期せぬ Airflow祭り!!
というわけで、今日のお品書き
Appendix:申込者属性割合 Vol.1を経て、データ基盤 実装者の割合が増加
Appendix:DPCT Vol.2に期待すること 大枠の単語は変わりませんが、ワークフローやETLなどの基盤よりの単語が出ています
Appendix:DPCT Vol.2に期待すること 無情報だったVol.1に比べて、会の趣旨が伝わっている単語の出現状況です
Appendix:DPCT Vol.2に期待すること
会場提供&スポンサー スマートニュースさん 本当にありがとうございます!!