Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Data Pipeline Casual Talk Vol.2 for Ready
Search
tetsuroito
April 08, 2019
Technology
0
4.3k
Data Pipeline Casual Talk Vol.2 for Ready
2019/04/16(Tue) Data Data Pipeline Casual Talk Vol.2 at SmartNewsのOpening Talkスライド
tetsuroito
April 08, 2019
Tweet
Share
More Decks by tetsuroito
See All by tetsuroito
データエンジニアリングの潮流を俯瞰する
tetsuroito
1
1.7k
Classiが取り組んできた 機械学習の試行錯誤
tetsuroito
0
800
事業会社でのデータマネジメントのプラクティス #TechMar
tetsuroito
1
590
Data Engineering Study #9 Classiのデータ組織の歩み
tetsuroito
5
5.6k
Data Engineering Study #3 基調講演_データ分析基盤の浸透に必要なこと
tetsuroito
4
4.6k
Subscription Meetup Vol.2 Opening Talk Slide
tetsuroito
0
120
Data_Pipeline_Casual_Talk_Vol.4_for_Ready.pdf
tetsuroito
0
1.4k
Data Pipeline Casual Talk Vol.3 for Ready #DPCT
tetsuroito
0
1.8k
データサイエンティスト養成読本ビジネス活用編のこぼれ話とエンジニアとデータサイエンティストのコラボについて
tetsuroito
3
3.2k
Other Decks in Technology
See All in Technology
ドメイン駆動設計の実践により事業の成長スピードと保守性を両立するショッピングクーポン
lycorptech_jp
PRO
13
2.2k
月間60万ユーザーを抱える 個人開発サービス「Walica」の 技術スタック変遷
miyachin
1
140
あなたの人生も変わるかも?AWS認定2つで始まったウソみたいな話
iwamot
3
860
Copilotの力を実感!3ヶ月間の生成AI研修の試行錯誤&成功事例をご紹介。果たして得たものとは・・?
ktc_shiori
0
350
AWS Community Builderのススメ - みんなもCommunity Builderに応募しよう! -
smt7174
0
180
Visual StudioとかIDE関連小ネタ話
kosmosebi
1
380
JAWS-UG20250116_iOSアプリエンジニアがAWSreInventに行ってきた(真面目編)
totokit4
0
140
実践! ソフトウェアエンジニアリングの価値の計測 ── Effort、Output、Outcome、Impact
nomuson
0
2.1k
Amazon Q Developerで.NET Frameworkプロジェクトをモダナイズしてみた
kenichirokimura
1
200
AWSの生成AIサービス Amazon Bedrock入門!(2025年1月版)
minorun365
PRO
7
470
#TRG24 / David Cuartielles / Post Open Source
tarugoconf
0
590
.NET AspireでAzure Functionsやクラウドリソースを統合する
tsubakimoto_s
0
190
Featured
See All Featured
How to train your dragon (web standard)
notwaldorf
89
5.8k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7k
How STYLIGHT went responsive
nonsquared
96
5.3k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Testing 201, or: Great Expectations
jmmastey
41
7.2k
Making the Leap to Tech Lead
cromwellryan
133
9k
Done Done
chrislema
182
16k
Building a Scalable Design System with Sketch
lauravandoore
460
33k
Rails Girls Zürich Keynote
gr2m
94
13k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
870
The Power of CSS Pseudo Elements
geoffreycrofte
74
5.4k
Designing for humans not robots
tammielis
250
25k
Transcript
Data Pipeline Casual Talk Vol.2 for Ready 2019/04/16(Tue) @スマートニュース
何者ですか? • 名前:伊藤 徹郎 (@tetsuroito) • 所属:Classi株式会社 データAI部 データサイエンティスト •
分野:Educational Technology , Learning Analytics • 著書:データサイエンティスト養成読本ビジネス活用編 • 運営: ◦ Machine Learning Casual Talks ◦ Data Analyst Meetup Tokyo など
カジュアルとは 引用 https://twitter.com/con_mame/status/457130929270435840
#DPCTの狙い • データの処理工程であるパイプラインがまだ軽視されている • パイプラインの技術情報の共有 • 活用へのパイプライン、機械学習へのパイプライン(MLパイプライン) • 様々なツールの情報 •
担い手のスキル情報 • チームビルディング • 運用における課題 etc こんなことをカジュアルに話すのは#DPCTです!
前回のDPCT Vol.1の振り返り 詳細はクラスメソッドさんのブログに https://dev.classmethod.jp/business/bigdata/report-data-pipeline-casual-talk-vol-1/
前回のDPCT Vol.1の振り返り 詳細はクラスメソッドさんのブログに https://dev.classmethod.jp/business/bigdata/report-data-pipeline-casual-talk-vol-1/ 予期せぬ Airflow祭り!!
というわけで、今日のお品書き
Appendix:申込者属性割合 Vol.1を経て、データ基盤 実装者の割合が増加
Appendix:DPCT Vol.2に期待すること 大枠の単語は変わりませんが、ワークフローやETLなどの基盤よりの単語が出ています
Appendix:DPCT Vol.2に期待すること 無情報だったVol.1に比べて、会の趣旨が伝わっている単語の出現状況です
Appendix:DPCT Vol.2に期待すること
会場提供&スポンサー スマートニュースさん 本当にありがとうございます!!