Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データチームを率いる現場マネージャーが語る、市場が求めるデータエンジニアに爆速で成長する方法
Search
Takaya Nakanishi
September 28, 2022
Technology
0
690
データチームを率いる現場マネージャーが語る、市場が求めるデータエンジニアに爆速で成長する方法
2022年9月27日に開催した Cloud Native DataEngineer Community での登壇資料です。
Takaya Nakanishi
September 28, 2022
Tweet
Share
More Decks by Takaya Nakanishi
See All by Takaya Nakanishi
DAIS 2025 で感じた データ + AI の“イマ”
kc_nakanishi
0
230
Databricks Data+AI Summit 2024 最新動向座談会
kc_nakanishi
0
260
20240330_LT資料「エンジニアに求められるマネジメント」
kc_nakanishi
1
290
ナレコム CULTURE DECK
kc_nakanishi
1
1.5k
AI業界をリードする企業のエンジニアが語る:クラウド & AI でキャリアを作る魅力
kc_nakanishi
0
310
受託クラウド AI ベンチャーで働く自分から見た 誰も言わない成功プロジェクトの共通点
kc_nakanishi
0
350
ChatGPTがある時代にわたしたちはどう生きるか
kc_nakanishi
1
200
「AWS 上で始めるモダンデータアアーキテクチャと データ活用に向けたアプローチ」
kc_nakanishi
0
470
ナレコム社内研修資料_プロジェクトマネジメント入門(2022年版)
kc_nakanishi
1
1.5k
Other Decks in Technology
See All in Technology
データエンジニアリング 4年前と変わったこと、 4年前と変わらないこと
tanakarian
2
340
怖くない!GritQLでBiomeプラグインを作ろうよ
pal4de
1
120
そもそも AWS FIS について。なぜ今 FIS のハンズオンなのか?などなど
kazzpapa3
2
110
スプリントレビューを効果的にするために
miholovesq
9
1.6k
An introduction to Claude Code SDK
choplin
3
3.2k
名刺メーカーDevグループ 紹介資料
sansan33
PRO
0
840
Microsoft Fabric ガバナンス設計の一歩目を考える
ryomaru0825
1
250
ゼロから始めるSREの事業貢献 - 生成AI時代のSRE成長戦略と実践 / Starting SRE from Day One
shinyorke
PRO
0
230
MCP とマネージド PaaS で実現する大規模 AI アプリケーションの高速開発
nahokoxxx
1
1.4k
Maintainer Meetupで「生の声」を聞く ~講演だけじゃないKubeCon
logica0419
1
160
BEYOND THE RAG🚀 ~とりあえずRAG?を超えていけ! 本当に使えるAIエージェント&生成AIプロダクトを目指して~ / BEYOND-THE-RAG-Toward Practical-GenerativeAI-Products-AOAI-DevDay-2025
jnymyk
4
230
SREを知らずに SREマネージャーになった話 / How I Became an SRE Manager Without Knowing What SRE Is
moneyforward
0
280
Featured
See All Featured
Embracing the Ebb and Flow
colly
86
4.8k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
GitHub's CSS Performance
jonrohan
1031
460k
Adopting Sorbet at Scale
ufuk
77
9.5k
Become a Pro
speakerdeck
PRO
29
5.4k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.8k
A Tale of Four Properties
chriscoyier
160
23k
Building Adaptive Systems
keathley
43
2.7k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Raft: Consensus for Rubyists
vanstee
140
7k
Rails Girls Zürich Keynote
gr2m
95
14k
Writing Fast Ruby
sferik
628
62k
Transcript
データチームを率いる現場マネージャーが語る、 市場が求めるデータエンジニアに爆速で成長する方法 株式会社ナレッジコミュニケーション ビジネス・デベロップメント部 中西 貴哉 2022年9月27日 Cloud Native DataEngineer
Community 第1回イベント
自己紹介 氏名 : 中西 貴哉 (なかにし たかや) 所属 : ビジネス・デベロップメント部
マネージャー (何でもやる) 担当 : セールス-運用までのエンジニアリングチームのマネジメント 2 データエンジニアを目指す方にオススメな資格 (自分が保有しているもの)
1 2 3 Agenda データエンジニアの ニーズ クラウドネイティブ になるメリット 経験 をどう獲得するか?
3
市場が求めるデータエンジニアになる3つのキーワード クラウド 経験 ニーズ 4
ニーズ
データプロジェクトの実情 6 85% のビッグデータプロジェクトは失敗 実は・・・
7 ML code データ収集 データ検証 環境構築 自動化 特徴量エンジニアリング テストと デバッグ
モデル評価 プロセス設計 モデル提供 インフラ構築 メタデータ管理 リソース マネジメント Hidden Technical Debt in Machine Learning Systems (Sculley et al. 2015) より作成 「分析」そのものは全体のごく一部
データプロジェクトの登場人物 8 ▪ コラボレーション、機械学習の実 験、再現性・再利用性を担保 ▪ データプレパレーション、特徴量 抽出 ▪ 機械学習時間、モデル精度に
対する最適化 ▪ 最新のツールや最新アルゴリズ ムの導入と適用 ▪ 常に正確で信頼できる最新 データにアクセスすることを担保 ▪ データチームがアクセスするデータ の定義と管理者の明確化を推 進 ▪ データガバナンスの統合的な管 理を推進 ▪ 各プロセス処理の動作担保 ▪ 各種ユースケースへの対応 (リア ルタイム, バッチ) ▪ 性能、データ品質の担保 ▪ 新しいデータソースへの対応 ▪ スキーマチェックとカラム変更時の 対応 ▪ 変更時のデプロイ先アプリへの対 応 ▪ ニーズに合わせた環境構築 ▪ 環境ごとの一貫性の担保 ▪ コアデータの複数チームへの共有 ▪ テスト、ダウンタイム、品質管理 ▪ 各種コンフィギュレーション管理 ▪ コスト管理、各種自動化 ▪ システム環境の運用保守 データ/MLエンジニア データスチュアード 運用管理担当 データサイエンティスト
9 ML code データ収集 データ検証 環境構築 自動化 特徴量エンジニアリング テストと デバッグ
モデル評価 プロセス設計 モデル提供 インフラ構築 メタデータ管理 リソース マネジメント Hidden Technical Debt in Machine Learning Systems (Sculley et al. 2015) より作成 広範な技術領域をカバーする必要がある データ/MLエンジニア データサイエンティスト 運用管理担当 運用管理担当 データスチュアード
実際のところ・・・ 10 ML code データ収集 データ検証 環境構築 自動化 特徴量エンジニアリング テストと
デバッグ モデル評価 プロセス設計 モデル提供 インフラ構築 メタデータ管理 リソース マネジメント Hidden Technical Debt in Machine Learning Systems (Sculley et al. 2015) より作成 データ/MLエンジニア
クラウド
なぜクラウドネイティブか? 12 ML code データ収集 データ検証 環境構築 自動化 特徴量エンジニアリング テストと
デバッグ モデル評価 プロセス設計 モデル提供 インフラ構築 Hidden Technical Debt in Machine Learning Systems (Sculley et al. 2015) より作成 リソース マネジメント メタデータ管理
クラウドの理解と活用で大半はカバー可 13 ML code データ収集 データ検証 環境構築 自動化 特徴量エンジニアリング テストと
デバッグ リソース マネジメント モデル評価 プロセス設計 モデル提供 インフラ構築 メタデタ管理 メタデータ管理 Hidden Technical Debt in Machine Learning Systems (Sculley et al. 2015) より作成
クラウドネイティブで始めるメリット 14 「答え」が提供されている 価値のある課題に集中できる
アーキテクチャの模範解答 15 Azure Machine Learning を使用した Python モデル用の MLOps AWS
ソリューションライブラリー MLOps Workload Orchestrator AWS Azure
ビジネス領域へのアプローチ 16 製薬 流通 流通 All All All All All
金融 金融 製造 金融 製造 通信 公共 製薬 製薬 All All All All All All 金融 All データブリックス社の公開するソリューションアクセラレータ 現場の分析アプローチが Notebook 形式で公開
経験
不確実性の高い時代に求められる学び 18 これまで これから 絶対解 知識の蓄積 計画的な学習 資格取得 最適解 知識の更新
スピード学習 ラーニング
市場価値を上げる人のアプローチ 経 験 多 少 少 多 学習の量 経験偏重 発展途上
学習偏重 成長する 働き方 仕事から学び 学 び か ら 仕 事
どんな経験も活かせます 20 経験 活きる場面 営業 運用 数理知識 ドメイン理解 MLOps モデル開発
チーム内での経験と学習の両立 21
まとめ クラウドネイティブになれる データプロジェクトに飛び込もう!
カジュアル面談やってます エントリーページ