ソフトウェアエンジニアとデータエンジニアの違い・キャリアチェンジ

ソフトウェアエンジニアとデータエンジニアの違い・キャリアチェンジデータ時代の立役者試されDATA SAPPORO #1 六車 (Muguruma)

自己紹介 • むぐるまです • 株式会社ナウキャスト所属 ◦ データエンジニア/データプラットフォームエンジニア ◦ 社内のデータ基盤のエンハンス・顧客向けデータ基盤構築支援など ◦
webエンジニア出身 • (2025年9月まで)北海道・札幌在住、今は東京に住民票を置いている ◦ 山とスキーが好き • X: @mt_musyu

今日話すことソフトウェアエンジニアからデータエンジニアにキャリアチェンジして楽しいよという話ソフトウェアエンジニア(webエンジニア)の方がデータエンジニアに転向してみようかな、と思ってくれたら成功！

私のエンジニアパス Webアプリエンジニアとして、フルスタックにフロント画面、API 開発、DB構築をやっていた。とても楽しかったのだけど、レバレッジの効くことがしたいという思いがあったキャリアの転換点業務で特に面白みを感じたのは「データベースのチューニング」。アプリケーションのレイテンシ改善からを地道にやることに喜びを感じ、その文脈からデータエンジニアという職業があることを知った。縁の下の力持ち・総合格闘技
というワードに惹かれる。なぜソフトウェアエンジニアからデータエンジニアに？

18.15% DEサービス市場の年平均成長率 (CAGR) (2033年まで) *出典: GlobeNewswire (2024) 現代技術のバックボーン AI、リアルタイム分析、パーソナライズされた顧客体験... 全ての「賢い機能」は、DEが構築する信頼性の高いデータ
基盤によって支えられています。 DEの需要は一時的なブームではなく、AI/IoTインフラを支える恒常的なものと思っています。なぜ今、データエンジニアなのか？

比較軸ソフトウェアエンジニア (SE) データエンジニア (DE) 転換の焦点コア目標ユーザー向けアプリの機能開発 /安定性の維持大規模データの収集、処理、品質保証
アプリロジック → データフロー主要技術 Java, JavaScript, C++, フレームワーク、クラウド Python, SQL, Spark, クラウド分散処理と非構造化データ技術的規律コード品質、テスト、レイテンシデータ品質（ Data Quality）、スキーマ進化、ガバナンス、データパイプラインのステートフルな検証対象がコードからデータへビジネスインパクト顧客体験、特定の機能の収益化組織全体の意思決定、 AI/MLの土台構築戦術的 → 戦略的基盤 SE vs DE：技術的・ビジネス役割

現代のデータパイプラインは「スクリプト」ではなく、「堅牢で信頼性の高いソフトウェア製品」である — SWEのシステム設計スキルが不可欠な理由 " " データインフラの「ソフトウェア化」

システム設計能力の転用 : マイクロサービスの設計原則は、Data Meshやレイクハウスの設計に直接適用可能。品質管理の徹底（ DataOps）: SEのTDD/CI/CD経験は、データがステートフルであることに起因する難易度の高いテストの自動化に不可欠。 DBの深い知見
: データベースチューニングの経験は、大規模DWHの複雑なクエリ最適化に直結する。ソフトウェアエンジニアの経験は役に立つ

1. クラウドと分散処理 Apache Spark, Kafka, AWS/GCP/Azure/Snowﬂake/Databricks のデータサービス（最重要ギャップ） 2. データアーキテクチャ
DWH, データレイク, データメッシュの設計原則、ディメンションモデリング 3. データ処理言語と SQL Python (Pandas/PySpark) と高度なSQL (ウィンドウ関数、クエリチューニング) 埋めるべき 3つの技術ギャップ

SWE：ロジックによる不確実性対応対象: 外部API、ユーザー入力、競合状態向き合い方 : アーキテクチャ、型システム、ロジックによる防御的プログラミング。ゴール: できるだけステートレスなロジックで問題を解決する。
DE：コミュニケーションによる不確実性対応対象: データの発生源（人）、上流システムの「サイレント」な変更、ビジネス定義の曖昧さ向き合い方 : 技術に加え、泥臭いコミュニケーションで「人」に向き合う。ゴール: ステートフルなデータと組織に向き合い、品質を担保する。 SWE→DEで変えるメンタルモデル

データインフラの「ソフトウェア化」をリードし、世の中よくしていきましょう。 Your SWE skills are the key. ご清聴ありがとうございました

ソフトウェアエンジニアとデータエンジニアの違い・キャリアチェンジ

ソフトウェアエンジニアとデータエンジニアの違い・キャリアチェンジ

k.muguruma

More Decks by k.muguruma

Other Decks in Technology

Featured

Transcript