ソフトウェアエンジニアとデータエンジニアの違い・キャリアチェンジ

試されDATA SAPPORO #1
https://tamesaredatahokkaido.connpass.com/event/369741/
でLTした資料です。

Transcript

1. ソフトウェアエンジニアとデータエンジニアの違い ・キャリアチェンジ データ時代の立役者 試されDATA SAPPORO #1 六車 (Muguruma)
2. 自己紹介 • むぐるまです • 株式会社ナウキャスト所属 ◦ データエンジニア/データプラットフォームエンジニア ◦ 社内のデータ基盤のエンハンス・顧客向けデータ基盤構築支援など ◦ webエンジニア出身 • (2025年9月まで)北海道・札幌在住、今は東京に住民票を置いている ◦ 山とスキーが好き • X: @mt_musyu
3. 今日話すこと ソフトウェアエンジニアから データエンジニアに キャリアチェンジして楽しいよという話 ソフトウェアエンジニア(webエンジニア)の方がデータエンジニアに転向してみよ うかな、と思ってくれたら成功！
4. 私のエンジニアパス Webアプリエンジニアとして、フルスタックにフロント画面、API 開発、DB構築をやっていた。とても楽しかったのだけど、レバ レッジの効くこと がしたいという思いがあった キャリアの転換点 業務で特に面白みを感じたのは「データベースのチューニン グ」。アプリケーションのレイテンシ改善からを地道にやることに 喜びを感じ、その文脈からデータエンジニアという職業があるこ とを知った。縁の下の力持ち・総合格闘技 というワードに惹か れる。 なぜソフトウェアエンジニアからデータエンジニアに？
5. 18.15% DEサービス市場の年平均成長率 (CAGR) (2033年まで) *出典: GlobeNewswire (2024) 現代技術のバックボーン AI、リアルタイム分析、パーソナライズされた顧客体験... 全ての「賢い機能」は、DEが構築する信頼性の高いデータ 基盤によって支えられています。 DEの需要は一時的なブームではなく、AI/IoTインフラを支え る恒常的なものと思っています。 なぜ今、データエンジニアなのか？
6. 比較軸 ソフトウェアエンジニア (SE) データエンジニア (DE) 転換の焦点 コア目標 ユーザー向けアプリの機能開発 /安定性の維持 大規模データの収集、処理、品質保証 アプリロジック → データフロー 主要技術 Java, JavaScript, C++, フレーム ワーク、クラウド Python, SQL, Spark, クラウド 分散処理と非構造化データ 技術的規律 コード品質、テスト、レイテンシ データ品質（ Data Quality）、スキーマ進化、ガバナンス、データパイプライ ンのステートフルな検証 対象がコードからデータへ ビジネスインパク ト 顧客体験、特定の機能の収益 化 組織全体の意思決定、 AI/MLの土台構築 戦術的 → 戦略的基盤 SE vs DE：技術的・ビジネス役割
7. 現代のデータパイプラインは「スクリプト」ではなく、「堅牢で信頼 性の高いソフトウェア製品」 である — SWEのシステム設計スキルが不可欠な理由 " " データインフラの「ソフトウェア化」
8. システム設計能力の転用 : マイクロサービスの設計原則は、Data Meshやレイクハウスの設計に直接適用可能。 品質管理の徹底（ DataOps）: SEのTDD/CI/CD経験は、データがステートフル であることに起因する難易度の高いテストの 自動化に不可欠。 DBの深い知見 : データベースチューニングの経験は、大規模DWHの複雑なクエリ最適化に直結する。 ソフトウェアエンジニアの経験は役に立つ
9. 1. クラウドと分散処理 Apache Spark, Kafka, AWS/GCP/Azure/Snowflake/Databricks の データサービス（最重要ギャップ） 2. データアーキテクチャ DWH, データレイク, データメッシュの設計原則、ディメンションモデリ ング 3. データ処理言語と SQL Python (Pandas/PySpark) と 高度なSQL (ウィンドウ関数、クエリ チューニング) 埋めるべき 3つの技術ギャップ
10. SWE：ロジックによる不確実性対応 対象: 外部API、ユーザー入力、競合状態 向き合い方 : アーキテクチャ、型システム、ロジックによる防御 的プログラミング。 ゴール: できるだけステートレス なロジックで問題を解決する。 DE：コミュニケーションによる不確実 性対応 対象: データの発生源（人）、上流システムの「サイレント」な変 更、ビジネス定義の曖昧さ 向き合い方 : 技術に加え、泥臭いコミュニケーション で「人」に 向き合う。 ゴール: ステートフル なデータと組織に向き合い、品質を担保 する。 SWE→DEで変えるメンタルモデル
11. データインフラの「ソフトウェア化」をリードし、世の 中よくしていきましょう。 Your SWE skills are the key. ご清聴ありがとうございました