Upgrade to Pro — share decks privately, control downloads, hide ads and more …

データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響

k.muguruma
January 19, 2024

データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響

k.muguruma

January 19, 2024
Tweet

More Decks by k.muguruma

Other Decks in Technology

Transcript

  1. 自己紹介 六車 光貴 (Muguruma, Koki) @mt_musyu 株式会社ナウキャスト データエンジニア& データプラットフォームエンジニア (2023/09~)

    やっていること: データエンジニアリング( データ分析基盤の設計・構築など) 社内のデータ基盤の開発・運用、顧客向けデータ基盤構築支援 元々はweb engineer だったため、Software engineering の知見をData Engineering に応用するのが好き。最近はSnowflake, BigQuery, Airflow, dbt 周りを よく使っている 前職はIT コンサル、Web 屋さん( 検索エンジン作ってました) 山登りとスキーとお酒( 日本酒・ウイスキー) が好き データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響 koki muguruma 2 / 19
  2. データプラットフォームエンジニアリングに必要なスキル 1. データスキル SQL などのデータベーススキル Airflow 、dbt などのデータパイプラインツールの経験 データウェアハウスやデータレイクの経験、Snowflake 、BigQuery

    などのクラウドデータウェアハウスの経験 データ品質、データガバナンス、データセキュリティの経験・知識 2. ソフトウェアエンジニアリングスキル Python 、Golang 、Jave などのプログラミング言語に習熟していること マイクロサービスアーキテクチャやサーバレスコンピューティングの経験 Docker 、Kubernetes などのコンテナ技術の経験 3. プラットフォームエンジニアリングスキル AWS 、GCP 、Azure などのクラウドプラットフォームの経験 Terraform 、CloudFormation などのInfrastructure as Code の経験 4. 製品開発スキル アジャイル開発の経験 ステークホルダーとのコミュニケーション能力 データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響 Life at Dojo | Data Platform Engineering | Dojo Careers koki muguruma 15 / 19
  3. まとめ 今後はデータプラットフォームエンジニアリングが重要になってくる データプラットフォームエンジニアリングに必要なスキルは多岐にわたる データスキル ソフトウェアエンジニアリングスキル プラットフォームエンジニアリングスキル 製品開発スキル 今後はデータプラットフォームエンジニアリングの需要が高まっていくと思われる ので、興味がある方はぜひチャレンジしてみてください! (

    ナウキャストではデータエンジニア、データプラットフォームエンジニア、プロジ ェクトマネージャーなど絶賛募集中なので興味あれば気軽にお声がけくださ い!!) データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響 koki muguruma 17 / 19
  4. 参考資料 Joe Reis and Matt Housley, Fundamentals of Data Engineering

    Matthew Skelton and Manuel Pais, Team Topologies Life at Dojo | Data Platform Engineering | Dojo Careers The Data Engineer is dead, long live the (Data) Platform Engineer 5 分でわかる( かもしれない)Platform Engineering - Speaker Deck データドリブンな世界を支える: データプラットフォームエンジニアリングの役割と影響 koki muguruma 19 / 19