Webエンジニアから、データエンジニアにチャレンジしてみた！

2022年11月29日開催
「Cloud Native DataEngineer Community」第2回イベント
第2部　株式会社メソドロジック　コンサルティング事業部　データエンジニア　今井祐樹
--------------------------------------------

【イベント概要】

昨今、データを利活用した結果を基に意思決定を実施し成果を出している企業が増加しています。一方、その成果を支えるデータ利活用の基盤を構築・運用するスキルを持ったプロフェッショナルであるデータエンジニアが不足しているのも事実です。

本イベントでは、第一線で活躍するデータエンジニアを招き、データエンジニアの魅力やその実態をお伝えいたします。

--------------------------------------------

【第2部紹介】
『Webエンジニアから、データエンジニアにチャレンジしてみた！』

今まで、Webアプリケーション開発をしてきたエンジニアが、チャンスをいただいて、データエンジニアの領域の仕事に携わって感じたやりがい、面白さをお伝えできればと思います。

＜登壇者＞
株式会社メソドロジック　
コンサルティング事業部　
データエンジニア　
今井祐樹

・略歴
略歴 福島県出身 2008年に大学卒業後、SIerのベンチャー企業に就職し、Webアプリケーションエンジニアとしてweb/基幹システムの設計、開発、運用保守に従事 フルスタックエンジニアを目指して、Webシステムの設計、開発、運用保守を行う。 2019年にメソドロジックに入社し、現在は、Web開発およびデータ分析の基盤構築、開発をメインに行っている データエンジニアとして経験を積むために、業務とテクノロジー、両面の知識のアップデートに日々挑戦中。

--------------------------------------------

【Cloud Native DataEngineer Communityについて】

本コミュニティは、IT エンジニアや学生に対し、データエンジニアの仕事の理解や魅力の浸透、専門職としての地位向上を図ると共に、新卒採用・中途採用への啓蒙活動とデータエンジニアに必要なスキルを習得できる機会を提供し、DX推進に不可欠なデータエンジニアおよびその潜在者の増加に貢献していきます。

■「Cloud Native DataEngineer Community」発足の背景
昨今、データを根拠に予測や意思決定を行うことが、多くの企業にビジネス成果をもたらしています。
DX の目的の一つである新しいビジネスの創出や、デジタルを活用した新たな顧客体験の実現には、データに対する探索的アプローチが有効であると考えられますが、それらを高いアジリティを持って推進するためには、データエンジニアリングが必要不可欠です。
一方、データ利活用の基盤を構築・運用する技能を持ったプロフェッショナルであるデータエンジニアはデータ活用をする上で欠かせない存在ですが、IT 人材の不足が社会全体で課題となる中でも特に不足している専門職の一つです。

■「Cloud Native DataEngineer Community」今後の活動内容
定期的にITエンジニアや学生向けのイベントを開催し、データエンジニアの仕事や魅力をお伝えします。
第1回目は、各社で活躍するデータエンジニアを招いてトークセッションイベントを開催します。

■「Cloud Native DataEngineer Community」を発足の5社
・クラウドエース株式会社（https://cloud-ace.jp/）
・クラスメソッド株式会社（https://classmethod.jp/）
・株式会社ジール（https://www.zdh.co.jp/）
・株式会社ナレッジコミュニケーション（https://www.knowledgecommunication.jp/）
・株式会社メソドロジック（https://www.methodologic.co.jp/）

Transcript

1. Webエンジニアから、データエンジニアにチャレンジしてみた︕ 今井 祐輝(いまい ひろき) 2022年11⽉29⽇ 株式会社メソドロジック http://www.methodologic.co.jp/ mailto:info@methodologic.co.jp Tel: 03-6380-4334 1 1
2. 1. Webアプリエンジニアの僕がデータエンジニアにチャレンジしてみた 2. データエンジニアの⾯⽩さ 3. 今すぐできるデータエンジニアに必要なスキルの勉強⽅法 4. まとめ 1 2 Agenda
3. 1. Webアプリエンジニアの僕がデータエンジニアにチャレンジしてみた 2. データエンジニアの⾯⽩さ 3. 今すぐできるデータエンジニアに必要なスキルの勉強⽅法 4. まとめ 1 3 Agenda
4. ▪ 簡単に、私の経歴の紹介 ▪ 株式会社メソドロジック 今井 祐輝(いまい ひろき) ⽂系の⼤学出⾝ ▪ SIerに就職をして、基幹システム/Web/DBの設計、開発を担当 ▪ フロントエンド、バックエンド、インフラ構築、運⽤・保守の後、データ分析業務に ▪ ITエンジニアを⽬指していく ▪ ITエンジニアと⼀⾔でいっても、たくさんある技術とか、領域とかで、何の知識を学 び、どういった経験をしていかないといけないのか︖ ▪ どう勉強するのか︖何から始めれば良いか︖ ▪ まずプログラミングを覚えたい ▪ プログラミングから、鍛えられるベーススキル ▪ 論理的な思考⼒（ロジカルシンキング） ▪ 問題解決能⼒ （コンサルティング） ▪ さて、具体的に、どこからやっていくか︖ 1 4 Webアプリ開発者で学んできたこと
5. ▪ Webアプリ開発 ▪ プログラミングの基礎理解のために、最初に基本となる範囲の知識が必要 ▪ 『フロントエンド』から⼊る ▪ ⾝近でわかりやすい。しかし、様々な⾔語の理解が必要となる ▪ HTML、CSS、JavaScript ▪ フレームワークも多い。で、どれが本当に良いのかは、やりながら⾒極める ▪ React、Angular、Vue.js、Next.js、Nuxt.js ▪ 取り組む際の注意点 ▪ フロントエンドは、技術の移り変わりが凄く早い。 ▪ しっかりと技術を選定しないと、せっかく習得した技術知識が あっという間に使わなくなる ▪ あくまで、論理的な思考⼒と問題解決能⼒の修得と考える Webアプリ開発で学んできたこと ⼀朝⼀⼣に⾝につく技術はなく、いろいろな技術を修得しながら 本当に役に⽴つ、技術を⾒極める⼒を養っていく 1 5
6. Webアプリ開発者で学んできたこと ▪ それから、バックエンドエンジニアに ▪ フロントエンドでから⼊⼒されたデータを処理、データの保存、データの呼び出し ▪ データベースの設計、構築、全体システム開発、運⽤、保守ができるようになる ▪ フロント側での基礎理解を踏まえ、バックエンド側をやると、 『エンジニアとして厚みが増す』 ▪ システムの問題解決の⾯⽩さ ▪ システム障害が発⽣をした時に、原因を追究し解決することは⾯⽩い ▪ パフォーマンスチューニングが⼤好きで、良くSQL解析をしていた ▪ 炎上案件に呼ばれることが多く、解決できた時の喜びは何とも⾔えない ▪ でも、システムの問題より、ビジネスの問題の⽅が難しい 映画 バックドラフト 1 6
7. データエンジニアになる切っ掛け データエンジニアになる切っ掛け ある時、某上司から 『 Sparkのパフォーマンスが悪いので、助けて欲しいというお客様がいる。』 『今井さん、パフォチューが好きでしょ︖』 と相談。 もちろん、『Spark︖』なにそれ︖ですし、やった事ありません。 こうやって、Webセミナーとはいえ、たくさんの⼈の前で話すのも初めて。 いや、これはチャンスでしょ︕ 無茶ぶり？今回の登壇も？(笑) 1 7
8. データエンジニアになる切っ掛け その3 知らない領域ではありましたが、Sparkパフォーマンスチューニング⽅法を調査 1. Webサイト、技術書でSparkについて調査する 2. Dockerを使⽤してローカルに学習⽤のSpark環境を構築してみる 3. 更に、クラウドのSpark環境を利⽤し他クラウドサービスとの連携踏まえ 疑問等に思ったことなどを検証してみる 4. パフォーマンス調査し、原因追及と対応⽅法を纏める これを繰り返す 1 8
9. データエンジニアになる切っ掛け その4 ▪ Sparkのパフォーマンスチューニングの調査完了 ▪ ⼤量データでのSparkでの本当のパフォーマンスを実感することができず ▪⼤量データの加⼯処理を、Sparkで実装をして、どう効果がでるか︖ Sparkの開発元である、Databricks社の案件に関わることに 1 9
10. 1. Webアプリエンジニアの僕がデータエンジニアのチャレンジしてみた 2. データエンジニアの⾯⽩さ 3. 今すぐできるデータエンジニアに必要なスキルの勉強⽅法 4. まとめ 1 10 Agenda
11. ▪ データサイエンティストと、データエンジニアの違い ▪ データサイエンティストとは、ビジネスを踏まえて、数学的、 統計的観点で、AI・機械学習を駆使するという⼈材 ▪ データエンジニアは、IT技術を使って、お客様の ビジネスに変⾰を与える職種 ▪データを活⽤するために、AIとか機械学習の前に、デ ータの整理、加⼯処理が最も時間のかかる作業と なっている。 データエンジニアとは 【ユーザ企業 戦略企画室の仕事】 • 技術以外のハードルが⾼い • 求められる⼈材は、少ない • 優秀な⼈が多く、上には上がいる。 【ITベンダー データエンジニアの仕事】 • データは多く、様々な業務を改善できる • 求められる⼈材が、⾮常に多い • コツコツと、ステップアップできる職種 データサ イエンス ドメイン エキスパート コンピュータ サイエンス 数学 統計 1 11
12. ▪ データエンジニアに求められるスキルセット • 業務分析・要件定義（コンサルティング能⼒） • データモデリング • データベース • データ解析⾔語 (ER図、概念モデリング、論理・物理モデル） (SQLの知識） (Python、R) • マルチクラウドサービス（AWS、Azure、GCP） • 分散ストレージ ▪ S3、BLOB • 機械学習 ▪ SageMaker、Datarobot • 分散処理 ▪ Databricks、 Amazon EMR • DWH ▪ Snowflake、RedShift、Bigquery • BIツール ▪ Tableau、PowerBI • ETL ▪ Fivetran、Hightouch データエンジニアとは 現在のデータエンジニアは マルチクラウドネイティブソリューションアーキテクト データサ イエンス 1 12 ドメイン エキスパート コンピュータ サイエンス 数学 統計
13. データ分析の⾯⽩さ ▪ 企業がデータを⽤いて将来実現したいことが聞ける ▪ お客様と⼀緒に、データ分析ができる基盤を作り上げていく 1 13
14. 企業がデータを⽤いて、将来実現したいことが聞ける ▪ 企業が、データを利⽤して解決したい課題や、将来やりたいことを聞ける その業界が抱えている課題や、今後どの業界が伸びるのもわかり、とても勉強になる 1 14
15. 15 15 お客様と⼀緒にデータ分析環境を作り上げていく ▪ データ収集 ▪ 企業には、既に様々なデータ、システムが、複雑に存在している ▪ 簡単にデータは集められず、修正も難しく、時間も費⽤もかかる等 ▪ 様々な 制約を乗り越える必要がある ▪ データ加⼯ ▪ 業務データは、お客様が⼀番詳しい ▪ データのあるべき持ち⽅をお客様にヒアリング ▪ 技術を知らないお客様に、技術ができることを サービスとして提供する ▪ ビジネス課題はPoCでユーザと⼀緒に解決 ▪ データを使わせてもらって、お客様と⼀緒に 作り上げている感がある ▪ データを中⼼に、お客様の業務課題を⼀緒に 悩み、⼀緒に解決策を考えるから、⾯⽩い
16. 1. Webアプリエンジニアの僕がデータエンジニアのチャレンジしてみた 2. データ分析の⾯⽩さ 3. 今すぐできるデータエンジニアに必要なスキルの勉強⽅法 4. まとめ 16 16 Agenda
17. Methodologic ITエンジニアの⼼得 16 17 守破離 ▪ 守破離（しゅはり） ▪ 茶道や武道の修⾏の進化を表す、下記の３段階のレベル ▪ 守︓基本形を⾝につけ、形から⼼(本質)を養っていく ▪ ITエンジニアとして成⻑するには、内⾯（⼼）を鍛えていくしかない ▪ 先輩などのサンプルソースを真似てプログラミングし、基本形を⾝につける ▪ インスタンス（例）がないと、クラス（本質）はイメージできない ▪ 機械学習でも、学習データを多くインプットした⽅が良い ▪ 破︓基本が備われば、状況に応じて柔軟に対応できる ▪ 多くの経験を積むと、ITエンジニアの芯となる⼼が定まってくる ▪ 離︓⼼が定まれば、もはや形はこだわらない ▪ ⾃然に、ユーザ業務と、システムの状況に応じて ▪ 適切なITのスキルが⾝につく
18. 今すぐできるデータエンジニアに必要なスキルの勉強⽅法 • データ分析基盤 • データレイク、DWH、データマート、ETL、BI Webと書籍で調査 • OSS、無料版、試使⽤期間を上⼿に活⽤ • やってみた系の記事を参考に、まず⾃分もやってみる 実環境で、サンプルを動かす • AWS Black Belt、Microsoft Learnにて、リファレンスアー キテクチャーや、べストプラクティスを調査する リファレンスアーキテクチャ ベストプラクティスの調査 • アーキテクチャ、利⽤サービス・使⽤ツールをヒアリング 先輩（データ分析経験者）に聞く 勉強会に参加する 18
19. 1. Webアプリエンジニアの僕がデータエンジニアのチャレンジしてみた 2. データ分析の⾯⽩さ 3. 今すぐできるデータエンジニアに必要なスキルの勉強⽅法 4. まとめ 19 19 Agenda
20. 要求開発 コンサルティング マイクロサービス 導⼊⽀援 データ分析基盤 コンサルティング メソドロジック 会社紹介 社名 株式会社メソドロジック 設⽴ 2009年7⽉1⽇ 資本⾦ 1500万円 役員 代表取締役社⻑ ⼤⻄ 俊幸 代表取締役社⻑ ⼤⻄ 俊幸 取締役 取締役 取締役 取締役 ⼭縣 泰彦 ⼩林 元也 ⽮崎 博 ⽩⽯ 章 Strategic Technology 20 Company
21. Methodologic Modern Data Stack 21 21
22. まとめ データエンジニアの作業領域は広く、技術分野の進化が早く、⼤変だけど その分、⾯⽩い 企業がデータを⽤いてビジネス推進していく中で、データを業務に役⽴てる データエンジニアは、やりがいがある仕事 今、クラウドが主流、マルチクラウドソリューションのスキルを持てたら、 凄い価値があり、⾃分の価値はどんどん上がっていく データエンジニアを⼀緒に⽬指していきましょう︕ 21 22