未来をクリエイティブするデータエンジニアのリアル ～５０社以上のデータ活用を支援した現役データエンジニアが伝える、データに関わる仕事の楽しさ～

2022年9月27日開催
「Cloud Native DataEngineer Community」第1回イベント
第3部　株式会社ジール講演資料

--------------------------------------------

【イベント概要】

昨今、データを利活用した結果を基に意思決定を実施し成果を出している企業が増加しています。一方、その成果を支えるデータ利活用の基盤を構築・運用するスキルを持ったプロフェッショナルであるデータエンジニアが不足しているのも事実です。

本イベントでは、第一線で活躍するデータエンジニアを招き、データエンジニアの魅力やその実態をお伝えいたします。

--------------------------------------------

【第3部紹介】

『未来をクリエイティブするデータエンジニアのリアル
～５０社以上のデータ活用を支援した現役データエンジニアが伝える、データに関わる仕事の楽しさ～』

データエンジニアと聞くと「表舞台に立たない」というようなイメージを持っている方もいるのかもしれません。しかし実際にはそこから始まる様々な展開を創造できる立場でもあるということを、業種・業界問わず、多種多様な企業様のデータ活用を支援した経験からお話しします。

＜登壇者＞
株式会社ジール
アプライドアナリティクス＆インテリジェンスユニット
上席チーフスペシャリスト
鈴木 祐司

・略歴
埼玉県出身。2015年にジールに入社し、業種・業界問わず多種多様なお客様に対しBIツールやAI・機械学習を用いたデータ活用支援と、クラウドデータプラットフォームの構想策定・設計構築業務に従事。大学院時代に学んだ要求工学や自然言語処理の知見を活かし、先端テクノロジーをビジネス活用することをテーマとして活動中。

--------------------------------------------

【Cloud Native DataEngineer Communityについて】

本コミュニティは、IT エンジニアや学生に対し、データエンジニアの仕事の理解や魅力の浸透、専門職としての地位向上を図ると共に、新卒採用・中途採用への啓蒙活動とデータエンジニアに必要なスキルを習得できる機会を提供し、DX推進に不可欠なデータエンジニアおよびその潜在者の増加に貢献していきます。

■「Cloud Native DataEngineer Community」発足の背景
昨今、データを根拠に予測や意思決定を行うことが、多くの企業にビジネス成果をもたらしています。
DX の目的の一つである新しいビジネスの創出や、デジタルを活用した新たな顧客体験の実現には、データに対する探索的アプローチが有効であると考えられますが、それらを高いアジリティを持って推進するためには、データエンジニアリングが必要不可欠です。
一方、データ利活用の基盤を構築・運用する技能を持ったプロフェッショナルであるデータエンジニアはデータ活用をする上で欠かせない存在ですが、IT 人材の不足が社会全体で課題となる中でも特に不足している専門職の一つです。

■「Cloud Native DataEngineer Community」今後の活動内容
定期的にITエンジニアや学生向けのイベントを開催し、データエンジニアの仕事や魅力をお伝えします。
第1回目は、各社で活躍するデータエンジニアを招いてトークセッションイベントを開催します。

■「Cloud Native DataEngineer Community」を発足の5社
・クラウドエース株式会社（https://cloud-ace.jp/）
・クラスメソッド株式会社（https://classmethod.jp/）
・株式会社ジール（https://www.zdh.co.jp/）
・株式会社ナレッジコミュニケーション（https://www.knowledgecommunication.jp/）
・株式会社メソドロジック（https://www.methodologic.co.jp/）

Transcript

1. 未来をクリエイティブするデータエンジニアのリアル ５０社以上のデータ活用を支援した現役データエンジニアが伝える、 データに関わる仕事の楽しさ Cloud Native DataEngineer Community 2022.09.26 株式会社ジール
2. (C) ZEAL Corporation. All Rights Reserved. 目次 2 1.自己紹介（兼会社紹介） 2.未来をクリエイティブするデータエンジニアのリアル 3.まとめ
3. (C) ZEAL Corporation. All Rights Reserved. 1.自己紹介（兼会社紹介） 2. 未来をクリエイティブするデータエンジニアのリアル 3. まとめ 目次 3
4. (C) ZEAL Corporation. All Rights Reserved. プロフィール す ず き ゆ う じ 鈴木 祐司 企業におけるデータ分析（可視化・統計解析・機械学習）や、 クラウドサービスを利用したビッグデータ分析基盤構築など、 小売業、金融業、製造業、様々なお客様のデータ活用のお手伝いをしております 情報活用の大衆化 ミッション “分析”の敷居を下げ、お客様の ビジネスに貢献するお手伝いを すること 技術のビジネス活用 興味分野 ・自然言語処理 ・統計解析 ・BI Tools ・AI / ML ・IoT ・Cloud Data Platform 経歴 IT一筋15年 ・ソフトウェア開発 ・サーバーインフラ設計 ・自社製品企画・開発 ・データ活用 2015-現在 4
5. 会社紹介
6. 会社紹介
7. 会社紹介
8. (C) ZEAL Corporation. All Rights Reserved. ジールで私が関わったデータ活用案件数 データ＆AI系を主軸に、提案と案件遂行を幅広く対応中 8 案件遂行 57社 提案 127社 クラウド/AI/IoTが盛況 （PoC中心） データ基盤も盛況 （より高難度）
9. (C) ZEAL Corporation. All Rights Reserved. 目次 9 1. 自己紹介（兼会社紹介） 2.未来をクリエイティブするデータエンジニアのリアル 3. まとめ
10. (C) ZEAL Corporation. All Rights Reserved. 未来をクリエイティブするデータエンジニアのリアル データエンジニアって何が面白いの？に対する回答を経験からお伝えします 10 お客様の業務を データの力で支援 ビジネス面 テクノロジー面 技術の進化 実現手段の多様さ
11. (C) ZEAL Corporation. All Rights Reserved. データエンジニアって何が面白いの？に対する回答を経験からお伝えします 未来をクリエイティブするデータエンジニアのリアル 11 お客様の業務を データの力で支援 ビジネス面 テクノロジー面 技術の進化 実現手段の多様さ
12. (C) ZEAL Corporation. All Rights Reserved. 約6割のお客様がデータ分析の業務活用にこれから取り組む状況であるため、 多種多様なお客様からのデータ活用支援依頼がジールに来ています データ活用に関する日本の状況 12 令和3年版 情報通信白書 https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r03/pdf/01honpen.pdf
13. (C) ZEAL Corporation. All Rights Reserved. データエンジニアがクリエイティブを発揮する場面 お客様のリアルな依頼内容と私が感じるやりがいを依頼部門別でお伝えします 13 業務部門 IT部門 新設部門 ・データのサイロ化解消 ・他部門の依頼工数削減 ・全社的な情報連携強化 ・データ基盤構築の進め方 ・今後の分析用途に耐える基盤 #データ基盤 #データエンジニアリング ・AIで出来ることの把握 ・AIの取り組み方の理解 ・AIの業務活用設計 ・既知と研究分野の線引き ・データ&AIの体験 #深層学習 #データエンジニアリング ・お客様の会社全体の将来像を 策定・実現に携われること ・情報系システムの難しさを 乗り越える進め方が勘所 ・お客様が目指す将来像に向けて 先進的な技術をビジネスに活用 する計画段階に関われる ・ロードマップをお客様が引くための データ活用体験の提供が勘所 目的 期待値 ・Excelからの脱却 ・分析の俗人化解消 ・手元データの可視化 ・BIツールで出来ることの把握 ・データの収集/蓄積設計 #可視化 #データエンジニアリング やりがい ・お客様の意思決定時の根拠や 次の一手がデータから実感できる ・潜在要求をいかに引き出せるか が勘所
14. (C) ZEAL Corporation. All Rights Reserved. データエンジニアって何が面白いの？に対する回答を経験込みでお伝えします 未来をクリエイティブするデータエンジニアのリアル 14 お客様の業務を データの力で支援 ビジネス面 テクノロジー面 技術の進化 実現手段の多様さ
15. (C) ZEAL Corporation. All Rights Reserved. データ流通量とクラウド基盤の関係 扱うべきデータ量の増大に対応して、クラウドデータ基盤が進化を続けています 15 クラウドデータ基盤 ストレージコスト低 超並列可能な処理性能 従量課金による価格の柔軟性 ベストプラクティスな提供機能 ・・・ 令和2年版 情報通信白書 https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r02/pdf/02honpen.pdf
16. (C) ZEAL Corporation. All Rights Reserved. クラウドデータ基盤のソリューション概観 各ベンダーから高機能かつマネージドな各種サービスが提供されており、 最適なサービスを組み合わせることで、多種多様なお客様ニーズに対応できます 16 大手クラウドベンダー系 IaaS, PaaS, SaaS等の多様な形態で、 網羅的に必要なサービスを提供 AWS GCP Azure Oracle Cloud IBM Cloud etc ソリューション特化系 主にPaaS, SaaSの形態で、 目的に特化したサービスを提供 databricks snowflake denodo trocco dbt etc
17. (C) ZEAL Corporation. All Rights Reserved. ジールがお客様に提供している価値 各ベンダー提供のリファレンスアーキテクチャを理解し最適な構成を提案できます 17 Azure AWS GCP snowflake databricks
18. (C) ZEAL Corporation. All Rights Reserved. アーキテクチャ例 18 GCP アーキテクチャ: マーケティング データ ウェアハウス Azure + Databricks Azure Databricks を使用した最新の分析アーキテクチャ
19. (C) ZEAL Corporation. All Rights Reserved. 1. 自己紹介（兼会社紹介） 2. 未来をクリエイティブするデータエンジニアのリアル 3.まとめ 目次 19
20. (C) ZEAL Corporation. All Rights Reserved. まとめ データエンジニアの魅力 20 ビジネス面 ⚫ お客様の描く未来に示唆を与える場面でクリエイティブを発揮できる ⚫ データを扱うためお客様ビジネスとの距離が近く生の声が聞こえやすい テクノロジー面 ⚫ 実現可能な最適な構成の検討・提案にクリエイティブを発揮できる ⚫ 日々進化する技術を目の当たりにでき、ビジネスとつなげられる おわりに ⚫ お客様は本当に多種多様です。お客様が持つデータとその扱い方から、 お客様の未来の創造と実現に携われる魅力的な仕事だと思っています ⚫ 興味をお持ちになられた方は当コミュニティのウォッチお願いします！