Data Engineering Study #9 Classiのデータ組織の歩み

Data Engineering Study #9「企業規模別に見る、データエンジニア組織の作り方」での発表資料

Transcript

1. Copyright © 2021 Classi Corp. All Rights Reserved. Data Engineering Study #9
 企業規模別に見るデータエンジニア組織の作り方
 2021/08/03(火) 
 Classi株式会社
 データAI部 部長 伊藤徹郎 
 Classiのデータ組織の歩み

2. Copyright © 2021 Classi Corp. All Rights Reserved. 自己紹介
 • 名前：伊藤 徹郎 (@tetsuroito)
 • 所属：Classi株式会社 データAI部
 • 役職：部長
 • 分野：Educational Technology , Learning Analytics
 • 著書
 ◦ データサイエンティスト養成読本ビジネス活用編
 ◦ AI・データ分析プロジェクトのすべて
 1
3. Copyright © 2021 Classi Corp. All Rights Reserved. 自己紹介
 2 昨年のData Engineering Study #3 
 「分析基盤をうまく組織に浸透させる方法」
 でもお話をさせていただきました
 https://www.youtube.com/watch?v=IC44rPbYA4s
4. Copyright © 2021 Classi Corp. All Rights Reserved. アジェンダ
 • 会社概要
 • データ組織の紹介
 • データ組織のプラクティスの紹介
 3
5. Copyright © 2021 Classi Corp. All Rights Reserved. アジェンダ
 • 会社概要
 • データ組織の紹介
 • データ組織のプラクティスの紹介
 4
6. Copyright © 2021 Classi Corp. All Rights Reserved. 5 Classiの会社概要
 https://speakerdeck.com/classijp/we-are-hiring より
7. Copyright © 2021 Classi Corp. All Rights Reserved. 6 Classiのミッション・ビジョン・バリュー 
 https://speakerdeck.com/classijp/we-are-hiring より 子供の無限の可能性を解き放ち、学びの形を進化させる 先生とともに、学びから学ぶ仕組みを創り、 ワクワクする子どもを増やします • Unlearn & Learn • Love Difference • Make Happen ⁃ 既存の知識を外す勇気。「学び方」を学び続けよう。 失敗してもいい。新しい学びに挑戦しよう。 ⁃ 違いを愛そう。チームを超えて協働しよう。 多様性こそClassiの強み。多様な方がわくわくする。 ⁃ 共に作り、共に実現する。大切なのは、信じて、 やり抜くこと。 Value Mission Vision
8. Copyright © 2021 Classi Corp. All Rights Reserved. 7 Classiのサービス
 https://speakerdeck.com/classijp/we-are-hiring より
9. Copyright © 2021 Classi Corp. All Rights Reserved. 8 サービス導入実績
 https://speakerdeck.com/classijp/we-are-hiring より
10. Copyright © 2021 Classi Corp. All Rights Reserved. アジェンダ
 • 会社概要
 • データ組織の紹介
 • データ組織のプラクティスの紹介
 9
11. Copyright © 2021 Classi Corp. All Rights Reserved. 10 組織体制
 データチーム
 https://speakerdeck.com/classijp/we-are-hiring より
12. Copyright © 2021 Classi Corp. All Rights Reserved. 11 組織規模
 部門内訳 開発本部職種内訳 開発本部 41% サイバーセキュリティ 6% コーポレート 13% マーケ ティング 本部 21% 合計 81名 サーバー エンジニア 48% データエンジニア 2% アプリ エンジニア 11% フロント エンジニア 11% プロダクト デザイン 本部 15% その他 8% QA 9% その他 6% SRE 5% データサイエンティスト 5% Pythonエンジニア 2% 合計 202 名 プロダクトマネジメント部 2% データ系職種
 https://speakerdeck.com/classijp/we-are-hiring より
13. Copyright © 2021 Classi Corp. All Rights Reserved. 12 データ組織の職能と役割 
 職種
 役割
 体制
 データサイエンティスト 
 モデル開発・運用・分析 
 データ活用推進
 ダッシュボード構築・運用 
 R&D
 
 データエンジニア 
 データ基盤開発・運用 
 データ活用推進
 クラウドセキュリティ 
 Admin
 
 Pythonエンジニア
 MLプロダクト開発・運用 
 データ活用推進
 クラウドセキュリティ 
 

14. Copyright © 2021 Classi Corp. All Rights Reserved. データ基盤の構成図 
 13 出典：Classiのデータ分析基盤であるソクラテスの紹介 https://tech.classi.jp/entry/2021/05/31/120000 

15. Copyright © 2021 Classi Corp. All Rights Reserved. • 提供サービスのDBデータ
 • 各種サービス利用データ
 • テキストデータ
 • 数値データ
 • アクセスログ
 • Google AnalyticsやFirebase Analytics
 • アプリケーションログ
 • 3rd Partyデータ
 • SalesForceやHubspotなど
 • Auditデータ
 • クラウドサービスの監査ログ、Tableau/Redashのログなど
 
 扱っているデータの種類 
 14
16. Copyright © 2021 Classi Corp. All Rights Reserved. Classiのデータ組織の歴史 
 • 2018年6月AI室が誕生
 • 4名の組織(エンジニア2人,データサイエンティスト2人) 
 • 2018年7月データエンジニア入社
 • データ基盤のプロトタイプの検討を開始 
 • Embulk + Digdagのデータパイプライン → BigQuery (第一世代) 
 • 2018年11月 PJ Cockpitにより全社でBIを導入
 • 2019年4月 データAI部が誕生
 • https://www.wantedly.com/companies/classi/post_articles/141663
 • 2019年5月 2人目のデータエンジニア入社
 • Cloud Composer(Airflow)を利用したパイプラインへのアーキテクチャ変更 
 • 2020年1月 AWS Glueを利用したETL処理へ移行
 • 2020年9月 データエンジニアが2名追加
 • チーム開発体制へ
 • TerraformによるIaC化やCI/CD整備、スクラムライクな開発スタイルへ 
 15
17. Copyright © 2021 Classi Corp. All Rights Reserved. Classiのデータ活用戦略 
 • データを活用する目的 = Visionの達成のため
 16 https://corp.classi.jp/company/message/
18. Copyright © 2021 Classi Corp. All Rights Reserved. Classiのデータ活用戦略 
 • 全社の目標にデータ活用が入っています
 17
19. Copyright © 2021 Classi Corp. All Rights Reserved. Classiのデータ活用戦略 
 • 基本的にデータ民主化の戦略を取っています
 • Tableau/RedashなどのBIツールの利用と普及啓蒙 
 • データ基盤チームはDWH開発、DM開発サポートまでを責務に 
 • 全社のデータ活用度合いをチームのKPIに 
 18
20. Copyright © 2021 Classi Corp. All Rights Reserved. アジェンダ
 • 会社概要
 • データ組織の紹介
 • データ組織のプラクティスの紹介
 19
21. Copyright © 2021 Classi Corp. All Rights Reserved. • データ基盤の安定稼働のための品質向上の取り組み
 • 収集するメトリクスの定義、SLO・SLIの定義と計測 
 • アラート・検知・対応のプラクティス化 
 データ基盤チームが今やっていること 
 20
22. Copyright © 2021 Classi Corp. All Rights Reserved. • 全社のデータ活用推進
 • ツールごとに利用のダッシュボードを作成し、週次で確認 
 • 利用が落ち込んできた時には活性施策をうち、効果検証を実施 
 データ組織が今やっていること 
 21
23. Copyright © 2021 Classi Corp. All Rights Reserved. • SQL勉強会やダッシュボード勉強会の実施
 • SQL勉強用のコンテンツ作成
 データ組織が今やっていること 
 22 参考：SQL勉強会を通して痛感したデータ民主化への長い道のり https://tech.classi.jp/entry/2021/02/05/121144
24. Copyright © 2021 Classi Corp. All Rights Reserved. • 全社のデータ活用推進
 • Uniposとキャラクターを活用したデータ活用促進声かけ 
 データ組織が今やっていること 
 23
25. Copyright © 2021 Classi Corp. All Rights Reserved. • メタデータ環境整備と推進
 • redashのダッシュボードを非データ系メンバーとハンズオン 
 • 同時に内製のメタデータ管理ツール(Plato)にテーブル情報などを記載 
 データ組織が今やっていること 
 24
26. Copyright © 2021 Classi Corp. All Rights Reserved. • 様々な大学や研究機関との共同研究
 データ組織が今やっていること 
 25
27. Copyright © 2021 Classi Corp. All Rights Reserved. • クラウドセキュリティへの取り組み
 • Security Command Centerを利用した脆弱性検知や対応 
 データ組織が今やっていること 
 26 出典：https://cloud.google.com/blog/ja/topics/customers/classi-strengthen-security
28. Copyright © 2021 Classi Corp. All Rights Reserved. • より安定したデータ基盤の運用と品質向上
 • dev/stg環境とテストの実施
 • ストリームデータパイプラインの構築
 • セキュアなデータパイプラインの構築
 • より活用されるデータマートのためのDWH開発
 • データ品質の向上
 • データ基盤のリアーキテクチャ
 • ML SysとのML Pipeline接続
 • 非構造化データを扱うパイプラインの検討
 etc...
 データ基盤チームがこれからやっていきたいこと 
 27
29. Copyright © 2021 Classi Corp. All Rights Reserved. データエンジニアの採用の取り組み 
 • 基本的な採用プロセスを用いてチームで実施
 • 採用媒体への募集要項の検討と掲載 
 • エージェント
 • スカウト/リファラル
 • 書類審査
 • カジュアル面談
 • 面接
 • オファー
 • オンボーディング
 • 悩み
 • 採用むずい
 • 市場になかなかデータエンジニアがいない 
 28 https://hrmos.co/pages/classi/jobs/0000026 より
30. Copyright © 2021 Classi Corp. All Rights Reserved. データエンジニアの採用の取り組み 
 29 やりたいこと、やるべきことはいっぱいありますが、
 完全にデータエンジニアの手が足りていません 😭
 今日のこの発表を聞いて、教育業界のデータエンジニアリングに
 ご興味を持った方は、今すぐご応募ください！！
 
 　　　　＿人人人人人人人人人人人人人人人人人人人＿
 　　　　＞ https://hrmos.co/pages/classi/jobs/0000026 ＜
 ￣Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^￣
 

31. Copyright © 2021 Classi Corp. All Rights Reserved. おわり
 30 ご静聴
 ありがとうございました！
 🙏🙏🙏