マイナビの全社データ基盤の モダナイズ／Developers-Summit-2024-Mynavi

Transcript

1. copyright ©️ mynavi corporation. 0 表紙 マイナビの全社データ基盤の モダナイズ 2024.2.15 デジタルテクノロジー戦略本部 株式会社マイナビ copyright ©️ mynavi corporation.
2. copyright ©️ mynavi corporation. 1 01 02 03 04 アジェンダ マイナビについて デジタルテクノロジー戦略本部について 全社データ基盤のモダナイズについて おわりに
3. copyright ©️ mynavi corporation. 2 01 マイナビについて
4. copyright ©️ mynavi corporation. 3 01.マイナビについて マイナビは株式会社毎日コミュニケーションズとして1973年8月15日に誕生。 2011年に現在の社名に変更し、2023年に50周年を迎えました。 新聞の発行・出版業、絵画の輸入販売業を目的としたスタートした企業が、 現在では多様な事業を行うグローバル企業へ発展しました。 50年の歴史で培ったノウハウ 1973年8月15日 新聞の発行及び出版業、 絵画・美術品の輸入販売業等を 目的として設立 1980年代 就職情報誌発刊 一般書店での書籍販売開始 中国との交流事業等 1990年代 PC系雑誌創刊 就職情報企画が インターネット企画へ発展 2000年代 職業紹介事業、 転職、アルバイト情報事業等 多様な人材領域へ進出 2010年代 社名を（株）マイナビへ。 人材以外の情報メディア事業に進出。 積極的なM&Aでグループを拡大。 2020年代 東アジアを中心とした企業の M＆Aを進める。 グローバル企業へ 50年の変遷の中で培ったノウハウは他社にない大きな強みです。
5. copyright ©️ mynavi corporation. 4 01.マイナビについて キャリアデザイン HR ヘルスケア＆ウェルネス 人材派遣BPO メディア＆サービス など セグメント サービス
6. copyright ©️ mynavi corporation. 5 02 デジタルテクノロジー 戦略本部について
7. copyright ©️ mynavi corporation. 6 02.デジタルテクノロジー戦略本部について Mission 組織が果たすべき使命・存在意義 組織の理想像、中長期的な目標 Vision Value 行動指針 1人ひとりが常にチャレンジし、既存の枠組を 超え、新たなイノベーションを生み出す Drive Digital Innovation 1. DCPA 2. ALL FOR ONE 3. 一歩先の未来へ 4. 変化に対して柔軟に 5. アイデア／意見を尊重
8. copyright ©️ mynavi corporation. 7 02.デジタルテクノロジー戦略本部について 管理本部 経営企画 各事業部 ・ 各グループ会社 各セグメント 新規事業開発室 経営層 デジタル領域の 新規事業の創出 人事 マイナビグループ デジタル戦略の立案 既存事業の変革 業務改革の推進 セキュリティ強化 インフラデザイン の改定 DX人材育成 制度構築 公募の促進 グループ戦略立案・実行 デジタル テクノロジー 戦略本部 デジタル戦略立案・実行 新規事業戦略立案 新規事業の横展開 サイロ解消 横串の業務改革の推進 経営企画 予算・全社方針 投資関連 重複投資削減 R＆D予算確保 セグメント戦略立案・実行 事業戦略立案・実行
9. copyright ©️ mynavi corporation. 8 02.デジタルテクノロジー戦略本部について 共通部門 デジタルテクノロジー 戦略本部 ネットワーク・PC環境/社内基盤 全社利用アプリケーション データ利活用/データ基盤 データガバナンス/AI 内製開発 （アプリ、インフラ、クラウド） ERP/CRM・SFA/RPA含めた業務改善 ナビサービスサイト/周辺システム セキュリティ、ガバナンス 教育、組織活性/EX推進 サービスサイト運営/プロモーション ① IT企画推進領域 ② コーポレートIT領域 ③ データソリューション領域 ④ エンジニアリング領域 ⑤ オペレーションデザイン領域 ⑥ ビジネスイノベーション領域 ⑦ CXマーケティング領域 業務オペレーション
10. copyright ©️ mynavi corporation. 9 03 全社データ基盤の モダナイズについて
11. copyright ©️ mynavi corporation. 10 データ活用の流れはどんなもの？ 03.全社データ基盤のモダナイズについて
12. copyright ©️ mynavi corporation. 11 03.全社データ基盤のモダナイズについて 収集 加工 蓄積 検索 活用
13. copyright ©️ mynavi corporation. 12 データ活用における課題はどんなもの？ 03.全社データ基盤のモダナイズについて
14. copyright ©️ mynavi corporation. 13 03.全社データ基盤のモダナイズについて 収集 加工 蓄積 検索 活用 • 仕組みを作るのに時間がかかる （ エンジニアでないと対応できない） • 維持にコストがかかる （ エンジニアの対応が必要 ） • スピードが出ない （ 複雑なクエリで混む ） • どこに何があるかわからない （ エンジニアが探したり情報提供の 必要がある ） • データの更新が難しい • 関数でミスが発生する • 何度もグラフを作り直しで再利用性が ない
15. copyright ©️ mynavi corporation. 14 マイナビでは課題解決のために ツールを導入しています。 03.全社データ基盤のモダナイズについて
16. copyright ©️ mynavi corporation. 15 03.全社データ基盤のモダナイズについて 収集 加工 蓄積 検索 活用 データカタログが欲しい… データプレパレーション データクラウド BI Paxata snowflake tableau
17. copyright ©️ mynavi corporation. 16 元はどんな状態だったか？ 03.全社データ基盤のモダナイズについて
18. copyright ©️ mynavi corporation. 17 オンプレ データマート データ連携 データマート BIツール データプレパレー ションツール 他システム SQL Server Windows バッチ Paxata tableau ＋ Systemwalker Operation Manager データ基盤 SQL Server 03.全社データ基盤のモダナイズについて
19. copyright ©️ mynavi corporation. 18 どんなところが課題だったか？ 03.全社データ基盤のモダナイズについて
20. copyright ©️ mynavi corporation. 19 オンプレ データマート データ連携 データマート BIツール データプレパレー ションツール 他システム SQL Server Windows バッチ Paxata tableau ＋ Systemwalker Operation Manager データ基盤 SQL Server 03.全社データ基盤のモダナイズについて 処理スピードが遅い 開発できる エンジニアの確保が 難しい SSIS（ETL）が SQLServerに依存で 技術の見直しが困難 バージョン管理が できていない VMでスペック 割り当て管理が大変 スペック増強が 難しい（物理的に） ディスクサイズ節約 でデータ長ケチって 取得元のデータ長が 変わるたび修正 スペック気にして ユーザーが気軽に 増やせない ユーザーの利用予測が 難しくディスクサイズ が足りなくなる 6年前のスペックで 表示が遅い
21. copyright ©️ mynavi corporation. 20 どう変えたか？ 03.全社データ基盤のモダナイズについて
22. copyright ©️ mynavi corporation. 21 オンプレ データマート データ連携 データマート BIツール データプレパレー ションツール 他システム SQL Server Windows バッチ Paxata tableau ＋ Systemwalker Operation Manager データ基盤 SQL Server 03.全社データ基盤のモダナイズについて
23. copyright ©️ mynavi corporation. 22 オンプレ データマート データ連携 データレイク データ連携 データマート BIツール データプレパレー ションツール 他システム SQL Server シェル スクリプト MWAA Amazon S3 Paxata snowflake tableau AWS Cloud ＋ ＋ AWS Direct Connect AWS Private Link 03.全社データ基盤のモダナイズについて
24. copyright ©️ mynavi corporation. 23 オンプレ データマート データ連携 データレイク データ連携 データマート BIツール データプレパレー ションツール 他システム SQL Server シェル スクリプト MWAA Amazon S3 Paxata snowflake tableau AWS Cloud ＋ ＋ AWS Direct Connect AWS Private Link 03.全社データ基盤のモダナイズについて データ連携 シェル スクリプト ＋ Windowsから Linuxへ
25. copyright ©️ mynavi corporation. 24 オンプレ データマート データ連携 データレイク データ連携 データマート BIツール データプレパレー ションツール 他システム SQL Server シェル スクリプト MWAA Amazon S3 Paxata snowflake tableau AWS Cloud ＋ ＋ AWS Direct Connect AWS Private Link 03.全社データ基盤のモダナイズについて データ連携 シェル スクリプト ＋ 依存の解消
26. copyright ©️ mynavi corporation. 25 オンプレ データマート データ連携 データレイク データ連携 データマート BIツール データプレパレー ションツール 他システム SQL Server シェル スクリプト MWAA Amazon S3 Paxata snowflake tableau AWS Cloud ＋ ＋ AWS Direct Connect AWS Private Link 03.全社データ基盤のモダナイズについて データ連携 MWAA Airflow ＋ サーバレス 並列化 Python
27. copyright ©️ mynavi corporation. 26 オンプレ データマート データ連携 データレイク データ連携 データマート BIツール データプレパレー ションツール 他システム SQL Server シェル スクリプト MWAA Amazon S3 Paxata snowflake tableau AWS Cloud ＋ ＋ AWS Direct Connect AWS Private Link 03.全社データ基盤のモダナイズについて データレイク Amazon S3 メンテ少なく済む スケーラビリティ 確保 Snowflakeの ステージとして ログ分析にも
28. copyright ©️ mynavi corporation. 27 オンプレ データマート データ連携 データレイク データ連携 データマート BIツール データプレパレー ションツール 他システム SQL Server シェル スクリプト MWAA Amazon S3 Paxata snowflake tableau AWS Cloud ＋ ＋ AWS Direct Connect AWS Private Link 03.全社データ基盤のモダナイズについて データマート snowflake 利用時のみ即時 立ち上げで コスト減 WHの分離による 負荷分散 スケーラビリティ の確保 SaaS
29. copyright ©️ mynavi corporation. 28 オンプレ データマート データ連携 データレイク データ連携 データマート BIツール データプレパレー ションツール 他システム SQL Server シェル スクリプト MWAA Amazon S3 Paxata snowflake tableau AWS Cloud ＋ ＋ AWS Direct Connect AWS Private Link 03.全社データ基盤のモダナイズについて データ連携 レビュー体制 バージョン管理
30. copyright ©️ mynavi corporation. 29 技術選定でどこがポイントか？ 03.全社データ基盤のモダナイズについて
31. copyright ©️ mynavi corporation. 30 03.全社データ基盤のモダナイズについて 1. TCOを考える（なるべく費用が抑えられる方向に） 2. 仕様変更がある場合事業部ユーザーが対応できるか 3. 人材が多く確保できる言語・技術 4. チーム全体で運用・保守できるもの（疲弊しないように） 5. 他の組織との連携を考える 組織 1. 要件を満たせるか（既存の利用・運用維持が最低限） 2. 5年先を考えた時に大きな改修・廃止が発生しなさそうか 3. ベンダーロックインされにくいか 技術
32. copyright ©️ mynavi corporation. 31 プロジェクトをどう進めたか？ 03.全社データ基盤のモダナイズについて
33. copyright ©️ mynavi corporation. 32 03.全社データ基盤のモダナイズについて • 非機能要件が満たせなければオンプレ更改も視野に入れていたため、社内の調整と許容範囲内に収めることができるか優先 • OS変更やアップデートでコンテンツ移行がうまくいくか • データを想定通りデータマートまで流せるか • 各処理で同じデータが流せるか、既存の年次切替などのオペレーションが実現できるか • コンテンツが今まで通り使えるか 確認ポイント 4~5 2023.1~3 10~12 7~9 4~6 2022.1~3 移行先環境構築・ バージョンアップ検証 一部処理PoC・懸念点対応検討 コンテンツ移行 環境移行 並行稼働 残処理開発 非機能要件事前検証 社内調整
34. copyright ©️ mynavi corporation. 33 今回のプロジェクトで良かった点は？ 03.全社データ基盤のモダナイズについて
35. copyright ©️ mynavi corporation. 34 03.全社データ基盤のモダナイズについて 1. 向こう5年でTCO約8000万円の削減 2. データ連携速度1時間以上短縮 3. エラー対応時間少なくとも年100時間以上削減 4. ユーザーを増やしやすくなったことにより新たな用途増 良かった点
36. copyright ©️ mynavi corporation. 35 今回のプロジェクトの反省点は？ 03.全社データ基盤のモダナイズについて
37. copyright ©️ mynavi corporation. 36 03.全社データ基盤のモダナイズについて 反省点 1. 技術選定時に把握しきれなかった仕様があった ・Snowflakeのクエリ長やリスト数の制限 ⇒クエリ長制限はBIのフィルターで起きたためフィルター順序の早いデータソースフィルターなど上位のものでデータ量を抑えたり、 計算フィールドで真偽値に置き換えたり、そもそも不要なフィルターを削減した ※snowflake.account_usage.query_historyから実施SQLが見れたのは助かった ・MWAAのタスクオートスケーリングのバグでゾンビタスク（実行されるはずであるが実行されていないタスク）が発生する ⇒スケールしなくて済むように設定してオートスケーリングを無効化 2. ユーザー部門との調整時間の見積もりが甘かった ・通常業務を行いながら協力してくれているのでなかなか時間が取れない ⇒4000件以上のダッシュボード・プロジェクトフローがあり、詳細なドキュメントの作成や、 個別の説明、作業巻き取りでカバーした。しっかりと期間を確保することが重要 3. 他部署担当機能の仕様理解不足 ・例えばAD認証だが、Snowflake利用に伴い、AzureADを利用することになったが、 プライベートリンクでは社内のルールの都合もあり利用ができなかった ⇒接続の経路を詳細に連携し意見を求めるべきだった
38. copyright ©️ mynavi corporation. 37 まとめ 03.全社データ基盤のモダナイズについて
39. copyright ©️ mynavi corporation. 38 1. データ活用それぞれのフェーズに課題があり対応するソリューションがある 2. データ活用それぞれのフェーズでエンジニアの負担が大きい 3. マイナビでは技術刷新で、エンジニアの負荷軽減と採用しやすい体制作り に取り組んでいる 4. 技術選定では組織的な観点、技術的な観点が必要 5.プロジェクトを進める上では、落としてはならないところを確認し、段階を 踏むことが大切 03.全社データ基盤のモダナイズについて まとめ
40. copyright ©️ mynavi corporation. 39 その他・データ民主化の展望 03.全社データ基盤のモダナイズについて
41. copyright ©️ mynavi corporation. 40 ・ユーザー向け勉強会開催 ・戦略策定、全社KPI ・データ統合 ・AI民主化 ・ツール導入 03.全社データ基盤のモダナイズについて その他・データ民主化の展望 自部署以外とも力を合わせてデータ民主化に資する活動を行っていきます！
42. copyright ©️ mynavi corporation. 41 04 おわりに
43. copyright ©️ mynavi corporation. 42 マイナビではエンジニア採用 強化しております！ 04.おわりに
44. copyright ©️ mynavi corporation. 43 04.おわりに • データエンジニア／データサイエンティスト • 開発エンジニア • システムエンジニア（社内向けシステム担当） など 募集ポジション
45. copyright ©️ mynavi corporation. 44 04.おわりに リモートワーク / 時差出社 / ABW型オフィス導入 制度 福利厚生 オンライン学習ツール / 資格取得支援 / 書籍購入補助 / 退職年金制度 社員持株会 / 財形貯蓄 柔軟な働き方も可能です 自己研鑽の実現や、長期キャリアを支援する制度もございます
46. copyright ©️ mynavi corporation. 45 04.おわりに 詳細はぜひ以下にて検索ください！ マイナビ キャリア採用 https://www.mynavi.jp/saiyou/career/ マイナビ エンジニアブログ https://engineerblog.mynavi.jp/
47. copyright ©️ mynavi corporation. 46 表紙 ご清聴ありがとうございました Thank you for listening!
48. copyright ©️ mynavi corporation. 47 表紙 アンケートのご協力をお願いいたします Developers Summit 2024 株式会社マイナビ セッションアンケート