意思決定につなげるためのデータマネジメント～今、注目を浴びるアナリティクスエンジニア～

2023年4月6日に、「ガートナー データ＆アナリティクス サミット 2023」で発表した、山邉の資料です。

Transcript

1. © Recruit Co., Ltd. All Rights Reserved 意思決定につなげるためのデータマネジメント 〜 今、注目を浴びるアナリティクスエンジニア 〜 株式会社リクルート データ推進室 山邉 哲生 2023/04/06
2. © Recruit Co., Ltd. All Rights Reserved 自己紹介 山邉 哲生 （やまべ てつお） 株式会社リクルート　プロダクト統括本部　プロダクト開発統括室 データ推進室 販促領域データソリューション４ユニット（まなび） ディビジョンオフィサー 2015年に（株）リクルートマーケティングパートナーズに入社。データエンジニ アとしてスタディサプリシリーズのデータ分析基盤開発を牽引した後、 Quipper 社を含めた当該領域のデータ部門責任者を担当。 会社統合後、昨年度より事業領域横断で発足した D3M（Data Driven Decision Making）部においてアナリティクスエンジニア組織を立ち上げ、 データを活用した意思決定支援の取り組みを推進する。 2
3. © Recruit Co., Ltd. All Rights Reserved データ推進室の組織構成 3 データテクノロジー ユニット データプロダクト ユニット データソリューション ユニット SaaS 領域 HR 領域 まなび 領域 … データサイエンス・機械学習エンジニアリング部 データエンジニアリング部 D3M (Data Driven Decision Making) 部 データマネジメントを通して経営資源としてのデータの価値を引き出し、 意思決定の速度と精度を最大化するための組織 アナリティクスエンジニアリンググループ
4. © Recruit Co., Ltd. All Rights Reserved アジェンダ 1. アナリティクスエンジニアとは 2. アナリティクスエンジニア組織立ち上げの背景 3. アナリティクスエンジニアの活動事例 4. 現状の課題と今後の方向性 4
5. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニアとは • 意思決定者の 『問い』 に即時に応えられるデータを提供する人 ◦ ELT アーキテクチャや dbt (data build tool) などの登場によって新たに確立された職種 ◦ データアナリストとデータエンジニアの間の存在として近年注目を集めている 5 アナリティクスエンジニア • 『クリーン』 で 『変換・整理済み』 の即時 分析可能なデータ提供 • ソフトウェアエンジニアリングのベストプ ラクティスを活用した DataOps • データポータルやドキュメントなどの整備 • 意思決定者へのトレーニングを通した データ利活用支援 データエンジニア • カスタマイズされたデータ統合処理の実 装 • パイプラインオーケストレーションの管理 • データプロダクトや機械学習エンドポイン トの開発やデプロイ • データウェアハウスの開発・運用や性能最 適化 データアナリスト • データ分析を通したインサイトの発見や将 来予測 • データに関する要求を取りまとめるため に、事業側組織と密に連携 • 重要な BI ダッシュボードの作成 参考) The rise of the Analytics Engineer (https://www.youtube.com/watch?v=ixyzF4Dy9Us)
6. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニアとは 6 データモデリング・変換処理開発 • 分析要件に紐づくデータモデル定義 • SQL や dbt を使用したデータ変換処理の開発 ドキュメント・ポータル・メタデータ整備 • データ利用者のためのドキュメント・ポータル作成 • データへのメタデータ付与と継続的な更新 データ品質管理 • データの欠損や異常値の混入有無などのテスト • ビジネスロジック（データ変換処理）のテスト DataOps • Git などを活用した構造的なデータ処理の管理 • CI/CD を活用した運用の自動化・効率化 可視化・メトリクス管理 • BI によるモニタリング環境構築・基礎分析 • 統一的な KPI/KGI 指標の運用管理 データイネーブルメント • リバース ETL などによる外部システムでの利活用 • SQL 勉強会などを通したデータ民主化の推進
7. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニア組織立ち上げの背景 7 事業 DB / ASP アクセスログ BI モニタリング アドホック レポート SQL 実行環境 外部システム 連携 データレイク層 データウェアハウス層 　　　　　　　　　　　　　　　　データマート層 データ カタログ データ ポータル 意思決定者 / データ利用者 データ推進室の管轄範囲
8. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニア組織立ち上げの背景 8 事業 DB / ASP アクセスログ BI モニタリング アドホック レポート SQL 実行環境 外部システム 連携 データレイク層 データウェアハウス層 　　　　　　　　　　　　　　　　データマート層 データ カタログ データ ポータル 意思決定者 / データ利用者 利活用推進に伴う、データ分析基盤への要求変化 • 要求元の分散化 : データの民主化が進み、経営、プロダク ト、マーケティング、CS、営業など様々な部署から依頼が来 るように。 • 難易度の高度化 : 多角的・系列的・横断的な分析要件に耐 えうるデータの提供。スピード感のある意思決定のために 即時提供が求められることも。 • データマネジメントライフサイクルの長期化 : 新規機能やプ ロダクト立ち上げに始まり、中長期での継続的な品質担保 が重要に。
9. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニア組織立ち上げの背景 9 事業 DB / ASP アクセスログ BI モニタリング アドホック レポート SQL 実行環境 外部システム 連携 データレイク層 データウェアハウス層 　　　　　　　　　　　　　　　　データマート層 データ カタログ データ ポータル 意思決定者 / データ利用者 データマネジメント課題の顕在化 • 要求元の分散化 : 活用先が増えただけでなく、民主化が進 む中でサイロ化の懸念が増大。 • 難易度の高度化 : Quality / Cost / Delivery / Scope の要求が強くなる中で開発運用フローの効率化・ 生産性の改善が急務に。 • データマネジメントサイクルの長期化 : データソースや利活 用先は増え続ける傾向にあり、新規データ開発に加えて品 質担保をし続ける対象も増える負担増の構造に。
10. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニア組織立ち上げの背景 10 事業 DB / ASP アクセスログ BI モニタリング アドホック レポート SQL 実行環境 外部システム 連携 データレイク層 データウェアハウス層 　　　　　　　　　　　　　　　　データマート層 データ カタログ データ ポータル 意思決定者 / データ利用者 Transform レイヤー ETL から ELT にアーキテクチャが移行し、利活用に近いレイ ヤーで担保するべき品質や対象となるデータ、またアウトプッ トも増大の一歩を辿り、データ基盤の運用としてデータエンジ ニアだけで対応するのが難しくなってきた。 Extract / Load レイヤー
11. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニア組織立ち上げの背景 11 事業 DB / ASP アクセスログ BI モニタリング アドホック レポート SQL 実行環境 外部システム 連携 データレイク層 データウェアハウス層 　　　　　　　　　　　　　　　　データマート層 データ カタログ データ ポータル 意思決定者 / データ利用者 Transform レイヤー Modern Data Stack / Modern Data Team の潮流も 受け、ビジネスレイヤーに近接した領域でデータ利活用推進・お よびデータマネジメントの装着を行うアナリティクスエンジニア のポジションを新設。 Extract / Load レイヤー アナリティクスエンジニア 分析にすぐ使えるクリーンなデータ環境を提供するために ソフトウェアの開発手法を活用して 生産性の高いデータ管理を実現する データアナリストとデータエンジニアの架け橋となる存在 データエンジニア
12. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニア組織の役割 12 事業 DB / ASP アクセスログ BI モニタリング アドホック レポート SQL 実行環境 外部システム 連携 データレイク層 データウェアハウス層 　　　　　　　　　　　　　　　　データマート層 データ カタログ データ ポータル 意思決定者 / データ利用者 • 要求元の分散化 => よりステークホルダーに近いレイヤー での要求整理・要件定義を実施。また、SSOT (Single Source of Truth) や再利用性を意識した継続的なデー タモデリングを実施する。 • 難易度の高度化 => 構造的なロジック・メタデータ管理、 CI/CD や自動テストなど、ソフトウェアエンジニアリング手 法を適用し、DataOps の実現を通して開発・運用効率を 改善する。 • データマネジメントサイクルの長期化 => 『Data as a product』 を念頭に、各種アウトプットの利用状況を定期 的に確認しながらデータ環境の PDCA を回しつつ注力す べき箇所を特定する。
13. © Recruit Co., Ltd. All Rights Reserved 意思決定者 / データ利用者 アナリティクスエンジニア組織の役割 13 事業 DB / ASP アクセスログ BI モニタリング アドホック レポート SQL 実行環境 外部システム 連携 データレイク層 データウェアハウス層 　　　　　　　　　　　　　　　　データマート層 データ カタログ データ ポータル • 狭義のアナリティクスエンジニアは dbt/Dataform など を活用し、分析的観点でのデータモデリングの実施、SQL などでの変換処理の実装がメインの役割。 • 一方、意思決定に寄与するための要求整理・要件定義、また BI ダッシュボードなどの成果物管理など、『Data as a product としてのデータマネジメント』 を実現するために は、意思決定者 / データ利用者 の目線に立ったアウトカム を出すことも求められる。 • そのため、現状は 『データアナリスト』 や 『BI エンジニア』 として定義される役割も包含した位置づけとしている。
14. © Recruit Co., Ltd. All Rights Reserved Dataform Github アナリティクスエンジニアの活動事例 • 構造的なデータ変換処理の仕組み（Dataform）を導入し、依存関係を明確化 • アナリストによるワークフロー開発を可能にしたことで開発速度を改善 14 テーブル X テーブル A テーブル B テーブル C SQL SQL テーブル X テーブル A テーブル B テーブル C SQL SQL アドホックな変換処理 SQL の管理をしてい たため、テーブルへの 変更が思わぬ形で波及 することに Dataform 内で構造 的にテーブル間の依存 関係を管理することが でき、リネージも自動 生成が可能に 変換処理もバージョン 管理がされるため、プ ルリクエストベースの 開発や自動テストなど も可能に
15. © Recruit Co., Ltd. All Rights Reserved アナリティクスエンジニアの活動事例 • SSOT (Single Source of Truth) 実現のためのデータマネジメントを実施 • 統一データマートとして事業 KPI を実装するなど品質管理強度を改善 15 テーブル A テーブル B テーブル C 独自のロジック 独自のロジック 売上 売上 指標の物理定義が異なるために抽出経路や 担当者によって同じ指標でも数値が異なる テーブル A テーブル B テーブル C SSOT データマート 売上 意思決定者側の議論に 入り込み、指標定義の認 識を揃えてビジネスロ ジックを一元化 このデータマート以外か らの抽出を許さないよう にガバナンスを装着 データポータル 自動テスト コーディング ルール整備 品質管理強度改善 のための取り組み
16. © Recruit Co., Ltd. All Rights Reserved 現状の課題と今後の方向性 • 認知が急速に拡大してきたものの、他のデータ系職種に比べると未だ不明瞭な点は多い ◦ ジェネラリスト色が強い職種だが、専門性（スキル） + キャリアパスの定義が不可欠 ◦ 参考) GitLab 社によるアナリティクスエンジニアのキャリアラダー • アナリティクスエンジニアという役割が明確になったことで、近接職種からの職種転換も今 後進んでいくことが予想される ◦ データエンジニア : ゼロ ETL （AWS）などクラウドの進化の影響で ETL パイプライン開発難度が下が り、深い事業理解をもとによりビジネスに近いレイヤーから分析基盤を設計できることに価値が移る ◦ データアナリスト : 民主化とともによりステークホルダーに近いところでデータの加工処理や品質管理を 実施することが必要となり、単独でも一定のデータマネジメントを実現できることも求められていく 16
17. © Recruit Co., Ltd. All Rights Reserved まとめ • リクルートでは、データ利活用が進むに連れ顕在化したデータマネジメントにおける３つの 課題感を背景に、アナリティクスエンジニアの組織を立ち上げた ◦ 要求元の分散化 ◦ 難易度の高度化 ◦ データマネジメントサイクルの長期化 • アナリティクスエンジニアの活動によるデータ分析プロセスの効率化・生産性向上の事例が 出来つつある ◦ 一方でスキル定義やキャリアパス設計など不明瞭な部分も多いため、引き続き制度設計を進めていく ◦ アナリティクスエンジニアの存在を前提としたデータマネジメント標準を形作り、より大規模な現場装着を 実施していく 17
18. © Recruit Co., Ltd. All Rights Reserved ご参考資料 • 社員紹介 アナリティクスエンジニア • アナリティクスエンジニアの募集を始めました • ビジネスとエンジニアリングをつなぐ「アナリティクスエンジニア」とは。リクルー トが“価値あるデータ整備”のための新たな職種に着目した理由 • リクルートが考える「意思決定に効くデータマネジメント」とは 18