データプロダクトとは何か

2023/9/26に開催された「Data Analyst Career Study #3」の登壇資料です。
https://tech-track.connpass.com/event/294384/

■ スライド中のリンク一覧

Data as a product vs data products. What are the differences? - towards data science
https://towardsdatascience.com/data-as-a-product-vs-data-products-what-are-the-differences-b43ddbb0f123

Designing Data Products - towards data science
https://towardsdatascience.com/designing-data-products-b6b93edf3d23

ネットスーパーの要!? あなたの知らない「商品マスタ」の世界 - 10X blog
https://10x.co.jp/blog/10xblog/item_master/

10Xのネットスーパーデータプロダクトとは何か (@tenjimn) - 界隈.chat
https://kaiwai.chat/episode/3

デジ庁のデータプロダクトマネージャー募集ページ - デジタル庁
https://herp.careers/v1/digitalsaiyo/1shh22jHR-Sc

データプロダクトマネージャーとは？ - Speaker Deck
https://speakerdeck.com/satoshihirose/detapurodakutomaneziyatoha

マネジャーとは「管理する人」ではなく「なんとかする人」 今の時代のマネジメントに必要なたった3つの要素 - logmi
https://logmi.jp/business/articles/329145

受託分析での8年を振り返って - ysdyt.hatenablog
https://ysdyt.hatenablog.jp/entry/lookback_8y_bp

10X カジュアル面談ページ
https://open.talentio.com/r/1/c/10x/pages/72019

10X 現在の募集職種一覧
https://open.talentio.com/r/1/c/10x/homes/3786

Transcript

1. ©2023 10X, Inc. データプロダクトとは何か （ネットスーパー立ち上げ事業を例に） Data Analyst Career Study #3 2023/9/26
2. ©2023 10X, Inc. 自己紹介 2 吉田 勇太（@yutatatatata） 株式会社10X/データプロダクトマネージャー 趣味はPodcast（界隈.chat, 白金鉱業.fm） キャリア： 大学院（バイオインフォマティクス・遺伝子解析） ｰ> ブレインパッド データサイエンティスト（新卒から8年） ｰ> 現職（6ヶ月目）
3. ©2023 10X, Inc. 今日の話 いただいたテーマ - 「データプロダクトマネージャー」をキャリアの選択肢の一つにするきっかけとなる話 - データプロダクトマネージャーの役割。データアナリストやデータエンジニアと何が違うか - 10X社の具体事例 話すこと - 「データプロダクト」とは何か - 10Xのデータプロダクトについて - 「データプロダクトマネージャー」の仕事 - キャリア話ちょっと 話さないこと - データマネジメント/dbt/データ基盤 ← @takimoさんをフォローしてください！！
4. ©10X, Inc. All Rights Reserved. 4 お客様アプリ 提供プロダクト AIによる推薦や高精度の検索により数万点の SKUからスムーズに買い物ができる UX 主な機能 • 数万SKUから商品からスムーズにカゴを作成 • キーワード・カテゴリ検索・お気に入り・注文変更・購入履 歴といった基本機能 • 商品の受け取り方法を選択 • 注文状況・配達状況の確認や通知 • Web(オプションにて提供)
5. ©10X, Inc. All Rights Reserved. 5 お客様アプリ 提供プロダクト AIによる推薦や高精度の検索により数万点の SKUからスムーズに買い物ができる UX 主な機能 • 数万SKUから商品からスムーズにカゴを作成 • キーワード・カテゴリ検索・お気に入り・注文変更・購入履 歴といった基本機能 • 商品の受け取り方法を選択 • 注文状況・配達状況の確認や通知 • Web(オプションにて提供) UIが天才なので騙されたと思って 使ってみて！！！！ （一ファンの声）
6. ©2023 10X, Inc. 10Xが支援する小売企業は全国に広がる 6 お近くにお店が あれば是非！
7. ©2023 10X, Inc. 10Xのビジネスモデル超概要 - ネットスーパー/ネットドラッグストアの 売上のうちの数%をいただく売上連動モデル - パートナーの売上が増えるほど 10Xも儲かる！ - パートナーと10Xの両者のインセンティブが一致している ← 僕が好きなところ - アプリ構築で終わらず、売上を伸ばすための分析や施策立案も行う伴走型ビジネス パートナーの売上 10Xの収益
8. ©2023 10X, Inc. 8 introduction データプロダクトとは
9. ©2023 10X, Inc. データプロダクト とは？ @dpatil former United States Chief Data Scientist 8.2万 follower “a product that facilitates an end goal through the use of data” データの利用によって最終目標を促進するプロダクト 著書『Data Jujitsu: The Art of Turning Data into Product』 （2012年） より “
10. ©2023 10X, Inc. 🤔🤔🤔
11. ©2023 10X, Inc. データプロダクトは広い概念 https://towardsdatascience.com/data-as-a-product-vs-data-products-what-are-the-differences-b43ddbb0f123 あらゆるデジタル製品や機能が、 ある目的を達成するためにデータを使用 していれば、 「データプロダクト」とみなすことができる。 “
12. ©2023 10X, Inc. データを使っているサービスは 全部データプロダクトなのか？ 🤔🤔🤔
13. ©2023 10X, Inc. https://towardsdatascience.com/designing-data-products-b6b93edf3d23 I would add an important distinction here; the distinction between products that use data to facilitate an end goal and products whose primary objective is to use data to facilitate an end goal. データを使って最終的な目標を達成する製品 と、 データを使って最終的な目標を達成することを 第一の目的とする製品の違いである。 “
14. ©2023 10X, Inc. データプロダクトの5つのタイプ https://towardsdatascience.com/designing-data-products-b6b93edf3d23
15. ©2023 10X, Inc. データプロダクトの5つのタイプ 人間の 考える コスト 小 大 データプロダクトは広い概念なので具体事例と接し方も多様である データプロダクト 例 データを使って最終的な目標を達成することを 第一の目的とする製品 人間とのインターフェース 生データ 派生データ アルゴリズム 意思決定の支援 意思決定の自動化 データウェアハウス ビジネスの主要KPIを視覚化する 企業ダッシュボード 自動運転 SQL 可視化 Visualization 車 「Data as a Product vs data products. What are the differences?」の内容を図示 , 発表者が一部加筆
16. ©2023 10X, Inc. データプロダクトのポジションマップ 「Designing Data Products」の内容を図示 , 発表者が一部加筆 生データ 派生データ アルゴリズム 意思決定の支援 意思決定の自動化 API・ コーディング ダッシュボード・ 可視化 webアプリなど デバイス・ ハードウェア インター フェースの フレンドリー さ 易 難 人間の考えるコスト 小 大 オープンデータ データウェアハウス 企業ダッシュボード レコメンド カーナビなど レコメンド・ カーナビなど DeepL翻訳 ML駆動 検品システム ML駆動 検品システム ML駆動 癌検知画像システム ML駆動 癌検知画像システム 自動運転・ 石油プラントの最適運 転システム
17. ©2023 10X, Inc. データプロダクトのポジションマップ 生データ 派生データ アルゴリズム 意思決定の支援 意思決定の自動化 API・ コーディング ダッシュボード・ 可視化 webアプリなど デバイス・ ハードウェア インター フェースの フレンドリー さ 易 難 人間の考えるコスト 小 大 オープンデータ データウェアハウス 企業ダッシュボード レコメンド カーナビなど レコメンド カーナビなど DeepL翻訳 ML駆動 検品システム ML駆動 検品システム ML駆動 癌検知画像システム ML駆動 癌検知画像システム 自動運転 石油プラントの最適運 転システム ソフトウェアビジネス化 AIビジネス化 「Designing Data Products」の内容を図示 , 発表者が一部加筆
18. ©2023 10X, Inc. 18 10Xのデータプロダクトとは
19. ©2023 10X, Inc. 10Xにおける「データプロダクト」の超概要 データ処理 by パートナー個社データ （input） 売り場データ （output） ユーザー Stailer App （Dart） アプリに載せる ・ ・ ・ A社 基幹データ X社 基幹データ A社 売り場データ X社 売り場データ Data Product （BigQuery with dbt） X社の ネットスーパーアプリ
20. ©2023 10X, Inc. 10Xにおける「データプロダクト」の超概要 データ処理 by パートナー個社データ （input） 売り場データ （output） ユーザー Stailer App （Dart） アプリに載せる ・ ・ ・ A社 基幹データ X社 基幹データ A社 売り場データ X社 売り場データ Data Product （BigQuery with dbt） X社の ネットスーパーアプリ ① 商品・在庫数等のデータを受領して
21. ©2023 10X, Inc. 10Xにおける「データプロダクト」の超概要 データ処理 by パートナー個社データ （input） 売り場データ （output） ユーザー Stailer App （Dart） アプリに載せる ・ ・ ・ A社 基幹データ X社 基幹データ A社 売り場データ X社 売り場データ Data Product （BigQuery with dbt） X社の ネットスーパーアプリ ① 商品・在庫数等のデータを受領して ② dbtで整理・変形・計算
22. ©2023 10X, Inc. 10Xにおける「データプロダクト」の超概要 データ処理 by パートナー個社データ （input） 売り場データ （output） ユーザー Stailer App （Dart） アプリに載せる ・ ・ ・ A社 基幹データ X社 基幹データ A社 売り場データ X社 売り場データ Data Product （BigQuery with dbt） X社の ネットスーパーアプリ ① 商品・在庫数等のデータを受領して ② dbtで整理・変形・計算 ③ 整理された売り場データを出力
23. ©2023 10X, Inc. 売り場データ（商品マスタ）とは 23 参考資料: - ネットスーパーの要 !? あなたの知らない「商品マスタ」の世界 - 10Xブログ - 10Xのネットスーパーデータプロダクトとは何か - 界隈.chat 商品カテゴリー セールス種類 商品画像 商品名 金額（税率） 当該店舗の 在庫有無 商品説明文 簡単にいうと、 どの商品が、いつ、どの店舗に、何個在庫があるか を日単位で整理されたデータ郡 これをdbtで全パートナー、全店舗、全商品で、 毎日計算している 1店舗だけで数万種類の商品！
24. ©2023 10X, Inc. 10Xにおける「データプロダクト」の超概要 データ処理 by パートナー個社データ （input） 売り場データ （output） ユーザー Stailer App （Dart） アプリに載せる ・ ・ ・ A社 基幹データ X社 基幹データ A社 売り場データ X社 売り場データ Data Product （BigQuery with dbt） X社の ネットスーパーアプリ ① 商品・在庫数等のデータを受領して ② dbtで整理・変形・計算 ③ 整理された売り場データを出力 ④ データをアプリに載せる
25. ©2023 10X, Inc. 商品マスタはネット上の「売り場」そのもの ネット 店舗売り場での創意工夫で魅力的な購買体験をお届け 売場業務を再現するために必要なデータ整理を行うこと・柔軟性を持つことが重要 商品マスタ 任意の特集やセールも 実施できるようにする リアル 店舗
26. ©2023 10X, Inc. データを使って最終的な目標を 達成することを第一の目的とする製品 商品マスタ 売り場を再現し、 魅力的な購買体験を作る This is Data Product！！！ https://towardsdatascience.com/designing-data-products-b6b93edf3d23
27. ©2023 10X, Inc. 10Xのデータプロダクトの現在地はたぶんこのへん 生データ 派生データ アルゴリズム 意思決定の支援 意思決定の自動化 API・ コーディング ダッシュボード・ 可視化 webアプリなど デバイス・ ハードウェア インター フェースの フレンドリー さ 易 難 人間の考えるコスト 小 大 オープンデータ データウェアハウス 企業ダッシュボード レコメンド カーナビなど レコメンド・ カーナビ DeepL翻訳 ML駆動 検品システム ML駆動 検品システム ML駆動 癌検知画像システム ML駆動 癌検知画像システム 自動運転・ 石油プラントの最適運 転システム 10Xのデータプロダクト dbtによるスケーラブルな データ処理パイプライン いろいろ頑張り中 「Designing Data Products」の内容を図示 , 発表者が一部加筆
28. ©2023 10X, Inc. 商品マスタはネット上の「売り場」そのもの。故に難しい （toB目線） 商品マスタ = 売り場そのもの なので、 現場から細かく指摘が入る。 売上にも直結するためデータ品質が 非常にシビア （toC目線） 商品マスタ情報の多さ = 売り場の充実度 （商品の多さ、欠品具合）となり、 ユーザー体験に大きく影響する。 売り場データ（商品マスタ） to Business to Consumer
29. ©2023 10X, Inc. 29 データプロダクトマネージャーとは どんなことをしているか
30. ©2023 10X, Inc. 日本でもホットなポジションになりつつある https://herp.careers/v1/digitalsaiyo/1shh22jHR-Sc （2023/9/26時点） デジ庁でも募集中！ （民間企業でもまだ募集をあまり見ない）
31. ©2023 10X, Inc. データプロダクトマネージャーとは Data Product Manager / データプロダクトマネジャー？ - Data Engineering Study Vol.17
32. ©2023 10X, Inc. https://logmi.jp/business/articles/329145 データ処理 by パートナー個社データ （input） 売り場データ （output） ユーザー アプリに載せる ・ ・ ・ A社 基幹データ X社 基幹データ A社 売り場データ X社 売り場データ Data Product X社の ネットスーパーアプリ データプロダクトマネージャーとは これを「なんとかする人」
33. ©2023 10X, Inc. データ処理 by パートナー個社データ （input） 売り場データ （output） ユーザー アプリに載せる ・ ・ ・ A社 基幹データ X社 基幹データ A社 売り場データ X社 売り場データ Data Product X社の ネットスーパーアプリ 「なんとかしないといけない」大変なこと
34. ©2023 10X, Inc. データ処理 by パートナー個社データ （input） 売り場データ （output） ユーザー アプリに載せる ・ ・ ・ A社 基幹データ X社 基幹データ A社 売り場データ X社 売り場データ X社の ネットスーパーアプリ 「なんとかしないといけない」大変なこと① ①処理の共通化が難しい - 自動化と効率化のカナメ、つまりビジネススケールのキモ - しかし想像を超える各社のデータのバラツキ - 「仕様なので出来ません」と「特別に実装します」のせめぎ合い。プラットフォーマーの苦悩。実装コストとビジネ スインパクトの兼ね合い - 技術だけでは突破できない要件にどう落とし所をつけるか
35. ©2023 10X, Inc. データ処理 by パートナー個社データ （input） 売り場データ （output） ユーザー アプリに載せる ・ ・ ・ A社 基幹データ X社 基幹データ A社 売り場データ X社 売り場データ X社の ネットスーパーアプリ 「なんとかしないといけない」大変なこと② ②商品マスタのデータ品質 の担保が難しい - データ処理基盤のアウトプット品質がアプリ評価に直結する。データ品質がシビアに問われる。 - 一方、受領データが個社でバラバラ + 個社独自ロジック → データ品質の崩壊脅威 - データプロダクトの頭痛の種。何をクリアしたら「品質が守られている」といえるか？ - 膨大なデータに対し”期待挙動”をビジネス的にも厳密に定義できるか？
36. ©2023 10X, Inc. データプロダクトの　旅は続くよ　どこまでも https://10x.co.jp/recruit/ TASUKETE
37. ©2023 10X, Inc. 37 スキルやキャリアの話 おまけ
38. ©2023 10X, Inc. 受託分析データサイエンティスト時代のよしだ（テキトーです） ①PM/PdM project/productの全般に責任を持つ。 ②データアナリスト ビジネスとデータを繋ぎ、意思決定に コミットする人 ③データサイエンティスト 統計学などを駆使して分析を行う人 ④データエンジニア データウェアハウス、基盤を作り運用する人 ⑤アナリティクスエンジニア 分析にすぐ使えるデータやその環 境を作成する人 ⑥機械学習エンジニア MLを駆使してプロダクトに 非線形な発展を加える人 ※受託分析なので担当した案件, 個人の能力にも大きく依存。話半分で。 謎の俺々職能チャート（独断と偏見により作成） 前職で使っていたスキル - どの肩書に近いか
39. ©2023 10X, Inc. 受託分析データサイエンティスト時代のよしだ（テキトーです） 謎の俺々職能チャート（独断と偏見により作成） ②データアナリスト ビジネスとデータを繋ぎ、意思決定に コミットする人 ③データサイエンティスト 統計学などを駆使して分析を行う人 ④データエンジニア データウェアハウス、基盤を作り運用する人 ⑥機械学習エンジニア MLを駆使してプロダクトに 非線形な発展を加える人 ここのスキルもっと伸ばしたいな （今後ニーズ増えるだろうな しらんけど ） 受託分析時代の最後に感じていたこと 上流データのガバナンス・質が 後続の分析タスクの全てに影響する 「分析PoC以上」を作れなかった 無念さ ①PM/PdM project/productの全般に責任を持つ。 ⑤アナリティクスエンジニア 分析にすぐ使えるデータやその環 境を作成する人
40. ©2023 10X, Inc. 10X DPMとして必要だなと感じているスキル ②データアナリスト ビジネスとデータを繋ぎ、意思決定に コミットする人 ③データサイエンティスト 統計学などを駆使して分析を行う人 ④データエンジニア データウェアハウス、基盤を作り運用する人 ⑥機械学習エンジニア MLを駆使してプロダクトに 非線形な発展を加える人 他チームに専門メンバー有り 他チームに専門メンバー有り ①PM/PdM project/productの全般に責任を持つ。 ⑤アナリティクスエンジニア 分析にすぐ使えるデータやその環 境を作成する人 謎の俺々職能チャート（独断と偏見により作成） ※個人の意見です。
41. ©2023 10X, Inc. 分析をしてた人が基盤側（エンジニアリング側）に行く大変さ “システム開発” のお作法へのキャッチアップ - git管理・エラー通知・テスト・品質・アジャイル開発・障害対応ど うするか ...等 「作ったデータが負債になる」という怖さ - 良くも悪くも”システム”として動き続ける - 希望通り「PoC以上」をやれているが今度は逆の苦悩が... システムへの問い合わせが多い - 分析してたころの比じゃない - 対応への優先度付け - 開発のペースを保つための組織運営, タスク融通の仕組み ギャップがデカい... いろいろ挑戦中です
42. ©2023 10X, Inc. まとめ 10Xの「データプロダクト」とは - inputが各パートナーの基幹データ , outputが各パートナーの売り場データとなるデータ処理 パイプライン（by dbt）のこと - 各社のバラバラなデータに対して共通処理を実現し、処理の自動化 /スケールすることがキモ - データプロダクトの生成物 = 商品マスタ のデータ品質がCからもBからも厳しく問われる 10Xの「データプロダクトマネージャー」とは - データ特化型のPMの一種であり、データプロダクトを ”なんとかする” 人 - データプロダクト特有のデータマネジメントへの理解も必要 - ビジネスとエンジニアリングの両面から総合的に判断することが多い
43. ©10X, Inc. All Rights Reserved. XのDMも歓迎！