活きてなかったデータを活かしてみた話 / Shirokane Kougyou vol 19

■ イベント
白金鉱業 Meetup Vol.19@六本木（若手データサイエンティスト交流会）
https://brainpad-meetup.connpass.com/event/354926/

■ 発表者
技術本部 研究開発部 Data Directionグループ
齊藤 拓己

■ 研究開発部 採用情報
https://media.sansan-engineering.com/randd

■ Sansan Tech Blog
https://buildersbox.corp-sansan.com/

Transcript

1. Sansan株式会社 部署 名前 活きてなかったデータを 活かしてみた話 Sansan 技術本部 研究開発部 Data Directionグループ ⿑藤 拓⼰
2. - ⾃⼰紹介 - 社内からのデータ活⽤要望 - SCD Type 2 をデータモデリング - Lookerでの可視化 - まとめ Agenda
3. ⿑藤 拓⼰ Sansan株式会社 技術本部 研究開発部 Data Directionグループ 筑波⼤学⼤学院（博⼠: 情報⼯学） - 機械学習応⽤（進化アルゴ、深層学習が主） - 『Pythonではじめるオープンエンドな進化的アルゴリズム』 2025年4⽉より新卒⼊社（2⽉からインターン） アナリティクスエンジニア：データ活⽤を設計すること - 社内データ利活⽤ - Sansan BI開発
4. 会社概要 3 本社 神山ラボ Sansan Innovation Lab 社 名 Sansan株式会社 所在地 本社 東京都渋⾕区桜丘町1-1 渋⾕サクラステージ 28F グループ 会社 Sansan Global Pte. Ltd.（シンガポール） Sansan Global Development Center, Inc.（フィリピン） Sansan Global (Thailand) Co., Ltd.（タイ） ログミー株式会社 株式会社ダイヤモンド企業情報編集社 ナインアウト株式会社 株式会社⾔語理解研究所 従業員数 1,797名（2025年2⽉28⽇時点） 2007年6⽉11⽇ 設 ⽴ ⽀店：関⻄⽀店、福岡⽀店、中部⽀店 サテライトオフィス：Sansan神⼭ラボ、Sansan Innovation Lab、 Sansan⻑岡ラボ 拠 点 寺⽥ 親弘 代表者
5. 誰でも活⽤できるようなデータ設計してますか？
6. 現場からのデータ活⽤要望
7. - 営業案件の進⾏度合いを集計したい - ⽉や四半期の始め（過去）を基準としてどれだけ進⾏したか - 事業部全体や部署ごとでの傾向を把握したい - 現場での分析には限界がある - 弊社で利⽤されているSFA上では、過去の履歴を追うのも⼀苦労 - 現場は、秘伝のスプシに毎⽉⼿動でデータをExportして集計していた このデータ、去年からどう変化していったの？
8. - ある時点での状態を基準にして、その後状態がどう変化したかを⾒たい - 問題は、単純な状態の推移ではないこと - 「ある時点①」と「その後の時系列②」の状態差分を集計したい 状態の時系列的な差分が⾒たい 集計 差分
9. - 弊社のデータ分析基盤に状態の変更履歴は全部ある - 「とりあえず」「いずれ役に⽴つかもしれない」で保存してあった でも - 使われていない & このままでは使えない - 全く価値を⽣み出していない状態 → 誰でも分析がしやすい形で設計をする 履歴データを使えば解決できそう！
10. - Slowly Changing Dimension(SCD) Type 2 ⽅式 - データ変更時、古いレコードは残し、新しいレコードを追加する - 各レコードには有効期限を⽰す 開始⽇ / 終了⽇ を持たせる SCD Type 2 の例：ある市販のお菓⼦ 履歴データの構造はどうなっている？
11. 使えるように設計する
12. - ある特定の⽇付でどんな状態だったかは - 有効期間 (開始) ≦ その⽇付 < 有効期間 (終了) - とすれば⼀意なレコードを取得できる - これをどう使えば「ある時点①」と「その後の時系列②」の状態差分を 集計するように設計できるのか？ この履歴データをどう使えばいい？
13. - アイデア - ⽐較差分の全データを作ってから時系列絞り込みすればいいのでは - その場限りの⼀時的な分析ではやりがち - 問題 - ストレージへの暴⼒：EntityID × date × date → 数百億レコード - データパイプラインでこれやったら怒られる - いつでも、最新の状態で、効率的に分析できるような設計が必要 ボツ案：全組み合わせの差分⾏列を作っておく filter
14. - アイデア - ⾒たい「いつ」を選んでからその都度⽐較する - EntityID × 履歴（時点①） × 履歴（時系列②） - 効果 - 必要な分だけクエリ実⾏ - データ爆発なし、柔軟な分析 - いつでも、最新の状態で、効率的に分析できる 解決案：「いつ」と「いつ」で絞ってから結合する filter① filter②
15. Lookerでのデータモデリング
16. Lookerでの集計可視化
17. まとめ
18. - 「使われる形にする⼯夫」こそが設計の本質である - インサイトを得る設計をして初めてデータの価値になる - きれいに保存していても、それ⾃体に価値はない - 単なる加⼯ではなく設計すること - 「⼿段」ではなく「⽬的」から逆算して構造を決められるかどうか まとめ：持ってるだけじゃ意味がない
19. - 良い設計のためには、3つの要素が必要である 1. ドメイン（⽬的と価値を理解する） 2. アナリティクス（適切な⽅法論を選択する） 3. エンジニアリング（持続可能な基盤を構築する） 「使うこと」を設計する
20. Sansan 技術本部 募集ポジション紹介 https://media.sansan-engineering.com/