Upgrade to Pro — share decks privately, control downloads, hide ads and more …

「拠点横断アナリティクス」リリースまでの3ヶ月/登壇資料(飯塚 大地)

「拠点横断アナリティクス」リリースまでの3ヶ月/登壇資料(飯塚 大地)

Jagu'e'r データ利活用分科会 #27 あつまれ Looker の森 Part 3
2025年6月27日(金)18:00~19:30
https://jaguer.jp/

Avatar for Hacobu

Hacobu

June 13, 2025
Tweet

More Decks by Hacobu

Other Decks in Technology

Transcript

  1. Copyright Hacobu, Inc. 3 前半 Part: 「拠点横断アナリティクス」とは?
 実際に現在運用している、Looker を活用しているマルチテナントダッシュボードについて、アーキテクチャなどを 通じてどういうものか解説します
 


    
 後半 Part: リリースまでの3ヶ月
 プロジェクトキックオフからリリースまで、どういう開発体制で進み、何に苦労してきたかを時系列で紹介します
 「拠点横断アナリティクス」リリースまでの3ヶ月 

  2. Copyright Hacobu, Inc. 4 自己紹介
 dach(X @dach_chikin) 
 所属:
 Hacobu

    Inc. テクノロジー本部 CTO 室 
 経歴:
 SI、ASP、インターネットメディア系、小売系を経て、2024年4月より Hacobu に join。 FRONT、BACKEND、SRE、PM と幅広く経験し、現職ではデータ分析基盤の立ち上げや運 用の経験を活かし、データエンジニアとして物流ビッグデータにチャレンジ中。 普段はチキ ン南蛮エンジニアとして、ユーザーに多大に支えてもらいながら勉強会コミュニティ Easy Easy を運営中。
 趣味:
 コミュニティ運営、トレーニング、ご飯
 顔写真やアイコン
  3. Copyright Hacobu, Inc. 7 Hacobuが取り組む領域 
 ※出典:JILS「2021 年度 物流コスト調査報告書【概要版】」(2021)10頁及び 矢野経済研究所「2021年版

    ラストワンマイル物流市場の実態と展望」(2021) (https://release.nikkei.co.jp/attach/614407/02_202107121514.pdf)より当社推計
  4. Copyright Hacobu, Inc. 10 「拠点横断アナリティクス」について 
 2025/1/27 に MOVO Berth

    の機能の一つとしてプレスリリース。 引用: https://hacobu.jp/news/13649/
  5. Copyright Hacobu, Inc. 14 前半まとめ
 前半 Part:「拠点横断アナリティクス」とは?
 - MOVO Berth

    の機能の一つで、「顧客に応じた」ダッシュボードを提供してるよ
 - Looker のデータソースは BigQuery だよ
 - 開発・運用メンバーは少数だよ

  6. Copyright Hacobu, Inc. 16 「拠点横断アナリティクス」リリースまでの3ヶ月 
 11月 12月 1月 販促用デモ環境構築

    
 販売体制の構築
 プロダクトへの埋め込み・受け入れテスト 
 ダッシュボードのブラッシュアップ 
 データモデルのフルリプレイス 

  7. Copyright Hacobu, Inc. 17 「拠点横断アナリティクス」リリースまでの3ヶ月 
 11月 12月 1月 販促用デモ環境構築

    
 販売体制の構築
 プロダクトへの埋め込み・受け入れテスト 
 ダッシュボードのブラッシュアップ 
 データモデルのフルリプレイス 
 時間掛かったポイント① 
 時間掛かったポイント② 

  8. Copyright Hacobu, Inc. 18 「拠点横断アナリティクス」リリースまでの3ヶ月 
 プロジェクト前の装備:
 - (E)社内用に既存メンバーが開発・運用していた「社内用ダッシュボード」
 -

    (E)「社内用ダッシュボード」用の複雑なデータマート
 - (E)データ基盤(ELT、DWH、DM、各種関連リソース)
 
 プロジェクトゴール:
 - 「社内用ダッシュボード」を元に Looker にダッシュボードって提供しようぜ!
 - 対象データは x 年分としよう

  9. Copyright Hacobu, Inc. 19 「拠点横断アナリティクス」リリースまでの3ヶ月 
 プロジェクト前の装備:
 - (E)社内用に既存メンバーが開発・運用していた「社内用ダッシュボード」
 -

    (E)「社内用ダッシュボード」用の複雑なデータマート
 - (E)データ基盤(ELT、DWH、DM、各種関連リソース)
 
 プロジェクトゴール:
 - 「社内用ダッシュボード」を元に Looker にダッシュボードって提供しようぜ!
 - 対象データは x 年分としよう
 その時はまだ、罠に気づくものは誰もいなかった―――

  10. Copyright Hacobu, Inc. 20 「拠点横断アナリティクス」リリースまでの3ヶ月 
 2024年11月:
 - プロジェクトキックオフ
 -

    お披露目日が2025年1月末に行うことが決定
 - お披露目で見せられるデモをまず作る必要が出た
 - 「社内用ダッシュボード」用の複雑なデータマートに、デモ用のマスキングロジックを適用
 - 本番相当量のデータだとマスキングロジックが返ってこない問題が発生 
 - マスキングロジックが動く用にパフォーマンスチューニングを行う
 - 既存ロジックの複雑さに直面し、拡張性に対する不安を感じ始める
 - とりあえず、デモはできるようにした
 
 

  11. Copyright Hacobu, Inc. 21 「拠点横断アナリティクス」リリースまでの3ヶ月 
 2024年12月:
 - プロダクトへの埋込を可能とするため、API の開発に着手


    - また、PoC 用に遊んでいた Looker の構成をきれいに整えたり、権限管理をきれいにする
 - 同時期に、ダッシュボードのちゃんとした版のテンプレートを作り始める
 - ダッシュボードをガッツリ触り始めると、今まで見えてなかったことが見え始める
 - レスポンスの遅さ・コストの高さ・集計軸粒度による問題が浮上 
 - データ項目の追加、ロジックの確認にも思った以上に時間がかかる
 - 従来データマートをディメンナルションモデルにフルリプレースすることを決断 
 
 

  12. Copyright Hacobu, Inc. 22 「拠点横断アナリティクス」リリースまでの3ヶ月 
 2025年1月:
 - フルリプレース完了 


    - リプレースに伴うダッシュボードの参照先変更などに苦労する
 - ダッシュボード開発に伴う、データ項目の追加やチェックが終盤戦
 - チェックにプロダクト既存機能を使って DL したデータを利用され始める
 - プロダクトの既存機能とデータスコープに差分があることが判明 
 - 既存機能のロジックと社内用データマートのロジック差分を精査
 - 差分についての関係者間での認識と、方針について再度合意
 - 関係者間での合意を得てローンチ 
 
 

  13. Copyright Hacobu, Inc. 23 罠とはなんだったのかを振り返る:
 1. データ項目に対する認識ズレ
 2. データマートをそのまま適用しようとしていたこと
 3.

    データスコープを単なる時間軸だけで捉えていたこと
 「拠点横断アナリティクス」リリースまでの3ヶ月 

  14. Copyright Hacobu, Inc. 24 1.データ項目に対する認識ズレ:
 e.g. 「稼働時間」というデータ項目があったとき
 作業①
 「拠点横断アナリティクス」リリースまでの3ヶ月 


    10:00 11:00 12:00 13:00 現場到着
 待機
 作業②
 待機
 現場撤収
 ①
 ②
 ③
 定義が明確にないと、 解釈に幅が出る

  15. Copyright Hacobu, Inc. 25 2.データマートをそのまま適用しようとしていたこと:
 
 
 「拠点横断アナリティクス」リリースまでの3ヶ月 
 引用:

    Looker で利用するデータモデルをワイドテーブルからスタースキーマに変更したら予想以上に大変だった 集計軸が異なるデータ 
 ちょっとだけロジックの違うデータを作りたい 
 分析軸を追加したい 
 類似の計算式の集計データを作りたい 

  16. Copyright Hacobu, Inc. 26 3.データスコープを単なる時間軸だけで捉えていたこと:
 正しくは、トランザクションのタイムラインで考えるべきだった。
 6/1 6/2 6/3 6/4

    「拠点横断アナリティクス」リリースまでの3ヶ月 
 記録①
 予約
 この期間を抽出対象とした場合 
 記録②
 予約
 記録③
 予約
 記録④
 予約
 どれが入るの?
 記録⑤

  17. Copyright Hacobu, Inc. 27 3.データスコープを単なる時間軸だけで捉えていたこと:
 正しくは、トランザクションのタイムラインで考えるべきだった。
 「拠点横断アナリティクス」リリースまでの3ヶ月 
 6/1 6/2

    6/3 6/4 記録①
 予約
 記録②
 予約
 記録③
 予約
 記録④
 予約
 予約作成とかは 関係無いんだね
 記録⑤
 この期間に「記録時間があるデータ」 
 を抽出対象とした場合