社内外から"使ってもらえる"データ基盤を支えるアーキテクチャの秘訣/登壇資料（飯塚 大地・高橋 一貴）

アーキテクチャConference
2025年11月20日（木）・21日（金）9:30〜19:00
https://architecture-con.findy-tools.io/2025

Transcript

1. Confidential 社内外から“使ってもらえる” データ基盤を支えるアーキテクチャの秘訣 アーキテクチャConference 2025 2025年11月21日 テクノロジー本部 CTO室 TK・dach
2. 主題：”使ってもらえる”とは
3. Copyright Hacobu, Inc. 3 主題：”使ってもらえる”とは そもそも「使ってもらえる」とはどのような状態か データ システム ユーザー スキル データ利活用
4. Copyright Hacobu, Inc. 4 主題：”使ってもらえる”とは 使ってもらえている事例①：社外 複数拠点の横断分析ができるダッシュボード機能をリリース 引用元: https://obu.jp/news/13649/
5. Copyright Hacobu, Inc. 5 主題：”使ってもらえる”とは 使ってもらえている事例②：社内 他チームメンバーがデータを活用したダッシュボードを構築 引用元: https://note.hacobu.jp/n/n8f46ad7bf707
6. Copyright Hacobu, Inc. 6 主題：”使ってもらえる”とは 今日のゴール ひとつの “使ってもらえる” データ基盤の例として 現場に持ちかえれるヒントがあれば 目指す姿 データ基盤を”使ってもらえる” お伝えすること どういうポイントを気にして現在のアーキテクチャとなっているのか
7. Copyright Hacobu, Inc. 7 主題：”使ってもらえる”とは 「使ってもらえる」状態を生み出すためのアーキテクチャについて、お伝えします データ システム ユーザー スキル データ利活用 データアーキテクチャ オペレーションアーキテクチャ
8. Copyright Hacobu, Inc. 8 主題：”使ってもらえる”とは 2025年11月時点、Hacobu のデータチームは以下2名で運用。 本セッションでは担当アーキテクチャ毎にパート分けして解説を行う。 データエンジニア データアナリスト dach TK データアーキテクチャ オペレーションアーキテクチャ データ システム ユーザー スキル
9. 目次 Copyright Hacobu, Inc. 9 1. データアーキテクチャ 2. オペレーションアーキテクチャ
10. Copyright Hacobu, Inc. 10 データアーキテクチャ データアーキテクチャとポイントについて解説 データ システム ユーザー スキル データ利活用 データアーキテクチャ オペレーションアーキテクチャ
11. Copyright Hacobu, Inc. 11 データアーキテクチャ Hacobu “と” データ
12. Copyright Hacobu, Inc. 12 データアーキテクチャ Hacobu が挑む領域は”物流” 様々なステークホルダーや業界固有のオペレーションなど、業界の構造課題が存在する 引用元: https://speakerdeck.com/hacobu/hacobu-company-deck
13. Copyright Hacobu, Inc. 13 データアーキテクチャ Hacobu は物流情報プラットフォームを提供し、共通のデジタル基盤として物流情報を繋ぎ、 蓄積されたビッグデータを活かすことで、社会課題の解決に挑んでいる 引用元: https://speakerdeck.com/hacobu/hacobu-company-deck
14. Copyright Hacobu, Inc. 14 データアーキテクチャ データアーキテクチャ
15. Copyright Hacobu, Inc. 15 データアーキテクチャ シンプルな構成：最小限の構成で保守性を高め、各レイヤの役割を明確に。 少人数運用：自動化や Fivetran・dbt を用いた運用効率化により、2名体制でも安定運用可能に。 データ提供の迅速化：ETL最適化とセルフサービス環境で分析を加速。 スケールする組織を、少人数チームで支えられる基盤
16. Copyright Hacobu, Inc. 16 データアーキテクチャ シンプルな構成：最小限の構成で保守性を高め、各レイヤの役割を明確に。 少人数運用：自動化や Fivetran・dbt を用いた運用効率化により、2名体制でも安定運用可能に。 データ提供の迅速化：ETL最適化とセルフサービス環境で分析を加速。 スケールする組織を、少人数チームで支えられる基盤
17. Copyright Hacobu, Inc. 17 データアーキテクチャ シンプルな構成のポイントは「複雑化・肥大化するリネージの認知負荷を下げる」ということ。
18. Copyright Hacobu, Inc. 18 データアーキテクチャ 何も対策をとらなければ、利活用の増加に伴い、データ基盤は複雑になっていく。 複雑さが高まれば、調査だけでも一苦労のものとなる。
19. Copyright Hacobu, Inc. 19 データアーキテクチャ 「複雑化・肥大化するリネージの認知負荷を下げる」ために必要なものは、モデリング手法。 レイヤー毎に責務を明確にし、遵守して運用していくことが重要。 Rawデータ DWH DataMart 社内に提供 DataLake 社外に提供 顧客提供 セマンティックレイヤー 生データ Looker Looker Looker Studio Tableau
20. Copyright Hacobu, Inc. 20 データアーキテクチャ Hacobu では、ディレクトリ構成は dbt ベストプラクティスをベースとしたレイヤーに基づいて管理を行っている。1ファイル にすべての責務が混在することを避け、コード量が読みやすい範疇なるように保ち、保守性を維持している。 DWH セマンティックレイヤー
21. Copyright Hacobu, Inc. 21 データアーキテクチャ シンプルな構成：最小限の構成で保守性を高め、各レイヤの役割を明確に。 少人数運用：自動化や Fivetran・dbt を用いた運用効率化により、2名体制でも安定運用可能に。 データ提供の迅速化：ETL最適化とセルフサービス環境で分析を加速。 スケールする組織を、少人数チームで支えられる基盤
22. Copyright Hacobu, Inc. 22 データアーキテクチャ 少人数運用のポイントは「如何にエンジニアが対応する際の工数を減らすことができるか」という1点。
23. Copyright Hacobu, Inc. 23 データアーキテクチャ ガソリンとなるデータを「工数少なく」「迅速」に取り込めるようにするためには、自動化が必須。 SaaS データの取り込みには Fivetran、自社データの取り込みには dbt snapshot + script で対応をした。 SaaS データ いい感じに ELT してくれる 増分蓄積してくれる
24. Copyright Hacobu, Inc. 24 データアーキテクチャ ガソリンとなるデータを「工数少なく」「迅速」に取り込めるようにするためには、自動化が必須。 SaaS データの取り込みには Fivetran、自社データの取り込みには dbt snapshot + script で対応をした。 自社 データ 自動作成 増分蓄積 自動連携
25. Copyright Hacobu, Inc. 25 データアーキテクチャ ガソリンとなるデータを「工数少なく」「迅速」に取り込めるようにするためには、自動化が必須。 SaaS データの取り込みには Fivetran、自社データの取り込みには dbt snapshot + script で対応をした。 自動作成 増分蓄積 連携データをスキャン (テーブル増減に対応) テーブル作成 テーブルスキャン snapshot.yml を動的生成 dbt snapshot による増分蓄積
26. Copyright Hacobu, Inc. 26 データアーキテクチャ シンプルな構成：最小限の構成で保守性を高め、各レイヤの役割を明確に。 少人数運用：自動化や Fivetran・dbt を用いた運用効率化により、2名体制でも安定運用可能に。 データ提供の迅速化：ETL最適化とセルフサービス環境で分析を加速。 スケールする組織を、少人数チームで支えられる基盤
27. Copyright Hacobu, Inc. 27 データアーキテクチャ データ提供の迅速化のポイントは「横展開可能な方法で構築する」ということ。
28. Copyright Hacobu, Inc. 28 データアーキテクチャ 「横展開可能」とは、構築したものが汎用的に使える状態であること。また、同じやり方で別のものにも転用可能な状態で あることと定義。 社内 社外 DataMart DataLake Looker Studio Tableau 探索 ・検証 Ops Service DWH Looker
29. Copyright Hacobu, Inc. 29 データアーキテクチャ 社外展開も「横展開可能」とするために、Looker API と接続を行う専用の API コンテナを準備。 Looker API を経 由して行う諸々の処理を共通化。
30. Copyright Hacobu, Inc. 30 データアーキテクチャ データアーキテクチャのまとめ
31. Copyright Hacobu, Inc. 31 データアーキテクチャ シンプルな構成：最小限の構成で保守性を高め、各レイヤの役割を明確に。 少人数運用：自動化や Fivetran・dbt を用いた運用効率化により、2名体制でも安定運用可能に。 データ提供の迅速化：ETL最適化とセルフサービス環境で分析を加速。 スケールする組織を、少人数チームで支えられる基盤
32. 目次 Copyright Hacobu, Inc. 32 1. データアーキテクチャ 2. オペレーションアーキテクチャ
33. Copyright Hacobu, Inc. 33 オペレーションアーキテクチャ オペレーションアーキテクチャで直面した課題 → 取り組んだアクションを紹介 データ システム ユーザー スキル データ利活用 データアーキテクチャ オペレーションアーキテクチャ
34. Copyright Hacobu, Inc. 34 オペレーションアーキテクチャ Hacobu“と”ステークホルダー
35. Copyright Hacobu, Inc. 35 オペレーションアーキテクチャ Hacobuが挑む社会課題：物流危機 巨大な市場規模にも関わらず、多くの課題を抱えている 引用元: https://speakerdeck.com/hacobu/hacobu-company-deck
36. Copyright Hacobu, Inc. 36 オペレーションアーキテクチャ Hacobuが挑む社会課題：物流危機 → 物流DXツールやコンサルティング等の事業を通して、課題解決に挑戦している 引用元: https://speakerdeck.com/hacobu/hacobu-company-deck
37. Copyright Hacobu, Inc. 37 オペレーションアーキテクチャ 物流業界の特徴：多様な登場人物&複雑な現場運用 →ドメイン特有の複雑性を持つデータと格闘する日々 登場人物が多い タイムスタンプが多様 紐づく情報が多岐に渡る ・・・ 現場の複雑さをデータから紐解く（おもろい！！） メーカー 工場 メーカー 倉庫 流通 事業者 小売 事業者 運送会社A 運送会社B 運送会社C 物流倉庫の場合 予約 到着 呼出 作業 開始 作業 終了 退場 元請け 一次受け 二次受け 車両１台が動く場合 輸送依頼 荷物情報 商品A 商品B … 伝票情報
38. Copyright Hacobu, Inc. 38 オペレーションアーキテクチャ オペレーションアーキテクチャ
39. Copyright Hacobu, Inc. 39 オペレーションアーキテクチャ そんなデータを”使ってもらう”ための「オペレーションアーキテクチャ」としての取り組みを紹介 データ システム ユーザー スキル データ利活用 データアーキテクチャ オペレーションアーキテクチャ
40. Copyright Hacobu, Inc. 40 オペレーションアーキテクチャ ユーザーへのアプローチ：”使いたい”モチベーション Data Driven Logistics → データを使う企業文化があったが、データ利活用に対する抵抗感があった モチベーション データを使いたいという内発的意欲 ・データを使った意思決定したい ・原因をデータから特定したい ・成果をデータで見える化したい スキル ユーザー “データを使おう“という 企業文化は存在 課題：データ分析に対する抵抗感
41. Copyright Hacobu, Inc. 41 オペレーションアーキテクチャ スキルへのアプローチ：”使える”リテラシー 自力でできず、データアナリストが全面カバー → スケールせず、データ利活用が停滞しそうに、、、 モチベーション データを使いたいという内発的意欲 ・データを使った意思決定したい ・原因をデータから特定したい ・成果をデータで見える化したい スキル ユーザー “データを使おう“という 企業文化は存在 課題：データ分析に対する抵抗感 リテラシー データを理解し活用できる力 ・どのデータを使うべきか知っている ・データの可視化方法を知っている ・データから示唆を得ることができる “やりたい” but ”できない” 課題：データ分析リテラシーのある人材不足
42. Copyright Hacobu, Inc. 42 オペレーションアーキテクチャ 課題に対する解決策：レベルに応じたデータ分析講座を提供 ┗分析レベルに応じた３つのアプローチ スキル リテラシー データを理解し活用できる力 ・どのデータを使うべきか知っている ・データの可視化方法を知っている ・データから示唆を得ることができる 課題：データ分析リテラシーのある人材不足 モチベーション データを使いたいという内発的意欲 ・データを使った意思決定したい ・原因をデータから特定したい ・成果をデータで見える化したい ユーザー 課題：データ分析に対する抵抗感 分析レベル 提供方法 未経験 初心者〜中級者 上級者 講義形式 1on1形式 個別支援 データ分析スキル教育 データ分析ブートキャンプ トッププレイヤー1on1 データ分析への抵抗を無くす 実務でデータを”使ってみる” 自走プレイヤーを育てる コンテンツ ゴール
43. Copyright Hacobu, Inc. 43 オペレーションアーキテクチャ 課題に対する解決策：レベルに応じたデータ分析講座を提供 ┗分析レベルに応じた３つのアプローチ スキル リテラシー データを理解し活用できる力 ・どのデータを使うべきか知っている ・データの可視化方法を知っている ・データから示唆を得ることができる 課題：データ分析リテラシーのある人材不足 モチベーション データを使いたいという内発的意欲 ・データを使った意思決定したい ・原因をデータから特定したい ・成果をデータで見える化したい ユーザー 課題：データ分析に対する抵抗感 分析レベル 提供方法 未経験 初心者〜中級者 上級者 講義形式 1on1形式 個別支援 データ分析スキル教育 データ分析ブートキャンプ トッププレイヤー1on1 データ分析への抵抗を無くす 実務でデータを”使ってみる” 自走プレイヤーを育てる コンテンツ ゴール
44. Copyright Hacobu, Inc. 44 オペレーションアーキテクチャ 分析レベル：未経験 → 講義形式 30分からの短時間でライトに参加可能 → データ分析への抵抗感を減らすことができた 分析レベル 提供方法 未経験 初心者〜中級者 上級者 講義形式 1on1形式 個別支援 データ分析スキル教育 データ分析ブートキャンプ トッププレイヤー1on1 データ分析への抵抗を無くす 実務でデータを”使ってみる” 自走プレイヤーを育てる コンテンツ ゴール 成果 実施アクション 全社員を対象に、 30〜60分／回の講座を複数提供 ┗ データ分析の基本的な考え方 ┗ Excel関数の始め方 ┗ 30分でわかるLooker Studio入門 ┗ 提案分析：ROI編 etc ・社員の約半数が参加 ・感想：「データ分析は怖くない」 ・選択肢を知る → 今までにない相談も届く データ分析への抵抗感を減らせた
45. Copyright Hacobu, Inc. 45 オペレーションアーキテクチャ 課題に対する解決策：レベルに応じたデータ分析講座を提供 ┗分析レベルに応じた３つのアプローチ スキル リテラシー データを理解し活用できる力 ・どのデータを使うべきか知っている ・データの可視化方法を知っている ・データから示唆を得ることができる 課題：データ分析リテラシーのある人材不足 モチベーション データを使いたいという内発的意欲 ・データを使った意思決定したい ・原因をデータから特定したい ・成果をデータで見える化したい ユーザー 課題：データ分析に対する抵抗感 分析レベル 提供方法 未経験 初心者〜中級者 上級者 講義形式 1on1形式 個別支援 データ分析スキル教育 データ分析ブートキャンプ トッププレイヤー1on1 データ分析への抵抗を無くす 実務でデータを”使ってみる” 自走プレイヤーを育てる コンテンツ ゴール
46. Copyright Hacobu, Inc. 46 オペレーションアーキテクチャ 分析レベル：初心者〜中級者 → 1on1形式 “使ってみたい”人をターゲットとし、実際に業務で”使える” ところまで伴走した 分析レベル 提供方法 未経験 初心者〜中級者 上級者 講義形式 1on1形式 個別支援 データ分析スキル教育 データ分析ブートキャンプ トッププレイヤー1on1 データ分析への抵抗を無くす 実務でデータを”使ってみる” 自走プレイヤーを育てる コンテンツ ゴール 成果 実施アクション 実務でデータ分析をしてみたい社員を募り、 1.5ヶ月間の週次1on1を実施 ┗”データ分析”が関係して入れれば、お題は自由 ┗同時期に5名実施して、一緒に成果共有会 ・計５回、延べ25名が参加 ・自走できるメンバー、社内教育を推進できる人が誕生 ・作成したダッシュボードは、そのまま全社公式に 実業務で”使ってもらえた”
47. Copyright Hacobu, Inc. 47 オペレーションアーキテクチャ 分析レベル：上級者 → 個別支援 スキルを持つプレイヤーの伴走をして、自走できるところまで導いた 分析レベル 提供方法 未経験 初心者〜中級者 上級者 講義形式 1on1形式 個別支援 データ分析スキル教育 データ分析ブートキャンプ トッププレイヤー1on1 データ分析への抵抗を無くす 実務でデータを”使ってみる” 自走プレイヤーを育てる コンテンツ ゴール 成果 実施アクション トッププレイヤーへの1on1レクチャー ┗ 非エンジニアだが、SQLが書ける・ダッシュボードが扱える ┗ 週次1on1で、より業務に深く入ったフォロー （マーケティング、カスタマーサクセス、他） アナリスト不在でもデータ利活用が進んだ ┗ Tableau導入プロジェクト ┗ マーケKPIダッシュボード 自走プレイヤーが誕生
48. Copyright Hacobu, Inc. 48 オペレーションアーキテクチャ 分析レベル：上級者 → 個別支援 スキルを持つプレイヤーの伴走をして、自走できるところまで導いた 分析レベル 提供方法 未経験 初心者〜中級者 上級者 講義形式 1on1形式 個別支援 データ分析スキル教育 データ分析ブートキャンプ トッププレイヤー1on1 データ分析への抵抗を無くす 実務でデータを”使ってみる” 自走プレイヤーを育てる コンテンツ ゴール 成果 実施アクション トッププレイヤーへの1on1レクチャー ┗ 非エンジニアだが、SQLが書ける・ダッシュボードが扱える ┗ 週次1on1で、より業務に深く入ったフォロー （マーケティング、カスタマーサクセス、他） アナリスト不在でもデータ利活用が進んだ ┗ Tableau導入プロジェクト ┗ マーケKPIダッシュボード 自走プレイヤーが誕生 ビジネス向けのTableauダッシュボード実装 マーケティング向けKPIダッシュボード構築
49. Copyright Hacobu, Inc. 49 オペレーションアーキテクチャ まとめ 〜 オペレーションアーキテクチャ 〜
50. Copyright Hacobu, Inc. 50 オペレーションアーキテクチャ 課題に対する解決策：レベルに応じたデータ分析講座を提供 ┗分析レベルに応じた３つのアプローチにより、課題解決のための成果を達成！ スキル リテラシー データを理解し活用できる力 ・どのデータを使うべきか知っている ・データの可視化方法を知っている ・データから示唆を得ることができる 課題：データ分析リテラシーのある人材不足 モチベーション データを使いたいという内発的意欲 ・データを使った意思決定したい ・原因をデータから特定したい ・成果をデータで見える化したい ユーザー 課題：データ分析に対する抵抗感 分析レベル 提供方法 未経験 初心者〜中級者 上級者 講義形式 1on1形式 個別支援 データ分析スキル教育 データ分析ブートキャンプ トッププレイヤー1on1 データ分析への抵抗を減らせた 実務でデータを”使ってもらえた” 自走プレイヤーが誕生 コンテンツ 成果
51. まとめ
52. Copyright Hacobu, Inc. 52 社内外から “使ってもらえる” データ基盤を支えるアーキテクチャの秘訣 「使ってもらえる」状態を生み出す要素のアーキテクチャについて、お伝えします データ システム ユーザー スキル データ利活用 データアーキテクチャ オペレーションアーキテクチャ
53. Copyright Hacobu, Inc. 53 社内外から “使ってもらえる” データ基盤を支えるアーキテクチャの秘訣 シンプルな構成：最小限の構成で保守性を高め、各レイヤの役割を明確に。 少人数運用：自動化や Fivetran・dbt を用いた運用効率化により、2名体制でも安定運用可能に。 データ提供の迅速化：ETL最適化とセルフサービス環境で分析を加速。 スケールする組織を、少人数チームで支えられる基盤
54. Copyright Hacobu, Inc. 54 社内外から “使ってもらえる” データ基盤を支えるアーキテクチャの秘訣 課題に対する解決策：レベルに応じたデータ分析講座を提供 ┗分析レベルに応じた３つのアプローチにより、課題解決のための成果を達成！ スキル リテラシー データを理解し活用できる力 ・どのデータを使うべきか知っている ・データの可視化方法を知っている ・データから示唆を得ることができる 課題：データ分析リテラシーのある人材不足 モチベーション データを使いたいという内発的意欲 ・データを使った意思決定したい ・原因をデータから特定したい ・成果をデータで見える化したい ユーザー 課題：データ分析に対する抵抗感 分析レベル 提供方法 未経験 初心者〜中級者 上級者 講義形式 1on1形式 個別支援 データ分析スキル教育 データ分析ブートキャンプ トッププレイヤー1on1 データ分析への抵抗を減らせた 実務でデータを”使ってもらえた” 自走プレイヤーが誕生 コンテンツ 成果
55. Copyright Hacobu, Inc. 55 社内外から “使ってもらえる” データ基盤を支えるアーキテクチャの秘訣 これからトライしてみたいこと • AIが理解できるようなセマンティックレイヤー拡張 • ドメイン情報をAIに提供する仕組み作り • 非エンジニアが利用できるAIを使った分析環境の提供 • 全プロダクト横断でのデータ分析組織の組成 etc 人＋AI に”使ってもらえる” データ基盤を構築していく
56. Copyright Hacobu, Inc. 56 社内外から “使ってもらえる” データ基盤を支えるアーキテクチャの秘訣 さいごに ブース出展してます！ ぜひお立ち寄りください！ No.38 株式会社Hacobu