Upgrade to Pro — share decks privately, control downloads, hide ads and more …

データ分析基盤の要件分析の話(202201_JEDAI)

yabooun
January 28, 2023

 データ分析基盤の要件分析の話(202201_JEDAI)

データ分析基盤は、データから、インサイトやデータビジネスなど、ビジネス上の価値へと昇華させます。
しかし、十分に目的が整備されず、なんとなくデータ分析基盤の構築してしまうと、せっかくの基盤が十分に生かされず、期待通りの効果を出すことができません。
データ利活用を促進するための要件分析について紹介します。

本資料は、2022/01/27 JEDAI(Japan Enduser Group | Databricks Innovation)で発表したものです。

yabooun

January 28, 2023
Tweet

More Decks by yabooun

Other Decks in Technology

Transcript

  1. Copyright © GeoLogic, Inc. All Rights Reserved.
    株式会社ジオロジック CTO 

    藪本 晃輔

    データ分析基盤の

    要件分析の話


    View Slide

  2. 2
    Copyright © GeoLogic, Inc. All Rights Reserved.
    Copyright © GeoLogic, Inc. All Rights Reserved.
    藪本 晃輔 , Kosuke Yabumoto, @yabooun
    – 2009年3月 豊田工業高等専門学校卒業
    – 同3月 京セラコミュニケーションシステム株式会社へ新卒入社

    DSP(広告配信プラットフォーム)等の新規事業開発に従事
    – 2014年4月 株式会社CyberZへ入社

    広告計測ツールF.O.Xをはじめ、DMPやMarketing Automation、媒体収益
    化等、インターネット広告関連の開発に従事

    – 2017年10月 株式会社ジオロジックに入社

    位置情報広告の開発に従事

    – 2019年8月 同社CTOに就任

    藪本 晃輔
    Kosuke Yabumoto
    略歴
    Self Introduction

    Tech
    株式会社ジオロジック CTO

    Hobby
    登山

    ピアノ

    日本酒

    家庭菜園

    Position
    Data Engineering

    Backend (Scala, Java)

    Infrastructure (AWS)

    Books
    サークル:エンジニア登山部


    View Slide

  3. 3
    Copyright © GeoLogic, Inc. All Rights Reserved.
    低コスト、かつかんたん・シンプルな設定で、店舗周辺に 「今いる人」「住んでいる人」「過去に訪問した人」 のスマート
    フォンへ、チラシ配りの感覚で 広告配信ができるサービスです。
    GeoLogic Adとは?
    広告
    広告
    広告
    広告
    広告
    広告
    広告
    広告
    STEP1
    STEP2
    STEP3
    商圏・ターゲットを設定
    広告を配信
    クリックして御社サイトへ
    ここで課金
    Your Shop
    過去に訪問した人にも
    近くに住んでいる人にも
    今、近くにいる人にも
    ● サービスイメージ ● かんたん・シンプルな3ステップ
    GeoLogic Ad


    View Slide

  4. 4
    Copyright © GeoLogic, Inc. All Rights Reserved.
    御社のデータ、ちゃんと使えていますか?
    問題


    View Slide

  5. 5
    Copyright © GeoLogic, Inc. All Rights Reserved.
    - とりあえずデータがあるけど、どう使ったらよいかわからない
    - データカタログが整備できていない
    - データストラテジスト/エバンジェリストがいない
    - データを扱うシステムの目的が不明瞭
    - 必要なデータにアクセスができない / 見えちゃいけなそうなデータが見えてしまう
    - データガバナンスが効いていない
    - データを扱うシステムの目的が不明瞭
    - データはあるけど品質が悪くて使えない
    - ゴミデータが多い
    - 頻度が不適切
    - データへの期待値が高すぎた
    - データの扱い方が想定できていない
    - データを扱うシステムの目的が不明瞭
    データがちゃんと使えない理由


    View Slide

  6. 6
    Copyright © GeoLogic, Inc. All Rights Reserved.
    - とりあえずデータがあるけど、どう使ったらよいかわからない
    - データカタログが整備できていない → Unity Catalog
    - データストラテジスト/エバンジェリストがいない
    - データを扱うシステムの目的が不明瞭
    - 必要なデータにアクセスができない / 見えちゃいけなそうなデータが見えてしまう
    - データガバナンスが効いていない → Unity Catalog / Data Lineage / Masking
    - データを扱うシステムの目的が不明瞭
    - データはあるけど品質が悪くて使えない
    - ゴミデータが多い → Unity Catalog / Data Cleansing
    - 頻度が不適切 → Delta Live Table
    - データへの期待値が高すぎた
    - データの扱い方が想定できていない
    - データを扱うシステムの目的が不明瞭
    ある程度はテクノロジーで解決可能


    View Slide

  7. 7
    Copyright © GeoLogic, Inc. All Rights Reserved.
    - とりあえずデータがあるけど、どう使ったらよいかわからない
    - データカタログが整備できていない
    - データストラテジスト/エバンジェリストがいない
    - データを扱うシステムの目的が不明瞭
    - 必要なデータにアクセスができない / 見えちゃいけなそうなデータが見えてしまう
    - データガバナンスが効いていない
    - データを扱うシステムの目的が不明瞭
    - データはあるけど品質が悪くて使えない
    - ゴミデータが多い
    - 頻度が不適切
    - データへの期待値が高すぎた
    - データの扱い方が想定できていない
    - データを扱うシステムの目的が不明瞭
    しかし目的が不足すると全てが壊れる


    View Slide

  8. 8
    Copyright © GeoLogic, Inc. All Rights Reserved.
    すべてに共通していえることは、データの利用目的を明確にすること。
    そうだ、要件分析をしよう


    View Slide

  9. 9
    Copyright © GeoLogic, Inc. All Rights Reserved.
    - 可視化方法、運用方法まである程度のイメージがある
    - 分析できそうなデータはあるが、まだ分析方法、運用方法が定まっていない
    - やりたいことは決まっているが、まだデータが揃っていない
    - データを上手く使って経営/営業/・・を改善したい
    - データビジネスをうまくやって儲けたい
    現実
    見込
    期待
    データへの期待値


    View Slide

  10. 10
    Copyright © GeoLogic, Inc. All Rights Reserved.
    - 可視化方法、運用方法まである程度のイメージがある
    - データとユースケースが定義できる
    - 分析できそうなデータはあるが、まだ分析方法、運用方法が定まっていない
    - データのみ定義できる
    - データを上手く使って経営/営業/・・を改善したい
    - データビジネスをうまくやって儲けたい
    - データもユースケースも定義できない
    現実
    見込
    期待
    データへの期待と現実


    View Slide

  11. 11
    Copyright © GeoLogic, Inc. All Rights Reserved.
    - 可視化方法、運用方法まである程度のイメージがある
    - データとユースケースが定義できる
    - 分析できそうなデータはあるが、まだ分析方法、運用方法が定まっていない
    - データのみ定義できる
    - データを上手く使って経営/営業/・・を改善したい
    - データビジネスをうまくやって儲けたい
    - データもユースケースも定義できない
    現実
    見込
    期待
    データ分析基盤の要件分析
    一般的な要件分析
    データへの期待と現実


    View Slide

  12. 12
    Copyright © GeoLogic, Inc. All Rights Reserved.
    - 要件分析の手法は非常に多様であり、どれが正解と言うつもりはない
    - 今回は最低限これくらいは作ったほうが良いだろう(と私が思う)3つの図について紹介
    要件分析に着手


    View Slide

  13. 13
    Copyright © GeoLogic, Inc. All Rights Reserved.
    - 登場人物(人/内部システム/外部システム)
    - データ
    - 目的
    目的
    - 要件分析をすすめる上でのベースを作る
    - なんのために分析基盤を作るか決める
    - やらないことが決まる
    - 誰/何と調整/考慮をするかを決める
    システムコンテキスト図


    View Slide

  14. 14
    Copyright © GeoLogic, Inc. All Rights Reserved.
    - 誰が
    - どんなデータを
    - どんな目的で利用するか
    目的
    - データ分析基盤の使われ方を表現
    - どのようにデータ分析基盤が使われるかを明確にする
    - 運用とともに変化する
    - 変化が多いほうが正しく運用されているといえる
    ビジネスコンテキスト図


    View Slide

  15. 15
    Copyright © GeoLogic, Inc. All Rights Reserved.
    - 誰が(ロール/アクター)
    - どんなデータに
    - どのようにアクセスできるか
    目的
    - データ分析基盤そのものを表す
    - 新しいデータ種別を扱う際に更新する
    - ビジネスコンテキスト図と比べて
    更新頻度は低くなるはず
    - ロールという概念を早期に、明確に定義しておくことで権限設定の指針となる
    - 見てはいけないデータへのアクセスが発生する時に分離
    - クライアントが、自分の広告配信結果はみたいが、 全ての広告配信結果を見てはいけない
    - ロールとデータの間にツールが存在する
    - データソースとデータの間にデータパイプラインが必要になる
    データコンテキスト/ガバナンス図


    View Slide

  16. 16
    Copyright © GeoLogic, Inc. All Rights Reserved.
    コンテキストモデル
    データガバナンス図 ビジネスコンテキスト図
    ユースケース
    データ
    ● 3つの図は接続可能であり、相互にチェック可能
    ● データガバナンス図、ビジネスコンテキスト図に、
    システムコンテキスト図にあるアクター /システム/データが
    全て登場しているか
    ● ビジネスコンテキスト図での使われ方は、
    システムコンテキスト図の目的に合致しているか
    ● データガバナンス図は、
    ビジネスコンテキスト図のユースケースを網羅できるか
    ● ビジネスコンテキスト図でのユースケースは、
    データガバナンス図に照らし合わせると実現可能か
    こういったことをシステマチックにチェックしながら
    要件分析の精度を上げていく
    3つの図を重ねてチェックする

    目的

    View Slide

  17. 17
    Copyright © GeoLogic, Inc. All Rights Reserved.
    ● まず、システムコンテキスト図に登場する人たちとしっかり認識を合わせる
    ○ これが期待値コントロールになる
    ● これらの図は非常に抽象度が高いので、順番に具体化し、開発を進めていく
    ○ 具体的なユースケース
    ■ 売上ダッシュボード→アタックリスト管理/受注ステータスリスト管理 /・・・
    ○ 具体的なデータ
    ■ 広告配信結果→配信ログ/クリックログ/集計済みレポート/・・・
    3つの図ができた後


    View Slide

  18. 18
    Copyright © GeoLogic, Inc. All Rights Reserved.
    ● 営業/運用メンバー含め、Redashの活用がかなり進んだ
    ● 要件の認識合わせをしたことで、無茶な質問が減った
    ○ 営業現場や運用現場で、できることができないことがある程度推測できるようになった
    ○ エンジニアまで到達するときは、現実的な要求や質問が来るようになった
    ● データチームが健全に仕事できる
    弊社における要件分析の効果


    View Slide

  19. 19
    Copyright © GeoLogic, Inc. All Rights Reserved.
    ● 既存のシステムから、これらの図をリバース作成
    ○ そして関係者と認識合わせ
    ○ 矛盾が出てくることが結構ある
    ● 矛盾
    ○ ガバナンスが十分に考慮されていない
    ○ 目的に合致しない使い方がされている
    ○ 関係者の期待値とあっていない
    ○ などなど...
    ● これらに一つ一つ取り組んでいくことで、データの活用が進み始める
    ○ 関係者との認識合わせ
    ○ データ分析基盤の改修
    既にシステムが出来上がっている場合はどうするか


    View Slide

  20. 20
    Copyright © GeoLogic, Inc. All Rights Reserved.
    ● 見込みまでを対象に要件分析する
    ● データとユースケース、それぞれを軸に要件分析をすすめるとよさそう
    ● システムコンテキスト図、ビジネスコンテキスト図、データコンテキスト /ガバナンス図を作り、
    照らし合わせることによって、矛盾なく要件を分析できる
    ● 非エンジニアでも十分に理解できる形で、関係者と認識を合わせる
    ● その結果、データ利活用が促進される
    データ分析基盤も要件分析が必要


    View Slide

  21. 21
    Copyright © GeoLogic, Inc. All Rights Reserved.
    ご清聴ありがとうございました

    View Slide

  22. 22
    Copyright © GeoLogic, Inc. All Rights Reserved.
    APPENDIX: RDRA

    https://qiita.com/tatane616/items/f7f4e5ad818fe8b125d6
    今回の要件分析手法は RDRA(Relationship Driven Requirement Analysis)に強く影響を受けています。
    - システムがもたらす価値からユースケースを経てシステム内部に向けて要件分析を進めていく
    - 複数のモデルを使い、モデル動詞の関連性を保ちながら要件分析を進めていく
    - 現在はRDRA 2.0
    GeoLogicでも、最初は管理画面プロジェクト(通
    常のWebアプリケーション)から導入。
    その後データ分析基盤の構築にも流用した。
    もちろん、今回の説明も RDRAに準拠している
    わけではなく、もっと有効なモデルや考え方が詰
    まっているので、ぜひ参考にしてみてください。
    RDRA2.0 ハンドブック: 軽く柔軟で精度の高い
    要件定義のモデリング手法

    View Slide