データ分析基盤は、データから、インサイトやデータビジネスなど、ビジネス上の価値へと昇華させます。 しかし、十分に目的が整備されず、なんとなくデータ分析基盤の構築してしまうと、せっかくの基盤が十分に生かされず、期待通りの効果を出すことができません。 データ利活用を促進するための要件分析について紹介します。
本資料は、2022/01/27 JEDAI（Japan Enduser Group | Databricks Innovation）で発表したものです。
Copyright © GeoLogic, Inc. All Rights Reserved.株式会社ジオロジック CTO 藪本 晃輔 データ分析基盤の 要件分析の話
View Slide
2Copyright © GeoLogic, Inc. All Rights Reserved.Copyright © GeoLogic, Inc. All Rights Reserved.藪本 晃輔 , Kosuke Yabumoto, @yabooun– 2009年3月 豊田工業高等専門学校卒業– 同3月 京セラコミュニケーションシステム株式会社へ新卒入社 DSP（広告配信プラットフォーム）等の新規事業開発に従事– 2014年4月 株式会社CyberZへ入社 広告計測ツールF.O.Xをはじめ、DMPやMarketing Automation、媒体収益化等、インターネット広告関連の開発に従事 – 2017年10月 株式会社ジオロジックに入社 位置情報広告の開発に従事 – 2019年8月 同社CTOに就任 藪本 晃輔Kosuke Yabumoto略歴Self Introduction Tech株式会社ジオロジック CTO Hobby登山 ピアノ 日本酒 家庭菜園 PositionData Engineering Backend (Scala, Java) Infrastructure (AWS) Booksサークル：エンジニア登山部
3Copyright © GeoLogic, Inc. All Rights Reserved.低コスト、かつかんたん・シンプルな設定で、店舗周辺に 「今いる人」「住んでいる人」「過去に訪問した人」 のスマートフォンへ、チラシ配りの感覚で 広告配信ができるサービスです。GeoLogic Adとは？広告広告広告広告広告広告広告広告STEP１STEP２STEP３商圏・ターゲットを設定広告を配信クリックして御社サイトへここで課金Your Shop過去に訪問した人にも近くに住んでいる人にも今、近くにいる人にも● サービスイメージ ● かんたん・シンプルな３ステップGeoLogic Ad
4Copyright © GeoLogic, Inc. All Rights Reserved.御社のデータ、ちゃんと使えていますか？問題
5Copyright © GeoLogic, Inc. All Rights Reserved.- とりあえずデータがあるけど、どう使ったらよいかわからない- データカタログが整備できていない- データストラテジスト/エバンジェリストがいない- データを扱うシステムの目的が不明瞭- 必要なデータにアクセスができない / 見えちゃいけなそうなデータが見えてしまう- データガバナンスが効いていない- データを扱うシステムの目的が不明瞭- データはあるけど品質が悪くて使えない- ゴミデータが多い- 頻度が不適切- データへの期待値が高すぎた- データの扱い方が想定できていない- データを扱うシステムの目的が不明瞭データがちゃんと使えない理由
6Copyright © GeoLogic, Inc. All Rights Reserved.- とりあえずデータがあるけど、どう使ったらよいかわからない- データカタログが整備できていない → Unity Catalog- データストラテジスト/エバンジェリストがいない- データを扱うシステムの目的が不明瞭- 必要なデータにアクセスができない / 見えちゃいけなそうなデータが見えてしまう- データガバナンスが効いていない → Unity Catalog / Data Lineage / Masking- データを扱うシステムの目的が不明瞭- データはあるけど品質が悪くて使えない- ゴミデータが多い → Unity Catalog / Data Cleansing- 頻度が不適切 → Delta Live Table- データへの期待値が高すぎた- データの扱い方が想定できていない- データを扱うシステムの目的が不明瞭ある程度はテクノロジーで解決可能
7Copyright © GeoLogic, Inc. All Rights Reserved.- とりあえずデータがあるけど、どう使ったらよいかわからない- データカタログが整備できていない- データストラテジスト/エバンジェリストがいない- データを扱うシステムの目的が不明瞭- 必要なデータにアクセスができない / 見えちゃいけなそうなデータが見えてしまう- データガバナンスが効いていない- データを扱うシステムの目的が不明瞭- データはあるけど品質が悪くて使えない- ゴミデータが多い- 頻度が不適切- データへの期待値が高すぎた- データの扱い方が想定できていない- データを扱うシステムの目的が不明瞭しかし目的が不足すると全てが壊れる
8Copyright © GeoLogic, Inc. All Rights Reserved.すべてに共通していえることは、データの利用目的を明確にすること。そうだ、要件分析をしよう
9Copyright © GeoLogic, Inc. All Rights Reserved.- 可視化方法、運用方法まである程度のイメージがある- 分析できそうなデータはあるが、まだ分析方法、運用方法が定まっていない- やりたいことは決まっているが、まだデータが揃っていない- データを上手く使って経営/営業/・・を改善したい- データビジネスをうまくやって儲けたい現実見込期待データへの期待値
10Copyright © GeoLogic, Inc. All Rights Reserved.- 可視化方法、運用方法まである程度のイメージがある- データとユースケースが定義できる- 分析できそうなデータはあるが、まだ分析方法、運用方法が定まっていない- データのみ定義できる- データを上手く使って経営/営業/・・を改善したい- データビジネスをうまくやって儲けたい- データもユースケースも定義できない現実見込期待データへの期待と現実
11Copyright © GeoLogic, Inc. All Rights Reserved.- 可視化方法、運用方法まである程度のイメージがある- データとユースケースが定義できる- 分析できそうなデータはあるが、まだ分析方法、運用方法が定まっていない- データのみ定義できる- データを上手く使って経営/営業/・・を改善したい- データビジネスをうまくやって儲けたい- データもユースケースも定義できない現実見込期待データ分析基盤の要件分析一般的な要件分析データへの期待と現実
12Copyright © GeoLogic, Inc. All Rights Reserved.- 要件分析の手法は非常に多様であり、どれが正解と言うつもりはない- 今回は最低限これくらいは作ったほうが良いだろう（と私が思う）３つの図について紹介要件分析に着手
13Copyright © GeoLogic, Inc. All Rights Reserved.- 登場人物（人/内部システム/外部システム）- データ- 目的目的- 要件分析をすすめる上でのベースを作る- なんのために分析基盤を作るか決める- やらないことが決まる- 誰/何と調整/考慮をするかを決めるシステムコンテキスト図
14Copyright © GeoLogic, Inc. All Rights Reserved.- 誰が- どんなデータを- どんな目的で利用するか目的- データ分析基盤の使われ方を表現- どのようにデータ分析基盤が使われるかを明確にする- 運用とともに変化する- 変化が多いほうが正しく運用されているといえるビジネスコンテキスト図
15Copyright © GeoLogic, Inc. All Rights Reserved.- 誰が（ロール/アクター）- どんなデータに- どのようにアクセスできるか目的- データ分析基盤そのものを表す- 新しいデータ種別を扱う際に更新する- ビジネスコンテキスト図と比べて更新頻度は低くなるはず- ロールという概念を早期に、明確に定義しておくことで権限設定の指針となる- 見てはいけないデータへのアクセスが発生する時に分離- クライアントが、自分の広告配信結果はみたいが、 全ての広告配信結果を見てはいけない- ロールとデータの間にツールが存在する- データソースとデータの間にデータパイプラインが必要になるデータコンテキスト/ガバナンス図
16Copyright © GeoLogic, Inc. All Rights Reserved.コンテキストモデルデータガバナンス図 ビジネスコンテキスト図ユースケースデータ● ３つの図は接続可能であり、相互にチェック可能● データガバナンス図、ビジネスコンテキスト図に、システムコンテキスト図にあるアクター /システム/データが全て登場しているか● ビジネスコンテキスト図での使われ方は、システムコンテキスト図の目的に合致しているか● データガバナンス図は、ビジネスコンテキスト図のユースケースを網羅できるか● ビジネスコンテキスト図でのユースケースは、データガバナンス図に照らし合わせると実現可能かこういったことをシステマチックにチェックしながら要件分析の精度を上げていく３つの図を重ねてチェックする 目的
17Copyright © GeoLogic, Inc. All Rights Reserved.● まず、システムコンテキスト図に登場する人たちとしっかり認識を合わせる○ これが期待値コントロールになる● これらの図は非常に抽象度が高いので、順番に具体化し、開発を進めていく○ 具体的なユースケース■ 売上ダッシュボード→アタックリスト管理/受注ステータスリスト管理 /・・・○ 具体的なデータ■ 広告配信結果→配信ログ/クリックログ/集計済みレポート/・・・３つの図ができた後
18Copyright © GeoLogic, Inc. All Rights Reserved.● 営業/運用メンバー含め、Redashの活用がかなり進んだ● 要件の認識合わせをしたことで、無茶な質問が減った○ 営業現場や運用現場で、できることができないことがある程度推測できるようになった○ エンジニアまで到達するときは、現実的な要求や質問が来るようになった● データチームが健全に仕事できる弊社における要件分析の効果
19Copyright © GeoLogic, Inc. All Rights Reserved.● 既存のシステムから、これらの図をリバース作成○ そして関係者と認識合わせ○ 矛盾が出てくることが結構ある● 矛盾○ ガバナンスが十分に考慮されていない○ 目的に合致しない使い方がされている○ 関係者の期待値とあっていない○ などなど...● これらに一つ一つ取り組んでいくことで、データの活用が進み始める○ 関係者との認識合わせ○ データ分析基盤の改修既にシステムが出来上がっている場合はどうするか
20Copyright © GeoLogic, Inc. All Rights Reserved.● 見込みまでを対象に要件分析する● データとユースケース、それぞれを軸に要件分析をすすめるとよさそう● システムコンテキスト図、ビジネスコンテキスト図、データコンテキスト /ガバナンス図を作り、照らし合わせることによって、矛盾なく要件を分析できる● 非エンジニアでも十分に理解できる形で、関係者と認識を合わせる● その結果、データ利活用が促進されるデータ分析基盤も要件分析が必要
21Copyright © GeoLogic, Inc. All Rights Reserved.ご清聴ありがとうございました
22Copyright © GeoLogic, Inc. All Rights Reserved.APPENDIX: RDRA https://qiita.com/tatane616/items/f7f4e5ad818fe8b125d6今回の要件分析手法は RDRA（Relationship Driven Requirement Analysis）に強く影響を受けています。- システムがもたらす価値からユースケースを経てシステム内部に向けて要件分析を進めていく- 複数のモデルを使い、モデル動詞の関連性を保ちながら要件分析を進めていく- 現在はRDRA 2.0GeoLogicでも、最初は管理画面プロジェクト（通常のWebアプリケーション）から導入。その後データ分析基盤の構築にも流用した。もちろん、今回の説明も RDRAに準拠しているわけではなく、もっと有効なモデルや考え方が詰まっているので、ぜひ参考にしてみてください。RDRA2.0 ハンドブック: 軽く柔軟で精度の高い要件定義のモデリング手法
yabooun
oracle4engineer
sparty
hanhan1978
harukasakihara
aiji42
visional_engineering_and_design
sbtechnight
kazeburo
miura55
takakuni
jonyablonski
lemiorhan
aki_iinuma
deanohume
destraynor
jponch
jakevdp
edds
gr2m
shpigford
yeseniaperezcruz
holman