Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Databricksでのデータ権限管理方針について.pdf

kakehashi
January 31, 2023

 Databricksでのデータ権限管理方針について.pdf

kakehashi

January 31, 2023
Tweet

More Decks by kakehashi

Other Decks in Business

Transcript

  1. Copyright © KAKEHASHI Inc. All Rights Reserved. 松田 健司 @ken_3ba

    経歴 2014年、新卒でヤフー株式会社に入社。広告配信のための DMP開発に従事。 2016年、株式会社カケハシに 6人目のメンバーとして入社。薬歴システム 「Musubi」の開発をした後に、開発ディレクターとしてチーム改善に従事。 2019 年、薬局経営ダッシュボード「 Musubi Insight」の開発チームの立ち上げを行う。 2022年、全社横断的データ基盤チームの立ち上げを行い、 7月にDatabricksの導入を実施。 趣味 ビリヤード、お酒、コーヒー
  2. Copyright © KAKEHASHI Inc. All Rights Reserved. テクノロジーで、 薬局をあるべき形に。 全国に、コンビニエンスストアより多い約

    6万店が存在する調剤薬 局。その経営や薬剤師の業務、患者さんとの関係性など、薬局の あり方そのものをアップデートし、薬局 DX(デジタルトランスフォー メーション)を推進する、独自のプロダクトを展開しています。
  3. Copyright © KAKEHASHI Inc. All Rights Reserved. 2016年 2017年 2018年

    2019年 2020年 Musubi 正式リリース シード資金調達 創業 プレSeries A調達 Series A調達 Series B調達 9 億 0.7 億 1.6 億 26 億 2
 6
 6
 8
 12
 15
 19
 28
 36
 44
 65
 79
 84
 88
 18 億 Extension 調達 6 96
 105
 ✔ 創業6年 ✔ 累計131億円の資金調達 ✔ 社員数314人(2023年1月時点) 2021年 114
 126
 126
 130
 153
 314 180
 192
 2022年 214
 * 2022年10月時点 241
 264
 これまでのカケハシの歩み
  4. Copyright © KAKEHASHI Inc. All Rights Reserved. 顕在化した課題 • 解消し切れていないデータサイロ

    ◦ Redash上でのデータソースを横断したデータのJOINが困難 ◦ SQLの複雑化、クエリ性能の限界 • データ基盤チームの開発速度と利用側の期待値の乖離 ◦ エンジニア不足による開発速度低下、溜まり続ける開発依頼チケット ◦ 基盤チーム側のドメイン知識の不足 ◦ 開発時のコミュニケーションコストの増大
  5. Copyright © KAKEHASHI Inc. All Rights Reserved. 管理しているデータの特性と課題 非常に秘匿性の高いデータを管理している •

    患者さんの個人情報、処方履歴、薬歴などのデータ • 薬剤師さんの個人情報 • 薬局の経営データ センシティブなデータのため扱える人は限定的
  6. Copyright © KAKEHASHI Inc. All Rights Reserved. Unity Catalogを全社共通のデータストアとして全社に共有 •

    各チームで収集したデータをUnity Catalogで管理し、全社に共有 • Catalog名を事業ドメイン名(サービス名、境界づけられたコンテキスト名)に設定 • Musubi、Musubi Insight、Pocket Musubiのようなサービス単位でCatalogを作成
  7. Copyright © KAKEHASHI Inc. All Rights Reserved. メダリオンアーキテクチャでデータを管理 メダリオンアーキテクチャに則って、 3つのレイヤーに分けてデータ管理

    Bronze: 未加工の生データ Silver: 最低限の加工(名寄せ、匿名加工、構造の平坦化 )が行われたデータ Gold: 特定ユースケースで可視化、利用できるレベルまで加工されたデータ
  8. Copyright © KAKEHASHI Inc. All Rights Reserved. 「Catalog ✕ 情報の機微な度合い」でロール作成

    • Catalogは、事業ドメイン名(サービス名、境界づけられたコンテキスト名)が該当 • 情報の機微な度合いは、以下の 4つに区分 情報区分 情報内容 閲覧範囲 公開情報(Unclassified) 外部に公開されている 統計データなど 全社員 社外秘情報(Confidential) 機密情報、最重要機密情報を匿 名加工したデータ 全社員 機密情報(Secret) 薬剤師の個人情報(PII)の データなど 匿名加工をする特定のエンジニアや 利用承諾を頂いた社員 最高機密情報(TopSecret) 医療情報系の個人情報(PHI) の データ 匿名加工をする特定のエンジニア
  9. Copyright © KAKEHASHI Inc. All Rights Reserved. 今後は各事業ドメインに権限移譲 データメッシュ化組織を目指し、データ管理者を各事業ドメインに移譲 •

    データ品質担保、データの権限管理方針などのガイドライン作成 • データ状況のモニタリング • 事業ドメインのデータエンジニアの教育 • クロスファンクショナルなガバナンスチームの組成 • プログラムコードのモノレポ化
  10. Copyright © KAKEHASHI Inc. All Rights Reserved. エンジニア絶賛募集中 • Databricksを活用したデータ基盤開発に興味がある方

    • ヘルスケア領域のサービス開発に興味がある方 • データエンジニアリング、データマネジメントに興味がある方 • カケハシに興味を持っていただいた方 カケハシ採用サイト