Databricksでのデータ権限管理方針について.pdf

Transcript

1. Copyright © KAKEHASHI Inc. All Rights Reserved. Databricksでのデータ権限管理方針について 株式会社カケハシ 松田 健司 2023/01/27 JEDAI 2023 New Year Meetup
2. Copyright © KAKEHASHI Inc. All Rights Reserved. 松田 健司 @ken_3ba 経歴 2014年、新卒でヤフー株式会社に入社。広告配信のための DMP開発に従事。 2016年、株式会社カケハシに 6人目のメンバーとして入社。薬歴システム 「Musubi」の開発をした後に、開発ディレクターとしてチーム改善に従事。 2019 年、薬局経営ダッシュボード「 Musubi Insight」の開発チームの立ち上げを行う。 2022年、全社横断的データ基盤チームの立ち上げを行い、 7月にDatabricksの導入を実施。 趣味 ビリヤード、お酒、コーヒー
3. Copyright © KAKEHASHI Inc. All Rights Reserved. カケハシについて
4. Copyright © KAKEHASHI Inc. All Rights Reserved.
5. Copyright © KAKEHASHI Inc. All Rights Reserved. テクノロジーで、 薬局をあるべき形に。 全国に、コンビニエンスストアより多い約 6万店が存在する調剤薬 局。その経営や薬剤師の業務、患者さんとの関係性など、薬局の あり方そのものをアップデートし、薬局 DX（デジタルトランスフォー メーション）を推進する、独自のプロダクトを展開しています。
6. Copyright © KAKEHASHI Inc. All Rights Reserved. 2016年 2017年 2018年 2019年 2020年 Musubi 正式リリース シード資金調達 創業 プレSeries A調達 Series A調達 Series B調達 9 億 0.7 億 1.6 億 26 億 2
 6
 6
 8
 12
 15
 19
 28
 36
 44
 65
 79
 84
 88
 18 億 Extension 調達 6 96
 105
 ✔ 創業6年 ✔ 累計131億円の資金調達 ✔ 社員数314人（2023年1月時点） 2021年 114
 126
 126
 130
 153
 314 180
 192
 2022年 214
 * 2022年10月時点 241
 264
 これまでのカケハシの歩み
7. Copyright © KAKEHASHI Inc. All Rights Reserved. Databricks導入背景
8. Copyright © KAKEHASHI Inc. All Rights Reserved. Databricks導入前のデータ基盤 2019年頃、データに基づいた意思決定で各プロダクトの改善を行い、ユーザーにより高 い価値を届けるために社内のデータ基盤が構築される 2019~2021のデータ基盤アーキテクチャイメージ
9. Copyright © KAKEHASHI Inc. All Rights Reserved. 顕在化した課題 • 解消し切れていないデータサイロ ◦ Redash上でのデータソースを横断したデータのJOINが困難 ◦ SQLの複雑化、クエリ性能の限界 • データ基盤チームの開発速度と利用側の期待値の乖離 ◦ エンジニア不足による開発速度低下、溜まり続ける開発依頼チケット ◦ 基盤チーム側のドメイン知識の不足 ◦ 開発時のコミュニケーションコストの増大
10. Copyright © KAKEHASHI Inc. All Rights Reserved. Databricksを採用し、7月から利用開始 将来的にデータメッシュの思想に近い形でデータ基盤と運用組織を変革していくことを視 野に入れつつ、顕在化している技術的な課題も解決できるため
11. Copyright © KAKEHASHI Inc. All Rights Reserved. Databricks導入を機に データの権限管理を見直し
12. Copyright © KAKEHASHI Inc. All Rights Reserved. 管理しているデータの特性と課題 非常に秘匿性の高いデータを管理している • 患者さんの個人情報、処方履歴、薬歴などのデータ • 薬剤師さんの個人情報 • 薬局の経営データ センシティブなデータのため扱える人は限定的
13. Copyright © KAKEHASHI Inc. All Rights Reserved. データの利用権限の細分化し、 全社員がよりデータ利活用できるように
14. Copyright © KAKEHASHI Inc. All Rights Reserved. Unity Catalogを全社共通のデータストアとして全社に共有 • 各チームで収集したデータをUnity Catalogで管理し、全社に共有 • Catalog名を事業ドメイン名（サービス名、境界づけられたコンテキスト名）に設定 • Musubi、Musubi Insight、Pocket Musubiのようなサービス単位でCatalogを作成
15. Copyright © KAKEHASHI Inc. All Rights Reserved. メダリオンアーキテクチャでデータを管理 メダリオンアーキテクチャに則って、 3つのレイヤーに分けてデータ管理 Bronze: 未加工の生データ Silver: 最低限の加工(名寄せ、匿名加工、構造の平坦化 )が行われたデータ Gold: 特定ユースケースで可視化、利用できるレベルまで加工されたデータ
16. Copyright © KAKEHASHI Inc. All Rights Reserved. 「Catalog ✕ 情報の機微な度合い」でロール作成 • Catalogは、事業ドメイン名（サービス名、境界づけられたコンテキスト名）が該当 • 情報の機微な度合いは、以下の 4つに区分 情報区分 情報内容 閲覧範囲 公開情報(Unclassified) 外部に公開されている 統計データなど 全社員 社外秘情報(Confidential) 機密情報、最重要機密情報を匿 名加工したデータ 全社員 機密情報(Secret) 薬剤師の個人情報(PII)の データなど 匿名加工をする特定のエンジニアや 利用承諾を頂いた社員 最高機密情報(TopSecret) 医療情報系の個人情報(PHI) の データ 匿名加工をする特定のエンジニア
17. Copyright © KAKEHASHI Inc. All Rights Reserved. ロールベースアクセス制御(RBAC)で紐付け 複数人のロールグループ、作成したロール、データオブジェクトを RBACで紐付けてTerraformでコー ド管理
18. Copyright © KAKEHASHI Inc. All Rights Reserved. 今後は各事業ドメインに権限移譲 データメッシュ化組織を目指し、データ管理者を各事業ドメインに移譲 • データ品質担保、データの権限管理方針などのガイドライン作成 • データ状況のモニタリング • 事業ドメインのデータエンジニアの教育 • クロスファンクショナルなガバナンスチームの組成 • プログラムコードのモノレポ化
19. Copyright © KAKEHASHI Inc. All Rights Reserved. エンジニア絶賛募集中 • Databricksを活用したデータ基盤開発に興味がある方 • ヘルスケア領域のサービス開発に興味がある方 • データエンジニアリング、データマネジメントに興味がある方 • カケハシに興味を持っていただいた方 カケハシ採用サイト