Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Prescriptions_for_a_Practical_Data_Infrastructu...
Search
shumpei3
February 18, 2022
Technology
2
410
Prescriptions_for_a_Practical_Data_Infrastructure_Circle_Reading_Materials_3-5to3-11
#datatechjp の「実践的データ基盤への処方箋」輪読会3回目にて使用した資料です。
shumpei3
February 18, 2022
Tweet
Share
More Decks by shumpei3
See All by shumpei3
Design and build about DataOps hands-on
shumpei3
3
1.1k
Shall we start data catalog with IBM Knowledge Catalog ?
shumpei3
4
330
Pre-Hardening-Deck_Team4_JST.Onion_h2017fes
shumpei3
0
62
I_know_gaishi_IT_a_little_returns_20230217_CROSS2022
shumpei3
0
110
I_know_gaishi_IT_a_little_20230117 #外資ITチョットワカル
shumpei3
0
360
I-was-the-chairman-of-two-committee.
shumpei3
0
710
How_organizations_disseminates_info_on_SNS
shumpei3
1
58
how_team1_competed_with_328hardening
shumpei3
0
71
THINK_about_Data_Maintenance_People_in_terms_of_DataOps
shumpei3
2
2.8k
Other Decks in Technology
See All in Technology
【AWS re:Invent 2024】Amazon Bedrock アップデート総まとめ
minorun365
PRO
7
650
職能を超えたモブプログラミングが品質に与えた良い影響
tonionagauzzi
2
290
ABEMA スマートテレビアプリケーションのパフォーマンス改善 〜業界トップクラスを目指して〜 / Performance Improvements on ABEMA Smart TV App
nodaguti
0
170
GitHub Actions의 다양한 기능 활용하기 - GitHub Universe '24 Recap
outsider
0
550
What's Next In Red Hat OpenShift (Fourth Quarter 2024)
redhatlivestreaming
2
120
My Generation 年配者がこの先生きのこるには (Developers CAREER Boost 2024 Edition)/My Generation How elder engineers can survive
kwappa
3
380
TimeTreeが経た3つの転換点 ー プロダクト成長過程でその時、その瞬間、何を考えてたか
ysmtysts
1
3.9k
プロダクトマネージャーは 事業責任者の夢をみるのか pmconf2024
gimupop
2
9.5k
知らない景色を見に行こう チャンスを掴んだら道が開けたマネジメントの旅 / Into the unknown~My management journey~
kakehashi
10
1.2k
re:Invent2024のIaC周りのアップデート&セッションの共有/around-re-invent-2024-iac-updates
tomoki10
0
730
品質管理チームのEMとして大事にしていること / QA EM
nihonbuson
0
880
リクルートのデータ基盤 Crois 年3倍成長!1日40,000コンテナの実行を支える AWS 活用とプラットフォームエンジニアリング
recruitengineers
PRO
1
250
Featured
See All Featured
What's in a price? How to price your products and services
michaelherold
243
12k
Why You Should Never Use an ORM
jnunemaker
PRO
54
9.1k
StorybookのUI Testing Handbookを読んだ
zakiyama
27
5.3k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
4
420
Gamification - CAS2011
davidbonilla
80
5.1k
Music & Morning Musume
bryan
46
6.2k
How GitHub (no longer) Works
holman
310
140k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
How to Ace a Technical Interview
jacobian
276
23k
Designing Experiences People Love
moore
138
23k
Building Better People: How to give real-time feedback that sticks.
wjessup
365
19k
Testing 201, or: Great Expectations
jmmastey
40
7.1k
Transcript
実践的データ基盤への処方箋/輪読会資料 3-5から3-11まで 使用フォント:IBM Plex Mono ※個人の意見です。 1
自己紹介 ぼうさん / 久保 俊平 (くぼ しゅんぺい) Twitter:@_bou_3 ( 少し前は
@MC_SEC_KB というID ) 現職:日本IBMで技術営業(2020/02-) 前職:某銀行系SIerのSE(2002-2015),セキュリティ技術営業(2015-2020) データ関連の活動: 前向きデータ整備人 in CROSS Party 2021 / 2020 ブログ:DataOpsで実現される、データが整備された世界(vol97-0020-ai) ブログ:正しい言葉のモノサシ、使っていますか? 前向きデータ整備人:DataOpsという観点からデータ整備人を考える 2
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 3
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 4
3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・データ活用とセキュリティのトレードオフ ・データ取り扱いにおける優先すべき4つのポイント ・セキュリティには求められる要求が多い ・活用の価値は見えやすいがセキュリティは見えにくい 5
背景 ⇒ GDPR・CCPA等の個人情報保護に関する規制の施行 / 個人情報取り扱い不備の事案 データ活用を重視しすぎるとセキュリティがおろそかになりがち。 セキュリティを重視しすぎるとデータ活用が進みづらい。 シーソーゲームあるいは綱引きのようなジレンマな関係 ⇨そのバランスを見極めてポリシー(やルールやツール)を策定することが大事 3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・データ活用とセキュリティのトレードオフ 6
p264より抜粋
3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・データ取り扱いにおける優先すべき4つのポイント(どういった切り口?) 7 (関係者?) (セキュリティの制約?) (データ活用?) (データ資産?) p267より抜粋
3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・セキュリティには求められる要求が多い データ活用のニーズ ⇨ 具体的な要件になりやすい。(同時にセキュリティの見落としも発生しがち) セキュリティ側で意識すべきこと ⇒ 施策を法規制やポリシーと照らし合わせ 何か起きたら即応できる体制を作っておく 8 p268より抜粋
3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・セキュリティには求められる要求が多い 情報セキュリティ管理基準(平成 28年度版) https://www.meti.go.jp/policy/netsecurity/downloadfiles/IS_Management_Standard_H28.pdf 9
3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・活用の価値は見えやすいが、セキュリティは見えにくい ・セキュリティの努力は認識されにくい。(保険のような感じ?) ・データ活用部署とセキュリティ部署は異なる部署である事が多い。(利害の対立がありそう) ・データ活用への柔軟な対応の中で、 様々な例外パターンが生まれ管理が煩雑になり、 セキュリティ基準を守れなくなる。 10
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 11
3-6:組織の利益となるデータのセキュリティポリシーとそのセキュリティ基準を決める ・データのセキュリティポリシーを定義する ・データセキュリティ基準の定義 ・データの機密性(Confidentiality) ・データの完全性(Integrity) ・データの可用性(Availability) 12
3-6:組織の利益となるデータのセキュリティポリシーとそのセキュリティ基準を決める ・データのセキュリティポリシーを定義する ポリシー:一連の目標を達成するために選択された活動方針や制約 データのセキュリティポリシー ビジネス要件 規制要件 設定したら終わりではなく、定期的な監査・評価・見直しが必要 13 p270より抜粋
3-6:組織の利益となるデータのセキュリティポリシーとそのセキュリティ基準を決める ・データのセキュリティポリシーを定義する セプテーニ社の例 https://www.septeni-holdings.co.jp/dhrp/guideline/applicationpolicy/ 14
3-6:組織の利益となるデータのセキュリティポリシーとそのセキュリティ基準を決める ・データセキュリティ基準の定義 ・データの機密性:許可されたメンバーのみがデータへアクセス可能 メンバーには必要最小限の権限のみ与えましょう。 ・データの完全性:データが正確で改竄されていないこと データパイプラインの処理中におかしくなることも。監査ログなども要保管。 ・データの可用性:与えられた権限内で、必要な場合はいつでもアクセス可能 15
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 16
3-7:適切な権限設定とリスク管理方法を定める ・IAMを用いて権限を管理する。 ・アクセシビリティはグループ管理で効率的に行う 17
3-7:適切な権限設定とリスク管理方法を定める ・IAMを用いて権限を管理する。 IAMでは以下のような機能が実現出来る。 個別のクラウドサービス内ではシンプルでいいけど、複数のクラウドサービスにまたがると 複雑になります。 ( ⇒ みなさん、このへんどうしてます? ) 18 p274より抜粋
3-7:適切な権限設定とリスク管理方法を定める ・アクセシビリティはグループ管理で効率的に行う 19 p265より抜粋
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 20
3-8:データ利用や権限管理などの運用ルールをドキュメント化する ・運用ルールのドキュメントを作成する。 ・社内でデータを活用したいメンバーに必要な情報 ・「権限管理者」に必要な情報 ・設定情報をコードで管理する 21
3-8:データ利用や権限管理などの運用ルールをドキュメント化する ・運用ルールのドキュメントを作成する。 ・権限管理の情報はドキュメント化して残しましょう。 ・データ活用したいメンバーが必要な権限を得る手続き ・権限管理者のオペレーションフロー (「ドキュメントに仕事をさせよ」と、昔ある先輩に言われました) 22
3-8:データ利用や権限管理などの運用ルールをドキュメント化する ・社内でデータを活用したいメンバーに必要な情報 23 p277より抜粋
3-8:データ利用や権限管理などの運用ルールをドキュメント化する ・「権限管理者」に必要な情報 単一のクラウドサービスならドキュメントを読めばいいが、 組織固有のルールもあるので、運用ルールの記載も必要。 24 p278より抜粋
3-8:データ利用や権限管理などの運用ルールをドキュメント化する ・設定情報をコードで管理する ・複数のサービスの管理は煩雑なので、 ・設定情報をコードで管理する:Infrastructure as Code ・Terraform等 ( ⇒ 実際にIaCで管理されています?
) 25
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 26
3-9:担当,見直しサイクル,判断基準を決めてデータやツールの棚卸しを定期的に行う ・棚卸しの対象を選定する ・誰が・いつ・どのように棚卸しを行うかを決める 27
3-9:担当,見直しサイクル,判断基準を決めてデータやツールの棚卸しを定期的に行う ・棚卸しの対象を選定する ・サービス利用状況やアカウント、権限など 28 p280より抜粋
3-9:担当,見直しサイクル,判断基準を決めてデータやツールの棚卸しを定期的に行う ・誰が・いつ・どのように棚卸しを行うかを決める ・棚卸を放置すると管理コストが飛躍的に上がるので担当者は明確に! ・棚卸タイミングのおススメは、、、 ・平家物語から読み解く、データの諸行無常。 おごれるデータソースも久しからず。ただ春の夜の夢のごとし。 猛きダッシュボードもつひには滅びぬ。ひとへに風の前の塵に同じ。 ・復元依頼もあるので、アーカイブフォルダを準備すると良いです。 29 p282より抜粋
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 30
3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する ・データの保護 ・匿名加工技術を使う 31
3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する ・データの保護 右記のような事案に際して 重要なのがデータ保護です。 ↓ 個人情報保護法は改定され続けて おり、罰則もある。 ↓ データの暗号化等で、漏洩時のリスクを最小化しましょう。 情報セキュリティ10大脅威2021
https://www.ipa.go.jp/security/vuln/10threats2021.html 32 p284より抜粋
3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する ・匿名加工技術を使う ・個人を特定出来る項目を匿名化してセキュリティを担保しましょう。 33 p286より抜粋
3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する ・匿名加工技術を使う ・K-匿名性:個人情報を集約した場合、その特定性が何人までの粒度か 10人までの範囲で特定出来る:10-匿名性 ・匿名化によりデータが活用しづらくなることも。 (個々人に個別最適化させた広告を出したい場合等) ・リスクとトレードオフ 34
3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する ・匿名加工技術を使う 35 Watson Knowledge Catalogにて匿名化した例 ※データは https://hogehoge.tk/personal/ にて生成したダミーデータです。
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 36
3-11:監査では評価方法を理解して客観性を担保する ・情報システムにおける監査の位置付け ・リスクアセスメントによるリスク評価 ・監査は独立した組織が行う 37
3-11:監査では評価方法を理解して客観性を担保する ・情報システムにおける監査の位置付け 参考: https://www.ipa.go.jp/files/000011535.pdf 38 p288より抜粋
3-11:監査では評価方法を理解して客観性を担保する ・リスクアセスメントによるリスク評価 ・リスクアセスメント: 情報資産に対して発生する可能性のある脅威の発生確率、 発生した場合の影響度などを評価すること ・対策基準 ・データの取り扱い・運用ルールについてわかりやすく記述 ・何を最適な管理策とするか ・どのようにわかりやすく記載するか 39
3-11:監査では評価方法を理解して客観性を担保する ・リスクアセスメントによるリスク評価 ・脅威・脆弱性・リスクの例 ・技術的対策の例 ・管理的対策の例 40 p290より抜粋
3-11:監査では評価方法を理解して客観性を担保する ・リスクアセスメントによるリスク評価 ・脅威・脆弱性・リスクの例 41 https://www.ipa.go.jp/files/000013299.pdf
3-11:監査では評価方法を理解して客観性を担保する ・監査は独立した組織が行う 監査のサイクルを継続的に回しましょう。 初年度は大変。次年度からは負荷は逓減していく。 参考:https://isms.jp/doc/JIP-ISMS111-21_2.pdf 42 p290より抜粋
3-11:監査では評価方法を理解して客観性を担保する ・監査は独立した組織が行う まとめ データ活用の成功は、必ずしもシステムやデータそのものだけが 原因ではない。 人や組織にも目を向け、失敗を回避していきましょう。 43
感想 3-1から3-4が基本設計だとすると、詳細設計にあたる箇所かと思う。 目指すべき理想は高いですけど、実施内容は多岐にわたるので、 Small Start でやるしかないよね。。 (Aim High, Shoot Low.)
44
おまけ:色々遊べるSaaS型データプラットフォーム Cloud Pak for Data as a Service ハンズオン メニュー
データカタログ、BI、ETL、データ仮想化(Federation)まで、 管理者目線も、利用者目線も含めて、まとめて触って遊べます。 45 https://qiita.com/Shumpei_Kubo/items/993e0fabfaebf56fe547
おまけ:色々遊べるSaaS型データプラットフォーム Cloud Pak for Data as a Service ハンズオン メニュー
46 https://qiita.com/Shumpei_Kubo/items/993e0fabfaebf56fe547