Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Prescriptions_for_a_Practical_Data_Infrastructu...
Search
shumpei3
February 18, 2022
Technology
510
2
Share
Prescriptions_for_a_Practical_Data_Infrastructure_Circle_Reading_Materials_3-5to3-11
#datatechjp の「実践的データ基盤への処方箋」輪読会3回目にて使用した資料です。
shumpei3
February 18, 2022
More Decks by shumpei3
See All by shumpei3
社歌解説Returns!(Hardening h2017fes 振り返り資料)
shumpei3
0
65
Would you THINK such a demonstration interesting ?
shumpei3
1
560
Design and build about DataOps hands-on
shumpei3
3
1.6k
Shall we start data catalog with IBM Knowledge Catalog ?
shumpei3
4
610
Pre-Hardening-Deck_Team4_JST.Onion_h2017fes
shumpei3
0
120
I_know_gaishi_IT_a_little_returns_20230217_CROSS2022
shumpei3
0
160
I_know_gaishi_IT_a_little_20230117 #外資ITチョットワカル
shumpei3
0
490
I-was-the-chairman-of-two-committee.
shumpei3
0
840
How_organizations_disseminates_info_on_SNS
shumpei3
1
110
Other Decks in Technology
See All in Technology
Terraformモジュールは、なぜ「魔境」化するのか
hayama17
1
120
速さだけじゃない! VoidZero ツールが移行先に選ばれる理由
mizdra
PRO
6
680
Claude code Orchestra
ozakiomumkj
2
670
Fabric-cicd によるAzure DevOps デプロイ
ryomaru0825
0
150
イベントで大活躍する電子ペーパー名札 〜その3〜 / ビジュアルプログラミングIoTLT vol.23
you
PRO
0
160
Platform Engineering as a Product: Criteria for Improvement and Multi-Tenant Design
kumorn5s
0
380
OpenID Connectによるサービス間連携
takesection
0
140
CloudFront VPCオリジンとVPC Latticeサービスの内部ALBをマルチアカウントで一元利用しよう
duelist2020jp
5
260
脅威をエンジニアリングの糧にして:恐怖を乗り越えた先にあったもの / Turn threats into fuel for engineering: what lay beyond overcoming fear
nrslib
1
350
20260528_生成AIを専属DSに_Howの次にすべきことを考える
doradora09
PRO
0
260
AI-DLCを活用した高品質・安全なAI駆動開発実践 / AI Driven Development
yoshidashingo
1
250
Generative UI × A2UI で AI エージェントを作った話 AI-DLC も使ってみた!
kmiya84377
1
280
Featured
See All Featured
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
31
3.2k
HTML-Aware ERB: The Path to Reactive Rendering @ RubyCon 2026, Rimini, Italy
marcoroth
1
120
Context Engineering - Making Every Token Count
addyosmani
9
920
Building a Modern Day E-commerce SEO Strategy
aleyda
45
9.1k
Stop Working from a Prison Cell
hatefulcrawdad
274
21k
The Spectacular Lies of Maps
axbom
PRO
1
770
It's Worth the Effort
3n
188
29k
Designing Experiences People Love
moore
143
24k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
133
19k
Agile that works and the tools we love
rasmusluckow
331
21k
Unsuck your backbone
ammeep
672
58k
エンジニアに許された特別な時間の終わり
watany
107
240k
Transcript
実践的データ基盤への処方箋/輪読会資料 3-5から3-11まで 使用フォント:IBM Plex Mono ※個人の意見です。 1
自己紹介 ぼうさん / 久保 俊平 (くぼ しゅんぺい) Twitter:@_bou_3 ( 少し前は
@MC_SEC_KB というID ) 現職:日本IBMで技術営業(2020/02-) 前職:某銀行系SIerのSE(2002-2015),セキュリティ技術営業(2015-2020) データ関連の活動: 前向きデータ整備人 in CROSS Party 2021 / 2020 ブログ:DataOpsで実現される、データが整備された世界(vol97-0020-ai) ブログ:正しい言葉のモノサシ、使っていますか? 前向きデータ整備人:DataOpsという観点からデータ整備人を考える 2
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 3
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 4
3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・データ活用とセキュリティのトレードオフ ・データ取り扱いにおける優先すべき4つのポイント ・セキュリティには求められる要求が多い ・活用の価値は見えやすいがセキュリティは見えにくい 5
背景 ⇒ GDPR・CCPA等の個人情報保護に関する規制の施行 / 個人情報取り扱い不備の事案 データ活用を重視しすぎるとセキュリティがおろそかになりがち。 セキュリティを重視しすぎるとデータ活用が進みづらい。 シーソーゲームあるいは綱引きのようなジレンマな関係 ⇨そのバランスを見極めてポリシー(やルールやツール)を策定することが大事 3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・データ活用とセキュリティのトレードオフ 6
p264より抜粋
3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・データ取り扱いにおける優先すべき4つのポイント(どういった切り口?) 7 (関係者?) (セキュリティの制約?) (データ活用?) (データ資産?) p267より抜粋
3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・セキュリティには求められる要求が多い データ活用のニーズ ⇨ 具体的な要件になりやすい。(同時にセキュリティの見落としも発生しがち) セキュリティ側で意識すべきこと ⇒ 施策を法規制やポリシーと照らし合わせ 何か起きたら即応できる体制を作っておく 8 p268より抜粋
3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・セキュリティには求められる要求が多い 情報セキュリティ管理基準(平成 28年度版) https://www.meti.go.jp/policy/netsecurity/downloadfiles/IS_Management_Standard_H28.pdf 9
3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・活用の価値は見えやすいが、セキュリティは見えにくい ・セキュリティの努力は認識されにくい。(保険のような感じ?) ・データ活用部署とセキュリティ部署は異なる部署である事が多い。(利害の対立がありそう) ・データ活用への柔軟な対応の中で、 様々な例外パターンが生まれ管理が煩雑になり、 セキュリティ基準を守れなくなる。 10
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 11
3-6:組織の利益となるデータのセキュリティポリシーとそのセキュリティ基準を決める ・データのセキュリティポリシーを定義する ・データセキュリティ基準の定義 ・データの機密性(Confidentiality) ・データの完全性(Integrity) ・データの可用性(Availability) 12
3-6:組織の利益となるデータのセキュリティポリシーとそのセキュリティ基準を決める ・データのセキュリティポリシーを定義する ポリシー:一連の目標を達成するために選択された活動方針や制約 データのセキュリティポリシー ビジネス要件 規制要件 設定したら終わりではなく、定期的な監査・評価・見直しが必要 13 p270より抜粋
3-6:組織の利益となるデータのセキュリティポリシーとそのセキュリティ基準を決める ・データのセキュリティポリシーを定義する セプテーニ社の例 https://www.septeni-holdings.co.jp/dhrp/guideline/applicationpolicy/ 14
3-6:組織の利益となるデータのセキュリティポリシーとそのセキュリティ基準を決める ・データセキュリティ基準の定義 ・データの機密性:許可されたメンバーのみがデータへアクセス可能 メンバーには必要最小限の権限のみ与えましょう。 ・データの完全性:データが正確で改竄されていないこと データパイプラインの処理中におかしくなることも。監査ログなども要保管。 ・データの可用性:与えられた権限内で、必要な場合はいつでもアクセス可能 15
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 16
3-7:適切な権限設定とリスク管理方法を定める ・IAMを用いて権限を管理する。 ・アクセシビリティはグループ管理で効率的に行う 17
3-7:適切な権限設定とリスク管理方法を定める ・IAMを用いて権限を管理する。 IAMでは以下のような機能が実現出来る。 個別のクラウドサービス内ではシンプルでいいけど、複数のクラウドサービスにまたがると 複雑になります。 ( ⇒ みなさん、このへんどうしてます? ) 18 p274より抜粋
3-7:適切な権限設定とリスク管理方法を定める ・アクセシビリティはグループ管理で効率的に行う 19 p265より抜粋
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 20
3-8:データ利用や権限管理などの運用ルールをドキュメント化する ・運用ルールのドキュメントを作成する。 ・社内でデータを活用したいメンバーに必要な情報 ・「権限管理者」に必要な情報 ・設定情報をコードで管理する 21
3-8:データ利用や権限管理などの運用ルールをドキュメント化する ・運用ルールのドキュメントを作成する。 ・権限管理の情報はドキュメント化して残しましょう。 ・データ活用したいメンバーが必要な権限を得る手続き ・権限管理者のオペレーションフロー (「ドキュメントに仕事をさせよ」と、昔ある先輩に言われました) 22
3-8:データ利用や権限管理などの運用ルールをドキュメント化する ・社内でデータを活用したいメンバーに必要な情報 23 p277より抜粋
3-8:データ利用や権限管理などの運用ルールをドキュメント化する ・「権限管理者」に必要な情報 単一のクラウドサービスならドキュメントを読めばいいが、 組織固有のルールもあるので、運用ルールの記載も必要。 24 p278より抜粋
3-8:データ利用や権限管理などの運用ルールをドキュメント化する ・設定情報をコードで管理する ・複数のサービスの管理は煩雑なので、 ・設定情報をコードで管理する:Infrastructure as Code ・Terraform等 ( ⇒ 実際にIaCで管理されています?
) 25
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 26
3-9:担当,見直しサイクル,判断基準を決めてデータやツールの棚卸しを定期的に行う ・棚卸しの対象を選定する ・誰が・いつ・どのように棚卸しを行うかを決める 27
3-9:担当,見直しサイクル,判断基準を決めてデータやツールの棚卸しを定期的に行う ・棚卸しの対象を選定する ・サービス利用状況やアカウント、権限など 28 p280より抜粋
3-9:担当,見直しサイクル,判断基準を決めてデータやツールの棚卸しを定期的に行う ・誰が・いつ・どのように棚卸しを行うかを決める ・棚卸を放置すると管理コストが飛躍的に上がるので担当者は明確に! ・棚卸タイミングのおススメは、、、 ・平家物語から読み解く、データの諸行無常。 おごれるデータソースも久しからず。ただ春の夜の夢のごとし。 猛きダッシュボードもつひには滅びぬ。ひとへに風の前の塵に同じ。 ・復元依頼もあるので、アーカイブフォルダを準備すると良いです。 29 p282より抜粋
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 30
3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する ・データの保護 ・匿名加工技術を使う 31
3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する ・データの保護 右記のような事案に際して 重要なのがデータ保護です。 ↓ 個人情報保護法は改定され続けて おり、罰則もある。 ↓ データの暗号化等で、漏洩時のリスクを最小化しましょう。 情報セキュリティ10大脅威2021
https://www.ipa.go.jp/security/vuln/10threats2021.html 32 p284より抜粋
3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する ・匿名加工技術を使う ・個人を特定出来る項目を匿名化してセキュリティを担保しましょう。 33 p286より抜粋
3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する ・匿名加工技術を使う ・K-匿名性:個人情報を集約した場合、その特定性が何人までの粒度か 10人までの範囲で特定出来る:10-匿名性 ・匿名化によりデータが活用しづらくなることも。 (個々人に個別最適化させた広告を出したい場合等) ・リスクとトレードオフ 34
3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する ・匿名加工技術を使う 35 Watson Knowledge Catalogにて匿名化した例 ※データは https://hogehoge.tk/personal/ にて生成したダミーデータです。
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 36
3-11:監査では評価方法を理解して客観性を担保する ・情報システムにおける監査の位置付け ・リスクアセスメントによるリスク評価 ・監査は独立した組織が行う 37
3-11:監査では評価方法を理解して客観性を担保する ・情報システムにおける監査の位置付け 参考: https://www.ipa.go.jp/files/000011535.pdf 38 p288より抜粋
3-11:監査では評価方法を理解して客観性を担保する ・リスクアセスメントによるリスク評価 ・リスクアセスメント: 情報資産に対して発生する可能性のある脅威の発生確率、 発生した場合の影響度などを評価すること ・対策基準 ・データの取り扱い・運用ルールについてわかりやすく記述 ・何を最適な管理策とするか ・どのようにわかりやすく記載するか 39
3-11:監査では評価方法を理解して客観性を担保する ・リスクアセスメントによるリスク評価 ・脅威・脆弱性・リスクの例 ・技術的対策の例 ・管理的対策の例 40 p290より抜粋
3-11:監査では評価方法を理解して客観性を担保する ・リスクアセスメントによるリスク評価 ・脅威・脆弱性・リスクの例 41 https://www.ipa.go.jp/files/000013299.pdf
3-11:監査では評価方法を理解して客観性を担保する ・監査は独立した組織が行う 監査のサイクルを継続的に回しましょう。 初年度は大変。次年度からは負荷は逓減していく。 参考:https://isms.jp/doc/JIP-ISMS111-21_2.pdf 42 p290より抜粋
3-11:監査では評価方法を理解して客観性を担保する ・監査は独立した組織が行う まとめ データ活用の成功は、必ずしもシステムやデータそのものだけが 原因ではない。 人や組織にも目を向け、失敗を回避していきましょう。 43
感想 3-1から3-4が基本設計だとすると、詳細設計にあたる箇所かと思う。 目指すべき理想は高いですけど、実施内容は多岐にわたるので、 Small Start でやるしかないよね。。 (Aim High, Shoot Low.)
44
おまけ:色々遊べるSaaS型データプラットフォーム Cloud Pak for Data as a Service ハンズオン メニュー
データカタログ、BI、ETL、データ仮想化(Federation)まで、 管理者目線も、利用者目線も含めて、まとめて触って遊べます。 45 https://qiita.com/Shumpei_Kubo/items/993e0fabfaebf56fe547
おまけ:色々遊べるSaaS型データプラットフォーム Cloud Pak for Data as a Service ハンズオン メニュー
46 https://qiita.com/Shumpei_Kubo/items/993e0fabfaebf56fe547