夏休み自由研究発表~LakeFormation~

Transcript

1. 夏休み自由研究発表 LakeFormationについてメインです 丸本 時麒斗 関西学院大学
2. アジェンダ 1. 自己紹介 2. 夏休み自由研究発表 3. さいごに
3. 自己紹介
4. 自己紹介 • 氏名： 丸本 時麒斗 • 職業： 学生 (関西学院大学) • 好きなサービス： SNS • 趣味： ウィンタースポーツ
5. 夏休み自由研究発表
6. 夏休みにしたこと • Stepfunctionと格闘 • LakeFormationであそぶ
7. 今回はLakeFormationの話します
8. LakeFormationとは？
9. LakeFormationってなに？ AWS Lake Formation は、分析と機械学習のためにデータを一元管理、保護、 グローバルに共有できるようにします。Lake Formation では、Amazon Simple Storage Service (Amazon S3) 上のデータレイクデータと AWS Glue Data Catalogの関連メタデータに対するきめ細かなアクセスコントロールを 管理できます。 (AWS抜粋) データカタログ化されたデータに対して、アカウントごと にアクセス制限できるぞ！
10. LakeFormationって何ができるの？ データカタログ化されたデータにアクセス制限が可能 → 列レベル・行レベル 制限が可能 No 名前 年齢 職業 好きなAWSサービス 1 丸本 20 学生 SNS 2 佐藤 23 学生 S3 3 田中 28 社会人 LakeFormation 4 寄年 50 社会人 Stepfunction 列レベル 制限のイメージ No 名前 年齢 職業 好きなAWSサービス 1 丸本 20 学生 SNS 2 佐藤 23 学生 S3 3 田中 28 社会人 LakeFormation 4 寄年 50 社会人 Stepfunction 元データ（テーブル） No 名前 年齢 職業 1 丸本 20 学生 2 佐藤 23 学生 3 田中 28 社会人 4 寄年 50 社会人 ユーザーA：好きなAWSサービス見えない！ ユーザーB：全部見える
11. LakeFormationって何ができるの？ データカタログ化されたデータにアクセス制限が可能 → 列レベル・行レベル 制限が可能 No 名前 年齢 職業 好きなAWSサービス 1 丸本 20 学生 SNS 2 佐藤 23 学生 S3 3 田中 28 社会人 LakeFormation 4 寄年 50 社会人 Stepfunction 行レベル 制限のイメージ No 名前 年齢 職業 好きなAWSサービス 1 丸本 20 学生 SNS 2 佐藤 23 学生 S3 No 名前 年齢 職業 好きなAWSサービス 1 丸本 20 学生 SNS 2 佐藤 23 学生 S3 3 田中 28 社会人 LakeFormation 4 寄年 50 社会人 Stepfunction ユーザーA：学生しか見えないように制限 ユーザーB：全部見える 元データ（テーブル）
12. Lake Formationの制限対象って？ LakeFormationの制限対象は、以下のアカウント単位で実施する ことができる。 ・IAM User, IAM Role ・IAM Identity Center ユーザー, グループ
13. Lake Formationでどう管理するの？ アカウントに対して、LF-Tagを付与することで管理する。また は、直接データに紐づけることで管理する。
14. LakeFormationの全容 • アカウント対象(制限を行える単位) • IAM User, Role • IAM Identity Center ユーザー, グループ • なにができる？ • データカタログ化したデータのアクセス制限を実施可能 • 列レベル・行レベル アクセス制限 • 権限付与の手法 • Tagをアカウント対象に付与する • このTagにアクセス制限の権限周りの情報が紐づいている
15. 夏休みにLakeFormationで何をしたの？
16. 夏休みにLakeFormationで何をしたの？ LakeFormationで何ができるか一通り調査してみたー。 ・athenaを使用したアクセス制限 ・QuickSiteを使用したアクセス制限 ・IAM Identity Centerのユーザー単位でのアクセス制限
17. LakeFormationを構築して苦労したところ ・IAMによる権限管理と競合すること 既存でデータ環境を構築している場合、IAMによる権限が…! ・IAM Identity Centerのユーザー単位でのアクセス制限
18. IAMによる権限管理との競合での苦労 既存環境では、IAM権限でアクセス権限が付与されている。 (LakeFormation環境を構築した後に作成したものは、IAM権限で付与 ) LakeFormationで、LF-Tagを付与すると、、どうなる？
19. IAMによる権限管理との競合での苦労 IAM権限ではアクセス権限が付与されている。LakeFormationで 付与した、LF-Tagの効果は無効化！
20. IAMによる権限管理との競合での苦労 IAM roleに紐づいていた、permissionを削除することで、LF- Tagのアクセス制限を優先することができる。 データの個数だけ、 この作業を、、、
21. IAM Identity Centerのユーザー単位での アクセス制限での苦労 ・athenaにアクセス権の変更が適用されない ・athenaが使用不可に… ・アクセス制限が適用されているか、わかりずらい。。
22. IAM Identity Centerのユーザー単位での アクセス制限での苦労 AthenaのWorkgroupsを、AWS IAM Identity Center管理にする必要があっ た。既存のprimaryは、IAMで管理されている。
23. IAM Identity Centerのユーザー単位での アクセス制限での苦労 WorkGroupsを、IAM Identity Centerで管理に対応させたのに、 WorkGroupを選択できない！ IAM Identity Center単位での制御にすると、Athenaで は見れない仕様(QuickSite等では見える) アクセス制限の 確認できなくね？
24. さいごに
25. さいごに ・LakeFormation 大規模データ環境がある場合は便利！ ・LakeFormation Hybrid使ってみた方が楽だったかも → IAM権限とLF-Tagの共存が可能