DevelopersIO2023「Amazon DataZoneを触ってみた」

Developers.IO 2023で発表した資料です

Transcript

1. Amazon DataZoneを触ってみた 2023/7/25 データアナリティクス事業本部 須藤健志
2. 話すこと・話さないこと 2 話すこと ・Amazon DataZone（DataZone）の概要 ・DataZoneの持つ機能とその使い方 ・実際に触ってみたメリット 話さないこと ・DataZoneの具体的な操作手順 ・ DataZone以外のデータカタログツールや製品の概要
3. 紹介内容について 2023/07/03時点の パブリックプレビュー段階の情報 を元に作成しています 3
4. 自己紹介 4 須藤 健志 (suto takeshi) 所属 データアナリティクス事業本部 [データ分析基盤や機械学習基盤のコンサル・構築を担当] Blog https://dev.classmethod.jp/author/suto-takeshi/ Twitter ＠metronom9145 好きなAWSサービス Glue DataBrew、CDK 2023 APN AWS Top Engineers (Analytics) , 2023 APN ALL AWS Certifications Engineers 選出
5. アジェンダ 5 1. DataZoneの概要 2. DataZoneが持つ機能と構造 3. DataZoneのアクセスポリシー 4. DataZoneのメリット 5. まとめ
6. Amazon DataZoneの概要 6 データのカタログ化、発見、共有、分析を可能にする データ管理サービス •あらゆるデータソースのメタデータ（データアセット）をカタログに登 録し、データを発見しやすくする •登録したデータを共有して組織間のデータ連携と分析を加速 • 上記を行う上でガバナンスを効かせながら運用と管理が可能 ※プレビュー中は料金は発生しませんが、GA後は料金が発生します
7. DataZoneコンソール画面 7
8. DataZoneポータル画面 8
9. 01 DataZoneが持つ機能と構造
10. Amazon DataZoneの構造 10
11. Amazon DataZoneの持つ機能 11 データカタログ •データパブリッシャーは自身の管理するデータアセットを登録することで、 カタログ画面で検索できる
12. Amazon DataZoneの持つ機能 12 データガバナンス •ドメインにおける各ロールを持つユーザーを設定 ・データ管理者：ドメイン全体の管理者 ・データスチュワード：プロジェクト管理者、データ共有操作の承認者 ・パブリッシャー：データアセットをカタログに登録 ・サブスクライバー：データアセットを検索、分析したいユーザー
13. Amazon DataZoneの持つ機能 13 データガバナンス •ドメインにおける各ロールを持つユーザーを設定
14. Amazon DataZoneの持つ機能 14 データガバナンス •プロジェクト単位におけるメンバーの持つユーザー権限 ・Viewer：データアセットを閲覧できる読み取り専用ユーザー （IAMロール：datazone-usr-v-proj-〜） ・Contributer：データアセットの編集やパブリッシュ実行が可能 （IAMロール：datazone-usr-c-proj-〜） ・Owner：プロジェクトに関する操作全般が可能 （ IAMロール：datazone-usr-o-proj-〜 ）
15. Amazon DataZoneの持つ機能 15 データガバナンス •プロジェクト単位におけるメンバーの持つユーザー権限
16. Amazon DataZoneの持つ機能 16 プロジェクトプロファイル •プロジェクト作成において必要なリソース構成のテンプレート ・データソースとして取り込むデータの種類（S3、Athena、Glue） ・データ暗号化に使用するKMSキー ・プロジェクトに紐づくS3バケット、Glueデータベース名、 Athenaワークグループなど
17. Amazon DataZoneの持つ機能 17 プロジェクトプロファイル
18. Amazon DataZoneの持つ機能 18 データの共有と分析 •パブリッシャーがパブリッシュジョブでデータアセット追加 •追加したデータアセットはサブスクライブできる •データアセットはプロジェクトメンバーのIAMロールが持つ権限でAthena 画面に移動して分析が可能
19. Amazon DataZoneの持つ機能 19 データの共有と分析
20. Amazon DataZoneの持つ機能 20 データの共有と分析 ※IAMロール作成後に追加したデータソースへの権限はポリシーに手動追加が必要
21. Amazon DataZoneの持つ機能 21 データアセットのパブリッシュの流れ •プロジェクト画面から「PUBRISHING JOB」を作成し実行 •ジョブ実行後、「PABRISHED DATA」一覧に追加される
22. Amazon DataZoneの持つ機能 22 データアセットのパブリッシュの流れ •「SET ASSET TO ACTIVE」を押してカタログ画面に表示される
23. Amazon DataZoneの持つ機能 23 データアセットのサブスクライブの流れ •データアセットを選択し、「SUBSCRIBE」でリクエストを作成
24. Amazon DataZoneの持つ機能 24 データアセットのサブスクライブの流れ •Contributorが「APPROVE」することで共有が許可される
25. Amazon DataZoneの持つ機能 25 設定するデータソースについて •基本的に「Glueカタログデータベース」からデータアセットを取り込む ・Glueテーブル：直接指定→取り込み ・S3（データレイク）：S3→Glueカタログテーブル→取り込み ・Redshift：Glue接続経由→Glueカタログテーブル→取り込み ・Appflow：Appflowフロー→S3→Glueカタログテーブル→取り込み
26. Amazon DataZoneの持つ機能 26 メタデータフォームとビジネス用語 •メタデータフォーム：カスタム定義の属性を追加するのに利用 •ビジネス用語：メタデータ属性を定義するために使用されるビジネス辞書 ・スキーマ情報等の「テクニカルメタデータ」では表せない「ビジネスメ タデータ」を付与するのに使える ・ドメインのデータスチュワードが作成・編集を行う
27. Amazon DataZoneの持つ機能 27 ビジネス用語
28. Amazon DataZoneの持つ機能 28 メタデータフォーム
29. Amazon DataZoneの持つ機能 29 メタデータフォーム ※ドメインに紐づけると一括設定可能
30. 01 DataZoneのアクセスポリシー
31. DataZone管理コンソールのためのポリシー 31 •コンソール画面にアクセス、操作する →“AmazonDataZonePreviewConsoleFullAccess”があればよい •AWS IAM Identity Centerを使用してSSOを有効にするために必要な許可 •DataZone がユーザーに代わって AWS マネジメント コンソールで必要な ロールを作成できるようにするために必要なアクセス許可 →カスタムポリシーの内容がドキュメントに記載 https://docs.aws.amazon.com/ja_jp/datazone/latest/userguide/create-iam-roles.html
32. DataZoneポータル画面へのサインアップ 32 •AWS IAM Identity Centerのユーザー情報を使う •IAMユーザー／IAMロールを使う
33. 01 DataZoneのメリット
34. DataZoneのメリット 34 •AWSマネージドサービスなのでインフラ面を考えなくて良い •データアセット取り込みにおいてデータソースとの通信経路を考えなくて 良い •ドメイン、プロジェクトの階層構造に伴うパーミッション・ガバナンス機 能が充実している
35. DataZoneまとめ 35 •チームで蓄積したデータアセットからデータ検索と共有を円滑にして分析業務を 加速 ・カタログ画面の検索機能が充実 ・プロジェクト画面からAthenaへ遷移して分析が可能 ・ビジネス用語などのカスタムメタデータの追加も可能 •組織間を超えたデータ情報の連携においてアクセス権限、共有リクエストの承認 フローなどのデータガバナンスと両立している ・ドメイン単位・プロジェクト単位のユーザーアクセス権限管理が可能 ・データアセットのパブリッシュ・サブスクライブのための承認フローがシンプル