ダッシュボードもコード管理！Amazon QuickSightで考えるBIOps

DevelopersIO 2023大阪で発表した資料です。

Transcript

1. ダッシュボードもコード管理！ Amazon QuickSightで考えるBIOps 2023/7/19 データアナリティクス事業本部 niino 1
2. 2 感想は #devio2023 を入れてツイートしてください！ スライドは後日登壇ブログにて公開します
3. ⾃⼰紹介 niino • データアナリティクス事業本部 インテグレーション部 コンサルティングチーム ◦ ソリューションアーキテクト ◦ 2023 Japan AWS Top Engineer(Analytics) • データ分析基盤に関するコンサルティング • 好きなAWSサービス：Amazon Athena • 奈良県出⾝ ⼤阪オフィス所属 この辺の出身
4. QuickSight、好きですか ❤ 4
5. QuickSightについておさらい 5 Amazon QuickSight • AWSのフルマネージド なサーバーレス BIサービス • Webブラウザ経由で ダッシュボード作成‧ 閲覧 引用元：https://aws.amazon.com/jp/quicksight/
6. QuickSightのいいところ 6 安い
7. QuickSightのいいところ：安い 7 • とにかく安価 • AWS内の費⽤として計 上できるため、稟議が 通しやすく、 始めやすい 1ヶ⽉ 年間 作成者（Author） $24/⽉ $18/⽉ QuickSight Qを利⽤する作成者 （Author） ※QuickSight Qを利⽤するには $250/⽉が別途必要 $34/⽉ $28/⽉ Enterprise Editionの場合
8. QuickSightのいいところ 8 アップデートが多い！
9. いいところ：アップデートされまくり 9 • 2022年には80個以上ものアップデート ◦ 今のQuickSightは、あなたが知ってるQuickSightでは ないかもしれない…
10. QuickSightのいいところ 10 なんといってもAWSのマネージドサービス
11. いいところ：AWSのマネージドサービス 11 • 他AWSサービスとの連携が容易 ◦ VPC接続で簡単にプライベートにデータソースへ接続可能 ◦ データソース接続にSecrets Managerを使うことパスワード ローテーションにも追従できる ◦ QuickSight APIをStep Functionsを使って オーケストレーションすることもできる • 2022年11⽉、コード管理ができるようになりました
12. いいところ：AWSのマネージドサービス 12 • 他AWSサービスとの連携が容易 ◦ VPC接続で簡単にプライベートにデータソースへ接続可能 ◦ データソース接続にSecrets Managerを使うことパスワード ローテーションにも追従できる ◦ QuickSight APIをStep Functionsを使って オーケストレーションすることもできる • 2022年11⽉、コード管理ができるようになりました この話がしたい
13. 今日話すこと 13 • QuickSightのいいところ • QuickSightのコード管理でできること • BIをコード管理してうれしいこと • ユースケースいろいろ • まとめ
14. 14 その前に
15. QuickSightの基本用語 15
16. 今日話すこと 16 • QuickSightのいいところ • QuickSightのコード管理でできること • BIをコード管理してうれしいこと • ユースケースいろいろ • まとめ
17. コード管理言うてますけども 17 QuickSightでは 何ができるようになったの？🤔
18. コード管理言うてますけども 18 QuickSightのアセットをコードで デプロイできる！
19. QuickSightのコード管理 19 API機能の拡充！ • アセットの定義情報をJSON 形式で取得可能に • Create/UpdateのAPIにダッ シュボード、分析、テンプ レートの定義情報を指定可能 • 依存関係にあるアセットを パッケージ化（アセットバン ドル）
20. QuickSightのコード管理 20 API機能の拡充！ • アセットの定義情報をJSON 形式で取得可能に • Create/UpdateのAPIにダッ シュボード、分析、テンプ レートの定義情報を指定可能 • 依存関係にあるアセットを パッケージ化（アセットバン ドル） つまり、コマンド⼀発で アセットを作成可能！
21. QuickSightのコード管理で実現できること 21 • ダッシュボードを別アカウントへ⼀気に配布 • アセットのバージョン管理 • バックアップの取得‧デプロイ • データソースなど周辺サービスを含めたIaC化 ◦ CDKやCloudFormationで実現可能
22. 今日話すこと 22 • QuickSightのいいところ • QuickSightのコード管理でできること • BIをコード管理してうれしいこと • ユースケースいろいろ • まとめ
23. コード管理ねえ… 23 せっかくGUIでできるのを なんでコードでやらなきゃいけないの🤨？
24. GUIの光と闇 24 画⾯をポチポチするだけで簡単にダッシュボード作成できる
25. GUIの光と闇 25 画⾯をポチポチするだけで簡単にダッシュボード作成できる ⾮エンジニア含め、いろんな⼈が分析を始められる
26. GUIの光と闇 26 画⾯をポチポチするだけで簡単にダッシュボード作成できる ⾮エンジニア含め、いろんな⼈が分析を始められる いろんな⼈が好き勝⼿な指標や基準でダッシュボードを 作ってしまう 横展開が難しい
27. BIにおけるコード管理のうれしさ 27 • アセットを定義し、保持することでSingle Source Of Truth（信頼できる唯一の情報源）を担保 • バージョン管理による変更の追跡 • アセットの移行が容易 • 自動化による継続的なデプロイ
28. BIにおけるコード管理のうれしさ 28 • アセットを定義し、保持することでSingle Source Of Truth（信頼できる唯一の情報源）を担保 • バージョン管理による変更の追跡 • アセットの移行が容易 • 自動化による継続的なデプロイ 分析までのライフサイクルを短縮し、 信頼性の高い内容で継続的にデリバリーできる
29. BIにおけるコード管理のうれしさ 29 • アセットを定義し、保持することでSingle Source Of Truth（信頼できる唯一の情報源）を担保 • バージョン管理による変更の追跡 • アセットの移行が容易 • 自動化による継続的なデプロイ 分析までのライフサイクルを短縮し、 信頼性の高い内容で継続的にデリバリーできる BIOps
30. 今日話すこと 30 • QuickSightのいいところ • QuickSightのコード管理でできること • BIをコード管理してうれしいこと • ユースケースいろいろ • まとめ
31. ふーん 31 結局どう使えばいいの🤔？
32. ユースケースいろいろ 32 • ダッシュボードをバージョン管理 • データセットの定義を保持する • バックアップ取得とデプロイ • 社内のAWSアカウントに横展開 • ダッシュボードデプロイを⾃動化
33. ユースケースいろいろ 33 • ダッシュボードをバージョン管理 • データセットの定義を保持する • バックアップ取得とデプロイ • 社内の別AWSアカウントに横展開 • ダッシュボードデプロイを⾃動化
34. ダッシュボードをバージョン管理 34 • describe-dashboard-defin itionコマンドで定義を JSON形式で取得 • GithubやCode Commitに プッシュし、定義情報を管理 変更を追跡可能 $ aws quicksight describe-dashboard-definition --aws-account-id <AWSアカウントID> --dashboard-id <ダッシュボードID> > ./code/dashboard-definition.json
35. ユースケースいろいろ 35 • ダッシュボードをバージョン管理 • データセットの定義を保持する • バックアップ取得とデプロイ • 社内の別AWSアカウントに横展開 • ダッシュボードデプロイを⾃動化
36. データセットの定義を保持 36 $ aws quicksight describe-data-set --aws-account-id <AWSアカウントID> --data-set-id <データセットID> > dataset-definition.json "Catalog": "AwsDataCatalog", "Schema": "salesdb", "Name": "sales_dataset", "InputColumns": [ { "Name": "sales", "Type": "INTEGER" }, :(中略) "CreateColumnsOperation": { "Columns": [ { "ColumnName": "total_sales", "ColumnId":"c8739369-..........", "Expression": "{sales}*{amount}" } • カラムのデータ型 • 計算フィールドの定義 計算フィールドを利⽤して いる場合、データがどんな 計算ロジックで算出されて いるのか含めて定義
37. ユースケースいろいろ 37 • ダッシュボードをバージョン管理 • データセットの定義を保持する • バックアップ取得とデプロイ • 社内の別AWSアカウントに横展開 • ダッシュボードデプロイを⾃動化
38. バックアップ取得とデプロイ 38 • アセットバンドル（依存関係 含めたアセット定義）をエク スポート • アセットバンドルを QuickSightへインポート • 定義をCodeCommitにプッ シュしておけば アセットバンドルの バージョン管理も可能 $ aws quicksight describe-asset-bundle-export-job --aws-account-id <AWSアカウントID>　 --asset-bundle-export-job-id <ジョブ名>
39. ユースケースいろいろ 39 • ダッシュボードをバージョン管理 • データセットの定義を保持する • バックアップ取得とデプロイ • 社内の別AWSアカウントに横展開 • ダッシュボードデプロイを⾃動化
40. 社内のAWSアカウントに横展開① 40 引用元 ：https://aws.amazon.com/jp/blogs/big-data/automate-and-accelerate-your-amazon-quicksight-asset-depl oyments-using-the-new-apis/ • アセットバンドルをエ クスポート • 別AWSアカウントへ インポート • インポート後、 アセット管理より 権限を付与
41. 社内のAWSアカウントに横展開② 41 • アセットバンドルを CloudFormation JSON 形式でエクスポート • データソース（例 ：Amazon Athena等） 含めてデプロイ
42. ユースケースいろいろ 42 • ダッシュボードをバージョン管理 • データセットの定義を保持する • バックアップ取得とデプロイ • 社内の別AWSアカウントに横展開 • ダッシュボードデプロイを⾃動化
43. ダッシュボードデプロイを自動化① 43 • APIを利用した自動化 • 定義情報をCodeCommitで管理 • CodeBuildでcreate/updateコマンドを実行 CodeCommitの リポジトリを指定
44. ダッシュボードデプロイを自動化② 44 • PythonからAPIを実行 し、データソース〜ダッ シュボード作成を自動化 する • スクリプトはAWS公式ブ ログにて公開中 引用元 ：https://github.com/aws-samples/amaz on-quicksight-sdk-proserve/tree/master/ BIOps_Deployment_Scripts
45. 今日話すこと 45 • QuickSightのいいところ • QuickSightのコード管理でできること • BIをコード管理してうれしいこと • ユースケースいろいろ • まとめ
46. まとめ 46 • QuickSight APIの拡充により、定義を元にアセットを 作成・更新ができるようになりました • データソースや周辺サービスを含めたIaCでQuickSightの アセットをデプロイ可能に！ • コード管理を通してより安全にQuickSightを 使いましょう！
47. まとめ 47 参考 • AWS QuickSight as “Code”; a unified approach for QuickSight development and deployment, using AWS CDK, CLI, and CodePipeline | by Gmournos | Jun, 2023 | Medium https://medium.com/@gmournos/aws-quicksight-as-code-a-unified-approach-for-quicksight-development-and-d eployment-using-aws-30bbb6bd253a • [アップデート] Amazon QuickSight でアセットのインポート・エクスポートジョブを実行することが出来るようになりました | DevelopersIO https://dev.classmethod.jp/articles/quicksight-inport-export-job/ • Amazon QuickSightのアセットのインポート・エクスポートジョブで別アカウントにダッシュボードを共有してみた | DevelopersIO https://dev.classmethod.jp/articles/quicksight-inport-export-job-share-s3-dashboard/ • [BIOps: Amazon QuickSight object migration and version control | AWS Big Data Blog](https://aws.amazon.com/jp/blogs/big-data/biops-amazon-quicksight-object-migration-and-version-control/) • Automate and accelerate your Amazon QuickSight asset deployments using the new APIs | AWS Big Data Blog https://aws.amazon.com/jp/blogs/big-data/automate-and-accelerate-your-amazon-quicksight-asset-deployment s-using-the-new-apis/
48. もしよかったら… 48 お手元の紙に記載のQRコードから アンケートにご協力ください！