S3 metadata/S3 tablesからAthenaで データ取得してみた。

aws reinvent 2024で発表されたS3からメタデータをicebergを出力する新機能S3 metadataを試してみたので手順をLTしました。

Transcript

1. S3 metadata/S3 tablesからAthenaで データ取得してみた。 nk(えぬけー)
2. S3　metadata(tables)とは 従来S3のメタデータを得る際にはGlueでS3をクロールしてData catalogを作る 方法をとっていた。 しかし2024のreinventでS3 metadataが発表された。 S3 MetadataはS3のメタデータをほぼリアルタイムで更新し、Iceberg tableに 保存するというもの...らしいのでとりあえず触ってみた
3. 最終的にはS3からメタデータを取得できた…が途中で権限周りでエラー 情報共有とより良い解決策を探るためにLTすることにしました。 ただし権限周りであまりよくない設定の仕方をしているのでもし誰か別の解決 法を知っている方がいらっしゃれば教えていただけるとありがたいです。🙏
4. Administorator access → S3tables 作成時エラー AWSLakeFormationDataAdmin
 glue:PassConnection
 lakeformation:RegisterResource
 も...?

5. エラーを無視してS3 tables を作成
6. 更に普通のS3バケットを作成後、設定作成
7. S3のメタデータの送り先をS3tablesにする
8. 作成完了後Athenaに移動するというボタンが出る
9. Athena内を見ると...
10. ひとまず別リージョンで再度作成 AWSLakeFormationDataAdmin
 glue:PassConnection
 lakeformation:RegisterResource
 も...?
 AWSLakeFormationDataAdmin
 glue:PassConnection
 lakeformation:RegisterResource
 も...?
 先ほどは不明というエ ラーだった

11. 統合を有効にするボタンを押すと...権限不足
12. IAMユーザーにすべての権限を設定(非推奨) AWSLakeFormationDataAdmin
 glue:PassConnection
 lakeformation:RegisterResource
 も...?
 S3 tables
 Glue
 S3
 Athena
 lakeformation も同様に

13. 統合ステータスが不明から有効に
14. + Lakeformationで追加設定
15. Lakeformationの権限設定 Catalog permission: Superuser
16. 再度Athenaを覗くと...
18. 残った疑問... ①IAM ユーザーの権限をもう少し絞れるはずだが未検証... ②メタデータを取得できたがその有用性について
19. 参考記事他 [自記事] https://zenn.dev/amana/articles/1c9821693691ca [参考記事] S3tables周りやLakeformationの設定についても詳しく書いてありました。 ↓ https://dev.classmethod.jp/articles/amazon-s3-bucket-metadata-preview/