S3 metadata/S3 tablesからAthenaでデータ取得してみた。

S3 metadata/S3 tablesからAthenaでデータ取得してみた。 nk(えぬけー)

S3　metadata(tables)とは従来S3のメタデータを得る際にはGlueでS3をクロールしてData catalogを作る方法をとっていた。しかし2024のreinventでS3 metadataが発表された。 S3 MetadataはS3のメタデータをほぼリアルタイムで更新し、Iceberg tableに保存するというもの...らしいのでとりあえず触ってみた

最終的にはS3からメタデータを取得できた…が途中で権限周りでエラー情報共有とより良い解決策を探るためにLTすることにしました。ただし権限周りであまりよくない設定の仕方をしているのでもし誰か別の解決法を知っている方がいらっしゃれば教えていただけるとありがたいです。🙏

Administorator access → S3tables 作成時エラー AWSLakeFormationDataAdmin  glue:PassConnection  lakeformation:RegisterResource  も...? 

エラーを無視してS3 tables を作成

更に普通のS3バケットを作成後、設定作成

S3のメタデータの送り先をS3tablesにする

作成完了後Athenaに移動するというボタンが出る

Athena内を見ると...

ひとまず別リージョンで再度作成 AWSLakeFormationDataAdmin  glue:PassConnection  lakeformation:RegisterResource  も...?  AWSLakeFormationDataAdmin  glue:PassConnection  lakeformation:RegisterResource  も...?  先ほどは不明というエ
ラーだった 

統合を有効にするボタンを押すと...権限不足

IAMユーザーにすべての権限を設定(非推奨) AWSLakeFormationDataAdmin  glue:PassConnection  lakeformation:RegisterResource  も...?  S3 tables  Glue  S3  Athena 
lakeformation も同様に 

統合ステータスが不明から有効に

+ Lakeformationで追加設定

Lakeformationの権限設定 Catalog permission: Superuser

再度Athenaを覗くと...

残った疑問... ①IAM ユーザーの権限をもう少し絞れるはずだが未検証... ②メタデータを取得できたがその有用性について

参考記事他 [自記事] https://zenn.dev/amana/articles/1c9821693691ca [参考記事] S3tables周りやLakeformationの設定についても詳しく書いてありました。 ↓ https://dev.classmethod.jp/articles/amazon-s3-bucket-metadata-preview/

S3 metadata/S3 tablesからAthenaでデータ取得してみた。

S3 metadata/S3 tablesからAthenaでデータ取得してみた。

nk

More Decks by nk

Featured

Transcript