Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Storage LensでS3を大掃除しよう
Search
Akira Sato
December 13, 2023
Technology
0
310
Storage LensでS3を大掃除しよう
Akira Sato
December 13, 2023
Tweet
Share
More Decks by Akira Sato
See All by Akira Sato
Transit GWでNat VPCを作成する
a22sato
1
240
リソースをIaCで管理しよう
a22sato
0
240
20231030_LT登壇資料.pdf
a22sato
0
620
Other Decks in Technology
See All in Technology
Datadog を使ったプロダクトとクラウドの セキュリティモニタリング
mrtc0
0
450
Autonomous Database Cloud 技術詳細 / adb-s_technical_detail_jp
oracle4engineer
PRO
15
39k
セキュリティ監視の内製化 効率とリスク
mixi_engineers
PRO
4
640
LLM を現場で評価する
asei
4
680
waitany と waitall を作った話
mrkn
0
110
株式会社M2X エンジニアチーム紹介資料
m2xsoftware
0
320
タイミーのBraze活用 ~PUSH通知を活用したレコメンド~
ozeshun
2
120
#Zenoh 完全に理解した 〜組込み純情篇〜
takasehideki
1
450
ことばをそろえる / Bridging the Terminology Gap
amaotone
5
1k
音声AIエージェントの世界とRetell AI入門 / Introduction to the World of Voice AI Agents and Retell AI
rkaga
3
470
Dojo 20240830 COBOL to Java on Z
ichikawayasuhisa
0
240
分野に潜むツールの紹介
pojiro
1
330
Featured
See All Featured
Art, The Web, and Tiny UX
lynnandtonic
294
20k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
33
1.7k
The Art of Programming - Codeland 2020
erikaheidi
48
13k
Typedesign – Prime Four
hannesfritz
38
2.3k
For a Future-Friendly Web
brad_frost
173
9.3k
The Cult of Friendly URLs
andyhume
76
5.9k
Practical Orchestrator
shlominoach
185
10k
Fantastic passwords and where to find them - at NoRuKo
philnash
47
2.7k
StorybookのUI Testing Handbookを読んだ
zakiyama
25
5k
BBQ
matthewcrist
83
9.1k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
25
1.3k
Designing for Performance
lara
604
68k
Transcript
Storage Lensで S3を⼤掃除しよう 2023/12/13 Akira Sato
⾃⼰紹介 • 佐藤 亨(Sato Akira) • @akirarara16 • デロイトトーマツウェブサービス •
JAWS SAPPOROの運営してます • StepFunctions、CloudFormation
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
今⽇伝えたいこと • Storage Lensを知ってほしい • 最近のアップデート • S3はあらゆるワークロードにおいて利⽤されているので、可視化してあ げることでワークロードの課題が⾒えてくる(はず) •
なのでまずは可視化して⼤掃除の⼀歩⽬を踏み出しませんか︖ 伝えたいこと 話さないこと • 具体的な対応策(これはワークロードに依存してしまうため)
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
⼤掃除は今⽇始めよう︕ • ⼤掃除のルーツは煤払い • 新年を司る年神様を迎えるための⾏事 →縁起の良い⽇にやる必要あり • 万事に⼤吉とされる⻤宿⽇が選定 →旧暦12⽉13⽇ •
このことから今でも12⽉13⽇に⼤掃除を始めるのが良い︕ ※諸説あります ⼤掃除とは︖
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
Storage Lensとは︖ • 2020 年 11 ⽉のWhat’s Newにて発表された機能 • S3の利⽤状況を以下の観点でダッシュボードにて可視化出来る
• コスト最適化 • データ保護 • アクセス管理 • アプリケーションのパフォーマンスを向上させる あ 参考︓Amazon S3 Storage Lens metrics use cases • 基本のメトリクスは無料で利⽤可能 • AWS Organizationとの統合が可能 • 注意点︓ダッシュボード作成から表⽰まで48時間ほど必要 機能概要
Storage Lens関連のアップデート • 11⽉15⽇発表の機能、オブジェクトタグ、プレフィックス、サイズ等で フィルターされたメトリックを表⽰できる • 参考︓https://aws.amazon.com/about-aws/whats-new/2023/11/amazon-s3-storage-lens- groups-customized-granular-visibility/ ストレージレンズグループ •
11⽉17⽇発表の機能、プレフィックスレベルでのメトリクス集計が可能 になった • 参考︓https://aws.amazon.com/about-aws/whats-new/2023/11/amazon-s3-storage-lens- aggregates-activity-status-code-metrics-prefix/ プレフィックスごとの集計 こちらの機能を中⼼にご紹介
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
グループの作成 選択した項⽬をAND/OR条件 で結合したフィルターを作 成可能
グループの作成 • 今回は簡単のために右のよう なシンプルなグループを作成 • 条件︓ オブジェクトサイズ 1MB〜500GB
ダッシュボードの作成 複数のグループを選択 することも可能
今回測定するオブジェクト • S3(storage-jaws-test)に条件に合致するオブジェクトとしないオブジェク トを配置 100MB以上の オブジェクト (20個準備) 1MB未満の オブジェクト
実際のダッシュボード(1/4) レンズグループが有効化され ると利⽤できるようになる (作成から48時間必要) レンズグループをフィルタ として活⽤できる • レンズグループのダッシュボード
実際のダッシュボード(2/4) 準備したS3に対象を絞る グループの条件に合致した S3からさらにフィルタ可能 • レンズグループのダッシュボード
実際のダッシュボード(3/4) 20個のオブジェクトを フィルタできている
実際のダッシュボード(4/4) グループごとの⽐較が可能 ※ 作成から48時間必要 • その他の分析としてグループ間の⽐較等も可能 →1.0MB超のグループと1.0MB未満のグループの⽐較などが可能
注意事項 • ダッシュボード作成後、48時間はデータが表⽰されない • グループ作成後、ダッシュボードにアタッチしてから最⼤で48時間必要
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
まとめ Storage Lensを活⽤してS3を可視化、⼤掃除しよう︕