Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
About Amazon S3 Intelligent-Tiering
Search
Isao Shimizu
December 12, 2018
Technology
2
1.4k
About Amazon S3 Intelligent-Tiering
RecoChoku Tech Night #09 4社合同 AWS re:Invent参加レポート
https://recochoku.connpass.com/event/104410/
Isao Shimizu
December 12, 2018
Tweet
Share
More Decks by Isao Shimizu
See All by Isao Shimizu
New Relicを活用したSREの最初のステップ / NRUG OKINAWA VOL.3
isaoshimizu
3
630
「家族アルバム みてね」における運用管理・ オブザーバビリティの全貌 / Overview of Operation Management and Observability in FamilyAlbum
isaoshimizu
4
240
約10年間MIXIのインフラを 支えてきたPagerDutyの活用事例 / PagerDuty on Tour 2024
isaoshimizu
6
950
家族アルバム みてねにおけるGrafana活用術 / Grafana Meetup Japan Vol.1 LT
isaoshimizu
1
1.6k
家族アルバム みてねで直面してきた技術的負債 / MIXI KAG 2024
isaoshimizu
18
8.8k
今年1年のEKS運用振り返り/3-shake SRE Tech Talk
isaoshimizu
2
320
ポストモーテムの基礎知識と最新事例 / Fundamentals of Postmortem
isaoshimizu
11
2.7k
全世界1,800万人が利用する「家族アルバム みてね」におけるNew Relic活用法 / FutureStack Tokyo 2023
isaoshimizu
1
450
『家族アルバム みてね』で計測しているSLIの事例 / SLI as measured in FamilyAlbum
isaoshimizu
3
720
Other Decks in Technology
See All in Technology
TanStack Routerに移行するのかい しないのかい、どっちなんだい! / Are you going to migrate to TanStack Router or not? Which one is it?
kaminashi
0
600
AI前提のサービス運用ってなんだろう?
ryuichi1208
8
1.4k
適材適所の技術選定 〜GraphQL・REST API・tRPC〜 / Optimal Technology Selection
kakehashi
1
690
rootlessコンテナのすゝめ - 研究室サーバーでもできる安全なコンテナ管理
kitsuya0828
3
390
AWS Lambdaと歩んだ“サーバーレス”と今後 #lambda_10years
yoshidashingo
1
180
初心者向けAWS Securityの勉強会mini Security-JAWSを9ヶ月ぐらい実施してきての近況
cmusudakeisuke
0
130
Flutterによる 効率的なAndroid・iOS・Webアプリケーション開発の事例
recruitengineers
PRO
0
120
【令和最新版】AWS Direct Connectと愉快なGWたちのおさらい
minorun365
PRO
5
760
Application Development WG Intro at AppDeveloperCon
salaboy
0
190
ISUCONに強くなるかもしれない日々の過ごしかた/Findy ISUCON 2024-11-14
fujiwara3
8
870
個人でもIAM Identity Centerを使おう!(アクセス管理編)
ryder472
4
230
【Pycon mini 東海 2024】Google Colaboratoryで試すVLM
kazuhitotakahashi
2
540
Featured
See All Featured
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
27
4.3k
4 Signs Your Business is Dying
shpigford
180
21k
YesSQL, Process and Tooling at Scale
rocio
169
14k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5k
A Tale of Four Properties
chriscoyier
156
23k
Teambox: Starting and Learning
jrom
133
8.8k
Making Projects Easy
brettharned
115
5.9k
How STYLIGHT went responsive
nonsquared
95
5.2k
GraphQLとの向き合い方2022年版
quramy
43
13k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
720
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
169
50k
Transcript
About Amazon S3 Intelligent-Tiering RecoChoku Tech Night #09 4 社合同
AWS re:Invent 参加レポート December 12, 2018 Isao Shimizu
About me 清水 勲 @isaoshimizu 株式会社ミクシィ ヴァンテージスタジオ みてね事業部 開発グループ 2011
年8 月 中途入社、SNS mixi アプリ運用チーム 2014 年4 月 モンスターストライク サーバーエンジニア、SRE 2018 年2 月 家族アルバム「みてね」 SRE AWS Dev Day Tokyo 2018 LT 大会 ベストスピーカー賞, AWS Summit Tokyo, TechLION, hbstudy, Internet Week, Think Japan IBM Code Day などの登壇, Qiita, Medium, Software Design 執筆 2
380 万人が使う No.1 家族アルバムアプリ「みてね」 国内版 「みてね」 https://mitene.us/ 米国版 「FamilyAlbum 」
https://family-album.com/ 特徴 子供の写真や動画を共有、整理 家族だけで安心して使えるアルバムアプリ フォトブック、DVD の販売 2015 年4 月 サービス開始 2017 年7 月 英語版提供開始 2018 年7 月 ユーザー数 300 万人突破 3
AWS re:Invent 2018 に初参加してきました セッションよりもワークショップを優先して参加 AWS RoboMaker やAWS DeepRacer のワークショップなど
Expo (企業ブース)でいろんな人と交流できる CloudFront とS3 のEBC に参加! 具体的な技術の話、フィードバックができてよかった 世界中のエンジニアの熱量を肌で感じられた AWS CEO Andy Jassy のKeynote のライブ感がよかった 大量の新発表と、それぞれの詳細なセッションやデモ ARM インスタンスのデモが面白かった 4
少しだけ現地の写真 5
None
None
None
None
None
None
None
None
ここから本題 14
Amazon S3 Intelligent-Tiering が発表されましたね!! 15
まずは Amazon S3 まわりのおさらい 16
Amazon S3 の特徴(概要) オブジェクトストレージ 99.999999999% (9 x 11) のデータ耐久性(可用性ではない) 可用性はストレージクラスによって異なる
さまざまなストレージクラス(後述) PCI-DSS 、HIPAA/HITECH 、FedRAMP 、EU データ保護指令、 FISMA などのコンプライアンスプログラム AWS Lambda との連携 Amazon Athena との連携、S3 Select (new!) S3 バッチオペレーション 17
Amazon S3 ストレージクラス S3 Standard (標準) S3 Standard-IA (S-IA) S3
One Zone-IA (Z-IA) S3 Glacier (Amazon Glacier -> Amazon S3 Glacier へ名称変更) (new!) S3 Glacier Deep Archive (new!) S3 Intelligent-Tiering (INT) 詳しくは次のページ以降に解説 ※2018 年12 月12 日における料金、条件のため、将来変更される可能性があります 18
S3 Standard (標準) 低レイテンシーかつ高スループットなパフォーマンス 3 つ以上のAZ に保存される 99.999999999% (9 x
11) のデータ耐久性 可用性 99.99% (1 年) ストレージ料金 最初の50TB/ 月 0.025USD/GB (Tokyo ) GET/SELECT/ 他 0.00037USD/1,000 リクエスト(Tokyo ) PUT/COPY/POST 0.0047USD/1,000 リクエスト(Tokyo ) 他にも転送などにかかる料金があります 19
S3 Standard-IA (標準-IA ) IA = Infrequent Access 低レイテンシーかつ高スループットなパフォーマンス 3
つ以上のAZ に保存される 99.999999999% (9 x 11) のデータ耐久性 可用性 99.9% (1 年) ストレージ料金 0.019USD/GB (Tokyo ) S3 標準の24% 安い GET/SELECT/ 他 0.001USD/1,000 リクエスト(Tokyo ) S3 標準の約2.7 倍高い PUT/COPY/POST 0.01USD/1,000 リクエスト(Tokyo ) S3 標準の約2.1 倍高い 他にも転送などにかかる料金があります 20
S3 One Zone-IA 低レイテンシーかつ高スループットなパフォーマンス 3 つ以上のAZ に保存される 99.999999999% (9 x
11) のデータ耐久性 可用性 99.5% (1 年) ストレージ料金 0.0152USD/GB (Tokyo ) S3 標準の約39% 安い、S3 Standard-IA の20% 安い GET/SELECT/ 他 0.001USD/1000 リクエスト(Tokyo ) S3 Standard-IA と同じ PUT/COPY/POST 0.01USD/1000 リクエスト(Tokyo ) S3 Standard-IA と同じ 他にも転送などにかかる料金があります 21
S3 Glacier 低コストな設計で長期アーカイブに最適 取得時間を設定可能(数分~数時間) 3 つ以上のAZ に保存される 99.999999999% (9 x
11) のデータ耐久性 (new!) S3 Glacier に直接アップロードする S3 PUT API ストレージ料金 月額 0.005USD/GB (Tokyo ) 取り出し料金 迅速 0.033USD/GB (サイズ次第で1 ~5 分以内で取り出しできる状態に) スタンダード版 0.011USD/GB (3 ~5 時間で取り出しできる状態に) 大容量 0.00275USD/GB (5 ~12 時間で取り出しできる状態に) 他にも転送やリクエストなどにかかる料金があります 22
(new!) S3 Glacier Deep Archive 2019 年公開予定 特に金融、ヘルスケア、パブリックセクターなどの規制が厳しい業界を対象 7 ~10
年以上データセットを保管するように設計されている 3 つ以上のAZ に保存される 99.999999999% (9 x 11) のデータ耐久性 ストレージ料金 月額 0.00099USD/GB (対象リージョン不明) S3 Glacier の約80% 安い その他詳細不明 23
(new!) Amazon S3 Intelligent-Tiering 24
Amazon S3 Intelligent-Tiering 概要 データを最もコスト効率の高いストレージ・アクセス層に自動的に 移動 これによってコストを最小限に抑える パフォーマンスに影響なし、操作上のオーバーヘッドなし すべてのAWS リージョンで使用可能
低レイテンシーかつ高スループットなパフォーマンス 3 つ以上のAZ に保存される 99.999999999% (9 x 11) のデータ耐久性 可用性 99.9% (1 年) ※S3 Standard-IA と同じ 25
Amazon S3 Intelligent-Tiering 具体的な挙動 オブジェクトのアクセスパターンを監視し、30 日間連続してアクセ スされていないオブジェクトをまれなアクセス層に移動 アクセス頻度の低いアクセス層のオブジェクトにアクセスする場合 は、頻繁なアクセス層に自動的に戻される アクセスパターンが未知または予測不能で、長期間使用するデータ
で理想的 128KB 未満のオブジェクトは自動階層化に適していないため、常に 高頻度アクセス層に格納される 26
Amazon S3 アクセスパターンを知る(ストレージクラス分析) S3 のコンソールから分析 フィルタの追加 ※通常、分析結果の生成に十分な情報を収集するには、アクセスパターンの監視に約30 日かかる 料金: モニタリングされるオブジェクト
100 万個あたり 0.10USD/ 月(Tokyo ) 27
Amazon S3 ストレージクラス分析結果例 https://aws.amazon.com/jp/blogs/news/s3-storage-management-update-analytics- object-tagging-inventory-and-metrics/ より抜粋 28
Amazon S3 Intelligent-Tiering 料金 ストレージ料金 高頻度アクセス層 0.025USD/GB (Tokyo ) ※S3
Standard と同じ 低頻度アクセス層 0.019USD/GB (Tokyo ) ※S3 S-IA と同じ モニタリング・オートメーション 月 0.0025USD/1,000 オブジェクト GET/SELECT/ 他 0.00037USD/1,000 リクエスト(Tokyo ) PUT/COPY/POST 0.0047USD/1,000 リクエスト(Tokyo ) S3 Standard と同じ 他にも転送などにかかる料金があります 29
S3 Intelligent-Tiering を使うためには アップロード時に指定する(コンソール) 30
アップロード時に指定する(API ) HTTP リクエストヘッダ x-amz-storage-class に INTELLIGENT_TIERING を指定する https://docs.aws.amazon.com/AmazonS3/latest/API/RESTObjectPUT.html 31
ライフサイクルで S3 Intelligent-Tiering に移行する " インテリジェントな階層化への移行の期限" に " オブジェクトが最新バージョンでなくなってからの日数(オブジェクトが作成されてからの日数)" を指定する
ゼロを指定すればアップロード済みのすべてのオブジェクトがS3 INT へ移行する 10 を指定すれば作成(アップロード)されて10 日経ったオブジェクトがS3 INT へ移行する 32
まとめ S3 のストレージクラスの特徴について、正しく理解してコストパフ ォーマンスを最適化 S3 Intelligent-Tiering 自動的にアクセス頻度に合わせてTier を変えてくれるので便利 ストレージコストとしては今以上に増えないが、オブジェクト数 に応じたモニタリング・オートメーションの費用が発生するので
注意 128KB 以下のファイルが多いケースには適していないので注意 33
Join our team!! https://mitene.us/recruit 34