「無料・容量無制限でアップロード」を 支える みてねのコスト削減術

本資料は、6/7(水) に開催された
【MIXI × Money Forward × NewsPicks共同開催】AWSコスト最適化夏祭り
における、みてねの伊東による発表資料です。
　
YouTube のアーカイブもありますので、是非、こちらもご覧ください。
https://youtube.com/live/5XY7KgzMU0E?feature=share

#AWSコスト夏祭り

Transcript

1. 「無料・容量無制限でアップロード」を 支えるみてねのコスト削減術 【MIXI × Money Forward × NewsPicks共同開催】AWSコスト最適化夏祭り
2. MIXI, Inc. 自己紹介
 株式会社MIXI Vantageスタジオ 
 みてねプロダクト開発部 基盤開発グループ SREチーム 
 伊東 宏起
 
 https://hekki.info

3. MIXI, Inc. 家族アルバム みてね 2022年8月に利用者数1,500万人を突破 ※ iOS・Android™ アプリ登録者数、ブラウザ版登録者数の合計 7言語・175の国と地域でサービスを提供
4. MIXI, Inc. 本日お話する内容
 - Amazon S3のコスト削減 
 - S3 Standard-IA ストレージクラスの活用
 - HLSを用いた再生用動画のオンデマンド配信
 - S3 Glacier Deep Archiveストレージクラスによる革命
 - コンピュートリソースのコスト削減 
 - RI/SPsの活用
 - まとめ
 
 

5. MIXI, Inc. 無料・容量無制限でアップロード
 - みてねの特徴のひとつで、競争力の源泉 
 - 増え続けるS3コストとの戦い 
 - サービスの成長・ユーザー体験を損なわない範囲でS3コスト削減を実現することがミッション 

6. MIXI, Inc. S3 Standard-IA ストレージクラスの活用（2018年2月）
 - みてねでは画像・動画共に、複数の解像度のファイルを保存している 
 - アップロードした画像・動画（original）
 - 再生用に解像度を調整した画像・動画（smartphone）
 - サムネイル（S/M/L）
 - Standard-IA ストレージクラスはStandardストレージクラスに比べ、 
 GB単価が安いがデータの取り出し料金が発生する 
 - originalサイズはアクセス頻度が少なく解像度が高い（＝ファイルサイズが大きい）ので、Standard-IA スト レージクラスが最適 
 - originalサイズの大半をStandard-IA ストレージクラスに変更し、大幅なコスト削減を達成！ 
 - ただし、アップロード直後はアクセス頻度が多いのでライフサイクルルールを活用

7. MIXI, Inc. - 再生用に解像度を調整した動画（smartphone）のストレージコストを下げるためのチャレンジ 
 - smartphoneサイズ動画を再生リクエストに応じて動的に生成・配信を行えば、 
 S3のコストが劇的に下がるのでは？というアイディア 
 - HLS(HTTP Live Streaming)を用いて実装 
 - 結果的にS3上のデータを 数PB(ペタバイト)削減 することに成功！
 - 詳細は「みてねの動画再生にHLSを導入した話」をご覧ください 
 - https://team-blog.mitene.us/hls-6b749943c0b9
 HLSを用いた再生用動画のオンデマンド配信（2022年3月）

8. MIXI, Inc. - AWS re:Invent 2021にてS3 Glacier Instant Retrievalストレージクラスが登場 
 - Standardストレージクラスなどと同様、ミリ秒単位のデータ取得が可能！
 - Standard-IAストレージクラスに比べ大幅にGB単価が安い！
 - 全面的にStandard-IAストレージクラスからS3 Glacier Instant Retrievalストレージクラスへ乗り換え 
 - 結果、HLSを活用した 数PBのデータ削減によるコスト削減費が霞んでしまうほどの 
 コスト削減を達成！
 S3 Glacier Instant Retrieval ストレージクラスによる革命（2022年3月）

9. MIXI, Inc. - Reserved Instances(RI)とSavings Plans(SPs)共に積極的に運用 
 - EC2を中心にSPsでカバーできる部分はSPsを優先
 - RDSやElastiCacheはRIを利用
 - 特にEC2は、スポットインスタンスとSPsの積極的な活用によって 
 通常のオンデマンドインスタンスの価格でほぼ利用がない状態 を実現
 - 詳細は「『家族アルバム みてね』に学ぶ、AWSのReserved InstancesとSavings Plansの勘所」をご覧くださ い
 - https://gihyo.jp/article/2022/12/mitene-03aws-ri-sps
 RI/SPsの活用

10. MIXI, Inc. - S3のコスト削減にはストレージクラスの特徴を理解して使いこなすことが重要 
 - かつ、S3に保存されるデータ量自体を減らす施策も効果絶大 
 - EC2などのコンピュートリソースはスポットインスタンスの活用や、 
 これまでの実績から未来を予測して精度の高いRI/SPsの購入計画を立てる 
 まとめ

11. MIXI, Inc.