Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
『家族アルバム みてね』 AWSマルチリージョン構成における データベース運用 / Famil...
Search
kohbis
June 08, 2023
Technology
5
3.1k
『家族アルバム みてね』 AWSマルチリージョン構成における データベース運用 / FamilyAlbum Database in AWS multi-region
【TimeTree × みてね勉強会】 グローバル対応への挑戦 〜SRE/インフラ編〜
https://mixi.connpass.com/event/285041/
kohbis
June 08, 2023
Tweet
Share
More Decks by kohbis
See All by kohbis
Custom Prometheus Exporterによる オブザーバビリティ拡張 / Extending observability with Custom Prometheus Exporter
kohbis
1
110
データベースで見る『家族アルバム みてね』の変遷 / The Evolution of Family Album Through the Lens of Databases
kohbis
5
1.2k
SREコミュニティイベントとわたし / Me and SRE community events
kohbis
1
180
サクッと試すNew Relic Kubernetes APM auto-attach / New Relic Kubernetes APM auto-attach
kohbis
0
360
悩ましきインシデント管理 みてねのケース / Incident management is a tough
kohbis
2
760
サービス成長と共に肥大化するモノレポ、長くなるCI時間 / As services grow, monorepos get bigger and CI time gets longer
kohbis
5
3.2k
そこまで大規模じゃない EKS環境を(あまり)頑張らずに 最新化し続けたい / FamilyAlbum EKS Continuous Improvement
kohbis
2
1.8k
1,800万人が利用する『家族アルバム みてね』におけるK8s基盤のアップグレード戦略と継続的改善 / FamilyAlbum's upgrade strategy and continuous improvement for K8s infrastructure
kohbis
5
4.1k
『家族アルバム みてね』の安定リリースを支えるEKS運用 / FamilyAlbum release-flow on EKS
kohbis
2
1.6k
Other Decks in Technology
See All in Technology
セキュリティSaaS企業が実践するCursor運用ルールと知見 / How a Security SaaS Company Runs Cursor: Rules & Insights
tetsuzawa
0
460
Machine Intelligence for Vision, Language, and Actions
keio_smilab
PRO
0
500
Azure Developer CLI と Azure Deployment Environment / Azure Developer CLI and Azure Deployment Environment
nnstt1
1
130
面接を通過するためにやってて良かったこと3選
sansantech
PRO
0
130
mnt_data_とは?ChatGPTコード実行環境を深堀りしてみた
icck
0
210
障害を回避するHttpClient再入門 / Avoiding Failures HttpClient Reintroduction
uskey512
1
140
AIとSREの未来 / AI and SRE
ymotongpoo
2
1.3k
名刺メーカーDevグループ 紹介資料
sansan33
PRO
0
740
Digitization部 紹介資料
sansan33
PRO
1
3.8k
人とAIとの共創を夢見た2か月 #共創AIミートアップ / Co-Creation with Keito-chan
kondoyuko
1
710
やさしいClaude Code入門
minorun365
PRO
32
25k
会社紹介資料 / Sansan Company Profile
sansan33
PRO
6
360k
Featured
See All Featured
The Pragmatic Product Professional
lauravandoore
35
6.7k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
48
5.4k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.6k
The Straight Up "How To Draw Better" Workshop
denniskardys
233
140k
Side Projects
sachag
454
42k
Thoughts on Productivity
jonyablonski
69
4.7k
Speed Design
sergeychernyshev
30
970
Designing Experiences People Love
moore
142
24k
VelocityConf: Rendering Performance Case Studies
addyosmani
329
24k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
850
Transcript
『家族アルバム みてね』 AWSマルチリージョン構成における データベース運用 @kohbis 2023/06/08 TimeTree × みてね勉強会
MIXI, Inc. About Me Kohei SUGIMOTO 株式会社MIXI 2022/04 ~『家族アルバム みてね』
SRE Twitter : @kohbis
MIXI, Inc. Agenda 1. 『家族アルバム みてね』とは 2. 『家族アルバム みてね』の AWS
マルチリージョン構成 3. Amazon Aurora Global Database の活用 4. Amazon DynamoDB Global Tables の活用 5. Amazon ElastiCache for Memcached の活用 6. まとめ
MIXI, Inc. 『家族アルバム みてね』
MIXI, Inc. 子どもの写真・動画を家族で共有し、 コミュニケーションして楽しむサービス
MIXI, Inc. 子どもの写真・動画を、無料・無制限に 共有できるスマートフォンアプリです
MIXI, Inc.
MIXI, Inc. 家族アルバム みてね 世界中の家族の”こころのインフラ”を作る • 2015年4月リリース • 現在7言語・175の国と地域でサービスを提供 •
海外では FamilyAlbum という名称で展開中 • 2022年8月に利用者数が1,500万人を突破 ※1 • 日本国内ではママやパパの半数となる47.1%の 方がご利用 ※2 ※1 iOS・Android™ アプリ登録者数、ブラウザ版登録者数の合計 ※2「みてね」登録時に入力されたお子さまの誕生日と厚生労働省発表「人口動態統計」から算出。2022年8月時点で47.1%
MIXI, Inc. 『家族アルバム みてね』の AWS マルチリージョン構成
MIXI, Inc. 『家族アルバム みてね』のマルチリージョン概要 • 目的は海外ユーザー体験向上 ◦ 近いリージョンにアクセスできる = レスポンスタイム改善
• 現在は 2 リージョン構成 ◦ 東京リージョン(ap-northeast-1) ◦ バージニア北部リージョン (us-east-1) • ユーザー体験につながる特定のAPI ◦ 例 ▪ アプリ起動時 ▪ アルバムや写真の閲覧
MIXI, Inc. 『家族アルバム みてね』の AWS マルチリージョン概要 • API リクエストの振り分け ◦
CloudFront & Route 53 のレイテンシー ルーティング • データベースのレプリケーション ◦ Aurora Global Database ◦ DynamoDB Global Tables • オブザーバービリティ ◦ 東京リージョンの Managed Service for Prometheus にメトリクス集約 本日はデータベース周りのお話
MIXI, Inc. Amazon Aurora Global Database
MIXI, Inc. Amazon Aurora Global Database • ストレージベースの物理レプリケーション • どのリージョンでも通常
1 秒未満の レプリケーション (参考)Cross-region read Replica • バイナリログによる論理レプリケーション • ワークロードの変更率、リージョン間の ネットワークに強く依存 制約に当てはまらない限りは Global Database 推奨 ※ 参考元: https://aws.amazon.com/jp/dynamodb/global-tables/ ※ 2023/06 時点の AWS ドキュメントより
MIXI, Inc. Amazon Aurora Global Database を導入するまで • 当時利用していた RDS
Proxy のサポートがさ れておらず Cross-region Read Replica の検 証からはじめた • 試しに本番環境に作成したところ(みてねの 場合は)ピーク時に数時間レベルのレプリ ケーションラグが発生することが発覚 ⇩ RDS Proxy を頑張って外すしかない! • DB コネクション数の詳細調査 • DB コネクション数を減らすためのチューニ ング
MIXI, Inc. Amazon Aurora Global Database を導入するまで • 主に K8s
と Rails(Puma)のチューニング • 意図せずしてアプリケーションのリソース効率が大幅に改善 • RDS Proxy にかかるレスポンスタイム改善(10~20ms)とコスト削減 • Global Database を導入できるように
MIXI, Inc. Amazon Aurora Global Database を導入、運用してみて • Global Database
へのリージョン追加やクラスター削除(スタンドアロンへ昇格)はダウンタイム なしで実施可能 ◦ プライマリ DB への影響なく「とりあえず試したい!」ができる • レプリケーションが安定してはやい ◦ みてねのワークロードでは 100~300 ms で推移
MIXI, Inc. Amazon Aurora Global Database 運用上の課題 ※2023/06時点 • Aurora
MySQL 最新バージョンへの対応 ◦ 「Global Database ではまだ利用できない」ケースがある ◦ 最新(3.03.*)へのマイナーバージョンアップグレードには Global Database 再作成が必要 • インスタンスサイズの制約 ◦ 最低でも large 以上 ◦ プライマリーとセカンダリーは同じインスタンスサイズを推奨 ▪ ワークロードに対応しきれずセカンダリーの突発的な再起動が発生する可能性 → 開発や負荷が低い場合でもコストミニマムなインスタンスサイズを選択できない • 書き込み転送は検討中 ◦ 当初の目的である「海外ユーザーの閲覧体験」はすでに大きく改善
MIXI, Inc. Amazon Aurora Global Database 導入時のこぼれ話 Global Database とのすれ違いの日々
• RDS Proxy ◦ 2022年10月に RDS Proxy を外す → 12月に Global Database サポート • Aurora MySQL 2 → 3 系へのメジャーバージョンアップグレード ◦ 2023年2月上旬に Global Database 再作成で対応 → 2月下旬に In-place でのメジャーバージョンアップグレードが可能に 逆に言えば、機能アップデート・追従が活発に行われているということ(※希望的観測)
MIXI, Inc. Amazon DynamoDB Global Tables
MIXI, Inc. Amazon DynamoDB Global Tables • 通常 1 秒以内にすべてのレプリカテーブルに伝播
• ローカルのテーブルへの高速な読み取りと書き込 み ユーザーセッションのみ Aurora MySQL から切り出し • セッション管理は高頻度で呼び出される API = アプリ内の多くの操作でユーザー体験に直結 = 書き込み処理だがマルチリージョン化した い! 参考元: https://aws.amazon.com/jp/dynamodb/global-tables/
MIXI, Inc. Amazon DynamoDB Global Tables を導入、運用してみて • Global Tables
の追加、削除が容易 • レプリケーションがみてねのワークロードのピーク時で 1 秒前後で完了 ◦ Aurora Global Database よりは遅いが、みてねのユースケースでは十分に許容できる ◦ 基本的にはローカルでの書き込み/読み込みになるので高速(数 ms)
MIXI, Inc. Amazon DynamoDB Global Tables の注意点 ※2023/06時点 • オペレーションに対するキャパシティユニットの制限
◦ DynamoDB ではリザーブドキャパシティを購入してコスト削減 ◦ Global Tables では 書き込みキャパシティユニット(WCU)ではなくレプリケート書き込み キャパシティユニット(rWCU)で計算される ▪ レプリケート書き込みキャパシティユニット(rWCU) • リージョン分だけ rWCU が増える • リージョンによってユニット単位のコストも異なる ▪ ただし rWCU はリザーブドキャパシティを購入することはできない
MIXI, Inc. Amazon ElastiCache for Memcached
MIXI, Inc. Amazon ElastiCache for Memcached • それぞれのリージョンに ElastiCache for
Memcached クラスターを配置 • 毎回必要なデータ(ユーザーや家族)をキャッ シュしておく ◦ さらなるレスポンス高速化 ◦ マルチリージョン以前から活用 ▪ マルチリージョン構成でさらなる効果 (補足)Amazon ElastiCache for Redis - Global Datastore • ElastiCache for Redis のクロスリージョンリードレプリカクラスターを作成できる • みてねの用途には合わないので現状検討していない
MIXI, Inc. まとめ
MIXI, Inc. まとめ • 『家族アルバム みてね』は海外ユーザー体験向上のためにマルチリージョン化 • Aurora MySQL Global
Database で高速で安定したレプリケーション • DynamoDB Global Tables でピンポイントに利用してさらに改善 • ElastiCache for Memcached で毎回必要なデータをキャッシュして高速化 今回ご紹介したのは2022年10月のマルチリージョン化後に さらに試行錯誤して “みてね” に最適なかたちを目指した構成。 ほかの取り組みについても、ぜひブログなどご覧ください! https://team-blog.mitene.us/
MIXI, Inc.