Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ある日突然 DB の性能が 1/2(サイズのインスタンス相当)になった話
Search
hmatsu47
PRO
September 02, 2024
Technology
0
21
ある日突然 DB の性能が 1/2(サイズのインスタンス相当)になった話
ゆる SRE 勉強会 #7 ~ 1 周年記念企画 真夏の SRE 怖い話 ~ 2024/8/30
hmatsu47
PRO
September 02, 2024
Tweet
Share
More Decks by hmatsu47
See All by hmatsu47
pgvectorscale と pgai の話(ざっくり)
hmatsu47
PRO
0
17
pgvector 0.7.0 の新機能と、これから来る(かもしれない)pgvectorscale
hmatsu47
PRO
0
14
大人の社会科見学 ~ NTT 技術史料館に行ってみよう!
hmatsu47
PRO
0
360
pgvector 0.6.0 以降の進化についてざっくり取り上げてみる
hmatsu47
PRO
0
36
Cloudflare Workes からMySQL 系 DB への接続事情(2024/4 現在)
hmatsu47
PRO
0
82
BuriKaigi2024 にボランティアスタッフとして参加した話
hmatsu47
PRO
0
68
Aurora MySQL と Redshift の zero-ETL 統合のフィルター機能を試してみた
hmatsu47
PRO
0
120
Aurora MySQL 3.06 の ML 機能で Bedrock アクセスを試してみた
hmatsu47
PRO
0
86
RDS Data API と Aurora zero-ETL 統合と BuriKaigi2024 の話
hmatsu47
PRO
0
44
Other Decks in Technology
See All in Technology
Creative UIs with Compose: DroidKaigi 2024
chrishorner
1
230
LandingZoneAccelerator と学ぶ 「スケーラブルで安全なマルチアカウントAWS環境」と 私たちにもできるベストプラクティス
maimyyym
1
130
Envoy External AuthZとgRPC Extensionを利用した「頑張らない」Microservices認証認可基盤
andoshin11
0
220
効果的なオンコール対応と障害対応
ryuichi1208
5
2.7k
どこよりも遅めなWinActor Ver.7.5.0 新機能紹介
tamai_63
0
100
Optuna: a Black-Box Optimization Framework
pfn
PRO
1
110
Mocking in Rust Applications
taiki45
1
380
「自動テストのプラクティスを効果的に学ぶためのカードゲーム」 ( #sqip2024 )
teyamagu
PRO
1
160
ロボットアームを遠隔制御の話 & LLMをつかったIoTの話もしたい
soracom
PRO
1
270
Oracle Exadata Database Service(Dedicated Infrastructure):サービス概要のご紹介
oracle4engineer
PRO
0
9.5k
Agile in Automotive Industry, puzzles and lights.
hiranabe
2
580
エンジニア視点で見る、 組織で運用されるデザインシステムにするには
shunya078
1
300
Featured
See All Featured
How STYLIGHT went responsive
nonsquared
93
5.1k
Creatively Recalculating Your Daily Design Routine
revolveconf
215
12k
Documentation Writing (for coders)
carmenintech
65
4.3k
The Art of Programming - Codeland 2020
erikaheidi
48
13k
WebSockets: Embracing the real-time Web
robhawkes
59
7.3k
Faster Mobile Websites
deanohume
304
30k
Building Applications with DynamoDB
mza
90
6k
Optimising Largest Contentful Paint
csswizardry
30
2.8k
Practical Orchestrator
shlominoach
185
10k
A designer walks into a library…
pauljervisheath
201
24k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
A Philosophy of Restraint
colly
202
16k
Transcript
ある日突然 DB の性能が ½ になった話 ゆる SRE 勉強会 #7 ~
1 周年記念企画 真夏の SRE 怖い話 ~ 2024/8/30 まつひさ(hmatsu47)
ある日突然 DB の性能が ½ になった話 ゆる SRE 勉強会 #7 ~
1 周年記念企画 真夏の SRE 怖い話 ~ 2024/8/30 まつひさ(hmatsu47) サイズのインスタンス相当
自己紹介 松久裕保(@hmatsu47) • https://qiita.com/hmatsu47 • 現在: ◦ 名古屋で Web インフラのお守り係をしています
◦ SRE チームに所属しつつ技術検証の支援をしています ▪ フロントエンド(Next.js App Router)など ◦ 仕事に関係なく pgvector の周辺を追っかけ中です ▪ 本来(?)は MySQLer です 3
それは真夏…じゃなくて真冬の出来事 • 2018 年、正月 ◦ その前に、 4
前年の某社(オンプレ運用) • 壊れるストレージ ◦ 冗長化電源が両系同時故障 • 繋がらない修理窓口 ◦ 専属担当者付きのプレミアムサポートのはずなのに ▪
下位サポート窓口の支援に追われて本来の担当窓口に出られず🤔 • 終わらない修理立ち会い ◦ 保守部品への交換完了→動作確認→保守部品の不良発覚→再修理 ◦ 金曜夜に故障→土曜に直らず→日曜夜まで修理は続く 5
秋になり、 • なんとか AWS への Lift & Shift が完了 ◦
DB は MySQL → Aurora MySQL へ ◦ でも、若干不安定… ◦ アクセスが多いときフェイルオーバーすると DB 接続が刺さる ▪ オンプレ比でネットワークレイテンシが大きくなったため 6
有効な解決策がないまま、年末年始へ • そして 2018 年 1 月 3 日、 7
あいつらがやってきた! • Meltdown & Spectre 8 コンニチハ! \ /
と同時に、 • AWS のコンピュート基盤にパッチが当てられる(1 回目) ◦ 結果、起きたことは… 9
AWS コンピュート基盤性能低下 • 「EC2 上で動作中の memcached の性能が ⅔ になった」 ◦
ネットから流れてきた情報 • …Aurora は? 10
やっぱり性能低下していた • 同タイプ 1 段階下(½ サイズ)相当の性能に(約 ⅔) https://qiita.com/hmatsu47/items/656ebb6575c31bf1a90e 11
仕事始め早々、 • 祈りながら🐶のメトリクスグラフを眺め続けることに ◦ DB(Aurora)も心配だけど Web(EC2)も気になる… • いざとなったらスケールアップできるよう手配 ◦ 稟議を通す(💰の弾丸)
◦ ついでに新しいインスタンスタイプへの変更(R3 → R4)を準備 12
数日後、いきなり • 性能が(ほぼ)元に戻った https://qiita.com/hmatsu47/items/656ebb6575c31bf1a90e 13
結局、 • スケールアップは不要に ◦ 新しいインスタンスタイプへの変更(R3 → R4)のみ実施 ▪ 少しだけ性能アップ 14
その後、 • DB 接続の改善を実施 ◦ コネクションプーリングライブラリを(高速なものに)置き換え • フェイルオーバーが怖くなくなった! 15
一安心。 • しかし、怖い話には続きが… 16
ある日の偉い人(フィクションです。たぶん) 【補足】 当時、満足な性能が出てクラウド間レプリケーションが可能な 他クラウドの MySQL 系マネージドサービスはありませんでした (GCP の Cloud
SQL for MySQL は v1・v2 とも要件を満たさず) さすがに IaaS はいやです… 17 AWS だけでは不安だ マルチクラウド化を進めてくれ