Upgrade to Pro — share decks privately, control downloads, hide ads and more …

休日・夜間のインスタンス自動停止をSREチームで運用してみた / The CoDMON SRE...

休日・夜間のインスタンス自動停止をSREチームで運用してみた / The CoDMON SRE team tried to operate instance automatic shutdown on holidays and at night

コドモン開発チーム

August 27, 2024
Tweet

More Decks by コドモン開発チーム

Transcript

  1. 5

  2. 8 CONFIDENTIAL - © 2022 CoDMON Inc. 8 休日・夜間のインスタンス停止の概要 •

    土日祝・夜間など人が使わない時間帯で、従量課金されるインスタンス群を 停止することで、AWSコスト削減をねらう • EC2・RDS・ECS(停止ではなく稼働するタスク台数を0にする)などで実施 可能
  3. 9 CONFIDENTIAL - © 2022 CoDMON Inc. 9 コスト削減効果(例:Aurora MySQL)

    運用方式 \ DBインスタンスクラス db.t4g.medium db.t4g.large db.r5.xlarge デフォルト(オンデマンドインスタ ンスを常時稼働) $81.36 $162 $504 リザーブドインスタンス購入(1年 間全額前払い) $59.16 $118.3 $284 土日24時間・平日00:00~08:00 イ ンスタンスを停止 $39.77 $79.2 $246.4 Aurora MySQL DBインスタンス1台を東京リージョンで運用した際の 月額金額比較 ※1カ月を30日・土日8日・祝日なし として計算 参照:https://aws.amazon.com/jp/rds/aurora/pricing/
  4. 10 CONFIDENTIAL - © 2022 CoDMON Inc. 10 休日・夜間のインスタンス停止の使いどころ •

    リザーブドインスタンス・Savings Plans よりも高い費用削減効果が得られ る可能性がある ◦ RI・SPの費用節減率や、停止可能時間にもよるので計算が必要 • 運用(本番)環境はリザーブドインスタンス・Savings Plansを活用してコスト 削減し、開発環境では休日・夜間のインスタンス停止を活用する など使い分 けが重要
  5. 12 CONFIDENTIAL - © 2022 CoDMON Inc. 12 インスタンス自動停止の基本的な実装方法 •

    EventBridge Scheduler を用いて簡単に実装可能 ◦ 任意のスケジュール日時でAPIを実行することができる
  6. 13 CONFIDENTIAL - © 2022 CoDMON Inc. 13 EventBridge Schedulerから自動停止/起動を実施する

    EC2 RDS ECS StartInstances StopInstances StartDBCluster / StartDBInstance StopDBCluster / StopDBInstance UpdateService ↓入力値 { "Cluster": "<ECSクラスター名>", "Service": "<ECSサービス名>", "DesiredCount": 0 / 任意のタスク数 }
  7. 14 CONFIDENTIAL - © 2022 CoDMON Inc. 14 複数のインスタンスを実行対象にしたい場合 •

    RDS・ECSではEventBridge Schedulerのターゲットに複数のリソースを指 定することができない... ◦ AWS Step Functionsを利用して、複数リソースに対してAPIを実行可能 実行対象リソースを入力値で渡す 複数リソースに対してAPI実行
  8. 16 CONFIDENTIAL - © 2022 CoDMON Inc. 16 前提 •

    開発環境Auroraの自動停止について取り上げる • 各チームごとにAurora DBクラスターが存在し、それらの自動停止/起動を SREチームで運用している ◦ Aurora DBクラスターの新設・削除などは各チームに委ねられているので、SRE チームが全て把握はしていない
  9. 18 CONFIDENTIAL - © 2022 CoDMON Inc. 18 やりたいこと •

    各開発チームが所有するAurora DBクラスターを抜け漏れなく自動停止/起動 させたい ◦ ただし、特定のAurora DBクラスターを自動停止対象から除外したいケースも発 生するので、柔軟に対応できるようにしたい
  10. 19 CONFIDENTIAL - © 2022 CoDMON Inc. 19 実現方法 {

    "Ignore_DbClusterIdentifiers": [ "対象外のAurora DBクラスター識別子名", … ] } 自動停止対象外のAurora DBクラス ター識別子名を入力値として渡す 全てのAurora DBクラスター 名を動的に取得 対象外DBはスキップ 対象DBは停止/起動API実行 対象かどうか確認
  11. 20 CONFIDENTIAL - © 2022 CoDMON Inc. 20 実現方法 •

    最初に全てのAurora DBクラスター名を動的に取得しているので、新規DBが 増えても抜け漏れが発生しない • 対象外のAurora DBクラスター識別子名を渡す入力値箇所はコード管理して おり、柔軟に対応可能
  12. 22 CONFIDENTIAL - © 2022 CoDMON Inc. 22 やりたいこと •

    土日だけでなく、祝日もAuroraを自動停止したい ◦ 祝日かどうかを判定する仕組みが必要
  13. 23 CONFIDENTIAL - © 2022 CoDMON Inc. 23 実現方法 •

    AWS Systems Manager Change Calendar を利用する ◦ サードパーティのカレンダー(Google Calendars・Microsoft Outlook Calendars …)をインポートして、祝日を取り込む ◦ GetCalendarState というAPIを呼び出すことで、実行日が祝日かどうか判定可能
  14. 24 CONFIDENTIAL - © 2022 CoDMON Inc. 24 実現方法 ・月~金

    08:00 自動起動 ・月~金 00:00 自動停止 実行日が祝日の場合、08:00 の自動起動をスキップ → 祝 日もAuroraを停止状態に
  15. 25 CONFIDENTIAL - © 2022 CoDMON Inc. 25 実現方法 ・月~金

    08:00 自動起動 ・月~金 00:00 自動停止 実行日が祝日の場合、08:00 の自動起動をスキップ → 祝 日もAuroraを停止状態に Change Calendar更新作業が手間な場 合は、外部APIを実行して祝日取得 ~ 判 定する方法もある
  16. 27 CONFIDENTIAL - © 2022 CoDMON Inc. 27 まとめ •

    休日・夜間のインスタンス停止は、AWSコスト削減に効果がある • 自動停止/起動の仕組みは簡単に実装でき、要件に合わせてカスタマイズも可 能