Upgrade to Pro — share decks privately, control downloads, hide ads and more …

【D2-S1】MIXIオンプレミス設備のこれまでとこれから~そして印西へ~ | #MTDC20...

【D2-S1】MIXIオンプレミス設備のこれまでとこれから~そして印西へ~ | #MTDC2024 | MIXI TECH DESIGN CONFERENCE 2024

━━━━━━━━━━━━━━━━━━━━━━━━━━━━
MIXI TECH DESIGN CONFERENCE 2024 - SESSION ARCHIVE
━━━━━━━━━━━━━━━━━━━━━━━━━━━━
3/19(火) 14:00 〜 14:20|D2-S1

MIXIオンプレミス設備のこれまでとこれから~そして印西へ~

アプリケーション開発のイメージが強いMIXIですが、実は低レイヤー技術でも様々な挑戦をしてきています。
これまで10年以上都内拠点のみでハイブリッドクラウド環境を運用してきたのですが、2024年、ついに東京都外へと進出することを決定しました。どうして今郊外へ設備を打つのか。普段データセンターファシリティとは関わりのない方にもわかりやすいよう、オンプレミスの拠点選定の基本の考え方や周辺環境の変化とともにお話をさせていただきます。

開発本部 たんぽぽ室 インフラグループ
山田 千紗 / Chisaya Yamada

────────────────────────────
□セッション情報
https://techcon.mixi.co.jp/2024/d2-s1.html
□イベントハッシュタグ
#MTDC2024
━━━━━━━━━━━━━━━━━━━━━━━━━━━━

◇◆◇ Information ◇◆◇
X(旧Twitter)
https://twitter.com/mixi_engineers
MIXI Developers Blog (medium)
https://mixi-developers.mixi.co.jp/
Slide (SpeakerDeck)
https://speakerdeck.com/mixi_engineers/
MIXI Design note
https://note.com/mixi_design/
採用情報
https://mixigroup-recruit.mixi.co.jp/
connpass
https://mixi.connpass.com/
HP
https://mixi.co.jp/

MIXI ENGINEERS

March 19, 2024
Tweet

Video

More Decks by MIXI ENGINEERS

Other Decks in Technology

Transcript

  1. ©MIXI 2 本日のアジェンダ • 自己紹介 • 構成概要 • 設備の変遷 •

    現状の課題感と要件 • 印西について ◦ AWS Direct Connect 検証 ◦ データセンター間接続 • まとめ
  2. ©MIXI 3 自己紹介 名前:山田 千紗 経歴: 2015/3 大学(生物学系学科)卒 2015/4~ISP関連会社 2018/5~株式会社ミクシィ(現:株式会社MIXI) 普段の業務:

    • モンスターストライクのオンプレミス設備 • TIPSTARのオンプレミス設備(競輪場 /データセンター) • MIXI Mのオンプレミス設備 • 関空アイスアリーナなどの IPS設備 上記の設計~運用までまるっと そのほか: 日本酒と猫が好きです 今日はここのお話!
  3. ©MIXI 6 MIXIのオンプレミス設備 • SNS mixiの時代からオンプレミス設備を運用 • 現在の設備の大多数はモンスターストライク用のサーバ、NW機材 • モンスターストライクのアプリ内部の通信を処理

    ◦ Cache, Database, Application etc… ◦ アプリケーションの配信は別設備 • オンプレミス設備 + 複数パブリッククラウド • ゲーム内イベントに連動してトラフィック量が大きく変動する ◦ 通常時の数倍に跳ね上がる • 一部、遅延要件が非常に厳しい区間がある
  4. ©MIXI 7 概略構成図 拠点A 拠点B • 都内に複数拠点 • 拠点間接続はダークファイバを利用 •

    地理的冗長をとる 物理回線の経路が地図上で重複しないこと • 複数のクラウドと専用線で接続 ◦ 1つの接続先へ複数拠点から接続 • インターネットへの出口も複数持つ • 各所でN+2冗長を採用 ◦ 1系統をメンテナンスにいれても N+1冗 長が確保される のちほど詳しく 拠点C クラウド インターネット
  5. ©MIXI 8 設備の変遷 (1) ~2019年 柔軟性を重視 • アクセスが増大する時の一時増設用としてクラウドを利用 獣神祭やコラボ •

    クラウドの専用線接続の増設まで行っていたことも • クラウドはオンプレミスサーバに比べると遅延が乗る • 専用線接続部分が不安定になると通信が巻き込まれる • 大規模に増設する場合はクラウド事業者との事前ネゴが必要 トラフィック量 クラウド オンプレミス
  6. ©MIXI 9 設備の変遷 (2) 2019年~2023年 長期運用を見据えた構成へ • 都内に新拠点を開設 • ピーク時のTrafficも賄えるだけのオンプレミスサーバを増設

    • クラウドインスタンスをほぼ使用しなくなる ◦ 長期運営を見越した場合にコストメリットが高い ◦ クラウドインスタンスに比べて安定性が高く、かつ低遅延 トラフィック量 オンプレミス
  7. ©MIXI 10 2024年に向けて 前回の設備更改から5年が経過… • 次世代の設備をどうするかを考え直す時期 • 現状から設備を大きく増設する可能性は低い 環境を取り巻く背景の変化 •

    既存データセンターのスペースの枯渇 • 電気代高騰によるコロケーションの月額料金の値上げ • 都内拠点の電気の枯渇 • クラウドインスタンスの進化 • クラウド接続の安定性の向上
  8. ©MIXI 14 検証構成図 apne1-az1 c5.xlarge Instance apne1-az2 c5.xlarge Instance apne1-az4

    c5.xlarge Instance AWS router MIXI switch-A MIXI switch-B Direct connect (10G) MIXI server • switch-A,B は異ベンダの機材を使用。 • サーバはfrrを使用。 • switch ~ サーバ間はBGPで接続。 NEC 印西データセンター • 東京リージョン内の3つのAZにそれ ぞれインスタンスを作成。 • 各インスタンスはENA enable  ※低遅延なネットワークインターフェース
  9. ©MIXI 15 オンプレミス⇔EC2間 RTT測定結果 AZ ID min avg(ms) max(ms) mdev

    apne1-az4 0.353ms 0.376 0.409 0.029 apne1-az1 apne1-az2 2.1ms程度 2.1ms程度 2.1ms程度 0.058 (一例) オンプレミスサーバ~EC2インスタンス間が非常に低遅延で通信可能 ※ただし低遅延通信とAZ冗長を両立することは不可 ※値はすべて2023/7/13時点のものです
  10. ©MIXI 16 オンプレミス⇔EC2間 RTT測定結果 AZ ID min avg(ms) max(ms) mdev

    apne1-az4 0.353ms 0.376 0.409 0.029 apne1-az1 apne1-az2 2.1ms程度 2.1ms程度 2.1ms程度 0.058 (一例) 拠点A 拠点B クラウドインスタンス オンプレ間:~0.5ms これまで クラウド~オンプレ間: ~5ms ※値はすべて2023/7/13時点のものです
  11. ©MIXI 17 オンプレミス⇔EC2間 RTT測定結果 AZ ID min avg(ms) max(ms) mdev

    apne1-az4 0.353ms 0.376 0.409 0.029 apne1-az1 apne1-az2 2.1ms程度 2.1ms程度 2.1ms程度 0.058 (一例) NEC印西 クラウドインスタンス クラウド~オンプレ間: ~0.4ms オンプレ間:~0.5ms 印西DX 拠点B ※値はすべて2023/7/13時点のものです
  12. ©MIXI 21 ダークファイバー接続 回線事業者から光ファイバーを借りる。 • 帯域が大きくなるほど専用線と比べたコストメリットが高い • 帯域は自由に変更が可能である ◦ 400G,800Gも夢ではない

    • 伝送設備は利用者側で用意する必要がある。 ◦ 初期投資が大きい、運用コストが大きい • ファイバーの長さに応じて回線の金額が決定する ◦ 接続先が遠方になるほど高価に… PROS CONS MIXIルータ 拠点A MIXIルータ 拠点B 光伝送装置 光伝送装置 ※黄色がMIXI管理部分
  13. ©MIXI 25 波長貸しサービス • 物理回線はサービス提供事業者が手配、運用 • 光ケーブル内を通過可能な波長のうち、特定波長のみを借用する • 伝送装置は利用者側が用意する必要あり •

    帯域は利用者側で決定できる • ダークファイバに比べて安価 • 光増幅装置もサービス提供事業者が手配 ◦ 責任分界点での光信号強度が保証されている   MIXIルータ 拠点A MIXIルータ 拠点B 光伝送装置 光伝送装置 ※黄色がMIXI管理部分 光回線は他事業者と共用
  14. ©MIXI 28 まとめ:これからのMIXIのオンプレミス設備 • 印西に新拠点を開設、都内拠点の整理と集約を実施 • 波長貸しサービスの利用によって回線コストを圧縮 ◦ 遠方拠点のデメリットを打ち消すことができた •

    かつてない低遅延でAWSとの通信が可能になる • オンプレミスとクラウドを組合わせてクラウドの新しい活用方法を見出 していく ◦ アプリケーションサーバ以外もクラウド上へ配置する ◦ ロードバランサ、データベースサーバ、etc…夢は広がる