Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ホスティング事業におけるSREの取り組みとSREの面白さ/SRE Efforts in the...

ホスティング事業におけるSREの取り組みとSREの面白さ/SRE Efforts in the Hosting Business and the Interest of SRE

Pepabo tech conference #20

Takuma Kume

April 14, 2023
Tweet

More Decks by Takuma Kume

Other Decks in Technology

Transcript

  1. ホスティング事業部における SREの面白さ • 世にないアーキテクチャを生み出す面白さ • ホスティングはコストを抑えつつ大量の Webサイトを運用するというニッチな領域 • 前例のないミドルウェアやアーキテクチャを生み出すチャレンジングな仕事 •

    幅広い技術を取り扱うことの面白さ • ホスティングは一般的な Webアプリケーションと異なり、数百人で 1台のサーバを共有するマルチ テナントアーキテクチャのため Linux Kernelなどの低レイヤの技術も必要 • WebアプリやKubernetesを始めとしたプラットフォームの運用 • オンプレのBaremetal Server、プライベートクラウド、パブリッククラウドの使用 • 様々な技術スタックに触れることができるためエンジニアとしての成長機会が多い 5
  2. ホスティング事業部における SREの領域 13 ホスティングサービスの全体像 プライベートクラウド( OpenStack) Kubernetes Web Apps (サービスサイト、

    コントロールパネル 等) ユーザ向けホスティングサーバ (Web、DB 等) Baremetal ホスティング事業部のSREの領域 Baremetal
  3. ホスティング事業部における SREの領域 14 • Baremetal Serverの運用 • ホスティングインフラプラットフォームの開発・運用 • Webアプリケーションプラットフォームの開発・運用

    • プロダクトの安定性や信頼性向上のためのモニタリングと改善 • 各種オペレーションの自動化 • SRE文化の醸成、各チームへの展開 SREの仕事
  4. ホスティング事業部における SREの領域 15 ホスティングインフラプラットフォームの開発・運用 • サーバの構成管理(IaC) • ユーザーのオーダーからホスティング環境のプロビジョニングを行う API •

    マルチテナントホスティングサーバのセキュリティ担保 • 新機能や技術課題を解決するためのアーキテクトやミドルウェア等の開発
  5. SREの取り組み 19 Web Server Web Server Web Server API Control

    Panel FTP Proxy SSH Proxy Reverse Proxy … a.jp b.jp c.jp z.jp 全体像 ユーザーからのオーダーを受け取り Web Server にセットアップ FTPアクセスを制御 SSHアクセスを制御 TLS終端 キャッシュ、フィルタリングルールの実行 HTTPアクセスを制御 500+ 250万+
  6. SREの取り組み 20 大量のドメインに対するリクエストハンドリング • 課題 • リバースプロキシは大量のドメインに対して以下の要件を満たさなければならない。 • コンテンツをホストしているWebサーバを選択してリクエストを転送する •

    キャッシュやフィルタリングのルールを適用する • TLS終端を行う • リソースの観点で静的な設定をリバースプロキシに適用することができない。 • メモリが枯渇する • 解決方法 • matsumotory/ngx_mruby を用いて、動的にリクエストをハンドリングしている
  7. SREの取り組み 21 Web Server Web Server Web Server Reverse Proxy

    … a.jp b.jp c.jp z.jp 大量のドメインに対するリクエストハンドリング へアクセス Database ngx_mruby a.jp Databaseから取得したデータを元にハンドリング - TLS終端 - キャッシュ、フィルタリングルールの実行 - Web Serverへプロキシ 以下の情報をDatabaseから取得 - TLS証明書 - キャッシュやフィルタリングルール - Web Server ホスト
  8. SREの取り組み 25 Web Server Web Server Web Server FTP Proxy

    SSH Proxy … a.jp b.jp c.jp z.jp 動的なSSH/FTPのハンドリング へアクセス Database a.jp 各プロキシミドルウェアは、プロトコルの処理に割って入り、 動的に転送先を決めている。 接続元ユーザ名をもとに転送先を取得 Pluggable Hook
  9. 現状の課題と今後 32 • ユーザ向けサーバ群の可用性向上 • ハードウェア故障などで一時的なサービス断が発生してしまう • 数百円から利用できる安価なホスティングサービスを提供している。コストを抑えつつ可用性が 高いアーキテクチャを作る •

    コントロールパネルからのオペレーションを非同期かつ冪等に実装し、アプリケーションとイ ンフラ間の不整合が発生しにくいアーキテクチャにする • 現状はアプリケーションからインフラへ同期的にオペレーションをするアーキテクチャとなってお り、失敗した後の検知とリカバリをしなければ整合性が取れない • Kubernetesのアーキテクチャのように、定義した状態に収束する実装にしていく
  10. 現状の課題と今後 33 • 可能な限りコンテナ化していく • Baremetal Serverに直接OSとアプリケーションをプロビジョニングしている。 • リソース要求の変更に弱く、ミュータブルなため管理コストが高い。 •

    可観測性を向上させノイジーネイバーに対応する • ホスティングサーバはユーザが任意のプログラムを実行することができる。 • 極論、CPUをぶん回す処理も実行可能。 • ノイジーネイバーの発生原因を観測し、適切な手段でリソース分離をする技術が必要。
  11. ホスティング事業部における SREの面白さ • 世にないアーキテクチャを生み出す面白さ • ホスティングはコストを抑えつつ大量の Webサイトを運用するというニッチな領域 • 前例のないミドルウェアやアーキテクチャを生み出すチャレンジングな仕事 •

    幅広い技術を取り扱うことの面白さ • ホスティングは一般的な Webアプリケーションと異なり、数百人で 1台のサーバを共有するマルチ テナントアーキテクチャのため Linux Kernelなどの低レイヤの技術も必要 • WebアプリやKubernetesを始めとしたプラットフォームの運用 • オンプレのBaremetal Server、プライベートクラウド、パブリッククラウドの使用 • 様々な技術スタックに触れることができるためエンジニアとしての成長機会 35 再掲