月間数億通のメールを配信するSaaSシステムのKubernetes移行

Mix Leap Study 特別編 - CTO Night KANSAI Vol.2 のブレイクアウトセッションの資料です。
https://yahoo-osaka.connpass.com/event/119899/

Transcript

1. 月間数億通のメールを配信する SaaSシステムの Kubernetes移行 SynergyMarketing 寺岡 佑起
2. 自己紹介 寺岡 佑起 @yuki_teraoka 所属：シナジーマーケティング プロダクト本部 業種：サーバサイドエンジニア 技術：Java SpringBoot PostgreSQL AWS Kubernetes 苦手：ドキュメント、コメントを残す
3. アジェンダ 会社紹介 序章 構築編 運用編 まとめ
4. 会社紹介 取引実績 名称 ： シナジーマーケティング株式会社 　 URL： https://www.synergy-marketing.co.jp/ 代表者 ： 代表取締役社長　田代 正雄 創業 ： 1997年9月 設立 ： 2005年6月 従業員数 ： 311名（2018年4月1日現在） 事業概要 ： CRM領域におけるクラウドサービス 事業およびエージェント事業
5. 事業紹介 総合顧客管理（CRM）システム BtoBマーケティングツール 価値観マーケティング メール配信システム 広告運用ツール Webアプリ開発エンジニアのための技術情報サイト
6. 序章 - Why Kubernetes
7. Kubernetes導入により、コストを 下げ開発をスピードアップしたい
8. システムについて • 主要機能 ◦ 顧客データ管理 ◦ WEBフォーム ◦ メッセージ配信(メール・LINE・アプリPush) • 基盤 ◦ AWS/オンプレミスハイブリット • 規模 ◦ 仮想サーバ: 数百台 ◦ 物理DBサーバ: 数十台 ◦ 月間メール配信数：約 3億通
9. アーキテクチャ VPN オンプレミス(モノリス) AWS（マイクロサービス） Service1 Service2 ServiceN DB DB DB DB LB APP1 BAT1 APP2 BAT3
10. 解決したい課題 アプリケーション設計に合わせて仮想サー バを分割している • インフラコストが高い ◦ EC2の冗長化 ◦ サービスごとのELB • 構築が大変 ◦ サービスごとに微妙に異なる構成 ◦ Ansible vs terraform vs CloudFormation AWS（マイクロサービス） Service1 Service2 ServiceN
11. ゴールイメージ AWS（マイクロサービス） Service1 Service2 ServiceN K8S AWS（マイクロサービス） Service1 Service2 ServiceN
12. やらなかったこと 以下はk8s移行のスコープ外とした • オンプレミスのk8s導入 ◦ 試行錯誤が容易なAWSで知見をためたい ◦ 現在絶賛構築中！ • 永続化レイヤーのk8s化 ◦ 移行が難しい ◦ ロールバックも難しい ◦ そもそもフルマネージドサービスで面倒見てほしい
13. まとめると • EC2など計算リソースの集約率を高めてコスト削減 ➡インフラコストの削減 • 構成管理や環境構築の工数を削減し、開発効率を向上 ➡人的コストの削減
14. 構築編
15. 構築ツールの選定 候補になった以下の4つから、kopsを選定。 • kubeadm • kops • kubespray • AWS EKS
16. 今から始めるならEKSでいいかと。 • そもそも選定時点では東京リージョンに来ていなかった • マスタコンポーネントの冗長性はそんなに求められない • （HAを重視しないなら）コストパフォーマンス高くない なぜEKSを使わなかったか
17. 開発・構築ツールスタック(旧世代) SpringBoot1 Jenkins EC2 フレームワーク CI/CD 構成管理 実行環境
18. 解決したい課題 • コンテナ技術への対応 ◦ コンテナイメージのビルド ◦ マニフェスト管理とデプロイ • Jenkins ◦ 画面から設定していたので、設定再利用ができていなかった ◦ Jenkins職人が必要 • Ansible ◦ Ansible職人が(略
19. 開発・構築のツールスタック(New!) SpringBoot2 GitlabCI Kubernetes フレームワーク CI/CD コンテナオーケス トレーション
20. 開発・構築のツールスタック(New!) • コンテナイメージのビルドにはJibを利用 • Kubernetesのマニフェスト管理にはKustomizeを利用 • AnsibleとJenkinsをなくして、GitlabCIに一本化 • （ついでに）SpringBoot2にバージョンアップ
21. 続きはWEBで！ TECHSCOREにブログ記事を書いたので、詳細はこちらを ・EC2のマイクロサービスをKubernetesに移行した話 ・SpringBootアプリをKubernetesで動かすサンプルプロジェクトを作ってみた
22. 運用編
23. Kubernetesクラスタを運用開始 • 2018/9 本番運用開始！ ◦ 1サービスだけお試しで運用 • 2018/10 EC2->k8s 移行その2 ◦ EC2インスタンス7台分をk8sに移行
24. 毎月移行されていくサービス達 • 2018/9 k8s本番運用開始！ ◦ 1サービスだけお試しで運用 • 2018/10 EC2->k8s 移行その2 • 2018/11 EC2->k8s 移行その3 • 2018/12 EC2->k8s 移行その4 • 2019/1 EC2->k8s 移行その5 半年でEC2インスタンスが半分以下に！！
25. 困ったこと • Ingress(nginx-ingressを利用)の設定でトラブルを起こしがち ◦ EC2では各自apacheやnginxを独自設定して入れていた ◦ ヘッダやボディのサイズ制限とか、 X-Forwarded-Forの処理とか • メモリ使用量がどんどん上がっていく(ように見える) ◦ k8sが認識するメモリ使用量にはページキャッシュも含まれる ◦ ログを吐いているだけでメモリ使用量は上がり続ける ◦ メトリクスとしてRSSを確認するようにしている • コンテナ単位の負荷状況がわからない ◦ PODごとのロードアベレージは取れない。 VMではなくコンテナです
26. まとめ
27. まとめ • Kubernetes導入でコスト削減 ◦ EC2の台数を半分以下に削減できた ◦ 新たなサーバ（コンテナ）の構築がとても楽に • 移行は思ったよりスムーズに進んだ ◦ アプリケーションの改修はほぼゼロで済んだ ◦ 一度CI/CD手順を整理すると横展開は楽 • Kubernetes職人は必要 ◦ Kubernetes導入で不要になった職人をコンバートさせよう！ ◦ 環境設定の罠に注意。 Ingressとかリソース制限とかセキュリティとか