Upgrade to Pro — share decks privately, control downloads, hide ads and more …

CircleCI 2.0を支える2つのコンテナクラスター

CircleCI 2.0を支える2つのコンテナクラスター

Kim, Hirokuni

April 16, 2019
Tweet

More Decks by Kim, Hirokuni

Other Decks in Technology

Transcript

  1. 11 CircleCI 2.0について • 5万ビルド / 1hr • ~8000ビルド /

    1min • ~130ビルド / 1 sec 1日120万 どのようにしてこれらのビルドをハンドリングしているか
  2. 13 自己紹介 Kim, Hirokuni (金 洋国) • CircleCI Japan Tech

    Lead • 日本支社の立ち上げ • カンファレンス登壇 • 採用活動 • 記事執筆 • コミュニティー運営 ”この発言は個人の見解ではなく所属する組 織を代表しています” Twitter: https://twitter.com/kimhirokuni
  3. 14 自己紹介 ”この発言は個人の見解ではなく所属する組 織を代表しています” Kim, Hirokuni (金 洋国) • CircleCI

    Japan Tech Lead • 日本支社の立ち上げ • カンファレンス登壇 • 採用活動 • 記事執筆 • コミュニティー運営 • 元プロダクトチーム • 現SREチーム Twitter: https://twitter.com/kimhirokuni
  4. 18 2つのコンテナクラスター Services - フロントエンド - 課金 - ユーザー管理 -

    WebHook処理 - etc, Executions - Docker ImageのPull - コードのcheckout - ビルドコマンドの実行 - Artifactsの保存 二つを分けることでセキュリティーを担保している
  5. 21 マイクロサービス間の通信: 非同期 • RabbitMQを使用 • 非同期通信が推奨 • 可能限りこちらを使う •

    分散システムでは非同期のほうがよい • 毎秒何千ものリクエストを処理
  6. 24 K8s Serviceの場合 gRPC Client Service Pod1 10.0.0.1 K8s service

    foo.svc.cluster.local 10.0.0.100 Service Pod2 10.0.0.2 Cluster IP (VIP) こっちにはいかない L4・ロードバランス
  7. 26 K8s Headless Service の場合 gRPC Client Service Pod1 10.0.0.1

    headless service foo.svc.cluster.loc al 10.0.0.1 10.0.0.2 Service Pod2 10.0.0.2 DNSラウンドロビン クライアント・ロードバランス
  8. 27 K8S on EC2の問題点 • Master nodeのマネージメント ◦ Etcd ◦

    証明書の管理 • 認証・セキュリティー ◦ Public API endpointの安全性 ◦ ユーザーの管理 • アップグレード問題
  9. 28 今後の課題: EKSへの移行検討中 • Master nodeのマネージメント ◦ Etcd ✔ ◦

    証明書の管理 ✔ • 認証・セキュリティー ◦ Public API endpointの安全性✔ ◦ ユーザーの管理 ✔ • アップグレード問題 △ 
  10. 31 Nomad アーキテクチャー Servers • K8sのマスターに相当 • コーディネーション • マルチリージョン対応

    • Consulを使用 Clients • K8sのワーカーに相当 • ジョブを実際に実行
  11. 32 CircleCIの使い方 Nomad Client Build 1 Build 2 Build 3

    • Dockerドライバー • 各クライアントでビルドが実行 される
  12. 33 CircleCIの使い方 Nomad Client Build 1 Build 2 Build 3

    • Dockerドライバー • 各クライアントでビルドが実行 される • バッチジョブを使用
  13. 34 CircleCI ジョブ == Nomad ジョブ Nomad Job1 Nomad Job2

    Nomad Job3 CircleCIのジョブは最終的にNomadのジョブの単位で実行される * 実際はもう少し複雑
  14. 38 なぜNomadか? • Nomadはバッチ処理がk8sより得意だった (2016年の時点) • 現時点ではk8sもよくなっている (らしい) • シンプルなアーキテクチャー

    (単一Goバイナリ) • Hashicorp Toolとの親和性 (ConsulやVaultなど) 詳しくは https://speakerdeck.com/kimh/cdpuratutohuomu
  15. 47 ビルドが実行されるまで Docker Nomad Server Nomad Server Nomad Server Nomad

    Client Nomad Client Nomad Client Nomad Client Nomad Client
  16. 48 ビルドが実行されるまで Docker Nomad Server Nomad Server Nomad Server Nomad

    Client Nomad Client Nomad Client Nomad Client Nomad Client Output processor
  17. 49 ビルドが実行されるまで Docker Nomad Server Nomad Server Nomad Server Nomad

    Client Nomad Client Nomad Client Nomad Client Nomad Client Output processor
  18. 57 障害対応フロー #investigation #incident https://status.circleci.com Incident Commander Communication Commander Note

    Taker 故障かな?と思ったら - ユーザー影響あり - 障害用のZoom開始 - @メンションされる 役割分担 (後述)
  19. 58 障害対応フロー #investigation #incident https://status.circleci.com Incident Commander Communication Commander Note

    Taker 20分ごとにアップデート 故障かな?と思ったら - ユーザー影響あり - 障害用のZoom開始 - @メンションされる 役割分担 (後述) - できるだけリアルタイム情報 - バナーに表示される
  20. 59 障害対応フロー #investigation #incident https://status.circleci.com Incident Commander Communication Commander Note

    Taker 20分ごとにアップデート 故障かな?と思ったら - ユーザー影響あり - 障害用のZoom開始 - @メンションされる 役割分担 (後述) - できるだけリアルタイム情報 - バナーに表示される - 30分様子見 - 問題なければクローズ
  21. 60 障害対応チーム構成 Incident Commander Communication Commander Note Taker Incident Response

    Team 障害復旧の責任者 広報係 障害復旧チーム 書記係
  22. 68 SRE Team in Japan こんな人募集 • CircleCIに興味がある • 大規模インフラを面倒みたい

    • コンテナをガチでやりたい • 海外のチームと働きたい
  23. 70 CircleCI Culture • Remote By Default • All Hands、Small

    Hands • 多様性 • 柔軟な働き方