Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
CircleCI 2.0を支える2つの コンテナクラスターとSRE
Search
Kim, Hirokuni
July 22, 2019
Technology
6
6.1k
CircleCI 2.0を支える2つの コンテナクラスターとSRE
CNDT 2019の登壇資料
Kim, Hirokuni
July 22, 2019
Tweet
Share
More Decks by Kim, Hirokuni
See All by Kim, Hirokuni
How We Migrated K8S Without Downtime
kimh
0
170
エンジニアが起業する意味: 起業経験ゼロから電動キックボード 事業を創る話
kimh
0
1.1k
K8sとTraefikでつくるマイクロフロントエンド
kimh
14
2.6k
CI/CDを使い倒して数段上のソフトウェア開発をしよう (デブサミ関西)
kimh
2
900
デブサミ福岡: CI/CDを使い倒して数段上のソフトウェア開発をしよう
kimh
0
470
なぜ今CI/CDがアジャイル組織に必要とされるのか?
kimh
0
330
CircleCI 2.0を支える2つのコンテナクラスター
kimh
2
4.4k
CircleCI 2.0を支えるインフラとSREの役割
kimh
5
2.2k
Orbsを使ってAWSへ簡単デプロイ
kimh
1
1.6k
Other Decks in Technology
See All in Technology
マネジメント視点でのre:Invent参加 ~もしCEOがre:Inventに行ったら~
kojiasai
0
460
なんで、私がAWS Heroに!? 〜社外の広い世界に一歩踏み出そう〜
minorun365
PRO
6
1.1k
Aurora_BlueGreenDeploymentsやってみた
tsukasa_ishimaru
1
120
一休.comレストランにおけるRustの活用
kymmt90
3
580
生成AIとAWS CDKで実現! 自社ブログレビューの効率化
ymae
2
330
バクラクにおける可観測性向上の取り組み
yuu26
3
410
物価高なラスベガスでの過ごし方
zakky
0
370
WINTICKETアプリで実現した高可用性と高速リリースを支えるエコシステム / winticket-eco-system
cyberagentdevelopers
PRO
1
190
Amazon_CloudWatch_ログ異常検出_導入ガイド
tsujiba
4
1.5k
신뢰할 수 있는 AI 검색 엔진을 만들기 위한 Liner의 여정
huffon
0
310
新卒1年目が向き合う生成AI事業の開発を加速させる技術選定 / ai-web-launcher
cyberagentdevelopers
PRO
7
1.5k
プロダクト成長に対応するプラットフォーム戦略:Authleteによる共通認証基盤の移行事例 / Building an authentication platform using Authlete and AWS
kakehashi
1
150
Featured
See All Featured
Dealing with People You Can't Stand - Big Design 2015
cassininazir
364
22k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.2k
GitHub's CSS Performance
jonrohan
1030
460k
Building Applications with DynamoDB
mza
90
6.1k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
504
140k
Done Done
chrislema
181
16k
Product Roadmaps are Hard
iamctodd
PRO
48
10k
Reflections from 52 weeks, 52 projects
jeffersonlam
346
20k
The World Runs on Bad Software
bkeepers
PRO
65
11k
Adopting Sorbet at Scale
ufuk
73
9k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
159
15k
KATA
mclloyd
29
13k
Transcript
1 を支える つの コンテナクラスターと
2 について • クラウド型のCI/CDのリーダー • 2019年最大規模のCI/CDプラットフォームの一つ • 日本にもたくさんのお客様にご利用いただいています
3 のご紹介 • 日本語サポート • ドキュメントの日本語化 • ユーザーコミュニティー CircleCI初の海外支社 @CircleCIJapan
FB Community Group
4 日本のコミュニティとマーケットをサポート 日本語 サポート 日本語 ドキュメント 日本語 製品紹介 ユーザー コミュニティ
5 ただいまチャットサポートトライアル実施中 APIで特定のworkflowを実行し たいが、起動しません。 Beta版ですが、API v2を利 用するのはいかがでしょう か? こんにちは CircleCIにログインし、右下に
チャットボタンが表示されます → 期間限定で平日の14時から17時で実施中! ⭐最近CircleCIを使い始めた方や最新機能についてもっと知りたい方ご質問大歓迎です ⭐
6 自己紹介 Kim, Hirokuni (金 洋国) • CircleCI SRE •
CircleCI Japan Tech Lead • CircleCI検定2級 (注: 妄想です。実在しません。 ) • 日本支社の立ち上げ • カンファレンス登壇 • 採用活動 • 記事執筆 • コミュニティー運営 Twitter: https://twitter.com/kimhirokuni
7 宣伝 個人 電動キックボードを公道で体験できるサービス Hop-on! を運営 • みなとみらい・渋谷で体験できます • 続きは
https://hop-on.jp で!
8 完全コンテナベースの • Dockerコンテナ上でビルド可能 • 好きなコンテナイメージを使うことができる • 複数のサービスコンテナを追加可能 • 2016年の夏にBeta版運用開始
9 について 1日120万ビルドのCI/CDプラットフォーム
10 について • 5万ビルド / 1hr • ~8000ビルド / 1min
• ~130ビルド / 1 sec 1日120万 どのようにしてこれらのビルドをハンドリングしているか
11 技術編 つのクラスター 組織編 チームの紹介
12 技術編 つのクラスター 組織編 チームの紹介
13 つのコンテナクラスター • Kubernetes ◦ マイクロサービス用のコンテナを管理 • Nomad ◦ ビルド用のコンテナを管理
14 つのコンテナクラスター Services - フロントエンド - 課金 - ユーザー管理 -
WebHook処理 - etc, Executions - Docker ImageのPull - コードのcheckout - ビルドコマンドの実行 - Artifactsの保存 二つを分けることでセキュリティーを担保している
15 のマイクロサービスを支えるクラスター
16 • 全てのマイクロサービスが動いている (約60サービス) • 自前でEC2上で管理 (後述) • サービス間通信にはgRPCとRabbitMQを使用
17 マイクロサービス間の通信 非同期 • RabbitMQを使用 • 非同期通信が推奨 • 可能限りこちらを使う •
分散システムでは非同期のほうがよい • 毎秒何千ものリクエストを処理
18 • Kubernetes for everything!! • RabbitMQのスケーラビリティーの向上 • StatefulSetsの使用 ◦
同じVolume, Pod名などを使える • 現在テスト中
19 マイクロサービス間の通信 同期 • gRPCを使用 • 元々はビルドログをストリーミングするのに使用 • 現在、サービス間通信のデフォルト •
スケールするには一工夫必要 (次スライド)
20 の問題点 • Master nodeのマネージメント ◦ Etcd ◦ OSの管理: CoreOS
• 認証・セキュリティー ◦ Public API endpointの安全性 ◦ ユーザーの管理 • アップグレード問題
21 今後の課題 への移行検討中 • Master nodeのマネージメント ◦ Etcd ✔ ◦
証明書の管理 ✔ • 認証・セキュリティー ◦ Public API endpointの安全性✔ ◦ ユーザーの管理 ✔ • アップグレード問題 △
22 の を支えるクラスター
23 について
24 アーキテクチャー Servers • K8sのマスターに相当 • コーディネーション • マルチリージョン対応 •
Consulを使用 • K8s上で運用 (後述) Clients • K8sのワーカーに相当 • ジョブを実際に実行
25 の使い方 Nomad Client Build 1 Build 2 Build 3
• Dockerドライバー • 各クライアントでビルドが実行 される • バッチジョブを使用
26 ビルド ジョブ Nomad Job1 Nomad Job2 Nomad Job3 CircleCIのビルドは最終的にNomadのジョブの単位で実行される
* 実際はもう少し複雑
27 人間の手 職人の感 注:イメージです
28 • Datadogモニタリング • Autoscalerサービス • AWS ASG スケーリング AutoScaler
1.0時代に比べてAWSコストの大幅な削減
29 なぜ か? • Nomadはバッチ処理がk8sより得意だった (2016年の時点) • 現時点ではk8sもよくなっている (らしい) •
シンプルなアーキテクチャー (単一Goバイナリ) • Hashicorp Toolとの親和性 (ConsulやVaultなど) • Mesosも検討したが複雑で断念 詳しくは https://speakerdeck.com/kimh/cdpuratutohuomu
30 運用してわかったこと1 シングルバイナリは正義! • 簡単に開発環境で使える • スケールしやすい • オンプレでも管理が簡単
31 運用してわかったこと 効率のよいスケジューリング • 1.0時代よりも少ないマシンでより多く のビルドをできる • Resource ClassはNomad単体の機 能で実装することができた
32 運用してわかったこと とても安定している • CircleCIでは0.6くらいから使用 • Nomad自身のバグが少ない • 安定版目の前? (現在0.9.3)
33 運用してわかったこと Nomad on k8s Works! • NomadのServer NodeをK8sで運用 •
Nomadとk8sのいいとこどり • Liveness Probes • ローリングアップデート 詳しくは https://circleci.com/blog/write-less-code-use-more-tools/
34 ビルドが実行されるまで GitHub $ Git Push
35 ビルドが実行されるまで k8s GitHub $ Git Push webhook Service Service
Service Service Service
36 ビルドが実行されるまで k8s GitHub Service Service Service Service Service To
Nomad $ Git Push webhook
37 ビルドが実行されるまで Nomad Server Nomad Server Nomad Server
38 ビルドが実行されるまで Nomad Server Nomad Server Nomad Server Nomad Client
Nomad Client Nomad Client Nomad Client Nomad Client
39 ビルドが実行されるまで Docker Nomad Server Nomad Server Nomad Server Nomad
Client Nomad Client Nomad Client Nomad Client Nomad Client
40 ビルドが実行されるまで Docker Nomad Server Nomad Server Nomad Server Nomad
Client Nomad Client Nomad Client Nomad Client Nomad Client Output processor
41 ビルドが実行されるまで Docker Nomad Server Nomad Server Nomad Server Nomad
Client Nomad Client Nomad Client Nomad Client Nomad Client Output processor
42 コンテナクラスター組織編 まとめ • K8sとnomadの二つを用途により使い分け • K8sはサービス運用 • Nomadはビルドインフラに •
もっとみんなNomad使ってくれ!!
43 技術編 つのクラスター 組織編 チームの紹介
44 の役割 • 安定したインフラの運用 • プロダクトの開発に集中できるようにサポート • プロダクトエンジニアとのペアリング・コードレビュー • 問題調査・障害対応
45 分散したエンジニアリングチーム
46
47 チーム構成 • 現在10人弱のチーム • 4カ国にまたがる
48 ボーイング方式 • ワーキング・トュギャザー • 時差の有効活用 • 継続的なペアリング • 無理のないアラート対応
• 障害時対応
49 障害対応フロー #investigation 故障かな?と思ったら
50 障害対応フロー #investigation #incident 故障かな?と思ったら - ユーザー影響あり - 障害用のZoom開始 -
@メンションされる
51 障害対応フロー #investigation #incident https://status.circleci.com 故障かな?と思ったら - ユーザー影響あり - 障害用のZoom開始
- @メンションされる
52 障害対応フロー #investigation #incident https://status.circleci.com Incident Commander Communication Commander Note
Taker 故障かな?と思ったら - ユーザー影響あり - 障害用のZoom開始 - @メンションされる 役割分担 (後述)
53 障害対応フロー #investigation #incident https://status.circleci.com Incident Commander Communication Commander Note
Taker 20分ごとにアップデート 故障かな?と思ったら - ユーザー影響あり - 障害用のZoom開始 - @メンションされる 役割分担 (後述) - できるだけリアルタイム情報 - バナーに表示される
54 障害対応フロー #investigation #incident https://status.circleci.com Incident Commander Communication Commander Note
Taker 20分ごとにアップデート 故障かな?と思ったら - ユーザー影響あり - 障害用のZoom開始 - @メンションされる 役割分担 (後述) - できるだけリアルタイム情報 - バナーに表示される - 30分様子見 - 問題なければクローズ
55 障害対応チーム構成 Incident Commander Communication Commander Note Taker Incident Response
Team 障害復旧の責任者 広報係 障害復旧チーム 書記係
56 役割分担 • 障害復旧の責任者 • 問題解決に必要なリソースを確保 • SREである必要はない
57 役割分担 • ユーザーへ現状を伝える • ユーザーから障害範囲を聞く • Status Pageをアップデートする •
Customer Success Engineersが担当
58 役割分担 • 時系列をまとめる • What/Who/When/How を記録する
59 役割分担 • 問題に詳しいエンジニアで構成 • IC, CCと連携して最善の解決策を探す
60 はじめました • 週ごとのローテーションでToilを集中して潰す • Toil以外の仕事に集中できるようにする • Clinic -> 病院や駆け込み寺のイメージ
• 例: アカウントの削除、DNSレコードの追加, etc
61 のイメージ どうしても今日中に DNSのTXTレコード追 加したいんだよ〜 SRE Clinicで対応 しますよ これでSEOの設定 できる!
マーケティング担当A Clinic当番のSRE
62 やってどうだったか? Good: • 他のエンジニアがタスクに集中できるようになった • 何がToilかの分類ができるようになった Bad: • 何がClinicの仕事かの分類があいまい
• タスクからClinicへ移る時のタイミングが難しい • Toil自体が減るわけではない
63 組織編 まとめ • フルリモート • ボーイング方式で24時間体制 • SRE Clinicという新しい試み
64 ワーキングトュギャザー
65 こんな人募集 • CircleCIに興味がある • 大規模インフラを面倒みたい • コンテナをガチでやりたい • 海外のチームと働きたい
66 こんな人募集 • CircleCIに興味がある • Clojureを書きたい • 海外のチームと働きたい
67 のイベント
Thank you. 68 Optional Name