Upgrade to Pro — share decks privately, control downloads, hide ads and more …

CircleCI Server運用のポイント / Point of CirlceCI Serv...

Avatar for dehio3 dehio3
October 01, 2019
Technology
1
620

CircleCI Server運用のポイント / Point of CirlceCI Server operation

【東京】CircleCI ユーザーコミュニティミートアップ#7
https://circleci.connpass.com/event/147712/
Avatar for dehio3

dehio3

October 01, 2019
Tweet

More Decks by dehio3

See All by dehio3
とっ散らかったログバケットを S3バッチオペレーションで整理整頓 / Organizing disordered log buckets using S3 Batch Operations
Avatar for dehio3 tomohide_tanaka
0
220
40代エンジニアの生活の変化とキャリアの歩み
Avatar for dehio3 tomohide_tanaka
0
1.3k
AWSソリューションを活用して 1ヶ月で動画配信機能をリリースした話 / The story of releasing the Video distribution service in one month using AWS solutions
Avatar for dehio3 tomohide_tanaka
1
1.4k
GitHub Actionsで Terraformをplan&applyしてみた / I tried to plan and apply Terraform with GitHub Actions
Avatar for dehio3 tomohide_tanaka
6
6k
CircleCI_Serverの利用状況を可視化した話 / CircleCI Server Visualization of usage status
Avatar for dehio3 tomohide_tanaka
0
880

Other Decks in Technology

See All in Technology
AWS CDK 入門ガイド これだけは知っておきたいヒント集
Avatar for Anan Kikuchi anank
5
760
第64回コンピュータビジョン勉強会「The PanAf-FGBG Dataset: Understanding the Impact of Backgrounds in Wildlife Behaviour Recognition」
Avatar for Tatsuya Suzuki x_ttyszk
0
240
サービスを止めるな！ DDoS攻撃へのスマートな備えと最前線の事例
Avatar for coconala_engineer coconala_engineer
1
190
SRE不在の開発チームが障害対応と 向き合った100日間 / 100 days dealing with issues without SREs
Avatar for katsukamaru shin1988
2
2.1k
PHPからはじめるコンピュータアーキテクチャ / From Scripts to Silicon: A Journey Through the Layers of Computing
Avatar for HASEGAWA Tomoki tomzoh
2
150
組織内、組織間の資産保護に必要なアイデンティティ基盤と関連技術の最新動向
Avatar for Naohiro Fujie fujie
0
300
How Do I Contact Jetblue Airlines® Reservation Number: Fast Support Guide
Avatar for John thejetblueairhelpsupport
0
150
60以上のプロダクトを持つ組織における開発者体験向上への取り組み - チームAPIとBackstageで構築する組織の可視化基盤 - / sre next 2025 Efforts to Improve Developer Experience in an Organization with Over 60 Products
Avatar for VTRyo vtryo
3
1.9k
QuickSight SPICE の効果的な運用戦略～S3 + Athena 構成での実践ノウハウ～/quicksight-spice-s3-athena-best-practices
Avatar for emi emiki
0
290
MCP とマネージド PaaS で実現する大規模 AI アプリケーションの高速開発
Avatar for Nahoko Ushirokawa nahokoxxx
1
170
OpenTelemetryセマンティック規約の恩恵とMackerel APMにおける活用例 / SRE NEXT 2025
Avatar for mackerelio mackerelio
3
2k
ポストコロナ時代の SaaS におけるコスト削減の意義
Avatar for izzii izzii
1
470

Featured

See All Featured
Fantastic passwords and where to find them - at NoRuKo
Avatar for Phil Nash philnash
51
3.3k
Docker and Python
Avatar for Tania Allard trallard
45
3.5k
How to Ace a Technical Interview
Avatar for Jacob Kaplan-Moss jacobian
278
23k
The Psychology of Web Performance [Beyond Tellerrand 2023]
Avatar for Tammy Everts tammyeverts
48
2.9k
Put a Button on it: Removing Barriers to Going Fast.
Avatar for kastner kastner
60
3.9k
Easily Structure & Communicate Ideas using Wireframe
Avatar for Afnizar Nur Ghifari afnizarnur
194
16k
Scaling GitHub
Avatar for Zach Holman holman
460
140k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
Avatar for Chris Coyier chriscoyier
507
140k
The MySQL Ecosystem @ GitHub 2015
Avatar for Sam Lambert samlambert
251
13k
Dealing with People You Can't Stand - Big Design 2015
Avatar for Cassini Nazir cassininazir
367
26k
Side Projects
Avatar for Sacha Greif sachag
455
42k
Facilitating Awesome Meetings
Avatar for Lara Hogan lara
54
6.5k

Transcript

  1. CircleCI Server 運用のポイント CircleCI ユーザーコミュニティミートアップ #7

  2. 自己紹介 Tanaka Tomohide • twitter: @dehio3 • blog:https://www.dehio3.com/ • 音響屋→インフラエンジニア

    • CircleCI運用歴：10ヶ月 2

  3. はじめに

  4. CircleCI Serverとは • オンプレミス版のCircleCI • CirlceCIから公開されているTerraformを利用して、AWS上に 構築可能 ◦ https://github.com/circleci/enterprise-setup

  5. CircleCI Server 使ってる？✋

  6. CircleCI Server 検討してる？✋

  7. 今日話す内容 • オンプレ版の運用中に発生した課題から気づいた運用のポイ ント • CircleCI Server 2.17.3時点での情報（9/30時点の最新） ◦ https://circleci.com/server/changelog/

  8. CircleCI Server の 構成要素

  9. None

  10. ビルドの詳しい仕組みは https://speakerdeck.com/kimh/circleci-2-dot-0wozhi-eru2tufalse-kontenakurasutatosre

  11. 永続リソースと 一時リソースそれぞれのポイント

  12. 永続リソース

  13. None

  14. スケーリングのタイミング • nomad-clientはAutoScalingから起動する。 • AutoScalingでEC2インスタンス起動アクション後、nomad-clientでbuild処理可能 な状態になるまで3,4分かかる。 • AutoScalingのアクションは自動では実行されない為、スケールリングアクションの 契機は自分で実装する必要がある。 •

    キューの滞留を検知してからスケールリングすると、スケールリングしたタイミング では既にキューが捌け終わって、無駄なスケールになる事もある。 • スケジュールでの時間契機か、リソース状況契機か、利用状況に応じてスーリング の検討が必要。

  15. 一時リソース

  16. None

  17. machine executorは冗長化未対応 • machine executorを動作させるサブネットは現状一つしか指定でない。 • 設定はWebコンソールから実施する為、AZを変更する場合は再起動が必要。 • 8/23のAZ障害はまさに直撃した・・ていうかこの時気づいた( ；∀；)

    • 即サポートに連絡して改善要望！！

  18. machine executorインスタンスのゾンビ化 • “machine”と”setup_remote_docker”を利用すると、一時的なEC2インスタンスが 新規に作成される。 • 本来であれば処理が終わるとインスタンスが削除されるが、バグ(2.14.01以前)や 起動中のserviceboxの再起動によって、インスタンスが削除されずに残る事があ る。 •

    ゾンビインスタンは無駄なコストになるので、定期的なゾンビインスタンスのチェック が必要。

  19. DLCのキャッシュ保持期間 • “docker_layer_caching”を設定すると専用のEBSボリュームが作成され、都度マ ウントされる事で、キャッシュが実現される。 • “Inactivity period before clearing Docker

    cache storage volumes (days)”にて chacheの保持期間を設定でき、デフォルトの14日に設定される。 • 保持期間はEBSボリュームの作成日ではなく、最終利用日から14日保持される。 • EBSボリュームについては、未利用時であっても課金される為、利便性とコストの バランスで保持期間を設定する。

  20. まとめ

  21. まとめ • 当然だがオンプレ版の場合はCircleCIのインフラも運用する 必要がある。 • インフラの維持コストを抑える為に、状況の可視化と継続的な 運用の改善が必要。 • まだまだ改善の余地はあるので、今後のCirlceCI Serverの開

    発に期待！！

  22. おまけ

  23. 前回のミートアップ https://speakerdeck.com/tomohide_tanaka/circleci-server-visualization-of-usage-status

  24. SaaS版のビルド情報を取得ツールを作成 https://www.dehio3.com/entry/2019/09/23/115924

  25. Thank you!! 25