Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
パブリック/プライベートクラウドでつかうKubernetes
Search
Ryosuke Suto
October 12, 2017
Technology
2.6k
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
パブリック/プライベートクラウドでつかうKubernetes
Ryosuke Suto
October 12, 2017
Transcript
27 slides
パブリック/プライベートクラウドでつかう Kubernetes Ryosuke Suto 2017/10/12 Kubernetes Meetup Tokyo #7
•須藤 涼介 @strsk •株式会社サイバーエージェント •技術本部 •サービスリライアビリティーグループ(SRG) •QC室 •エンジニア/マネージャー
Kubernetes
Public Cloud
None
None
•- node 200台 over •- 同時接続数十万 •- デプロイ •- kubetool
-> Deploykun •- ChatOps •- リリース共有、カナリアリリース AbemaTV • https://www.wantedly.com/companies/abema/post_articles/73396
•- ロギング •- CloudLogging + CloudPub/Sub •- Podの標準出力はLogging •- アプリケーションのログはPub/Subへ
•- Pub/Sub -> BigQuery, etc… •- 監視ツール •- Stackdriver, Prometheus AbemaTV • https://www.wantedly.com/companies/abema/post_articles/73396
Private Cloud (OpenStack)
•- 既存サービスのリプレース用 •- 開発環境構築中 •- レガシー環境、開発手法のモダン化 •- クラスター構築 •- kubespray(Ansible)
OpenStack
•- Dockerイメージ •- GCR •- ロギング •- 魔改造したFluentdからCloudLoggingへ •- 監視ツール
•- Datadog OpenStack
Private Cloudでのk8s運用 •- kubesprayでのデプロイが遅め •- 使わない部分も汎用的に記述されているため工夫が必要 •- すべて内部で完結させてしまうと運用コストが高くなる •- 適度に組み合わせて外に逃がす
Kubernetes採用の背景
•- 組織/システム的にマイクロサービスアーキテクチャを採用するようになる •- であれば各機能ごとにリリースもしやすいDocker一択 •- 開発初期は逆に属人性を生みやすい一面も •- 社内でもノウハウが溜まってくる •- 何より開発が活発
課題との歴史
デプロイフロー初期 •- あたたかみのある手動デプロイ •- Dockerイメージ自体はCircle CIでビルドしレジストリにPush •- 運用が初めてだったこともあり、開発時はkubectlによるリリースがデフォ •- 開発スケジュールが優先され、デプロイ周りを整えられないままローンチ
•- リリース時にSlackに連絡、手動でデプロイして様子を見て反映 •- 当然ながらオペミスが多発
デプロイフロー中期 •- 手動カナリアリリース •- ミスしても問題ないよう1Podだけリリースできるツールを開発 •- リリース時は1Podのみリリースし、しばらく問題がなければ全台に適用 •- 大きなミスは起きないまでも根本解決になっていない…
デプロイフロー後期 •- ChatOps •- リリース作成もカナリアリリースもSlack上からできるように! •- 手動からの解放 •- オペミスの削減
デプロイフロー後期
デプロイフロー今後 •- パイプラインベースのCI •- Spinnaker, Concourse CI, etc… •- 新規サービスで採用予定
•- カナリアリリース、判定、ロールバックを自動化 •- 社内に有識者がいたためConcourse CIを採用
デプロイフロー今後 •- Concourse CI •- Pivotalが開発 •- Go言語製 •- YAMLでジョブ、パイプラインを記述し結果をUIで見れる
デプロイフロー今後 •- Helmの導入検証 •- Kubernetesのパッケージマネージャ(rpmに対してyumのような) •- yamlファイルの作成コストを減らしたい •- Kubernetesの採用がより増えることを見越して
大量のロギング •- ログはFluentdで各ログストレージへ •- ログの量が多すぎてFluentdが高負荷に •- 標準出力は変わらずFluentdからCloud Loggingへ •- アプリケーションログはCloud
Pub/Subへ送り、Big Queryにバルクインサート
大量のメトリクス •- Podの監視はStackdriverでOK •- サービスが拡大し、Podが大量になるとStackdriverの表示が遅延 •- Prometheusの導入 •- ServiceにExporter用のendpointを追加 •-
Podが増減しても自動的に収集される •- より詳細かつ円滑な表示が可能に
まとめ
まとめ •- デプロイフローはまだまだ改善の余地あり •- 規模が大きくなった時のスケーリングが大事(当たり前) •- 自前でkubernetesを立てるときは全部管理しようとしない
一緒にはたらく仲間を募集しています! https://cyberagent-career.jp/ recruit/joboffer/81/112359/71-361
More Decks by Ryosuke Suto
See All by Ryosuke Suto
横断的なSRE推進と成熟度評価
strsk8
9
8.9k
GKEを利用したサービスの運用
strsk8
1
730
GKE@AbemaTV
strsk8
12
9.8k
re:Invent2015参加レポ
strsk8
0
370
成長し続けるインフラの安定運用事情
strsk8
19
5.3k
ソーシャルゲームDBの危機回避
strsk8
10
15k
Other Decks in Technology
See All in Technology
Dark Web - Como o Cibercrime Opera na Internet
nicholsjasper
0
110
そのイメージ、どのCIが作った? Artifact Attestationsで来歴を固定する / Which CI system created that image? Pinning provenance with Artifact Attestations
chmikata
0
270
RAGの改善を速く回すための評価基盤
yosukeyoshida
6
3.6k
AWS re:Invent 2026 FSI Pre-Event Networking Night
junjikoide
0
210
社内アプリ基盤「Quartz」による、 非エンジニアとAIに本番デプロイを 任せても壊れないプラットフォームの設計
staka121
PRO
1
230
ワークフローからハーネスへ — Web フレームワークの作者たちが AI エージェントに向かう理由
azukiazusa1
2
1.1k
実測データからサービスの成長余力を測る。負荷シナリオ・テストデータ・限界値の設計
kazatohiei
0
170
kubellの最新データ分析環境
kubell_hr
2
270
OpenTelemetryで変わった 新時代のCloudWatchメトリクス監視
tsukuboshi
0
500
自動計装なしでECSサービスをApplication Signalsに載せるまで
ota1022
2
470
コーディングできない僕にBobが舞い降りた
shumpei3
0
200
新規事業開発でのAWS活用成功談&失敗談! 〜新規事業開発を専門に行うRelicならではのAWS活用〜
amixedcolor
1
140
Featured
See All Featured
The Impact of AI in SEO - AI Overviews June 2024 Edition
aleyda
6
1.3k
Everyday Curiosity
cassininazir
0
420
A brief & incomplete history of UX Design for the World Wide Web: 1989–2019
jct
2
570
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
3k
State of Search Keynote: SEO is Dead Long Live SEO
ryanjones
0
360
What does AI have to do with Human Rights?
axbom
PRO
1
2.5k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
6.2k
Why Mistakes Are the Best Teachers: Turning Failure into a Pathway for Growth
auna
0
370
Max Prin - Stacking Signals: How International SEO Comes Together (And Falls Apart)
techseoconnect
PRO
0
540
How to audit for AI Accessibility on your Front & Back End
davetheseo
0
650
Impact Scores and Hybrid Strategies: The future of link building
tamaranovitovic
0
490
The Power of CSS Pseudo Elements
geoffreycrofte
82
6.7k