Lock in $30 Savings on PRO—Offer Ends Soon! ⏳
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
高信頼IaaSを実現するDevOps / DevOps for Highly Reliable...
Search
kazeburo
April 18, 2023
Technology
1
560
高信頼IaaSを実現するDevOps / DevOps for Highly Reliable IaaS
DevOpsDays Tokyo 2023 2023/04/18 スポンサーセッション
kazeburo
April 18, 2023
Tweet
Share
More Decks by kazeburo
See All by kazeburo
[さくらのTech Day] ガバメントクラウド開発と変化と成長する組織 / sakura techday, Develop govcloud and the team
kazeburo
0
690
ガバメントクラウド開発と変化と成長する組織 / Organizational change and growth in developing a government cloud
kazeburo
4
1.9k
DNS水責め攻撃と監視 / DNS water torture attack Monitoring and SLO
kazeburo
5
4k
DBやめてみた / DNS water torture attack and countermeasures
kazeburo
13
13k
IaaSにおけるPlatform Engineeringとこれから / Platform engineering in IaaS
kazeburo
2
1.3k
権威DNSサービスへのDDoSと ハイパフォーマンスなベンチマーカ / DNS Pseudo random subdomain attack and High performance Benchmarker
kazeburo
3
5.2k
DNS権威サーバのクラウドサービス向けに行われた攻撃および対策 / DNS Pseudo-Random Subdomain Attack and mitigations
kazeburo
7
13k
sacloudns
kazeburo
2
320
「orchestratorとGTID運用を支える監視」の勉強 / Monitoring orchestrator and GTID operation
kazeburo
2
1.3k
Other Decks in Technology
See All in Technology
Microsoft Ignite 2024 Update 2 - AIとIoT関連の最新情報をどこよりも早く!
iotcomjpadmin
0
290
歴史あるRuby on Railsでデッドコードを見つけ、 消す方法@yabaibuki.dev #3
ayumu838
0
1.7k
マルチプロダクト、マルチデータ基盤での Looker活用事例 〜BQじゃなくてもLookerはいいぞ〜
gappy50
0
120
累計2500万着電を支える大規模 電話自動応答サービスのアーキテクチャ / Architecture of a Large-Scale Automated Phone Response Service Supporting 25 Million Cumulative Calls
ymachida
8
4.3k
情シスの引継ぎが大変という話
miyu_dev
2
530
レガシーシステムへのDatadog APM導入奮闘記
mtakeya4062
0
130
Bytebaseで実現する データベース管理の効率化
shogo452
1
290
共創するアーキテクチャ ~チーム全体で築く持続可能な開発エコシステム~ / Co-Creating Architecture - A Sustainable Development Ecosystem Built by the Entire Team
bitkey
PRO
1
3.9k
sre本読んだ感想
pisakun
0
160
Oracle Cloud Infrastructure:2024年11月度サービス・アップデート
oracle4engineer
PRO
0
120
クラウドネイティブなNewSQLで実現するミッションクリティカルなアプリケーションの運用
yuyu_hf
PRO
1
160
Engineer Recruting Deck
siva_official
PRO
1
3.2k
Featured
See All Featured
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
111
49k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
0
56
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
44
2.2k
5 minutes of I Can Smell Your CMS
philhawksworth
202
19k
Code Reviewing Like a Champion
maltzj
520
39k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
126
18k
Done Done
chrislema
181
16k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
760
A designer walks into a library…
pauljervisheath
204
24k
Code Review Best Practice
trishagee
64
17k
Imperfection Machines: The Place of Print at Facebook
scottboms
266
13k
Build The Right Thing And Hit Your Dates
maggiecrowley
33
2.4k
Transcript
2023/04/18 さくらインターネット Masahiro Nagano (kazeburo) ⾼信頼 IaaS を実現する DevOps DevOpsDays
Tokyo 2023
Me • ⻑野雅広(ながのまさひろ) • Twitter/GitHub @kazeburo • さくらインターネット株式会社 クラウド事業本部
SRE室 室⻑ • mixi, livedoor(LINE), mercariを経て現職
さくらインターネット企業理念 「やりたいこと」を「できる」に変える さくらインターネットは新たなアイデアの創出に強い熱意と 情熱を持って挑戦するお客様をはじめ、私たちとつながりのある すべての⼈たちのために、未来あるべき姿を想い描きながら ―「やりたいこと」を「できる」に変える―
あらゆるアプローチを“インターネット”を通じて提供します。
サービスラインナップ お客様の幅広いニーズに応えられるよう、クラウドコンピューティングサービスや IoTサービス、ハウジング、回線サービス等を提供してます。 ϗεςΟϯάαʔϏε ϋδϯά ֤छωοτϫʔΫαʔϏε ハウジング ・各サービス間L2接続サービス「ハイブリッド接続」 ・閉域網接続サービス「ダイレクトアクセス」「プライベートリンク
for アルテリア」 ・インターネットVPN⽤ 各種アプライアンス ・AWSとの閉域オプション「AWS接続オプション」 ・IoT向けLTE閉域通信 「さくらのセキュアモバイルコネクト」 ・⽂教向けソリューション「SINET接続サービス」 ・⾃治体向けソリューション「LGWANコネクト」
さくらのクラウド • 2011年のサービス開始から12年⽬ • 皆様のご⽀援のおかげです。 改めて感謝申し上げます
さくらのクラウド • 東京と⽯狩リージョンで展開 • 仮想サーバ/ディスク・ネットワーク などIaaSを提供 • VPCルータ、データベースなどの アプライアンス
• 2拠点での冗⻑化を⾏うロードバラ ンサ、GSLB、DNSアプライアンス • オートスケール機能
さくらインターネットの今後の取り組み お客様のDX化に向けたクラウド利⽤の様々なニーズに応え、 将来的にSaaS・PaaSへサービス提供範囲を拡⼤し、さらなる市場機会を創出
さくらインターネットの今後の取り組み パートナー・アライアンス施策 ヤマト宅急便の集荷依頼や匿名配送⼿続きが、ビジネス⽤の メッセージングアプリ「Slack」上でワンストップで⾏えるア プリケーションを本年2⽉より提供開始 • 社内のリモートワークでの課題をサービス化 • https://www.sakura.ad.jp/information/newsreleases/ 2023/01/30/1968210908/
エレコム株式会社、DXアンテナ株式会社と連携して、クラウ ド録画サービス「Antenna-eye」を2023年3⽉1⽇より提供開 始 • ウェアラブル対応ウェブカメラや監視カメラなどの映像をさくらのクラウド 上に録画、リアルタイム再⽣に対応 • https://www.sakura.ad.jp/information/newsreleases/ 2023/02/28/1968211221/
さくらインターネットの今後の取り組み ガバメントクラウド施策 • ガバメント領域での存在感を強め るため、ガバメント推進室が中⼼ となりリレーションを構築 • ガバメントクラウドをベンチマー クとして「クラウドサービスの価 値を⾼める」
さくらのクラウド 開発の課題 これまでの10年を次の10年に繋ぐ • 既存のインフラ運⽤の維持継続 • IaaS コアシステムを現代化 • クラウドとして価値向上につながる機能拡充、新規サービス開発
全てを満たすには ⾼信頼と変更頻度を両⽴させていく必要
Class SRE implements DevOps SREはDevOpsというinterfaceの実装 • DevOpsは、システム開発者と運⽤者が協⼒し合い、より良いサービスの提供 を⽬指す意識・⽂化 • SREはソフトウェアエンジニアリングを⽤いたDevOpsの実装、役割
• ⾼信頼と変更頻度の両⽴はSREが⽬指すところの⼀つ
クラウド事業本部SRE室 • 2022年7⽉に発⾜。現在メンバーは5名 • SREの取り組みがより評価されることを⽬的に発⾜ • 各部署でDevOps/SREの取り組みはされており、それを交換するものでは なく強化する • ⽬的、期待値のズレをなくす、明確化が最初の課題
• 発⾜と同時にMission, Vision, Value の策定
SRE室のMission, Vision, Value • Mission • クラウドサービスの信頼性を⾼めることにより、お客様や社会のDXをしっかり⽀える • Vision •
社内でのSREの実践を広め、お客様への価値提供を⾏う • さくらのサービスそのものの信頼性向上、それにより価値向上を⽬指す • さくら社員がEnabling SREとして、お客様・社外のサービスの信頼性向上に携わる
SRE室のMission, Vision, Value • Mission • クラウドサービスの信頼性を⾼めることにより、お客様や社会のDXをしっかり⽀える • Vision •
社内でのSREの実践を広め、お客様への価値提供を⾏う • さくらのサービスそのものの信頼性向上、それにより価値向上を⽬指す • さくら社員がEnabling SREとして、お客様・社外のサービスの信頼性向上に携わる
SRE室のMission, Vision, Value • Value • 決め事を作るのではなく、⼀緒に”⼿を動かして”信頼性向上の⽂化をつくる • SRE室のエンジニアだけがSREs(Site Reliability
Engineers)ではない • SRE室のエンジニアが Embedded SRE / Enabling SREとして、SREの取り組みを拡⼤させていく • 開発・運⽤チームとの密なコミュニケーション • 期待値のズレ、お⾒合いを防ぐ • You built it, you run it • 開発/運⽤の両者が共通のゴールをもって、運⽤性に優れたソフトウェアを開発する
SRE室の取り組み
実際のSRE室の取り組み • 社内 Kubernetes 基盤およびクラスター運⽤ • CI/CD 環境の整備 • Enabling
SREとしてのプロジェクト参加 • 読書会
社内における Kubernetes に関わる課題 • クラウド技術とKubernetesは密接に関わる。キャッチアップが必要 • さくらインターネット社内では、いくつかのプロダクトチームが、さくらのク ラウドやデータセンターの物理インフラ上に「各々」Kubernetesクラスタを 構築運⽤ •
運⽤知⾒の分散とギャップ • トラブルシューティングに時間がかかる • アプリケーションを動作させることに集中したい
社内 Kubernetes 基盤の開発 • GitOpsによってクラスタ作成・ スケーリングを可能とする基盤の 開発 • ArgoCDによる⾃動化 •
Cluster APIによるk8sクラスタ のライフサイクル管理 • クラスタのヘルスチェック IUUQTLOPXMFEHFTBLVSBBEKQ
社内での Kubernetes 運⽤の共有 • 社内 Kubernetes 基盤の開発と並⾏して各チームへのヒアリング • 課題の洗い出し、基盤開発へのフィードバック •
SKOG “Sakura Kubernetes Operators Group” の発⾜ • Slack ベースでの情報共有 • オンラインでの勉強会の開催
社内 Kubernetes 基盤の今後 • 「 アプリケーションを動作させることに集中したい」を課題の中⼼にサポート範 囲を広げる • 共有k8s(shared-k8s)の運⽤ •
Namespaceによるマルチテナント • インターネットからのトラフィックを受け付け • ログ管理、メトリクスの組み込み • 堅牢性向上 / 東京・⽯狩での冗⻑
CI/CD環境の整備
CI/CD環境の整備 • 「テストが先か、CIが先か」はCIが「先」 • CI/CDのデファクトスタンダード「GitHub Actions」を当たり前に利⽤可能に
CI/CD環境の課題 • 社内のソースコード管理は GitHub Enterprise Server を利⽤ • Actions登場以前は各々の環境構築してCIを動作 •
GHEでは Self Hosted Runner が必要
Self Hosted Runner の開発導⼊ • 前述の shared-k8s 環境にて ActionsRunnerController を⽤いて構築
• https://github.com/actions-runner-controller/actions-runner-controller • 内製の仮想マシンベースの Runner • ジョブごとに qemu-kvm でVMを起動 • コンテナではなくVMで隔離されているのでセキュリティリスクの低減 • DockerやLinuxカーネルの機能が利⽤可能
CI/CD環境の整備 • 開発体験の向上にむけて • 社内に存在するCIサーバの把握 • ガイドラインの策定 • SRE室主導のプロジェクトでの積極活⽤、事例のアウトプット
Enabling SRE / 開発チームへの参加
Enabling SRE • さくらのクラウドのアプライアンスの開発運⽤に課題 • ISSUEやお客様からの問い合わせの対応に遅延 • 該当アプライアンスを活⽤した他のサービスにも影響 Enabling SREとしてSRE室から2名がチーム参加
Enabling SREの課題 活動から⾒えてきた課題 • SRE室のメンバーは何をするのかの期待値のズレ • 🙅 DevOpsの分離の考え、開発をやってくれる?運⽤を任せられる? • 期待値を合わせ協働できることが必須
Enabling SREとしての活動 • チーム作りから開始 • オンラインでの朝会、定例の開催 • 個⼈に頼らないISSUE、障害対応 • 個⼈を責めないふりかえり
• ドキュメンテーション⽂化 ⼈員の充実も実現でき、チームがより重要に
Enabling SREの今後 • 短期⻑期のロードマップの策定 • チームの⽬線合わせ • オブザーバビリティ向上とその上でのSLI/SLO • お客様への価値提供という本質
• ⾃律的なチームへ
読書会
「LeanとDevOpsの科学」読書会 • 「チームによる開発⼒向上」が課題 • SRE室と開発チームのリーダとで開催 • 1~2章ごとに各⾃読み、そこから得たこと分か らないことを共有 • 次の本を選び継続開催
読書会を通して • 「⾔語/⾔葉」の共通化と⾃社にとっての課題の明確化 • メンバー同⼠の相互理解、信頼感の醸成 • Four Keysなど次のアクションの洗い出し 読書会参加以外のメンバーに どう広げていくか
DevOps/SREによって ⾼信頼IaaSを実現するには
DevOps/SREによって⾼信頼IaaSを実現するには これまでの活動の中から • DevとOps/DevとSREsの期待値を合わせる(合意なき期待の回避) • MVV(Mission, Vision, Value)の定義と発信 • チーム間の⾔語を合わせる
• これらがあって アウトプット / アウトカム が最⼤化される
さくらインターネットの3つのバリュー • 肯定ファースト • リードアンドフォロー • 伝わるまで話そう 繰り返し⾔い続けることで、⼀⼈⼀⼈にバリューが浸透する DevOpsを⽀える創造的な組織⽂化に必須
SAKURA internet ࣾձΛࢧ͑Δ ύϒϦοΫΫϥυΛ Ұॹʹ࡞Γ·ͤΜ͔ʁ Perl, Go, Python
インフラ基盤から フロントエンドまで 採⽤強化中! さくらインターネットではエン ジ ニア採⽤を強化しています さくらインターネットは新たなアイ デ アの創出に強い熱意と情熱を持って挑戦するお客様を は じ め、私たちとつな が りのあるす べ ての⼈たちのために、未来のある べ き姿を想い描きな が ら ―「やりたいこと」を「 で きる」に変える ― あらゆるア プ ローチを “インターネッ ト”を通 じ て提供します。 詳しくはWebサイトにて、カジュアル⾯談もやってます 👉 www.sakura.ad.jp/lp/22engineer/
ご清聴ありがとうございました さくらインターネットのブースにおります 質問などありましたらお気軽に。