Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
トイル撲滅から始める改善手法とその結果
Search
yjszk
February 09, 2024
Technology
0
1.8k
トイル撲滅から始める改善手法とその結果
https://findy.connpass.com/event/308162/
yjszk
February 09, 2024
Tweet
Share
More Decks by yjszk
See All by yjszk
創造的活動から切り拓く新たなキャリア 好きから始めてみる夜勤オペレーターからSREへの転身
yjszk
1
110
強すぎるIAMをCloudTrailを使って適正化した話
yjszk
0
330
DMARCレポートの可視化ツールの作成と運用した結果
yjszk
0
79
リブセンスのソリューションチームについて
yjszk
0
730
設計という共通認識
yjszk
0
680
LT駆動生活
yjszk
1
1k
Other Decks in Technology
See All in Technology
GPTsで模擬問題生成して資格対策してみる
hsg_alf
2
130
権威ドキュメントで振り返る2024 #年忘れセキュリティ2024
hirotomotaguchi
2
680
Kubeshark で Kubernetes の Traffic を眺めてみよう/Let's Look at k8s Traffic with Kubeshark
kota2and3kan
3
370
NW-JAWS #14 re:Invent 2024(予選落ち含)で 発表された推しアップデートについて
nagisa53
0
200
Wantedly での Datadog 活用事例
bgpat
1
210
ガバメントクラウドのセキュリティ対策事例について
fujisawaryohei
0
320
re:Invent をおうちで楽しんでみた ~CloudWatch のオブザーバビリティ機能がスゴい!/ Enjoyed AWS re:Invent from Home and CloudWatch Observability Feature is Amazing!
yuj1osm
0
110
複雑性の高いオブジェクト編集に向き合う: プラガブルなReactフォーム設計
righttouch
PRO
0
100
生成AIのガバナンスの全体像と現実解
fnifni
1
150
2024年にチャレンジしたことを振り返るぞ
mitchan
0
110
なぜCodeceptJSを選んだか
goataka
0
110
うちにも入れたいDatadog
recruitengineers
PRO
2
290
Featured
See All Featured
RailsConf 2023
tenderlove
29
930
Documentation Writing (for coders)
carmenintech
66
4.5k
What's in a price? How to price your products and services
michaelherold
243
12k
Being A Developer After 40
akosma
87
590k
Building Adaptive Systems
keathley
38
2.3k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
17
2.2k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
127
18k
Speed Design
sergeychernyshev
25
660
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
1
160
Thoughts on Productivity
jonyablonski
67
4.3k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
1.9k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
800
Transcript
トイル撲滅から始める改善⼿法とその結果 2024/02/14 TechBrew in 東京 〜SRE⼤集合!信頼性を⾼める取り組み〜 株式会社リブセンス 技術部インフラG 鈴⽊裕⼆(@yjszk666) Copyright
© Livesense Inc.
0. 自己紹介 Yuji Suzuki(@yjszk666) Copyright © Livesense Inc. • 株式会社リブセンスでSRE的なしごとしてます
◦ 2023/2 〜 ◦ 採⽤広報(ブログ運営etc..)もしてる • 趣味:公営競技の鑑賞、ホームは平塚競輪 • 略歴 ◦ ⼤学無内定卒業→フリーター ▪ 占い師とか出版社で校正とか⾊々 ◦ ⾦融SE ◦ 夜勤オペレータ ◦ SIer ◦ コンサルでSE ◦ リブセンス
1 2 3 4 誰もやりたがらない仕事、トイル 事例1:脆弱性対応の⾃動化 事例2:放置された理想の認証システム トイル解消がもたらす組織への影響 Copyright ©
Livesense Inc.
誰もやりたがらない仕事、トイル SECTION 1 Copyright © Livesense Inc.
1. 誰もやりたがらない仕事、トイル そもそも信頼性ってなんだろ? JISによると、 >アイテムが与えられた条件で規定の期間中、要求された機能を果たすこができる性 質、及び、その定量的な尺度である信頼度 ざっくりいうとちゃんと動いていることですね 信頼性向上ってなんや Copyright © Livesense
Inc.
1. 誰もやりたがらない仕事、トイル • これを担保するには、SRE本によると… ◦ 監視/計測して定量的に数字で判断、SLA/SLO/SLIなどなど ◦ こういうかっこいいやつ、正直できてませんw • 計測の前段…
◦ 計測前の深いところに信頼性を向上させるヒントがある気がした ◦ それを邪魔するのにトイルがあるんじゃないかと思った 信頼性向上ってなんや Copyright © Livesense Inc.
1. 誰もやりたがらない仕事、トイル • トイルってなに?🧐 ◦ >トイルとは、プロダクションサービスを動作させることに関係する…(略) ◦ ここでは誰もやりたがらない仕事と定義します ◦ 会議中に発⾒して共有するとネットリとした雰囲気が漂うアレです
• 作業そのものが⻑期的な価値を⽣み出さないししんどい⼿作業が多い印象です トイルってなんや Copyright © Livesense Inc.
1. 誰もやりたがらない仕事、トイル • SRE本によると… ◦ これをなくすと本来の作業に集中できて信頼性があがる😤 ◦ でも理想論じゃねこれ • 誰もやらないので窓サッシのホコリみたいに溜まりがち
◦ 誰も球を持たないので落ちたボールとか⾔われてる ◦ これをあえてやります トイルってなんや Copyright © Livesense Inc.
事例1:脆弱性対応の⾃動化 SECTION 2 Copyright © Livesense Inc.
Before:週次で⼿動アサインしていた 2.脆弱性対応の自動化 Copyright © Livesense Inc. • ⽇次でissueが切られる ◦ InspectorのAPIを利⽤
• 週次MTGでランダムアサイン • 対応 ◦ 各⾃調べてssh🤮 ◦ コマンド実⾏🤮
2.脆弱性対応の自動化 このように脆弱性対応はめんどくさい しかも積極的にやってもバリュー出ない でもやらないと正直やばい (※) 遅効性の毒みたいな存在&トイルだこれ… ※脆弱性を放置するとシステムに障害が起き、サイト信頼性が低下するかも… Copyright © Livesense
Inc.
After:まずは情報を多くした 2.脆弱性対応の自動化 Copyright © Livesense Inc. • CODEOWNERSからランダムアサイン • これだけでもMTGの時間が短くなった
2.脆弱性対応の自動化 InspectorのAPIから推奨コマンドが取れる でも⾃動アプデは依存性が怖い😱 半⾃動化にもワンステップ欲しい Copyright © Livesense Inc.
After:コメントするとSSM Run Commandで実⾏するように 2.脆弱性対応の自動化 Copyright © Livesense Inc. • /executeって書くと実⾏
◦ 結果もコメントでペタ • 5分かかる作業が1分で終了 ◦ チケットが多い⽉はうれしい ▪ 30くらいある時もある • 誰がやったかわかるから監査もOK
2.脆弱性対応の自動化 MTG短くなり他のことに時間を使える++ 複数⼈から喜びの声、これが⼀番嬉しい そして⽉2時間程度(※)の時間が地味に削減された ※4分✖30チケット 脆弱性を放置しないことで信頼性向上に繋がる Copyright © Livesense Inc.
2.脆弱性対応の自動化 なんで放置されてたのか考えてみる🤔 当時からクラウド移⾏中でした そのうちマネージドサービスに寄せるし、 いまやらなくてもいいか… という、思考 → これがよくない Copyright © Livesense Inc.
事例2:放置された理想の認証システム SECTION 3 Copyright © Livesense Inc.
乱⽴していた社内の認証を統合するプロジェクトがありました。 しかし、中途半端に実装された状態で頓挫😭 作者も退職してよくわからない状態で3年も放置されており、更に当時技 術投資で作られたのか、会社で標準的に使われてない技術なのも放置に拍 ⾞をかけていました アツい思いで作られたが頓挫、作者が退職、その後放置 3.放置された理想の認証システム Copyright © Livesense
Inc.
• というのもあり、誰もが⾒て⾒ぬフリをしていた… ◦ そこをあえて観測(み)てみると…👁 • 過剰なプロビジョニングが放置されていた! アツい思いで作られたが頓挫、作者が退職、その後放置 3.放置された理想の認証システム Copyright ©
Livesense Inc.
• 実装当初、広く使われるのを意識したのか⼤きいプロビジョニングに • 実態は1週間でDBに7コネクションしかアクセスない • 直しました、結果、⽉額4-5万円の削減に😤 ◦ EC2はm5.largeをt3.smallに ◦ RDSはdb.m5.largeをdb.t3.smallに
アツい思いで作られたが頓挫、作者が退職、その後放置 3.放置された理想の認証システム Copyright © Livesense Inc.
• なぜ触られなかったのか? ◦ 今はCIでTerraformを動かしているがCICD未整備時代のブツ ◦ オペレーションサーバーに⼊るのに多段SSHでめんどくさい アツい思いで作られたが頓挫、作者が退職、その後放置 3.放置された理想の認証システム Copyright ©
Livesense Inc.
3.放置された理想の認証システム なんで放置されてたのか考えてみる🤔 めんどうだしいまやらなくてもいいか… 結局これに尽きる めんどうはわかるがいつかはやらないとダメ この雰囲気を変えていきたいと思う Copyright © Livesense Inc.
トイル解消がもたらす組織への影響 SECTION 4 Copyright © Livesense Inc.
• トイル解消すると、今まで問題を問題と気づかなかった⼈々が気づく ◦ トイルとして認識されてない場合、ここがスタートとなる • こういうめんどい作業を新⼈がやると… ◦ コスい話、ベテラン層へのエンゲージメントになる(気がする) ◦ より強いマンパワーでトイルへ向き合うことが可能に
誰もやらないことをやると空気が変わる 4.トイル解消がもたらす組織への影響 Copyright © Livesense Inc.
• このような空気は計測不可能 ◦ 空気にSLOはない • 計測以前に作るべき⼟壌が作れる ◦ 例えば、先ほどのマンパワーを⽤いて、仕組み的にトイル解消😤な ど 誰もやらないことやると空気が変わる
4.トイル解消がもたらす組織への影響 Copyright © Livesense Inc.
• ⼊ったばっかりの時にトイル解消は実はおすすめ ◦ どこがエンジニアリングのボトルネックになっているのかわかる ▪ 改善の勘所が鍛えられる ◦ 古い資料とかコードを漁りまくるのでドメイン知識がつく • ただ…
新⼈がやるトイル解消のすすめ 4.トイル解消がもたらす組織への影響 Copyright © Livesense Inc.
• 作業として⾯⽩くない ◦ が、誰もやらない領域を攻めるので⾃分の武器ができる ◦ これをチームに展開するとさらにプラス ▪ ここでサイロ化しては元も⼦もない • バリューを出すトイル解消
◦ 盲⽬的にトイルに取り組むのではバリューは出ないが、 ◦ このように⾃動化‧改善することでバリューは出る!😤 新⼈がやるトイル解消のすすめ 4.トイル解消がもたらす組織への影響 Copyright © Livesense Inc.
• こういう姿勢で仕事してると良いことが… ◦ 表彰されました! • ⼈間としての信頼性も向上したか!? ◦ サイト信頼性も⼤事だがヒューマン信頼性もっ と⼤事な気がする 余談
4.トイル解消がもたらす組織への影響 Copyright © Livesense Inc.
4.トイル解消がもたらす組織への影響 信頼性向上、いろいろあるけど ⾃分としては⾯⽩くない仕事(=トイル)を いかに楽しくするかという基本に帰結する そしてトイル撲滅でコア業務に集中😤 これが俺の信頼性向上だ! Copyright © Livesense Inc.
最後に… ‧計測⚖ ‧監視👁 今後はこの辺りを頑張ります🙇 Copyright © Livesense Inc.
ありがとうございました Copyright © Livesense Inc.
None
None