Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Mix Leap Study #69 Yahoo!ショッピング+PayPayフリマのSRE事例...
Search
kobashin
December 05, 2022
Programming
0
260
Mix Leap Study #69 Yahoo!ショッピング+PayPayフリマのSRE事例 ショッピングのSREチームとして試したこと、 失敗したこと
kobashin
December 05, 2022
Tweet
Share
More Decks by kobashin
See All by kobashin
気になったセッションから今すぐ開発に導入したいあれこれ(主観
shinjikobayashi
2
660
Navigationの採用を検討してみて、 色々考えた話を共有するよ
shinjikobayashi
1
280
Systemアプリ開発入門
shinjikobayashi
6
13k
Other Decks in Programming
See All in Programming
C#/.NETのこれまでのふりかえり
tomokusaba
1
160
レガシーな Android アプリのリアーキテクチャ戦略
oidy
1
170
Vitest Browser Mode への期待 / Vitest Browser Mode
odanado
PRO
2
1.7k
Progressive Web Apps für Desktop und Mobile mit Angular (Hands-on)
christianliebel
PRO
0
110
LLM生成文章の精度評価自動化とプロンプトチューニングの効率化について
layerx
PRO
2
140
ピラミッド、アイスクリームコーン、SMURF: 自動テストの最適バランスを求めて / Pyramid Ice-Cream-Cone and SMURF
twada
PRO
9
1k
From Subtype Polymorphism To Typeclass-based Ad hoc Polymorphism- An Example
philipschwarz
PRO
0
170
GitHub Actionsのキャッシュと手を挙げることの大切さとそれに必要なこと
satoshi256kbyte
5
390
/←このスケジュール表に立ち向かう フロントエンド開発戦略 / A front-end development strategy to tackle a single-slash schedule.
nrslib
1
590
弊社の「意識チョット低いアーキテクチャ」10選
texmeijin
5
23k
Vue3の一歩踏み込んだパフォーマンスチューニング2024
hal_spidernight
3
3.1k
推し活の ハイトラフィックに立ち向かう Railsとアーキテクチャ - Kaigi on Rails 2024
falcon8823
6
2.2k
Featured
See All Featured
Building Better People: How to give real-time feedback that sticks.
wjessup
363
19k
No one is an island. Learnings from fostering a developers community.
thoeni
19
3k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
27
800
Art, The Web, and Tiny UX
lynnandtonic
296
20k
Product Roadmaps are Hard
iamctodd
PRO
48
10k
Why You Should Never Use an ORM
jnunemaker
PRO
53
9k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
159
15k
A Modern Web Designer's Workflow
chriscoyier
692
190k
Rebuilding a faster, lazier Slack
samanthasiow
79
8.6k
What's new in Ruby 2.0
geeforr
342
31k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
14
1.9k
Mobile First: as difficult as doing things right
swwweet
222
8.9k
Transcript
Mix Leap Study #69 Yahoo!γϣοϐϯά+PayPayϑϦϚͷSREࣄྫ γϣοϐϯάͷSREνʔϜͱͯ͠ࢼͨ͜͠ͱɺ ࣦഊͨ͜͠ͱ @kobashinG ʢ͜͠Μʣ 2022.12.05
ࣗݾհ ͜͠Μ (@kobashinG) Ϡϑʔגࣜձࣾ ϑϩϯτΤϯυશൠ, etc… Android, Linux, k8s, ˏϠϑʔγϣοϐϯάSRE
ΏΔΏΔͱ͓͠·͢ ࠓͷΞδΣϯμ • ̑ͭͷࣄྫΛݩʹ͖ͬͯͨ͜ͱΛৼΓฦΔ
·ͣݟʹཔΔ ྠߨͷऔΓΈ
SREνʔϜͷൃ • SREͱ͍͏ϩʔϧ͕ॳΊͯੜ·Εͨ →֤νʔϜͷऔΓΈͷதͰ࣮ફ͍ͯ͠Δਓୡډͨ • ʮSRE͕γϣοϐϯάͰԿΛ͢Δͷ͔ʁʯʹ͍ͭͯ ࡋྔΛ࣋ͨͤͯΒ͍ͬͯͨ
SREຊͷྠߨ • Πϯϓοτͱͯ͠ॻ੶ͷྠߨͷ࣮ࢪ • ্ཱͪ͛ϝϯόͱڞʹڞ௨ཧղΛ࡞ΔͰඇৗʹΑ͔ͬͨ ɹˠ୯७ʹಡΉ͚ͩͰͳ͘ɺষ/߲ͷ୯ҐͰσΟεΧογϣϯ
SREͷϓϥΫςΟεͷ࣮ફ • ༷ʑͳϓϥΫςΟεΛಉ࣌ʹ࣮ࢪ͠Α͏ͱࣦͯ͠ഊ • ϦιʔεͷݶΒΕ͍ͯΔॳظʹશͯͨΊ͢ͷѱखͩͬͨ • ՝ղܾͷखஈͱͯ͠ଊ͑ɺثͱͯ͠ἧ͓͑ͯ͘ • ࣮ફϓϥΫςΟεྗΛߟ͑ɺ৫՝ʹ߹ΘͤΔ ͜͏ͨ͠Βྑ͔͔ͬͨ🤔
🤔ৼΓฦΓ🤔 • σΟεΧογϣϯʹΑͬͯɺ՝Λڞ௨ೝࣝʹͰ͖ͨ ◦ →AʮHWᝑମނোͷ෮چΈ͍ͨͳͷτΠϧͳͷʁʯ ɹBʮظతʹՁ͕ੜ·Εͯͳ͍͔ΒτΠϧΆ͍ʯ ɹCʮࣗͨͪͷΩϟύϓϥѱྫ··͡Όͳ͍ɺɺʁʯ • ྗྖҬΛߟ͑ͣશͯτϥΠ ✗
SLI/SLOͷࡦఆ طଘͷӡ༻ΛͲ͏ม͑Δͷ͔ʁ
SLI/SLOΛͲ͏ઃఆ͢Δʁ • γεςϜͷఏڙ͍ͯ͠ΔओཁͳػೳຖʹɺҰͭͣͭݕ౼ CUJͷࡦఆ SLIͷࡦఆ SLOͷࡦఆ CUJ - Critical User
Journey - Ϣʔβʔ͕తΛୡ͢ΔͨΊʹߦ͏αʔϏεͱͷΓͱΓ SLI - Service Level Indicator - αʔϏεϨϕϧʹؔ͢ΔϢʔβʔͷຬࢦ SLO - Service Level Objective - αʔϏεʹର͢ΔϢʔβʔͷظ
ྫ͑ɺγϣοϐϯάͷτοϓϖʔδʁ • ϚΠΫϩϑϩϯτΤϯυࢥ • CUJ ʮ͓ಘใ͔ΒΛ୳͢ॴʯ • ඞਢϞδϡʔϧΛબఆ͠Մ༻ੑΛ SLI/SLOͱͯ͠ߟ͑Δ
ྫ͑ɺγϣοϐϯάͷτοϓϖʔδʁ 99.9% 99.9% མͪͯྑ͍ 99.9%
൚༻SLIͱαʔϏεݻ༗SLO • ൚༻SLIͱͯ͠VALET(※) Λ׆༻ • VALETΛΈ߹ΘͤԿΛSLOͱ͢Δͷ͔ΛCUJ͔Βݕ౼ ˞ग़యɿαΠτϦϥΠΞϏϦςΟϫʔΫϒοΫʕ43&ͷ࣮ફํ๏ VALET ύΠϓϥΠϯܥΞϓϦ
🤔ৼΓฦΓ🤔 • CUJ͔ΒSLI/SLOΛఆΊ͍ͯ͘͜ͱඞཁ →ͨͩ͠ɺCUJ͔ΒղͳSLIΛఆΊΔඞཁແ͍ →ҰൠʹVALET૬ͷͷ͕͋ΒΏΔՕॴͰSLIʹͳΔ
ΤϥʔόδΣοτͷӡ༻ͯ͠·͔͢ʁ
ΤϥʔόδΣοτͱϦϦʔείϯτϩʔϧ SLI SLO ࣌ؒ࣠ ϦϦʔείϯτϩʔϧ ͍ͨ͠ظؒ ͰɺͲ͏ͯ͠ग़͞ͳ͍ͱͬͯͭ͋Δ͘Ͷʁ🤔
ΤϥʔόδΣοτͱϦϦʔείϯτϩʔϧ ϦεΫxϦϦʔεཁ݅ͰධՁ͠ϦϦʔεஅͷ࣮ࢪ
ΤϥʔόδΣοτͱϦϦʔείϯτϩʔϧ اը SRE ʮKPIʹ߹ΘͤͨىҊʯ ʮظதʹxxΛϦϦʔε͍ͨ͠ʯ ʮةݥͳͷͰϦϦʔεࢭΊ͍ͨʯ
• Α͍FB͍͔ͭ͘ಘΒΕ͕ͨݱࡏӡ༻ΛࢭΊͯΔ • ௐͷΧϩϦʔ͕ߴ͗ͯ͢ఆணͤ͞Δ·Ͱʹࢸͬͯͳ͍ →ٕज़ͱاըʢσΟϨΫλʔʣͷඪཧʹٴͿ ࣮ࢪ༰ͱͯ͠खԠ͑Λײ͍ͯ͡ΔͷͰɺ ϦϦʔείϯτϩʔϧͷఆணͷͤ͞ํΛݕ౼͍ͯ͠Δ 🤔ৼΓฦΓ🤔
EmbeddedSREͱSREͷαΠϩԽ
SREνʔϜͱEmbedded SRE ݕࡧνʔϜ SHPτοϓνʔϜ ΧʔτνʔϜ SREνʔϜ ͜ͷSREνʔϜͬͯԿͰඞཁͳΜ͚ͩͬʁʁ🤔
SREνʔϜͱEmbedded SRE • SREͷ࣮ͱͯ͠Embedded SREͷܗଶཧʹదͬͯΔ →՝ͷൃݟ࣮ࡍͷӡ༻͔ΒಘΒΕΔ • ҰํͰSREͱͯ͠શʹαΠϩԽ͞ΕΔ
WorkingGroupʹΑΔԣ۲ ݕࡧνʔϜ SHPτοϓνʔϜ ΧʔτνʔϜ SREνʔϜ ݱͰͷݟ WorkingGroup γϣοϐϯάશମ
• SREͷ֓೦ԣஅతͳղΛఏڙ͢Δ৫ͱͯ͠ͷWG →Ξϥʔτ/ΠϯγσϯτରԠ/υΩϡϝϯτ࡞..etc →ํ๏ͱͯ͠खԠ͑Λײͯ͡Δ • ۀྔ͕େ͖͘ͳΓ͕ͪʹͳΔ →50%ϧʔϧͱΈ߹ΘͤͯϦιʔεΛ೧ग़ →ͦΕͰେ͖ͳෛՙΛ͔͚͍ͯΔɻ՝͋Γ˛ 🤔ৼΓฦΓ🤔
αʔϏεӡ༻ͷධՁΛͲ͏͢Δͷ͔ʁ
ϚΠΫϩαʔϏεͷӡ༻ʹαʔϏεϨϕϧ͕·Β • ֤ϚΠΫϩαʔϏε୯ҐͰͷEmbedded SREʹٻΊΒΕΔ ༰͕ҟͳΔ • ͋Δఔ·ͰɺҰൠղΛݩʹαʔϏεϨϕϧΛҾ্͖͍͛ͨ ݕࡧνʔϜ SHPτοϓνʔϜ ΧʔτνʔϜ
ϠϑʔγϣοϐϯάͷνʔϜମ੍ • αʔϏεɿ18νʔϜ x 113ΞϓϦέʔγϣϯ • SREɿ1νʔϜ -> 3νʔϜ(ݱࡏ) Embedded
SREΛ͍ͬͯ͘ʹ͗͢Δ
ॏཁͳαʔϏεʢTierʣͷબఆ • 113ͷΞϓϦέʔγϣϯʹର͠ɺTierΛ੍ఆ • ߴ࣍ͷTierʹରͯ͠ɺEmbedded SREͷஔ ߴՄ༻ੑΛٻΊΔΑ͏ʹ • Tierͷ͍ͷʹ͍ͭͯɺ൚Խͨ͠ରԠΛ࣮ࢪͯ͠Β͏
αʔϏε୯ҐͰͷӡ༻ঢ়ଶͷ૯߹ධՁ • ҆ఆੑ ͱ ӡ༻ίετ ͷ྆໘͔ΒαʔϏεΛධՁ͢Δ ҆ఆੑ ӡ༻ίετ ཧͷঢ়ଶ ҆ఆੑɿ
ӡ༻ίετɿߴ ҆ఆੑɿߴ ӡ༻ίετɿߴ ҆ఆੑɿ ӡ༻ίετɿ ҆ఆੑɿߴ ӡ༻ίετɿ ߲ ॏΈ ྨ SLI/SLO͕ఆٛ͞Ε͍ͯΔ 3 ҆ఆੑ ґଘPFͷࢮ׆ࢹ 3 ҆ఆੑ Ξϥʔτͷఆظతͳݟ͠ 2 ҆ఆੑ ӡ༻ίετͷൺ͕xະຬ 3 ίετ γεςϜϦιʔεͷఆظݟ͠ 2 ίετ
ΞϥʔτඋͷධՁ • Ξϥʔτઃఆঢ়گΛLv͚͠ɺ࣍ͷLvͷΞΫγϣϯΛఏࣔ Lv.0 Lv.1 Lv.2 Lv.3 Lv.4 Lv.5
ঢ়گɿ ɹɾ҉ͷྃղͷڞ௨ೝࣝ͋Γ ɹɾηϯεʹΑΔӡ༻ ωΫετεςοϓɿ ɹɾϖʔδʹڞ௨ೝࣝ ɹɾՍిͷऔࣺબΛ͢͢ΊΔ ঢ়گɿ ɹɾ໌จԽ͞Εͣͱہॴղ ɹɾΓηϯεʹΑΔӡ༻ ωΫετεςοϓɿ
ɹɾSLOΛ༻͍ͨΞϥʔτઃܭ ঢ়گɿ ɹɾηϯε͔ΒSLO ωΫετεςοϓ ɹɾΑΓSLOΛ༻͍ͨΞϥʔτ ɹɾόʔϯϨʔτͷݕ౼ ΞϥʔτඋͷධՁ Lv.2 Lv.3 Lv.4
• ධՁ͕࣠·ͩ·ͩΓͳ͍ • SRE৫ͷεέʔϧΞτʹ͚ͨςϯϓϨʔτԽ →ঢ়ଶͷධՁ x ࣍ͷΞΫγϣϯ ʹΑΓߴ࣍·ͰͷಓͷΓΛ →ߴ࣍ݩͷӡ༻ঢ়ଶʹ͓͍ͯݸผԽͨ͠ରԠΛ •
͏·͘ӡɺҰఆҎ্·ͰSREෆཁͰ͢͢ΊΔʁ →SREͷਓతϦιʔεৗ࣌Γͯͳ͍ 🤔ৼΓฦΓ🤔
ऴΘΓʹ
🐥 ॴײ 🐣 • ͏·͘ӡ༻ʹͤΒΕͳ͔ͬͨͷͷଟ͘ɺ ੜΈग़ͨࣗͨͪ͢͠ΒϑΥϩϫʔʹͳΕͳ͔ͬͨͷ • ෳࡶʹߟ͑ͯӡ༻ͨ͠ޙɺγϯϓϧʹࢸΔ • ૯ͯ͡ɺϦιʔεͷׂʹଟ͘ΛΈ͗ͨ͢ؾ͕͢Δ
औࣺબͷॏཁੑΛ࠶ೝࣝ →ධՁ͕ԼͤΔΑ͏ʹͳΕɺྗϙΠϯτΛ࡞ΕΔ
We Are Hiring!!! https://about.yahoo.co.jp/hr/job-info/role/1432/