「信頼性」を保ちつつ大規模サービスをリニューアルする / cookpad-tech-kitchen-service-embedded-sres

Cookpad Tech Kitchen #24 5800万人が使うサービスのリニューアルとその技術 ( https://cookpad.connpass.com/event/183385/ ) で、"「信頼性」を保ちつつ大規模サービスをリニューアルする" というタイトルで発表した際の資料です。

スライド内のリンクは次のとおりです。

- How SRE teams are organized, and how to get started: https://cloud.google.com/blog/products/devops-sre/how-sre-teams-are-organized-and-how-to-get-started
- Design Docs at Google: https://www.industrialempathy.com/posts/design-docs-at-google/
- artillery: https://artillery.io/
- serverless-artillery: https://github.com/Nordstrom/serverless-artillery

Transcript

1. չ⥋걾䚍պ׾⥂׍אא 㣐鋉垷؟٦ؽأ׾ٔصُ٦،ٕׅ׷ ؙحؙػحس吳䒭⠓爡
   䪮遭鿇
   43
   ؚٕ٦ف
   
   し䊛
   畆㣕
   
   !SSSFFFZZZ
   $PPLQBE
   5FDI
   ,JUDIFO
   
   
   ]
   3ZPUB
   :PTIJLBXB
   
   !SSSFFFZZZ
   
2. !SSSFFFZZZ !SSSFFFZZZ IUUQTSSSFFFZZZDPN :PTIJLBXB
   3ZPUB .F ˖ 3ZPUB
   :PTIJLBXB
   
   !SSSFFFZZZ
   [reɪ]
   ˖ ؙحؙػحس吳䒭⠓爡
   
   ։ ˖ 䪮遭鿇
   43
   ؚٕ٦ف ˖ 莆㄂걄㚖 ˖ 0CTFSWBCJMJUZ
   5JNF
   TFSJFT
   EBUBCBTF ˖ 馯㄂ ˖ QVZP
   BSLOJHIUT
   MFBHVFPGMFHFOET ˖ TFJZV
   SFTUBHF
   XVH $PPLQBE
   5FDI
   ,JUDIFO
   
   
   ]
   3ZPUB
   :PTIJLBXB
   
   !SSSFFFZZZ
   
3. ➙傈ֶ鑧ׅ׷ֿה ˖ չ⥋걾䚍պ׾⥂׍אא㣐鋉垷؟٦ؽأ׾ٔصُ٦،ٕ׃׋鑧 ˖ 4FSWJDF
   &NCFEEFE
   43&T
   ה׃ג⿫⸇ ˖ 43&
   
   4FSWJDF
   &NCFEEFE
   43&T ˖ %FTJHO
   %PDVNFOU
   ׾剅ְ׋鑧 ˖ 㹋ꥷח㹋鄲׾׃גְ׏׋儗ך鑧 ˖ 劤殢ず瘝ך橆㞮ד頾蚚鑐꿀׾遤׏׋鑧 $PPLQBE
   5FDI
   ,JUDIFO
   
   
   ]
   3ZPUB
   :PTIJLBXB
   
   !SSSFFFZZZ
   
4. 䟝㹀׃גְ׷耮罏 ˖ ،فٔ؛٦ءّٝꟚ涪׾䬐䔲ׅ׷➂ ˖ ⥋걾䚍׾䠐陎׃׋،فٔ؛٦ءّٝꟚ涪ךفؙٓذ؍أ׾濼׶׋ְ➂ ˖ 荈ⴓָ遤׏׋فؙٓذ؍أ׾➙㔐ֶ鑧׃תׅ ˖ 43&
   ך➂ ˖ 4FSWJDF
   &NCFEEFE
   43&T
   ך《׶穈׫חאְג濼׶׋ְ➂ ˖ 㹋ꥷך《׶穈׫הװ׏ג׫גוֲ׌׏׋ַ׾ֶ鑧׃תׅ $PPLQBE
   5FDI
   ,JUDIFO
   
   
   ]
   3ZPUB
   :PTIJLBXB
   
   !SSSFFFZZZ
   
5. 43&
   
   4FSWJDF
   &NCFEEFE
   43&T $PPLQBE
   5FDI
   ,JUDIFO
   
   
   ]
   3ZPUB
   :PTIJLBXB
   
   !SSSFFFZZZ
   
6. 43&
   
   4FSWJDF
   &NCFEEFE
   43&T ˖ 43&
   ؟٦ؽأך⥋걾䚍׾؝ٝزٗ٦ٕׅ׷׋׭ךؒٝآص،ؚٔٝ䩛岀 ˖ (PPHMF
   ָתה׭׋
   43&
   ך㨣׭倯ה
   
   אךװ׶倯ךⴓ겲 ˖ )PX
   43&
   UFBNT
   BSF
   PSHBOJ[FE
   BOE
   IPX
   UP
   HFU
   TUBSUFE
    ˖ 4FSWJDF
   &NCFEEFE
   כ♳ד⢽ח䮙־׵׸גְ׷ךװ׶倯♧א ˖ 43&
   ָꟚ涪罏ث٦يךًٝغ٦ך♧➂ה׃ג➬✲׾ׅ׷ 
   IUUQTDMPVEHPPHMFDPNCMPHQSPEVDUTEFWPQTTSFIPXTSFUFBNTBSFPSHBOJ[FEBOEIPXUPHFUTUBSUFE $PPLQBE
   5FDI
   ,JUDIFO
   
   
   ]
   3ZPUB
   :PTIJLBXB
   
   !SSSFFFZZZ
   
7. 4FSWJDF
   &NCFEEFE
   43&T ˖ ♧㹀劍꟦꧊⚥׃ג
   43&
   ׾䗳銲הׅ׷ث٦ي٥فٗآؙؑزחさ׏׋װ׶倯 ˖ FY
   ⥋걾䚍ָ⡚ֻז׏ג׃ת׏׋فٗتؙزծ➙㔐ך״ֲזٔصُ٦،ٕ
    ˖ 㹋ꥷך؟٦ؽأך鏣鎘٥㹋鄲ַ׵؎ٝؿٓך鏣鎘٥欽䠐זו׾♧筰ח《׶穈׬ ˖ 43&
   ךװ׶倯׾➭ךث٦يװ爡ⰻⰋ⡤ח䎢׭גְֻꥷח剣⸬זװ׶倯 ˖ 㹋ꥷחװ׏ג׫ג
   43&
   ךفؙٓذ؍أ׾״׶䎢׭׵׸׋ה䠬ׄ׋ ˖ EFTJHO
   EPDVNFOU
   ׾剅ַֻוֲַ
   וֲ剅ַֻ ˖ ⡦ח孡׾אֽג؝٦س׾剅ְגְ׷ַ
   رفٗ؎٥ٔٔ٦أ儗ח⡦ח孡׾אֽ׷ַ
    $PPLQBE
   5FDI
   ,JUDIFO
   
   
   ]
   3ZPUB
   :PTIJLBXB
   
   !SSSFFFZZZ
   
8. 㹋ꥷך《穈׫ $PPLQBE
   5FDI
   ,JUDIFO
   
   
   ]
   3ZPUB
   :PTIJLBXB
   
   !SSSFFFZZZ
   
9. %FTJHO
   %PDVNFOU
   ׾剅ְ׋鑧 $PPLQBE
   5FDI
   ,JUDIFO
   
   
   ]
   3ZPUB
   :PTIJLBXB
   
   !SSSFFFZZZ
   
10. %FTJHO
    %PDVNFOU
    הכ ˖ اؿزؐؑ،鏣鎘ך׋׭ךسًُؗٝزך♧א ˖ 㹋ꥷחاؿزؐؑ،׾⡲׶㨣׭׷⵸ח剅ֻֿהָ㢳ְ ˖ ⡦׾⡲׷ַ٥ז׈⡲׷ַ٥וך״ֲח⡲׷ַזו׾剅ֻ㹋⢽כ䖓鶢 ˖ %FTJHO
    %PDT
    BU
    (PPHMF
    
    ָ鑫׃ְ ˖ 剅ֻה⡦ְְַָ٥זח׾剅ַֻ٥וֲ剅ַֻזוָתהת׏גְ׷ 
    IUUQTXXXJOEVTUSJBMFNQBUIZDPNQPTUTEFTJHOEPDTBUHPPHMF $PPLQBE
    5FDI
    ,JUDIFO
    
    
    ]
    3ZPUB
    :PTIJLBXB
    
    !SSSFFFZZZ
    
11. %FTJHO
    %PDVNFOU
    ׾剅ְ׋鑧 ˖ فٗآؙؑز⿫⸇儗挿ד㹋植׃׋ְ堣腉ה
    6*
    رؠ؎ٝכׂ׏ֻ׶寸ת׏גְ׋ ˖ ת׆剑ⴱח
    %FTJHO
    %PDVNFOU
    ׾剅ְ׋ ˖ 荈ⴓ荈魦ָسً؎ٝ濼陎׾׃׏ַ׶➰ֽ׷湡涸׮֮׏׋ ˖ 
    鹈꟦ּ׵ְ儗꟦׾ַֽג׃׏ַ׶剅ְ׋
    Ⰻ
    
    ل٦آ ˖ 剅ְ׋׮ך׾葿ղז➂חٖؽُ٦׃ג׮׵ְ刿倜׃גְ׏׋ ˖ ⥋걾䚍חꟼ׻׷،٦ؗذؙثٍ鏣鎘װىسٕؐؑ،ך寸㹀זו׮ֿֿד陽锷דֹ׋ ˖ ًٝغ٦ず㡦ךⰟ鸐钠陎׮䕎䧭ׅ׷ֿהָדֹ׋ $PPLQBE
    5FDI
    ,JUDIFO
    
    
    ]
    3ZPUB
    :PTIJLBXB
    
    !SSSFFFZZZ
    
12. %FTJHO
    %PDVNFOU
    ח⡦׾剅ַֻ ˖ 荈ⴓכׂ׏ֻ׶⟃♴ך״ֲזֿה׾剅ְ׋ ˖ ⡦׾ז׈⡲׹ֲה׃גְ׷ַ٥וך״ֲח⢪׻׸׷䟝㹀זךַ ˖ ءأذي،٦ؗذؙثٍ׾וֲׅ׷ַ٥ז׈׉ֲׅ׷ַ ˖ و؎ؙٗ؟٦ؽأחׅ׷ַ#''
    ׾⢪ֲַ钠鏾钠〳׾וֲׅ׷ַ嗚稊׾וֲׅ׷ַ ˖ ر٦ةأز،׾⡦חׅ׷ַ٥⡦ח׃זְַ ˖ 㹋植׃׋ְ堣腉ח㼎ׅ׷
    1SPT$POT
    ׾さ׻ׇג嫰鯰 ˖ 〢ְءأذيהךⰟ㶷׾וך״ֲח㹋植ׅ׷ַ ˖ 㣐✲זךכז׈׉ֲׅ׷ַ٥ז׈׉ֲ׃זְַָ俑畍ח婍׷ֿה $PPLQBE
    5FDI
    ,JUDIFO
    
    
    ]
    3ZPUB
    :PTIJLBXB
    
    !SSSFFFZZZ
    
13. $PPLQBE
    5FDI
    ,JUDIFO
    
    
    ]
    3ZPUB
    :PTIJLBXB
    
    !SSSFFFZZZ
    
14. $PPLQBE
    5FDI
    ,JUDIFO
    
    
    ]
    3ZPUB
    :PTIJLBXB
    
    !SSSFFFZZZ
    
15. $PPLQBE
    5FDI
    ,JUDIFO
    
    
    ]
    3ZPUB
    :PTIJLBXB
    
    !SSSFFFZZZ
    
16. $PPLQBE
    5FDI
    ,JUDIFO
    
    
    ]
    3ZPUB
    :PTIJLBXB
    
    !SSSFFFZZZ
    
17. 㹋ꥷח㹋鄲׾׃גְ׏׋儗ך鑧 $PPLQBE
    5FDI
    ,JUDIFO
    
    
    ]
    3ZPUB
    :PTIJLBXB
    
    !SSSFFFZZZ
    
18. 㹋ꥷח㹋鄲׾׃גְ׏׋儗ך鑧 ˖ 㛇劤涸חכ
    EFTJHO
    EPDVNFOU
    ח剅ְ׋鸐׶ך鏣鎘׾㹋植׃גְֻ ˖ ⥋걾䚍חꟼ׻׶׉ֲז皘䨽כ湱锑ח⛦׏׋׶ٖؽُ٦׾׃׋׶ׅ׷ ˖ "VUPTDBMF
    װ
    .POJUPSJOH
    װ
    'BVMU
    UPMFSBODF
    ָ黝ⴖח鏣㹀ׁ׸גְ׷ ˖ 38
    4QMJUUJOH
    ָ黝ⴖחדֹ׷״ֲחז׏גְ׷ ˖ ꥺ㹱儗חⰋ⡤ח䕦갟׾⿹רׁ׆ח鿇ⴓ涸חرؚٖ٦ءّٝדֹ׷״ֲח׃גֶֻ ˖ ِ٦أ؛٦أחさ׏׋
    JOEFY
    ׾
    %#
    ח顦׏גֶֻ ˖  ˖ ְֲֿ׏׋״ֻ֮׷չ孡׾אֽ׷ץֹֿהպכ
    1SPEVDUJPO
    3FBEJOFTT
    3FWJFX
    זוד佸ִ׷ה葺ׁ׉ֲ ˖ 㹋ꥷח؟٦ؽأꟚ涪ث٦يח⿫⸇ׅ׷ֿהד倜׃ֻ鋅אַ׷״ֲז׮ך׮֮׷ $PPLQBE
    5FDI
    ,JUDIFO
    
    
    ]
    3ZPUB
    :PTIJLBXB
    
    !SSSFFFZZZ
    
19. 劤殢ず瘝ך橆㞮ד頾蚚鑐꿀׾遤׏׋鑧 $PPLQBE
    5FDI
    ,JUDIFO
    
    
    ]
    3ZPUB
    :PTIJLBXB
    
    !SSSFFFZZZ
    
20. 劤殢ず瘝ך橆㞮ד頾蚚鑐꿀׾遤׏׋鑧 ˖ ו׸׌ֽ
    EFTJHO
    EPDVNFOU
    ד鏣鎘ח孡׾אֽגְג׮ ˖ ו׸׌ֽ㹋鄲儗װٖؽُ٦儗ח孡׾אֽגְג׮ ˖ 㹋ꥷח頾蚚׾䱦ֽג然钠ׅ׷ֿהָ㸜Ⰻחٔٔ٦أׅ׷׋׭חכ䓼ֻ䱿㤺 ˖ ➙㔐㹋鄲׃׋皘䨽⟃㢩ָنزٕطحؙחז׷ַ׮ ˖ 㸜Ⰻך׋׭鏣㹀׃׋
    "VUPTDBMJOH
    ך♳ꣲ⦼ח䒷׏ַַ׷ַ׮ ˖ ✮劍׃זְىسٕؐؑ،װ鏣㹀ך♳ꣲ⦼ָ鋅אַ׷ַ׮ $PPLQBE
    5FDI
    ,JUDIFO
    
    
    ]
    3ZPUB
    :PTIJLBXB
    
    !SSSFFFZZZ
    
21. 劤殢ず瘝ך橆㞮ד頾蚚鑐꿀׾遤׏׋鑧 ˖ ׍׳ֲו
    BSUJMMFSZ
    
    ׾⢪׏ג頾蚚鑐꿀׾ׅ׷㛇湍׾侭ִגְ׋ ˖ 㹋ꥷחכ
    TFSWFSMFTTBSUJMMFSZ
    
    ׾⢪׏ג
    -BNCEB
    ♳ַ׵頾蚚鑐꿀׾ׅ׷㛇湍 ˖ 劤殢橆㞮ח㼎׃ג頾蚚鑐꿀׾㹋遤׃ג׮㉏겗זְ橆㞮׮דֹגְ׋ ˖ ٔصُ٦،ٕ䖓ךغحؙؒٝسכ倜׋זو؎ؙٗ؟٦ؽأה׃ג㹋鄲׃גְ׋ ˖ ؟٦ؽأ꟦鸬䵿זו׮֮׶劤殢ה㸣Ⰻחず瘝ךך頾蚚鑐꿀橆㞮׾欽䠐ׅ׷ךכ㔭ꨇ׌׏׋ ˖ 劤殢橆㞮כ
    J04
    ،فٔךٔٔ٦أ⵸ח彊⪒ָ㸣✪׃גְ׋ ˖ J04
    ،فٔךٔٔ٦أָ遤׻׸׷⵸ח欽䠐׃׋劤殢橆㞮ח㼎׃ג頾蚚鑐꿀׾遤׏׋ 
    IUUQTHJUIVCDPN/PSETUSPNTFSWFSMFTTBSUJMMFSZ 
    IUUQTBSUJMMFSZJP $PPLQBE
    5FDI
    ,JUDIFO
    
    
    ]
    3ZPUB
    :PTIJLBXB
    
    !SSSFFFZZZ
    
22. 劤殢ず瘝ך橆㞮ד頾蚚鑐꿀׾遤׏׋鑧 ˖ 頾蚚鑐꿀橆㞮׾欽䠐׃גⴽ鷿頾蚚鑐꿀׾׃ג׮葺ַ׏׋ָ ˖ ؟٦ؽأ꟦鸬䵿זו׮֮׶⿑㺘חכずׄ橆㞮׾欽䠐דֹזְ㉏겗ָ֮׏׋ ˖ 劤殢橆㞮ד頾蚚鑐꿀׾遤ֲֿהד׃ַ孡➰ֽזְ㉏겗׮֮׷ ˖ BSUJMMFSZ
    חכ
    rampTo
    הְֲ䖚ղח頾蚚׾㟓װ׃גְֻ鏣㹀ָ֮׷ ˖ 㨣׭כהג׮⡚ְ⦼ח鏣㹀׃ג
    
    儗꟦ּ׵ְ䱦ֽג湡垥⦼ח鵚בֻ״ֲח頾蚚鑐꿀׾㹋倵 ˖ 頾蚚鑐꿀⚥כぐ؟٦ؽأךًزؙٔأ׾䌢ח岣鋔׃גֶֹ㉏겗ָ饯ֹ׋׵⽯⨡姺ׅ׷ ˖ 劤殢דך䕦갟׾剑㼭ꣲח䫇ִזָ׵㹋ꥷךءأذيח㼎׃ג頾蚚鑐꿀׾遤ִ׷ ˖ 㹋ꥷח鸬䵿⯓ך؟٦ؽأדٍؗػءذ؍ָ駈׶זְהְֲ㉏겗׾涪鋅דֹ׋ $PPLQBE
    5FDI
    ,JUDIFO
    
    
    ]
    3ZPUB
    :PTIJLBXB
    
    !SSSFFFZZZ
    
23. 4FSWJDF
    &NCFEEFE
    43&T
    ׾װ׏ג׫גך䠬䟝 ˖ ➙傈鑧׃׋״ֲז崞⹛ד֮ת׶㣐ֹזꥺ㹱׾饯ֿׁ׆ٔصُ٦،ָٕדֹ׋ ˖ ⽃חչ43&
    ث٦يպה׃ג橆㞮׾侭⪒ׅ׷ךהכ㼰׃麩׏׋穗꿀ָדֹ׋ ˖ 㹋ꥷח؟٦ؽأךꟚ涪׾ׅ׷ה鋅ִ׷兝葿ָⰋ搫㢌׻׏גֻ׷鷞׮搫׶ ˖ 43&
    ךفؙٓذ؍أ׾؟٦ؽأث٦يח⠗ִ׋ְהֹחכ葺ְ䩛岀 ˖ 㹋ꥷח
    %FTJHO
    EPDVNFOU
    ׾剅ְ׋׶頾蚚鑐꿀׾ׅ׷ث٦يָ㟓ִ׋ ˖ ➙ךفٓحزؿؓ٦يחꟚ涪罏湡简ד⡦ָ駈׶זְךַ׮㼰׃鋅ִ׋ $PPLQBE
    5FDI
    ,JUDIFO
    
    
    ]
    3ZPUB
    :PTIJLBXB
    
    !SSSFFFZZZ