Share
Embed
なぜ人はE2E自動テストの継続に失敗するのか / Why we could not continue the E2E automation testing
JaSST Tokyo 2025での講演スライド
O3(ozono)
March 26, 2025
Transcript
53 slides
-
େԂതত 0[POP)JSPBLJ -*/&'VLVPLBגࣜձࣾೖࣾ ςετࣗಈԽνʔϜ্ཱͪ͛ -*/&ͱϠϑʔ͕߹ซ
4&5Λ໊Γ࢝ΊΔ -*/&Ϡϑʔגࣜձࣾ 4&5νʔϜ !P[POPIJSPBLJ -:$PSQPSBUJPO -
-:$PSQPSBUJPO ͔͜͜Βศ্ٓ&&ࣗಈςετ&&ςετͱ͠·͢ 'SPOUFOE $PNQPOFOU 4FSWJDF $PNQPOFOU #BDLFOE $PNQPOFOU $PNQPOFOU
%BUBCBTF SEQBSUZ4FSWJDF .PDL4UVC &&UFTU 6OJUUFTU -
-:$PSQPSBUJPO "HFOEB ͜͜ͷ&&ςετۀքΛݟ͍ͯͯࢥ͏͜ͱ ܧଓͰ͖ͳ͔ͬͨཁҼɾࣄྫ
ܧଓͰ͖ͨཁҼɾࣄྫ -*/&Ϡϑʔͷ4&5ʹ͍ͭͯ ·ͱΊ -
-:$PSQPSBUJPO ٕज़తͳ՝͕ղ͚ͳ͍ Α͘ϋϚΓ͕ٕͪͩͬͨज़తͳ՝ ͍ΘΏΔ'MBLZUFTUɺਓͷखΛհ͢Δೝূɺෳ ͷૢ࡞͕ඞཁͳෳࡶͳςετγφϦΦͷରԠͳͲ ˣ &&ςετϓϥοτϑΥʔϜɺαʔϏεͷਐԽɺ4NBSU XBJUϨϙʔςΟϯάπʔϧͳͲͷॆ࣮ େྔͷɾԾϒϥβɾγϛϡ
Ϩʔλʔͷӡ༻ɺ$*ڥͷඋͳͲ ˣ %FWJDFGBSNJOHͷ֦ॆɺ &NVMBUPS4JNVMBUPSͷਐԽɺ "84ɺ($1ͳͲͷΫϥυαʔϏ εͷॆ࣮ ϨΠΞτ่ΕͷݕɺVTBCJMJUZɺ BDDFTTJCJMJUZʹؔ͢Δςετ ˣ ੜ"*ʹΑΔݕɺͦͦ&&ςε τͰͦ͜ؤுΒͳͯ͘ྑ͘ͳ͍ʁͱ ͍͏ೝͷ·Γ -
-:$PSQPSBUJPO ٕज़తͳ՝͕ղ͚ͳ͍ Α͘ϋϚΓ͕ͪʮͩͬͨʯٕज़తͳ՝ ͍ΘΏΔ'MBLZUFTUɺਓͷखΛհ͢Δೝূɺෳ ͷૢ࡞͕ඞཁͳෳࡶͳςετγφϦΦͷରԠͳͲ ˣ &&ςετϓϥοτϑΥʔϜɺαʔϏεͷਐԽɺ4NBSU XBJUϨϙʔςΟϯάπʔϧͳͲͷॆ࣮ େྔͷɾԾϒϥβɾγϛϡ
Ϩʔλʔͷӡ༻ɺ$*ڥͷඋͳͲ ˣ %FWJDFGBSNJOHͷ֦ॆɺ &NVMBUPS4JNVMBUPSͷਐԽɺ "84ɺ($1ͳͲͷΫϥυαʔϏ εͷॆ࣮ ϨΠΞτ่ΕͷݕɺVTBCJMJUZɺ BDDFTTJCJMJUZʹؔ͢Δςετ ˣ ੜ"*ʹΑΔݕɺͦͦ&&ςε τͰͦ͜ؤுΒͳͯ͘ྑ͘ͳ͍ʁͱ ͍͏ೝͷ·Γ -
-:$PSQPSBUJPO ࢦ͢ํͱखஈ͕Ϛον͍ͯ͠ͳ͍ ͋ΔϓϩδΣΫτͷྫ ՝िؒʹճͷϦϦʔεલʹߦ͍ͬͯΔखಈͷϦάϨογϣϯςετͷέʔε͕݅Ҏ্͋Γɺ࣮ߦ͕͍࣌ؒ ࣌ؒ िؒ 3FMFBTF 3FHSFTTJPOUFTU 1MBOOJOH
%FWFMPQNFOU %FQMPZUPTUH .BOVBMUFTU -
-:$PSQPSBUJPO ࢦ͢ํͱखஈ͕Ϛον͍ͯ͠ͳ͍ ͋ΔϓϩδΣΫτͷྫ ՝िؒʹճͷϦϦʔεલʹߦ͍ͬͯΔखಈͷϦάϨογϣϯςετͷέʔε͕݅Ҏ্͋Γɺίετ͕େ͖͍ ࣌ؒ िؒ 3FMFBTF 3FHSFTTJPOUFTU 1MBOOJOH
%FWFMPQNFOU %FQMPZUPTUH .BOVBMUFTU खஈखಈͷϦάϨογϣϯςετΛ&&ςετʹ తਓతͳίετͱ࣌ؒతͳίετΛݮ͍ͨ͠ -
-:$PSQPSBUJPO ࢦ͢ํͱखஈ͕Ϛον͍ͯ͠ͳ͍ ͋ΔϓϩδΣΫτͷྫ Ұճ࣮ߦ͋ͨΓͷਓతͳίετͱ࣌ؒతίετ͔֬ʹݮͰ͖Δ͔͠Εͳ͍ɻ͕ɺ ࣌ؒ िؒ 3FMFBTF &&UFTU 1MBOOJOH
%FWFMPQNFOU %FQMPZUPTUH .BOVBMUFTU &&ςετͷ࣮ίετɾϝϯςφϯείετ ݁ہ͜Εਓతίετ ͕େ͖͔͔͘ΔՄೳੑ͕͋Δɻ Ծʹ࣮ߦʹ͔͔͍࣌ؒͬͯͨͷ͕࣌ؒʹͳͬͨͱͯ͠ɺिؒͱ͍͏αΠΫϧͰݟͨ߹ͷ࣌ؒతίετରͯ͠ݮͰ͖͍ͯͳ͍ *NQMFNFOU&&UFTU .BJOUBJO&&UFTU -
-:$PSQPSBUJPO ࢦ͢ํͱखஈ͕Ϛον͍ͯ͠ͳ͍ ͋ΔϓϩδΣΫτͷྫ ͳʹ͕ʁʁ ࣌ؒ िؒ 3FMFBTF &&UFTU 1MBOOJOH
%FWFMPQNFOU %FQMPZUPTUH .BOVBMUFTU ςετ࣮ߦͷίετ͚ͩͰͳ͘ɺ࣮ϝϯςφϯεؚΊͨίετΛൺֱׂͯ͠ʹ߹͏ʁ ϦϦʔεલ͚ͩͰͳ͘ɺଞͷλΠϛϯάͰ&&UFTUΛ͍·Θͤͳ͍ͩΖ͏͔ʁ *NQMFNFOU&&UFTU .BJOUBJO&&UFTU ͜͜Ͱςετέʔε༰ͷݟ͠ɺଞͷςετͰΧόʔͰ͖ͳ͍ͷʁΈ͍ͨͳͦͦͳ͍ͱԾఆ͍ͯ͠·͢ -
-:$PSQPSBUJPO &&ςετʹର͢Δʮͳͥʁʯ͕ᐆດ ख๏ɾڥ ӡ༻ɾϑϩʔ සɾλΠϛϯά ͜ͷςετͳͥ&&Ͱ͍ͬͯΔͷʁ ͬͱίετ͕͍ςετͰͰ͖ͳ͍ͷʁ ͳͥ͜ͷπʔϧɾαʔϏεΛ͍ͬͯΔͷʁ ͳͥςετσʔλͷ࡞&&ςετͷπʔϧͰʁ
ͳ࣮ͥػͰςετ͍ͯ͠Δͷʁ ͳͥ͜ͷςετಉ࣌ʹಈ͔͢ͱࣦഊ͢Δͷʁ ͳͥ͜ͷςετॱংΛม͑Δͱࣦഊ͢Δͷʁ ͳͥखಈͰ࣮ߦϘλϯΛԡ͍ͯ͠Δͷʁ ͳͥ2"͚ͩͰ͍ͬͯΔͷʁ ͳͥ4&5͚ͩͰ͍ͬͯΔͷʁ ςετέʔεͲ͏બఆ͍ͯ͠Δͷʁج४ʁ ͳͥͦͷόʔδϣϯ͚ͩͰςετ͍ͯ͠Δͷʁ ͳͥͦͷλΠϛϯάͰ࣮ߦ͍ͯ͠Δͷʁ ͬͱ࣮ߦճΛ૿͢͜ͱͰ͖ͳ͍ͷʁ ͬͱૣ͘Ͱ͖ͳ͍ͷʁ ͬͱ͘Ͱ͖ͳ͍ͷʁ ͜ΕΒͷʮͳͥʯ͕ੵΓɺ͕ ͯ'MBLZͳ5FTU͕૿͑ɺ&&ςε τͷ৴པੑ͕ͳ͘ͳ͍͖ͬͯɺςε τ୯ʹճ͍ͬͯΔ͚ͩͷঢ়ଶʹ ͳΓɺςετ݁ՌࣺͯΒΕɺ Ώͬ͘Γͱ͍ͬͯ͘͜ͱʹʜ ා -
-:$PSQPSBUJPO &&ςετʹର͢Δʮͳͥʁʯ͕ᐆດ ख๏ɾڥ ӡ༻ɾϑϩʔ සɾλΠϛϯά ͜ͷςετͳͥ&&Ͱ͍ͬͯΔͷʁ ͬͱίετ͕͍ςετͰͰ͖ͳ͍ͷʁ ͳͥ͜ͷπʔϧɾαʔϏεΛ͍ͬͯΔͷʁ ͳͥςετσʔλͷ࡞&&ςετͷπʔϧͰʁ
ͳ࣮ͥػͰςετ͍ͯ͠Δͷʁ ͳͥ͜ͷςετಉ࣌ʹಈ͔͢ͱࣦഊ͢Δͷʁ ͳͥ͜ͷςετॱংΛม͑Δͱࣦഊ͢Δͷʁ ͳͥखಈͰ࣮ߦϘλϯΛԡ͍ͯ͠Δͷʁ ͳͥ2"͚ͩͰ͍ͬͯΔͷʁ ͳͥ4&5͚ͩͰ͍ͬͯΔͷʁ ςετέʔεͲ͏બఆ͍ͯ͠Δͷʁج४ʁ ͳͥͦͷόʔδϣϯ͚ͩͰςετ͍ͯ͠Δͷʁ ͳͥͦͷλΠϛϯάͰ࣮ߦ͍ͯ͠Δͷʁ ͬͱ࣮ߦճΛ૿͢͜ͱͰ͖ͳ͍ͷʁ ͬͱૣ͘Ͱ͖ͳ͍ͷʁ ͬͱ͘Ͱ͖ͳ͍ͷʁ Α͘ݟΔύλʔϯ ʮͦΕ͔͠ํ๏͕ͳ͍ʯʮ͠ΐ͏ ͕ͳ͍ʯͱࢥ͍ࠐΜͰ͍ͨΓ͠· ͤΜ͔ʁ -
-:$PSQPSBUJPO &&ςετઐଐΤϯδχΞϙδγϣϯΛ༻ҙ͢Δ %FWFMPQFS 1SPKFDU5FBN 1E. 2" 4&5 5FTUFS %FWFMPQFS
ϓϩδΣΫτϝϯόʔ͕ଟ͍ ܻΦʔμʔ िؒʹճͷϦϦʔεɻϓϩδΣΫτͷੑ࣭ ্ૣΊΑ͏ͱࢥ͍ͬͯͳ͍ ૉૣ͍σϦόϦʔΑΓɺେʹ͋ΔΫϦςΟ ΧϧͳγφϦΦΛΧόʔ͍ͨ͠ˠ҆શଆ ػೳ։ൃɺमਖ਼ͳͲ͕ଟͷεϞʔϧνʔϜͰ ಉ࣌ฒߦʹਐΉˠͲ͔͜ͷνʔϜ͕TUBHJOHΛ յ͢ˠ͍Ζ͍ΖͳνʔϜӨڹ͕ग़ͯ͠·͏ˠ ϦάϨογϣϯςετͷॏཁੑ͕ߴ͍ ෳ͋ΔEFWڥɺTUBHJOHڥɺQSPEVDUJPO ڥͰಉ͡ςετέʔεΛ͍ճ͍ͯ͠Δˠ࣮ ͨ͠&&ςετ͕ޮΑ͑͘Δ &&ςετͰίετΛԼ͍͛ͨͱࢥ͍ͬͯͳ͍ &NCFEEFE -
-:$PSQPSBUJPO &&ςετઐଐΤϯδχΞϙδγϣϯΛ༻ҙ͢Δ %FWFMPQFS 1SPKFDU5FBN 1E. 2" 4&5 5FTUFS %FWFMPQFS
͏ͪͷνʔϜಉ͡Α͏ͳߏͰؔΘ͍ͬͯΔ ϓϩδΣΫτ͕͋Δɻ ͜ͷϓϩδΣΫτʹ͏ͪͷνʔϜ͔ΒͻͱΓ ઐଐͰೖͬͯΒ͍ͬͯΔɻͻͱΓͰҎ্ ͷγφϦΦɺʹઍճςετ͕ճΔڥɻ௨ ࢉͰ͘Β͍ଓ͚͍ͯΔ ςετέʔεͷ࡞ɾӡ༻͚ͩͰͳ͘ɺ࣮ػ &NVMBUPS4JNVMBUPSͳͲͷςετ࣮ߦڥɺ ϨϙʔςΟϯάγεςϜͷඋͳͲ&&ςετʹ ؔ͢Δ͜ͱશͯड͚࣋ͭ ͜Ε·ͰʹԿେ͖ͳΛ։ൃڥɺຊ൪ ڥΘͣ৯͍ࢭΊ͖ͯͨ &&ςετʹ͓͚Δશͯ4&5νʔϜ͕ ͍࣋ͬͯΔͱ͍͏ߏɺ͋Δҙຯγϯϓϧ &NCFEEFE ͏ͪͷνʔϜ -
-:$PSQPSBUJPO &&ςετઐଐΤϯδχΞϙδγϣϯΛ༻ҙ͢Δ %FWFMPQFS 1SPKFDU5FBN 1E. 2" 4&5 5FTUFS %FWFMPQFS
વɺ͍͍͜ͱ͔ΓͰͳ͍ Θ͔Γ͘͢&&ςετ͕4&5ґଘ͍ͯ͠Δ ঢ়ଶ ฏ࣌ͦΕͰͳ͍͕ɺձࣾ৫νʔϜ ϓϩδΣΫτੜͰ͋Γɺ࣌ͱڞʹมԽ͢Δ ͷ͕વ ґଘ͕ڧ͍ঢ়ଶɺͦΕ͚ͩมԽʹऑ͍ ࣮ࡍʹ͏ͪͷνʔϜͰಉ͡Α͏ͳঢ়گʹͳ Γɺ&&ςετͷΛଞͷϩʔϧҠৡ͢Δ ʹͲ͏ͨ͠Μ͔ʜͱ͍͏͕͋ͬͨ ͜͜ΒΜ͚ͩͰ͢ͱ͘ͳΓͦ͏ͳͷ Ͱɺڵຯ͕͋ΔํऴΘ͔ͬͯΒั·͑ͯͩ͘ ͍͞ʂ &NCFEEFE ͏ͪͷνʔϜ -
-:$PSQPSBUJPO ൪֎ฤ ׂΛ্खʹ͚͍ͯͨྫ ػೳ։ൃΛ͢Δͱ͖ɺ։ൃऀࣗͰςετ έʔε ʺ&&ςετ Λ࡞ɺ࣮ߦ͢Δͷ͕ ׂ
2"ग़དྷ্͕ͬͨςετέʔεΛϨϏϡʔ͢Δ ͱ͍͏ׂ ػೳ։ൃͨ͠։ൃऀ͕ࣗςετͷ࣮ɾ࣮ߦ ʹର͢ΔΛ໌֬ʹ࣋ͭͱ͍͏ྫ %FWFMPQFSͱ2"&OHJOFFSͷϩʔϧ͕໌֬ʹ ͔Ε͍ͯΔ৫Ͱ͜ͷύλʔϯ͋·Γݟͨ͜ ͱ͕ͳ͔ͬͨ ҟͳΔϩʔϧؒͰͷ͕͖ͬΓ͢ΔˠϘʔ ϧ͕ු͔ͣվળ׆ಈ͕͍͢͠ڥ తͱ͕͖ͬΓ͍ͯ͠ΔͷͰखஈ͕બͼ ͍͢ .BJO 'FBUVSF %FWFMPQ .BLFUFTUDBTFT %FW 2" %FW 3FWJFXUFTUDBTFT &YFDUFTUDBTFT %FW "--(3&&/ -
-:$PSQPSBUJPO ͜Ε͔Β &NCFEEFE͔ΒจԽͷৢ 1SPKFDU 5FBN 1SPKFDU 5FBN 1SPKFDU 5FBN
1SPKFDU 5FBN 1SPKFDU 5FBN 1SPKFDU 5FBN ͏ͪͷνʔϜ &&ςετΛؚΊɺ։ൃऀςετશൠͷ ։ൃνʔϜ ཁҼੲʹൺͯɺখ͘͞ૣ͘σϦόϦʔͨ͠ ͍ɺ&&ςετͦΕʹ͍ۙςετΛࣗͨͪ ͷͰΓ͍ͨͱ͍͏νʔϜ͕૿͖͑ͯͨ ڀۃతɾཧతʹ4&5։ൃऀͷจԽΛ࡞Δ ͜ͱ͕ࣄͰͳ͍͔ʁˠจԽ͑͞Ͱ͖ͯ͠· ͑4&5͕ுΓ͍͍ͯΔඞཁͳ͍ 4&5εϖγϟϦετͱͯ͠ɺࣗࣾͷ։ൃऀ͕ ςετ͍͢͠ɺςετΛͬͱޮతʹߦ͑ Δ৫తɺٕज़తͳڥΛ͑Δ͜ͱʹྗ ಛघϩʔϧ͗ͯ͢࠾༻͕ܹϜζˠͯ͢ͷ։ൃ νʔϜೖ͍ͬͯ͘ͷݱ࣮తͰͳ͍ ͏ͪͷ ձࣾͷ߹ -
-:$PSQPSBUJPO ͜Ε͔Β &NCFEEFE͔ΒจԽͷৢ ݱͷ&&ςετ։ൃνʔϜʹͤɺࣗͨ ͪ࠷ઌΛ͍ଓ͚ͳ͍ͱ͙͢ʹ͍͍͔ͯ ΕΔঢ়ଶʹͳΓͭͭ͋Δ &&ςετͷʮ͋ͨΓ·͑ʯͲΜͲΜมΘͬ ͖͍ͯͯΔɻͪΐͬͱલ$POUBJOFSܥɺࠓ ੜ"*
·ͩ·࣮ͩફೖ͢Δʹݫ͍͠ʜͳΜͯ͏ ͍͔͠Εͳ͍ɻ͙ͦ͢͜·ͰCSFBLJOH DIBOHF͕དྷ͍ͯͦ͏ͳ༧ײ ϐϥϛουτϩϑΟʔʹද͞ΕΔཧతͳ ςετͷܗมΘͬͯ͘Δ͔͠Εͳ͍ ˠ&&ςετʹ͔͔Δίετׂ͕͜Ε͔Β ͲΜͲΜมΘΔ͔͠Εͳ͍͔Β 3FGIUUQTUFTUJOHHPPHMFCMPHDPNKVTUTBZOPUPNPSFFOEUPFOEUFTUTIUNM )JHI -PX $PTU -
-:$PSQPSBUJPO ·ͱΊ &&ςετͷٕज़తͳোนେ͖͘Լ͕ͬͨ গͳ͘ͱɺٕज़తͳཧ༝Ͱ&&ςετͷಋೖΛ᪳͏͜ͱͳ͘ͳͬͨ ࠓޙੜ"*ͷൃలͳͲ͕ىҼʹͳͬͯɺ&&ςετͲΜͲΜมΘ͍ͬͯ͘
Ұํɺӡ༻໘Ͱͷ՝ɺϋϚΓͲ͜Ζ·ͩ·ͩ͋Δ &&ςετͷಛੑΛཧղ͍ͯ͠ͳ͍ͱɺޮՌΛेʹൃشͰ͖ͳ͍ͱ͍͏ͷࠓมΘΒͳ͍ &&ςετͷత͕มΘΔ͜ͱʹΑΔมԽͷରԠ ͱ͍͑ɺ&&ςετΛऔΓר͘ڥιϑτ ӡ༻ ɺϋʔυ ٕज़ ͱʹʑྑ͘ͳ͍ͬͯΔ