自動テストの信頼性を高めるミューテーションテストの活用に向けて

2024/10/18 iOS Test Night #13の登壇資料

Transcript

1. UBSBQQP ࣗಈςετͷ৴པੑΛߴΊΔ
   ϛϡʔςʔγϣϯςετͷ׆༻ʹ޲͚ͯ 
   
   J04
   5FTU
   /JHIU
   
2. ࣗݾ঺հ ฏాහ೭ʢUBSBQQPʣ
   ͔ΜͨΜͳܦྺ
   w %F/"
   48&5
   ˠ
   9
   ˠ
   4NBSU)3
   ୲౰ྖҬ
   ɾʮ։ൃੜ࢈ੑͷ޲্ʯʮ඼࣭ͷ୲อʯΛϛογϣϯ
3. ͸͡Ίʹ ͜ΕͰɺࣗಈςετΛ΋ͬͱ࣮૷Ͱ͖ΔΑ͏ʹͳΓ·͢Ͷ w Έͳ͞Μɺࣗಈςετ࣮૷͍ͯ͠·͔͢ʁ
   w ͜͜਺೥ͰϞόΠϧք۾ʹ͓͍ͯ΋ࣗಈςετΛ࣮૷͢Δػձ͸૿͖͍͑ͯͯΔ͔ ͱࢥ͍·͢
   ͞Βʹ
   w 9DPEF͔Β଴๬ͷʮ4XJGU
   5FTUJOHʯ͕ར༻Ͱ͖ΔΑ͏ʹͳΓ·ͨ͠
4. ͸͡Ίʹ ͦ͜ͰϛϡʔςʔγϣϯςετΛࢼͯ͠Έ·͠ΐ͏ ͦ͜Ͱ࣭໰Ͱ͢
   w ࣗಈςετ͸ͪΌΜͱඞཁͳςετέʔεΛߟ͑ͯ࡞͍ͬͯ·͔͢ʁ
   w ࠓ͋ΔࣗಈςετͰ
   w ͳʹ͔͋ͬͨͱ͖ʹ໰୊Λݟ͚ͭΒΕΔࣗ৴͕͋Γ·͔͢ʁ
   w ίʔυΧόϨοδͷ਺஋Ͱ໰୊ͳ͍ͱ൑அͨ͠Γ͍ͯ͠·ͤΜ͔ʁ
5. ϛϡʔςʔγϣϯςετͱ͸ʁ w ςετίʔυͷे෼͞Λଌఆ͢ΔͨΊͷख๏
   w ϓϩμΫτίʔυʹมҟΛೖΕͨͱ͖ʹͦΕΛςετίʔυͰݕ஌Ͱ͖Δ͔Ͳ͏͔
   w มҟʹϛϡʔλϯτ
   w มҟΛೖΕΔͱ͸ʁ Λʹมߋ ͜ͷΑ͏ʹมߋ͞Εͨͱ͖ʹʮςετίʔυʯͰݕ஌Ͱ͖·͔͢ʁ
6. ϛϡʔςʔγϣϯςετͱ͸ʁ w มҟΛೖΕͨίʔυʹରͯ͠ςετ࣮ߦ
   w ςετ͕མͪΔʢʹ,JMMFEʣ
   w ςετ͕མͪͳ͍ʢʹ4VSWJWFEʣ
   w 4VSWJWFEͷ਺͕ଟ͍΄Ͳ՝୊͕͋Δͱ΋͍͑Δ
   w ,JMMFEͱ4VSWJWFEͷׂ߹ΛΈͯ.VUBUJPO
   4DPSF͕ܾ·Δ
   w ,JMMFEͨ͠਺
   
   มҟΛೖΕͨ਺
   
   .VUBUJPO
   4DPSF
7. ϛϡʔςʔγϣϯςετʹ͓͚Δมҟͷύλʔϯ w ύλʔϯྫ
   w "03ɿBSJUINFUJD
   PQFSBUPS
   SFQMBDFNFOU
   w ࢉज़ԋࢉࢠஔ͖׵͑
   w B
   
   C
   ˠ
   B
   
   CɺBC
   ͳͲʹม׵
   w -$3ɿMPHJDBM
   DPOOFDUPS
   SFQMBDFNFOU
   w ࿦ཧ݁߹ࢠஔ͖׵͑
   w B
   
   C
   ˠ
   B
   cc
   C
   ͳͲʹม׵
   w 303ɿSFMBUJPOBM
   PQFSBUPS
   SFQMBDFNFOU
   w ؔ܎ԋࢉࢠஔ͖׵͑
   w B
   
   C
   
   ˠ
   B
   
   Cɺ
   B
   
   C
   ͳͲʹม׵
8. ϛϡʔςʔγϣϯςετͷͨΊͷϥΠϒϥϦ w 4USZLFSʢIUUQTTUSZLFSNVUBUPSJPʣ
   w +BWB4DSJQUɺ$ɺ4DBMB
   w 1*5FTUʢIUUQTQJUFTUPSHʣ
   w +BWB
   BOE
   +7.
   w .VMMʢIUUQTHJUIVCDPNNVMMQSPKFDUNVMMʣ
   w $ɺ$
   w NVUBUJPO@UFTUʢIUUQTQVCEFWQBDLBHFTNVUBUJPO@UFTUʣ
   w %BSU
9. J04ʹ͓͚Δϛϡʔςʔγϣϯςετ w ϥΠϒϥϦ
   w IUUQTHJUIVCDPNNVUFSNVUBUJPOUFTUJOHNVUFS
   w ηοτΞοϓͱ࣮ߦ·ͰͷྲྀΕ
   w Πϯετʔϧ
   w ઃఆϑΝΠϧͷ༻ҙʢNVUFSDPOGZNMʣ
   w ࣮ߦίϚϯυͷࢦఆ
   w ର৅֎ϑΝΠϧͷࢦఆ
   w ࣮ߦ
   w 
   NVUFS
   GPSNBU
   IUNM
   PVUQVU
   SFTVMUIUNM
10. αϯϓϧίʔυ w ݱ࣌఺Ͱͷ࢓༷
    w ԁͰϙΠϯτ͕खʹೖΔ
    w ϙΠϯτ্ݶ͸ϙΠϯτ
    w ԁΛ͑͜Δߪೖऀ͸ϙΠϯτ
    w ࣍ͷ͍ͣΕ͔ͷ৚݅Λຬͨͤ͹ϙΠϯτഒ
    w ೥ྸ͕ࡀҎ্
    w ϥϯΫ͕Λ௒͍͑ͯΔ
11. ςετΛߟ͑ͯΈΑ͏ w ʮ୯७ʹʯΧόϨοδʹͯ͠ΈΔ
    w DBTFʣԁͷͱ͖͸ϙΠϯτ
    w DBTFʣࡀҎ্ͷͱ͖͔ϥϯΫ͕Ҏ্ͷͱ͖ʹϙΠϯτ ഒ
    w DBTFʣԁΛ͑͜Δͱ͖ϙΠϯτ
    w DBTFʣԁҎ্ͰԁҎԼͷߪೖֹۚ͸ϙΠϯτ DBTF DBTF
    DBTF DBTF DBTF DBTF DBTF DBTF
12. ςετͷ࣮ߦ݁Ռ DBTF DBTF DBTF DBTF ςετͷ࣮ߦ݁Ռ ΧόϨοδ݁Ռʢˋʣ ͜ΕͰςετέʔε͸଍Γ͍ͯ·͔͢ʁ
13. ςετέʔε͸଍Γͯ·͔͢ʁ w DBTFʣԁͷͱ͖͸ϙΠϯτ
    w DBTFʣࡀҎ্ͷͱ͖͔ϥϯΫ͕Ҏ্ͷͱ͖ʹϙΠϯτ ഒ
    w DBTFʣԁΛ͑͜Δͱ͖ϙΠϯτ
    w DBTFʣԁҎ্ͰԁҎԼͷߪೖֹۚ͸ϙΠϯτ DBTF DBTF DBTF DBTF ͜͜Ͱ
    ϛϡʔςʔγϣϯςετΛ΍ͬͯΈ·͠ΐ͏
14. NVUFSͷ࣮ߦ݁ՌʢϨϙʔτʣ w ࣍ͷมҟΛೖΕͨࡍʹςετ͕ࣦഊ͍ͯ͠ ͳ͍
    w VTFSBHF
    
    ʹม͑ͨͱ͖
    w VTFSSBOL
    
    
    ʹม͑ͨͱ͖
15. ςετίʔυΛݟ௚ͯ͠ΈΑ͏ w ࣍ͷมҟΛೖΕͨࡍʹςετ͕ࣦഊ͍ͯ͠ ͳ͍
    w DBTFɿVTFSBHF
    
    ʹม͑ͨͱ͖
    w DBTFɿVTFSSBOL
    
    
    ʹม͑ͨͱ͖ w ೥ྸͷڥք஋Λݟ͍ͯΔΑ͏Ͱݟ͍ͯͳ͍
    w ࡀͱࡀΛ࢖͍ͬͯΔ͕ยํ͸্ֹۚݶΛݟ͍ͯΔ͚ͩ
    w ϥϯΫʹ͍ͭͯ͸ಛʹͳʹ΋ݟ͍ͯͳ͍
    w SBOLΛ͑͜Δςετέʔε͕ͭ΋ͳ͍
16. ςετίʔυͷ௥Ճ w ࣍ͷมҟΛೖΕͨࡍʹςετ͕ࣦഊ͍ͯ͠ ͳ͍
    w DBTFɿVTFSBHF
    
    ʹม͑ͨͱ͖
    w DBTFɿVTFSSBOL
    
    
    ʹม͑ͨͱ͖ w ϙΠϯτ্ݶΛݟΔςετέʔεͱ্ݶΛݟͳ͍ έʔεͰςετΛΘ͚ͯ௥Ճ
    w ϥϯΫʹ͍ͭͯͷςετέʔε΋௥Ճ
17. ʢ࠶౓ʣNVUFSͷ࣮ߦ݁ՌʢϨϙʔτʣ
18. NVUFSʹ͓͚Δมҟύλʔϯ w NVUFSͰ͸࣍ͷύλʔϯΛ༻ҙ͍ͯ͠·͢ʢҰ෦ͷΈهࡌʣ w ࢀߟɿIUUQTHJUIVCDPNNVUFSNVUBUJPOUFTUJOHNVUFSCMPCNBTUFS%PDTNVUBUJPO@PQFSBUPSTNE w /FHBUF
    $POEJUJPOBMT w $IBOHF
    -PHJDBM
    $POOFDUPS
19. ϛϡʔςʔγϣϯςετʹ͓͚Δ՝୊ʢͷҰͭʣ w ϛϡʔςʔγϣϯςετࣗମͷߟ͑͸ྺ࢙͕ઙ͍Θ͚Ͱ͸ͳ͍
    ͳͥɺͦ͜·Ͱར༻͞Εͯͳ͔ͬͨͷ͔
    w ʮมҟʯΛϓϩμΫτίʔυʹೖΕͯɺςετίʔυΛ࣮ߦ͢Δ
    w ˠ
    มҟΛೖΕͨ਺͚࣮ͩߦ࣌ؒ͸૿͍͑ͯ͘
    w ˠ
    ͓͜ͳ͏ͷʹʮ࣮ߦ࣌ؒʯ͕՝୊ʹͳΔέʔε͕ଟ͍
    ͔͠͠
    w ࡢࠓͷʮϚγϯύϫʔʯʢͳͲʣʹΑΓ࣮ݱՄೳʹͳ͖͍ͬͯͯΔʢͱ΋͍͑Δʣ J04ͷςετͰ͸Ͳ͏ͳͷ͔ʁ
20. J04ͷࣗಈςετͷ՝୊ w ࣗಈςετͷ࣮ߦͷྲྀΕ w ୯७ʹʮมҟʯΛೖΕͨ৔߹ͷྲྀΕ ʮมҟʯ͕छྨͰ΋࣮ߦ࣌ؒͷ૿Ճ͕ܹ͍͠ Ͳ͏͢ΔͱΑ͍ͷ͔ʁ
21. ࣮ߦ࣌ؒʹର͢ΔΞϓϩʔν w ՝୊
    w ຖճɺมҟΛೖΕͯςετͷ࣮ߦΛ͍ͯͯ͠͸͕͔͔࣌ؒΓ͗ͯ͢͠·͏
    w NVUFSͰ͸ͲͷΑ͏ͳ͜ͱΛ͓͜ͳ࣮ͬͯߦ࣌ؒͷ୹ॖΛ͓͜ͳ͍ͬͯΔͷ͔
    w  ɹϏϧυͱςετ࣮ߦͷ෼཭
    w  ɹىಈ࣌؀ڥม਺ͷར༻
22. ࣮ߦ࣌ؒʹର͢ΔΞϓϩʔν w Ϗϧυͱςετ࣮ߦͷ෼཭ʢ9DPEF͔Βʣ
    w CVJMEGPSUFTUJOHɿϏϧυ
    w UFTUXJUIPVUCVJMEJOHɿϏϧυ͞Εͨ΋ͷΛςετ࣮ߦ  ɹϏϧυͱςετ࣮ߦͷ෼཭
23. ࣮ߦ࣌ؒʹର͢ΔΞϓϩʔν w มҟΛ࠷ॳʹ༻ҙ
    w ىಈ࣌؀ڥม਺Ͱ࣮ߦ͢ΔίʔυΛ෼ذ
    w ʢ" ɺʢ#ʣͷͱ͜Ζ  ɹىಈ࣌؀ڥม਺ͷར༻
24. ࣮ߦ࣌ؒʹର͢ΔΞϓϩʔν w NVUFSͷมҟͷೖΕํ
    w ϓϩμΫτίʔυʹશͯͷมҟΛೖΕΔ
    w ىಈ࣌؀ڥม਺Ͱݺͼग़͢ίʔυΛ੍ޚ͢Δ  ɹىಈ࣌؀ڥม਺ͷར༻ มҟΛೖΕͨ͋ͱͷϓϩμΫτίʔυ YDUFTUSVOϑΝΠϧ ىಈ࣌؀ڥม਺
25. ࣮ߦ࣌ؒʹର͢ΔΞϓϩʔν w มҟ਺ʹରԠ͢Δʮىಈ࣌؀ڥม਺ʯ͕ࢦఆ͞ΕΔ
    w ࣮ߦέʔε̍ɿʢ"ʣʹରԠ͢Δىಈ࣌؀ڥม਺ΛYDUFTUSVOʹઃఆ
    w ࣮ߦέʔε̎ɿʢ#ʣʹରԠ͢Δىಈ࣌؀ڥม਺ΛYDUFTUSVOʹઃఆ  ɹىಈ࣌؀ڥม਺ͷར༻
26. ࣮ߦ࣌ؒͷ୹ॖޮՌ ୹ॖ࣌ؒ ͜͜ΛฒྻԽͰ͖Ε͹͞Βʹ୹ॖ͸Մೳ
27. ϛϡʔςʔγϣϯςετͷޮՌ w ϝϦοτ
    w ςετ࿙Εʹؾ͚ͮΔ͜ͱ͕͋Δ
    w ςετઃܭ͕ʮෆे෼ʯʮۤखʯͳͱ͖ʹ͸ޮՌେ
    w ίʔυΧόϨοδͱ͸ҧͬͨࣗಈςετͷ'#
    w ˞ίʔυΧόϨοδͱซͤͯ࢖͏ͱྑ͍
28. ϛϡʔςʔγϣϯςετͰͷ஫ҙ఺ w ѻ͏ࡍͷ஫ҙ఺
    w ࣗಈςετ͕Ұఆ͋Δ͜ͱ͕લఏ
    w ΧόϨοδͱซͤͯར༻͢Δͱྑ͍
    w Ͳ͏͍ͬͨมҟύλʔϯ͕͋Δ͔͸ϥΠϒϥϦͷ࣮૷࣍ୈ
    w ϛϡʔςʔγϣϯείΞ͕ˋͰ͋Ε͹໰୊ͳ͍ͱ͍͏Θ͚Ͱ΋ͳ͍
    w ࣮ߦ࣌ؒͷ௕͞
    w ࣮ߦର৅͸ߜΔඞཁ͕͋Δ
    w ݕ஌ͨ͠΋ͷ͕શͯ௚͢΂͖ର৅ͱ͸ݶΒͳ͍ʹνΣοΫ͢Δίετ͕͔͔Δ
    w ౳Ձϛϡʔλϯτͷέʔε΋͋Δ
29. ϛϡʔςʔγϣϯςετͰͷ஫ҙ఺ NVUFSଆͰͷରԠ͸͋ͬͯ΋Ͳ͏ͯ͠΋࣮ߦ࣌ؒ͸͔͔Γ·͢
    w ࣮ߦ࣌ؒɿʢ̍ʣ࣮ߦର৅ͷϑΝΠϧ਺
    
    ʷ
    ʢ̎ʣมҟύλʔϯ
    ʷ
    ʢ̏ʣςετ έʔε਺
    w ʢ̍ʣʹରͯ͠ͷΞΫγϣϯ
    w ࣮ߦର৅֎ͷϑΝΠϧΛઃఆ
    w NVUFSͰ͸ઃఆϑΝΠϧͰࢦఆ
    w ࣮ߦ͢Δର৅ϑΝΠϧΛࢦఆ
    w pMFTUPNVUBUFΦϓγϣϯͰࢦఆ
    w ʢ̎ʣʹରͯ͠ͷΞΫγϣϯ
    w มҟύλʔϯΛߜΔ
    w PQFSBUPSTͰࢦఆ ࣮ߦ࣌ؒͷ໰୊ ࣮ߦର৅Λߜͬͯ΋$*Ͱͷ࣮ߦ࣌ؒ͸Ұఆ͔͔Δ
    ʮ͍ͭʯʮͲ͜Ͱʯ࣮ߦ͢Δ΂͖͔͸ߟ͑Δඞཁ͕͋Δ
30. ϛϡʔςʔγϣϯςετͰͷ஫ҙ఺ w ʮ4VSWJWFEʯʹͳ͍ͬͯΔέʔε͕ςετίʔυΛ௥Ճ͢Δ΂͖΋ͷ͔Λௐ΂Δඞ ཁ͕͋Δ
    w ରԠΛͯ͠΋ˋʹͳΒͳ͍έʔε͸Ұఆ͋Δ
    w ྫʣ౳Ձϛϡʔςʔγϣϯɿมҟͤͯ͞΋݁Ռ͕มΘΒͳ͍έʔε΋͋Δ ݕ஌ͨ͠΋ͷ͕ʮՁ஋ʯ͕͋Δ͔ͷ֬ೝ ͜ΕΛՃຯ্ͨ͠ͰͲ͏͍ͬͨ;͏ʹར༻͢Δ͔Λߟ͑Δඞཁ͕͋Δ
31. ͓ΘΓʹ w ࣗಈςετ͸͋ͨΓ·͑ͷ࣌୅ʹͳΓͭͭ͋Γ·͢
    w ࠓ·ͰҎ্ʹʮςετઃܭʯ͸ॏཁͰ͋Γʮςετٕ๏ʯ΋ॏཁͰ͢
    w ϛϡʔςʔγϣϯςετ΋࢖ͬͯࣗಈςετΛ΋ͬͱ׆༻͍͖ͯ͠·͠ΐ͏