Share
Embed
自動テストvs手動テスト
自動化されたテスト VS 手動テスト
http://www.slideshare.net/directi/automated-testing-vs-manual-testing-391121
の日本語訳。 ライセンスはオリジナルに準じる
Ryutaro YOSHIBA
April 14, 2012
Transcript
24 slides
-
Intelligent People. Uncommon Ideas. ⾃自ಈςετvs ⼿手ಈςετ By Bhavin Turakhia CEO,
Directi (shared under Creative Commons Attribution Share-alike License incorporated herein by reference) (http://creativecommons.org/licenses/by-sa/3.0/) ⽇日ຊޠ൛༁ !3ZV[FF ޡ༁͕͋Ε࿈བྷ͍ͩ͘͞ɻ ϥΠηϯεΦϦδφϧʹ४ͯ͡$$#:4"Ͱ͢ -
⼿手ಈςετ • ⼿手ಈςετͰͷίʔσΟϯάϓϩηε § ίʔυΛॻ͘ § Ͳ͔͜ʹίʔυΛΞοϓϩʔυ͢Δ § Ϗϧυ͢Δ §
⼿手ͰίʔυΛಈ͔͢ (ଟ͘ͷ߹ɺॱ൪ʹϑΥʔϜʹ⼊入⼒力力ͨ͠Γ͢ Δ) § ϩάϑΝΠϧσʔλϕʔε֎෦αʔϏεมͷը⾯面ग़ ⼒力力༰ͳͲΛνΣοΫ͢Δ § ͠͏·͘ಈ࡞͠ͳ͔ͬͨΒɺ্هΛ࠷ॳ͔Β܁Γฦ͢ 2 Creative Commons Attribution Share-alike -
⾃自ಈԽ͞Εͨςετ • ⾃自ಈԽͨ͠ϢχοτςετΛ⽤用͍ͨίʔσΟϯάϓϩηε § ̍ͭ·ͨݸͷςετέʔεΛॻ͘ § ⾃自ಈͰίϯύΠϧ͠ςετ͕ࣦഊ͢Δ͜ͱΛ֬ೝ͢Δ § ςετ͕௨ΔΑ͏ͳίʔυΛॻ͘ §
⾃自ಈͰίϯύΠϧ͠࠶ςετΛ࣮⾏行行͢Δ § ͠ςετʹࣦഊͨ͠ΒదͳมߋΛ⾏行行͏ § ͠ςετ͕ޭͨ͠Β࣍ͷϝιουಉ͡Α͏ʹίʔσΟϯά ͢Δ • ⾃自ಈԽͨ͠ػೳςετΛ⽤用͍ͨίʔσΟϯάϓϩηε § Ϣχοτςετʹશͯύε͢ΔΑ͏ͳίʔυΛॻ͘ § πʔϧͳͲΛͬͯػೳςετΛॻ͘ § ⾃自ಈͰίϯύΠϧͯ͠ςετΛ࣮⾏行行͢Δ § ͠ςετʹࣦഊͨ͠ΒదͳมߋΛ⾏行行͏ § ͠ςετʹޭͨ͠Β࣍ʹਐΉ 3 Creative Commons Attribution Share-alike -
⾃自ಈԽ͞Εͨςετ vs ⼿手ಈςετ • ࡞ۀྔͱίετ § 6ͭͷςετέʔε͕͋Δ߹Λߟ͑Δ § શͯͷςετΛ⼿手ಈͰ࣮⾏行行͢Δ߹ =>
10 § શͯͷϢχοτςετΛॻ͘߹ => 10 § શͯͷϢχοτςετΛ࣮⾏行行͢Δ => < 1ະຬ § ςετͷ܁Γฦ࣮͠⾏行行ճ => 5ճ § ⼿手ಈςετͰͷ૯ςετ࣌ؒ => 50 § Ϣχοτςετͷ૯ςετ࣌ؒ=> 10 Release Manual Test Auto Test Manual Test Cumula0ve 1 10 10 10 2 10 0 20 3 10 0 30 4 10 0 40 5 10 0 50 4 Creative Commons Attribution Share-alike -
⾃自ಈԽ͞Εͨςετvs ⼿手ಈςετ • ࡞ۀྔͱίετ § ΠϯΫϦϝϯλϧʹϢχοτςετͷέʔεΛՃ͍ͯ͘͠ͷɺ ΠϯΫϦϝϯλϧʹ⼿手ಈͷςετέʔεΛՃ͍ͯ͘͠ΑΓඅ⽤用 ͍҆ • ྫʣυϝΠϯͷొ
§ Case 1: .comυϝΠϯΛશͯͷϑΟʔϧυʹਖ਼͍͠Λ⼊入Εͯొ ͢Δ § Case 2: .comυϝΠϯͷొͷࡍʹແޮͳDNSαʔό໊Λ⼊入ΕΔ 5 Creative Commons Attribution Share-alike -
⾃自ಈԽ͞Εͨςετvs ⼿手ಈςετ • ⼿手ಈͰͷςετୀ۶ § ಉ͡ϑΥʔϜʹΛ⼊入Εଓ͚Δ͜ͱΛΉ⼈人ͳΜͯ୭͍ͳ͍ § ςετΛ⼿手ಈͰ࣮⾏行行͢Δ͜ͱ͔ΒֶΔ͜ͱͳ͍ § ⼿手ಈͷςετ͓Ζ͔ͦʹ͞Ε͍͢
§ ⼿手ಈςετͷ⼀一ཡ୭ϝϯςφϯε͠ͳ͍ • ⼀一⽅方Ͱ⾃自ಈԽ͞ΕͨςετίʔυͰ͋ΔͨΊ… § ςετΛॻ͘͜ͱָͯ͘͠νϟϨϯδϯάͩ § ࠶ར⽤用ੑͱΧόϨʔδΛҙਂ͘ߟ͑ͳ͚ΕͳΒͳ͍ § ੳͷεΩϧ͕ඞཁͩ § কདྷʹͬͯ༗⽤用Ͱ͋Δ 6 Creative Commons Attribution Share-alike -
⾃自ಈԽ͞Εͨςετvs ⼿手ಈςετ • ⼿手ಈͷςετ࠶ར⽤用Ͱ͖ͳ͍ § ຖճಉ͡࿑⼒力力͕ཁٻ͞ΕΔ § ⼿手ಈςετ࠶ར⽤用Ͱ͖ͳ͍ • ⾃自ಈԽ͞Εͨςετશʹ࠶ར⽤用Մೳ
§ ॏཁ: ܧଓతΠϯςάϨʔγϣϯαʔόͱڞ௨ͷίʔυϨϙδτϦ ͱ৫ߏ͕ඞཁ § ⾃自ಈԽ͞Εͨςετͻͱͨͼॻ͔ΕΔͱίʔυϕʔεͷ⼀一෦ͱ ͳΔ § ༨ܭͳ࿑⼒力力Λ͔͚Δ͜ͱͳ͘࠶ར⽤用Ͱ͖Δ 7 Creative Commons Attribution Share-alike -
⾃自ಈԽ͞Εͨςετvs ⼿手ಈςετ • ⼿手ಈςετ⼀一෦ͷՄࢹੑ͔͠ఏڙͤͣɺશͯͷεςʔΫ ϗϧμʔ͕܁Γฦ࣮͠⾏行行͠ͳ͚ΕͳΒͳ͍͜ͱ͕͋Δ § ։ൃऀʹΑΔίʔυͷςετͰ͔݁͠ՌΛ⾒見見Δ͜ͱ͕Ͱ͖ͳ͍ § શͯͷεςʔΫϗϧμʔ͕ಉ͡ςετΛ܁Γฦ࣮͠⾏行行͠ͳ͚Ε ͳΒͳ͍͜ͱ͕͋Δ
• ྫ ։ൃऀɺςΫχΧϧϦʔυɺGMɺཧ৬ • ⾃自ಈԽ͞Εͨςετશମʹରͯ͠ՄࢹੑΛఏڙ͢Δ § ։ൃऀɺςΫχΧϧϦʔυɺཧ৬γεςϜʹϩάΠϯͯ͠ς ετ݁ՌΛΈΔ͜ͱ͕Ͱ͖Δ § ൴Βʹ͓͍ͯಛஈͷ࿑⼒力力ඞཁͱ͠ͳ͍ Release Manual Tes+ng by Dev Manual Tes+ng by Team Leads Manual Tes+ng by Mgmt Total Manual Tes+ng Auto Test Dev Manual Test Cumula+ve Total Manual Test Cumula+ve 1 10 5 3 18 10 10 18 2 10 5 3 18 0 20 36 3 10 5 3 18 0 30 54 4 10 5 3 18 0 40 72 5 10 5 3 18 0 50 90 8 Creative Commons Attribution Share-alike -
⾃自ಈԽ͞Εͨςετvs ⼿手ಈςετ • ⼿手ಈͷςετ݁ہ݁߹ςετʹͳͬͯ͠·͏ § యܕతͳ⼿手ಈςετʹ͓͍ͯɺϢχοτ୯ମͰςετΛ͢Δ͜ ͱ͍͠ § ଟ͘ͷڥʹ͓͍ͯɺόοΫΤϯυͷαʔϏεͱ݁߹ͨ͠ঢ়ଶ ͰνΣοΫ͢Δ͜ͱʹͳͬͯ͠·͏
§ յΕ͍͢ςετ– ؔ͢͠ΔԿ͔͕յΕ͍ͯΔͱ⼿手ಈͷςε τࣦഊͯ͠͠·͏ • ⾃自ಈԽ͞ΕͨςετείʔϓΛม͑Δ͜ͱ͕Ͱ͖Δ § Ϣχοτ (Ϋϥεϝιου)ςετͰ͖Δ͠,Ϟδϡʔϧγε ςϜ⾃自ମςετͰ͖Δ 9 Creative Commons Attribution Share-alike -
⾃自ಈԽ͞Εͨςετvs ⼿手ಈςετ • ⼿手ಈͷςετෳࡶͳςετ४උͱऴྃ࡞ۀ͕ඞཁʹͳΔ § DBʹΫΤϦʔΛසൟʹྲྀ͢Α͏ͳ࡞ۀؚ·ΕΔͩΖ͏ § όοΫΤϯυͷαʔόʹมߋΛՃ͑ΔΑ͏ͳ࡞ۀؚ·ΕΔͩΖ ͏ §
ෳͷґଘੑͷ͋Δςετέʔεͷ߹ɺςετ४උΑΓෳࡶ ʹͳΔ • ⾃自ಈԽ͞ΕͨςετείʔϓΛม͑ɺෳࡶͳςετ४උ ऴྃ⼿手ॱඞཁͱ͞Εͳ͍ § ϢχοτςετͰ֎෦ͷґଘੑϞοΫΛͬͯղܾ͢ΔͷͰ setupteardownඞཁͱ͞Εͳ͍ § ػೳςετʹ͓͍ͯςετ४උͱऴྃ⼿手ॱϑϨʔϜϫʔΫΛ ͏͜ͱͰ⾃自ಈԽ͞Ε͍ͯΔ 10 Creative Commons Attribution Share-alike -
⾃自ಈԽ͞Εͨςετvs ⼿手ಈςετ • ⼿手ಈςετԿ͔Λ⾒見見ಀͯ͠͠·͏ͱ͍͏⾼高͍ϦεΫ͕͋ Δ § ຖճ։ൃऀ͕⼿手ಈͰ࣮⾏行行͍ͯ͠ΔͱॏཁͳςετέʔεΛ⾒見見ಀ͠ ͯ͠·͍͕ͪͩ § ৽͘͠ՃΘͬͨ։ൃऀʹςετ࣮⾏行行ͷͨΊͷ⼿手͕͔Γ͕ͳ͍
• ⾃自ಈԽ͞ΕͨςετͰ͋Β͔͡ΊܾΊͨςετΛ⾶飛͠ ͯ͠·͏ϦεΫ⼀一ͳ͍ § ςετ͕ͻͱͨͼܧଓతΠϯςάϨʔγϣϯͷରʹͳΕ୭ ͍֮͑ͯͳͯ͘ຖճ࣮⾏行行͞ΕΔ 11 Creative Commons Attribution Share-alike -
⾃自ಈԽ͞Εͨςετvs ⼿手ಈςετ • ⼿手ಈςετΛઃܭͷॿ͚ʹͳΒͳ͍ § ⼿手ಈςετϞδϡʔϧ͕࡞ΒΕͨޙʹ࣮⾏行行͞ΕɺͦΕނόά ͷύον͋ͯʹ͔͠ͳΒͳ͍ • ⾃自ಈԽ͞ΕͨςετTDD(ςετϑΝʔετ։ൃ)ઃܭ Λॿ͚Δ
§ ϢχοτςετΛ࠷ॳʹॻ͘͜ͱཁٻࣄ߲ઃܭͷӨڹΛ໌ Β͔ʹ͢Δ § ϞοΫΦϒδΣΫτΛͬͯϢχοτςετΛॻ͘͜ͱͰڧ੍ తʹ͖Ε͍ͳઃܭʹͳΓɺநɾΠϯλʔϑΣΠεɾϙϦϞʔ ϑΟζϜͷ͕ਐΉ 12 Creative Commons Attribution Share-alike -
⾃自ಈԽ͞Εͨςετvs ⼿手ಈςετ • ⼿手ಈςετηʔϑςΟωοτΛఏڙ͠ͳ͍ § ⼿手ಈςετϞδϡʔϧ͕࡞ΒΕͨޙʹ࣮⾏行行͞ΕɺͦΕނόά ͷύον͋ͯʹ͔͠ͳΒͳ͍ • ⾃自ಈԽ͞ΕͨςετϦϑΝΫλϦϯάػೳՃʹ͓͚ ΔηʔϑςΟωοτΛఏڙ͢Δ
§ ͜ͷϓϩδΣΫτͷίʔυΛ৮ͬͨ͜ͱ͕ͳ͍৽͍͠։ൃऀͰ มߋʹରͯ͠⾃自৴Λͭ͜ͱ͕Ͱ͖Δ 13 Creative Commons Attribution Share-alike -
⾃自ಈԽ͞Εͨςετvs ⼿手ಈςετ • ⼿手ಈςεττϨʔχϯάʹ͑ͳ͍ • ⾃自ಈԽ͞ΕͨςετυΩϡϝϯτͱͯ͠ػೳ͢Δ § ϢχοτςετΛಡΉ͜ͱͰίʔυϕʔεͷ⽬目త͕͖ͬΓ͢Δ § ⾃自ಈԽ͞ΕͨςετʹΑͬͯཁٻࣄ߲͕͖ͬΓ͢Δ
§ ⾃自ಈԽ͞ΕͨςετʹΑͬͯଞͷϢʔεέʔεͱظ͢Δ݁Ռ͕ Θ͔Γ͘͢ͳΔ § ৽͍͠։ൃऀίʔυΛಡΉΑΓϢχοτςετΛಡΉ͜ͱͰ ΑΓίʔυ͕ཧղͰ͖ΔΑ͏ʹͳΔ § Ϣχοτςετίʔυͷظ͞ΕΔৼΔ͍ΛఆΊ͍ͯΔ 14 Creative Commons Attribution Share-alike -
⾃自ಈԽ͞Εͨςετvs ⼿手ಈςετ • ⼿手ಈςετΩνΨΠ͡ΈͨΨϥΫλίʔυΛ⽣生Έग़͢ § ଟ͘ͷ⼿手ಈςετʹ͓͍ͯ– • มͷ֬ೝͷͨΊʹSystem.out͕ଟ⽤用͞ΕΔ • ʹ⽴立立ͨͳ͍ϩά͕ΞϓϦέʔγϣϯαʔόDBαʔόͦͷଞʹग़
⼒力力͞ΕΔ • ίʔυϩάग़⼒力力͕ΨϥΫλʹͳΔ § IF⽂文Ͱذ͞ΕͨϑϥάϕʔεͰͷϩάग़⼒力力ΠϕϯτϕʔεͰͷϩάग़⼒力力 • ΞϓϦέʔγϣϯ͕͘ͳΔ • ⾃自ಈԽ͞ΕͨςετΨϥΫλίʔυΛ0ʹݮΒ͢ § ϩάϑΝΠϧग़⼒力力System.outͰͷग़⼒力力ςετίʔυͰͷΞ αʔγϣϯʹஔ͖͑ΒΕΔ § ͠ಛఆͷίϯιʔϧग़⼒力力ϩάग़⼒力力͕ඞཁͳ߹ͰɺͦΕ ςετʹهड़͠ϓϩμΫγϣϯίʔυʹ⼿手ΛՃ͑ͳ͍ͰࡁΉ § ΞϓϦέʔγϣϯϩάίϯιʔϧʹΨϥΫλ͕ग़⼒力力͞Εͣɺ ΞϓϦέʔγϣϯ⾼高ʹอͨΕΔ 15 Creative Commons Attribution Share-alike -
·ͱΊ 1. ⼿手ಈςετ⾃自ಈԽ͞ΕͨςετΑΓଟ͘ͷ࿑⼒力力ͱίε τ͕͔͔Δ 2. ⼿手ಈςετୀ۶ 3. ⾃自ಈԽ͞Εͨςετ࠶ར⽤用Մೳ 4. ⼿手ಈͷςετݶΒΕͨՄࢹੑ͔͠ఏڙͤͣɺશͯͷε
ςʔΫϗϧμʔʹΑͬͯ܁Γฦ࣮͠⾏行行͞ΕΔϜμ͕͋Δ 5. ⾃自ಈԽ͞ΕͨςετͰείʔϓΛม͑ɺґଘ෦ʹ ϞοΫΛ͏͜ͱͰϢχοτ୯ମͰͷςετՄೳͰ͋ Δ 6. ⾃自ಈԽ͞ΕͨςετͰෳࡶͳ४උ⼿手ॱऴྃ⼿手ॱඞ ཁͱ͞Εͳ͍ 16 Creative Commons Attribution Share-alike -
·ͱΊ 7. ⾃自ಈԽ͞ΕͨςετςετΛ⾶飛ͯ͠͠·͏Α͏ͳ͜ ͱ͕ͳ͍͜ͱΛอূͯ͘͠ΕΔ 8. ⾃自ಈԽ͞Εͨςετ࣮ࡍʹ៉ྷͳઃܭʹͳΔΑ͏ʹڧ ੍ͯ͘͠ΕΔ 9. ⾃自ಈԽ͞ΕͨςετϦϑΝΫλϦϯάͷࡍͷηʔϑ ςΟωοτΛఏڙͯ͘͠ΕΔ
10. ⾃自ಈԽ͞ΕͨςεττϨʔχϯάʹ⽴立立ͭ 11. ⾃自ಈԽ͞Εͨςετίʔυίϯιʔϧϩάͷதʹ ΨϥΫλΛ࡞Βͳ͍ 17 Creative Commons Attribution Share-alike -
Կނ⾃自ಈςετΛॻ͔ͳ͍ͷ͔ʁ • ॳظͷֶशۂઢʢ͕⾼高͍ͱߟ͑ͯ͠·͏ʣ § ϢχοτςετͷϑϨʔϜϫʔΫػೳςετͷϑϨʔϜϫʔΫ ͷཧղ § ܧଓతΠϯςάϨʔγϣϯͦͷޮՌతͳ͍⽅方ͷཧղ § ίʔυΧόϨοδπʔϧͷཧղ
§ Ͳ͏ͬͯςετΛߏ͢Δͷ͔ʹؔ͢Δཧղ § ϞοΫΦϒδΣΫτͷ࡞Γ⽅方 § ຖճͷςετͷ⾃自ಈ࣮⾏行行ͷΓ⽅方 § ςετΛͲ͜ʹίϛοτ͢Δ͔ • ຊʹ͏⼀一ճ͜ͷϞδϡʔϧͷ࡞ۀΛ͢Δͷ͔ʁ(ͱ͍ ͏ݒ೦) • ⾃自ͷςετ࠶ར⽤用͞ΕΔͷ͔ʁ͠࠶ར⽤用͞Εͳ͔ͬ ͨΒͳΜͷҙຯ͕͋Δͷ͔ʁ(ͱ͍͏ڪΕ) 18 Creative Commons Attribution Share-alike -
Կނ⾃自ಈςετΛॻ͔ͳ͍ͷ͔ʁ • ղܾ⽅方๏ § ࠷ॳͷϦϦʔε·Ͱͷ࣌ؒΛͬͯҎԼΛ⾏行行͏- • ϢχοτςετͱػೳςετΛؚΉίʔυϨϙδτϦͷߏΛ࡞Δ • ϦϦʔεʹ౷߹͞ΕͨCIαʔόΛߏங͢Δ •
xUnitͷΑ͏ͳϢχοτςετϑϨʔϜϫʔΫΛಋ⼊入͢Δ • Sahi / Watir / Selenium / QTPͷΑ͏ͳػೳςετͷϑϨʔϜϫʔΫΛ ಋ⼊入͢Δ • CloverͷΑ͏ͳίʔυΧόϨοδπʔϧΛಋ⼊入͢Δ • ςετͷΨΠυϥΠϯݪଇΛ࡞Δ § Λ༩͑Δ • ֤ʑͷ։ൃऀ֤Ϣχοτʹ͍ͭͯෳͷϢχοτςετΛهड़͢Δ ͜ͱΛϧʔϧʹ͢Δ • ಛఆͷ։ൃऀػೳςετΛॻ͘Λ༩͑Δ • ςετΛॻ͘։ൃऀɺςετͷߏΛߟ͑ίϛοτ͠CIʹؔ࿈͚ͮ ΔͨͤΔ 19 Creative Commons Attribution Share-alike -
Կނ⾃自ಈςετΛॻ͔ͳ͍ͷ͔ʁ • ఘΊ͍͚ͯͳ͍ § ͠ϋʔυϧʹͿͪͨͬͨΒ, ϖΞͰ⽴立立͔ͪ͏͜ͱ § ͋ͳͨςετʹ͍ͭͯͷΛશ͏͠ͳ͚ΕͳΒͳ͍͜ͱΛ ؊ʹ͡Δ͜ͱ •
ίʔυΧόϨοδΛνΣοΫ͢Δ § ίʔσΟϯάதίʔσΟϯάޙʹίʔυ͕ςετʹΑͬͯΧ όʔ͞Ε͍ͯΔ͜ͱΛ֬ೝ͢ΔͨΊʹɺܧଓతʹίʔυΧόϨο δπʔϧΛ͏͜ͱ 20 Creative Commons Attribution Share-alike -
ԿΛςετ͢Δͷ͔ʁ • Ϣχοτςετ § ཧతʹΫϥεΛ·͙ͨ͜ͱͳ͍ § વϓϩηεڥքΛ·͙ͨ͜ͱͳ͍ § ෳͷέʔεΛͭϢχοτςετΛهड़͢Δ •
ػೳςετ § Watir / Selenium / QTP / WhiteͳͲΛͬͨUIͷςετ § ͘͠UIͷ̍֊ԼͷϨΠϠʔΛςετ͢Δ (ྫ͑ APIΛར ⽤用) 21 Creative Commons Attribution Share-alike -
ϕετϓϥΫςΟε • ϢχοτςεςΟϯάϑϨʔϜϫʔΫΛ͏͜ͱɻ • ⾃自ಈϏϧυϓϩηεɺCIαʔόɺίϛοτ࣌ͷ⾃自ಈςετ Λ⾏行行͏͜ͱ • Ϣχοτςετ⽇日தϩʔΧϧͷϚγϯͰಈ࡞ͤ͞ɺͦ ͷޙCIαʔόʹίϛοτ͢Δ(ͦͯؒ͠ʹ⾃自ಈͰ࣮⾏行行͢ Δ)
• CIαʔό͕ඞཁͳظؒதͣͬͱςετΛ࣮⾏行行͢Δ͜ͱ • ςετίʔυͱ⼀一ॹʹίϛοτ͢Δ͜ͱ 22 Creative Commons Attribution Share-alike