SETを約10年やってみたけど質問ある？ / Any Questions about my 10 years SET career?

ソフトウェアテスト自動化カンファレンス2024発表資料

Transcript

1. SETΛ໿10೥΍ͬͯΈ͚ͨͲ࣭໰͋Δʁ ιϑτ΢ΣΞςετࣗಈԽΧϯϑΝϨϯε2024 O3 / Ozono Hiroaki / େԂ തত
2. https://x.com/ozonohiroaki O3(ozono) LINEϠϑʔגࣜձࣾ SIάϧʔϓ > Πϯϑϥ౷ׅຊ෦ > DP2 > EI > SETνʔϜ 2
3. 2015 LINE Fukuoka QAࣨೖࣾ 2016 ςετࣗಈԽνʔϜ্ཱͪ͛ 2017 SETΛ໊৐Γ࢝ΊΔ 2018 LINE Fukuoka ։ൃࣨ΁ 2023 LINEͱϠϑʔ͕߹ซ͠ॴଐ͕LINE Ϡϑʔגࣜձࣾʹ ͦͷଞɺ෭ۀͱͯͪ͠ΐͪ͜ΐ͍͜Ζ Μͳձࣾ͞Μʹ͓ੈ࿩ʹͳͬͯ·͢ 3 ۀքྺ
4. 2018 LINE Developer Meetup Tokyo #39 - Testing & Engineering E2E UIςετͷ࣮ྫ΍ͦΕʹ൐͏ϥ ΠϒϥϦ։ൃʹؔͯ͠ refs. - https://engineering.linecorp.com/ja/blog/test-automation-techniques-strategies- line-developer-meetup-tokyo-39 - https://line.connpass.com/event/91423/ 4 ΧϯϑΝϨϯεɾϝσΟΞؔ࿈ൈਮ
5. 2019 JaSST Tokyo19 ςετͷະདྷɺ඼࣭ͷະདྷ ~ࣗಈԽ ͸ςελʔ๾໓ͷເΛݟΔ͔ʁ~ refs. - https://www.jasst.jp/symposium/jasst19tokyo/details.html#B2 - https://www.jasst.jp/symposium/jasst19tokyo/pdf/B2.pdf 5 ΧϯϑΝϨϯεɾϝσΟΞؔ࿈ൈਮ
6. 2019 ͋ͳ͕ͨࣗಈςετΛߦ͏໨త͸Կ Ͱ͔͢ʁ ࣗΒͷࣦഊܦݧ͔Βɺ໨తҙࣝΛ ࣋ͬͯਐΊΔ͜ͱͬͯେࣄͰ͢ΑͶ ͱ͍͏هࣄ refs. - https://qiita.com/ozhiro/items/5aa95c6360a8930df325 6 ΧϯϑΝϨϯεɾϝσΟΞؔ࿈ൈਮ
7. 2020~2022 ͯ͢Β΅ SETͱ͍͏ͱͯ΋χονͳϩʔϧʹ ର͢Δೝ஌Λ޿͛ͯ੝Γ্͍͛ͨͱ ͍͏໨తͰ࢝ΊͨऔΓ૊Έ refs. - https://www.youtube.com/channel/UCr-CGgBaebVPleiF5iHrRlw - https://autotest-lab.connpass.com/ 7 ΧϯϑΝϨϯεɾϝσΟΞؔ࿈ൈਮ
8. Q. ͳͥ͜ͷΑ͏ͳൃදΛ͠Α͏ͱࢥͬͨͷʁ ͦΖͦΖۀքྺ΋େ୆ͷ10೥ʹಥೖ͠ (SETྺ͸8೥Ͱͨ͢͠Έ·ͤΜ͝ΊΜͳ͍͞੝Γ·ͨ͠) ຊۀɾ෭ۀ໰ΘͣSETप Γͷۀ຿ʹؔͯ͠ʮ͋ʔ͜Εલ΋ผͷͱ͜ΖͰ࿩ͨ͠ͳʯͱ͍͏Α͏ͳ͜ͱ͕૿͑ ͖ͯ·ͨ͠ɻ ·ͩ·ͩҰൠղ͕ݟ͔͍ͭͬͯͳ͍ಛघղ΋ଟ͍Ͱ͕͢ɺ޿͘ࢀߟʹͳΔΑ͏ͳ࿩ ΋͋Δͷ͔ͳɺͩͬͨΒͲ͔͜Ͱ࿩ͯ͠ΈΔͷ΋͍͍ͳɺͱ͍͏ͷ͕Ϟνϕʔγϣ ϯͰ͢ɻ A. ࢥ͍͖ͭͰ͢ʂ
9. ࠓ೔ͷλʔήοτ SETͬͯͳΜͳͷ͔஌Γ͍ͨਓ SETΛ໨ࢦ͍ͨ͠ਓ SETΛ࠾༻͍ͨ͠ਓ *ࠓ೔͓࿩͢Δͷ͸͋͘·Ͱ n = 1 Ͱ͢
10. Q. SETͬͯͲ͏ൃԻ͢Δͷ͕ਖ਼͍͠ͷʁ ΤεΠʔςΟʔ೿ͱηοτ೿͕͍·͕͢ɺͳΜͰ΋͍͍ͱࢥ͍· ͢ɻࣗ෼͸ΤεΠʔςΟʔ೿ ւ֎ͩͱΤεΠʔςΟʔɺ೔ຊͩͱηοτ͕ଟ͍ҹ৅Ͱ͢ɻ ಛʹϙϦγʔ͸ͳ͍ͷͰηοτͱݺͿਓʹ͸ηοτͱ߹Θͤͯ࿩ ͢͜ͱ͕ଟ͍Ͱ͢ A. ͓޷͖ʹͲ͏ͧʂ
11. Q. SETͱ͸ʁ ಉٛޠͱͯ͠SDET(Software Development Engineer in Test)΍DeNA͞Μͷ SWET(SoftWare Engineer in Test)ͳͲ͕͋Γ·͢ɻ ੲGoogleʹ͸SET͔Β೿ੜͯ͠SETI(Software Engineer, Tools & Infrastructure)ͱ͍͏ͷ΋͋Γ·ͨ͠ refs. https://testing.googleblog.com/2016/03/from-qa-to-engineering-productivity.html A. Software Engineer in TestͷུͰ͢
12. Q. SETͱࣗಈςετΤϯδχΞͷҧ͍͸ʁ E2E testʹͷΈϑΥʔΧεΛ౰͍ͯͯΔύλʔϯ(ͭ·ΓSET=ࣗಈςετΤ ϯδχΞ)΋͋Ε͹ɺUnit test΍Integration testɺPerformance testͳͲ։ൃ ऀςετશൠʹϑΥʔΧε͍ͯ͠Δύλʔϯ΋͋Δ ࣗ෼ͷνʔϜʹ͍ؔͯ͠͏ͱɺ։ൃऀςετશൠ + CI/CDͳͲͷDevOpsྖ Ҭ΍Πϯϑϥ΋कඋൣғʹͳΔ A. ਓ/νʔϜ/ձࣾʹΑͬͯมΘΔ
13. Q. ͦ΋ͦ΋SETͷఆٛͬͯʁ ࠓ೔Ұ൪఻͍͑ͨ͜ͱ͸SETͱ͍͏ϩʔϧͷఆٛ͸༳Ε΍͍͢ͱ͍͏͜ͱͰ͢ɻ͋ͳ͕ͨ࿩͍ͯ͠ ΔSETͱ૬ख͕࿩͍ͯ͠ΔSET͸ຊ౰ʹಉ͡΋ͷΛݟ͍ͯ·͔͢ʁ ΧδϡΞϧ໘ஊ΍෭ۀΛߦ͏ࡍ͸ɺඞͣ͜͜Λ࠷ॳʹ͸͖ͬΓͤ͞ΔΑ͏ʹ͍ͯ͠·͢ ͨ·ʹʮSET͸ࣗಈςετΤϯδχΞͱ͸ҧ͏ʯͱ͔ʮSET͸୯ମςετ·ͰݟΕΔ΂͖ͩʯΈͨ ͍ͳ࿩Λฉ͖·͕͢ɺݸਓతʹ͸Ͳ͏Ͱ΋͍͍Ͱ͢ɻ͋ͳͨͷձࣾͰSET͸͜ΕͱܾΊͨͷͰ͋Ε ͹ɺͦΕ͕͋ͳͨͷձࣾʹͱͬͯͷSETͰ͢ A. ਓ/νʔϜ/ձࣾʹΑͬͯมΘΔ
14. Q. SETͱͯ͠۩ମతʹͲΜͳۀ຿Λ͖ͯͨ͠ʁ • E2E testʹඞཁͳϥΠϒϥϦɾγεςϜͷ։ൃ • Pull Request͝ͱʹαʔϏεΛ্ཱͪ͛ɺE2E test͕ऴΘͬͨΒࣗಈ తʹഁغ͞ΕΔ؀ڥͷߏங(͍ΘΏΔγεςϜؙ͝ͱPreview؀ڥ) refs. - https://linedevday.linecorp.com/2020/en/sessions/8307/ A. ΍͖ͬͯͨ͜ͱΛͬ͟ͱ঺հ͠·͢
15. Q. SETͱͯ͠۩ମతʹͲΜͳۀ຿Λ͖ͯͨ͠ʁ • ։ൃॳظ͔ΒϦϦʔεޙ·ͰͷશͯͷϑΣʔζʹ͓͚Δςετઓུͷࡦఆ • ݱঢ়ͷ։ൃऀςετ΍CI/CDͷঢ়گώΞϦϯά͔Βվળํ๏ͷఏҊ • ։ൃ ↔︎ QAͷڮ౉͠໾ • ࣗಈςετ΍ͬͯ͸͍ΔΜ͚ͩͲ্ख͍͔͘ͳ͍…ͱ͍͏ձࣾ͞Μͷίϯαϧ • ٯʹ΍͍ͬͯͳ͍͜ͱˠςετͷ࣮૷ΦϯϦʔ A. ΍͖ͬͯͨ͜ͱΛͬ͟ͱ঺հ͠·͢
16. Q. ͳͥςετͷ࣮૷͚ͩͩͱ΍Βͳ͍ͷʁ ͻͱͭ͸ɺςετͷΦʔφʔγοϓ͸։ൃऀશମͰ࣋ͭͷ͕ཧ૝ͩͱߟ͍͑ͯΔ͔ Βɻ ࣗ෼͚ͩ(΋͘͠͸SETνʔϜ͚ͩ)Ͱߏஙͨ͠৔߹ɺಛʹE2Eςετͷ৔߹͸υϝΠϯ ஌ࣝ΋ؚΊݶΒΕͨਓ͔͠৮Εͳ͘ͳΓɺ݁Ռͱͯࣗ͠෼͕खΛҾ͍ͨޙ͔Βঃʑʹ ෗͍ͬͯ͘ͱ͍͏ύλʔϯʹଟ͘ૺ۰͖ͯ͠·ͨ͠ɻ࠷ॳ͔ΒHand-over͢Δ͜ͱΛ લఏʹ࿩͍ͯͯ͠΋ΠϚΠν͏·͘౉ͤͳ͍ͱ͍͏ͷΛԿ౓΋ܦݧ͠·ͨ͠ A. ཧ༝͸େ͖͘2ͭ͋Γ·͢
17. Q. ͳͥςετͷ࣮૷͚ͩͩͱ΍Βͳ͍ͷʁ ΋͏ͻͱͭ͸ɺ࿩Λฉ͍ͯΈͨΒͦ΋ͦ΋E2Eςετඞཁͳ͍ͷͰ͸ʁͱͳΔύλʔϯ͕ଟ͔͔ͬͨΒ ݴΘΕͨͱ͓ΓE2EςετΛ࣮૷͑͢͞Ε͹͓ۚ΋Β͑ΔͷͰɺͦ͏͍͏ҙຯͰࢲ͸ଛ͍ͯ͠ͳ͍ͷ͔΋͠ Εͳ͍͕ɺϓϩμΫτͷՁ஋ʹܨ͕Βͳ͍͜ͱ͸ͨ͘͠ͳ͍Ͱ͢ɻͳͷͰ͜ͷΑ͏ͳ࿩͕དྷͨΒඞͣظ଴஋ ௐ੔ͨ͠͏͑Ͱ͓ड͚͢Δ͔Λ൑அ͍ͯ͠·͢ ࣮ࡍʹ͋ͬͨྫͰݴ͏ͱ • ͦΖͦΖϢʔβʔ΋૿͖͑ͯͨͷͰࣗಈςετಋೖ͍ͨ͠ˠୡ੒͍ͨ͜͠ͱ͸ͳΜͰ͔͢…ʁ • ʓʓͱ͍͏E2EςετΛ࣮૷ͯ͠΄͍͠ˠͦΕͬͯUnit testͱͯ͠˚˚Ͱ࣮૷͢Δͷ͡ΌμϝͰ͢…ʁ A. ཧ༝͸େ͖͘2ͭ͋Γ·͢
18. Q. SETͷΩϟϦΞύεͬͯͲΜͳײ͡ʁ ։ൃऀςετશൠΛλʔήοτʹ͢ΔSETͷ৔߹ɺ։ൃऀ͕ԿΛ͍ͯ͠Δͷ͔ɺԿ͕ϖΠϯϙΠϯτʹͳΔͷ͔ Λཧղ͢ΔͨΊʹ΋ɺͳʹ͔͠ΒͷΤϯδχΞˠSETͱ͍͏ͷ͕ࣗવͳϧʔτ͔ͳͱݸਓతʹࢥ͍ͬͯ·͢ɻ كʹ৽ଔˠSET΍ɺΤϯδχΞະܦݧ͔ΒSETʹͳΔํ΋ͨ·ʹ͍·͕͢ɺͨͩͷఱ࠽ͩͱࢥ͍·͢(΋ͪΖΜड ͚ೖΕΒΕΔ؀ڥ͕͋ͬͯͦ͜Ͱ͢) SETͷ࣍ͷΩϟϦΞ͸ଞͷΤϯδχΞͱҰॹͰ͢ɻϑϩϯτΤϯυ΍Δਓ΋͍Ε͹αʔόʔαΠυ΍Δਓ΋͍Δ ͠ɻݸਓతʹ͸͜ͷ͋ͨΓͷྲྀಈੑΛ΋ͬͱڧ͍ͨ͘͠ͳͱࢥͬͯ·͢ A. ͏ͪͷνʔϜ͸ΤϯδχΞϩʔϧ͔ΒͷδϣϒνΣϯδ͕΄ͱΜͲͰ͢
19. Q. QA͔ΒSET΁ͷΩϟϦΞύε(ϩʔϧνΣϯδ) ͸ՄೳͰ͔͢ʁ ๯಄Ͱ͓࿩ͨ͠͠ͱ͓ΓɺձࣾʹΑͬͯඞཁͳSETͱ͍͏ͷ͸มΘΓ·͢ɻ Frontend engineerͱͯ͠ͷೳྗ͕ඞཁͳSET͕͋Ε͹ɺQA engineerͱͯ͠ͷ஌ ͕ࣝඞཁʹͳΔSET΋͋Γ·͢ େࣄͳͷ͸ࣗ෼ͷ஌ࣝɺೳྗɺΩϟϦΞύεࢤ޲ʹ͋ͬͨϙδγϣϯΛݟ͚ͭΔ (ࣗ෼Ͱ࡞Δ)͜ͱ͔ͳ͊ͱࢥ͍·͢ A. Մೳ͔ෆՄೳ͔Ͱݴ͑͹΋ͪΖΜՄೳͰ͢
20. Q. ෭ۀͰ͸Ͳ͏͍͏͜ͱ΍ͬͯΔͷʁ ࣮ࡍʹखΛಈ͔࣮ͯ͠૷͢Δͱ͍͏ͷ΋͋Γ·͕͢ɺՔಇ࣌ؒͷ౎߹ ͳͲͰ͋·Γ͓ड͚͠·ͤΜɻ Ͳ͏վળͨ͠΋ͷ͔໎ͬͯͯͱ͔ɺ࠾༻ํ਑͕ܾ·Βͳͯ͘ͱ͔ɺҰ ਓ໨SETΛͲ͏΍ͬͯݟ͚ͭΔ͔ɺͳͲͷ࿩ʹରͯ͜͠͏͢Δͷ͸Ͳ͏ Ͱ͢ʁΈ͍ͨͳΞυόΠεΛҒͦ͏ʹ͍ͤͯͨͩ͘͜͞ͱ͕ଟ͍Ͱ͢ A. ։ൃऀςετ΍૊৫ʹؔ͢Δ͓೰Έ૬ஊΛड͚Δ͜ͱ͕ଟ͍Ͱ͢
21. Q. ͜Ε·ͰʹҰ൪ࣦഊͨ͜͠ͱͬͯͳʹʁ ๯಄ʹ΋঺հͨ͠ͱ͓ΓɺϓϩδΣΫτ/ϓϩμΫτΛͲ͏ྑ͍ͨ͘͠ͷ͔ͱ͍ ͏໨త͕ᐆດͳ··E2E testΛ࡞Γଓ͚ͨ݁ՌɺͳΜͷ੒Ռ΋ग़ͤͣɺେྔͷς ετ݁Ռ͸୭ʹ΋׆༻͞Εͣɺෆ҆ఆͳςετࣦഊ௨஌͸ϛϡʔτ͞Εɺࢲͷ νʔϜͷਓ݅අ෼͚ͩίετ͕૿͑ɺͰ΋ͦΕͬΆ͍਺ࣈΛ࢖ͬͯ੒ՌϨϙʔ τΛग़͢ͷͰͦΕͳΓʹධՁ͞Εͯ͠·͏ͱ͍͏ঢ়گΛ࡞ͬͯ͠·͍·ͨ͠ A. ໨తΛఆΊͣʹE2E testΛ࣮૷͠·ͬͨ͘͜ͱ
22. Q. SET͕࠾༻Ͱ͖·ͤΜʂͲ͏ͨ͠Β͍͍Ͱ͔͢ ͱݴͬͯ͠·͏ͱ࿩͕ऴΘͬͯ͠·͏ͷͰɺࢲͷνʔϜϝϯόʔ͕ೖࣾͯ͠ ͘Ε͖͔͚ͨͬΛॻ͘ͱɺࢲ͕ॻ͍ͨهࣄ΍ొஃΛ͖͔͚ͬʹLINEͷSETͱ ͍͏΋ͷʹڵຯΛ࣋ͪɺ͔ͦ͜Β໳Λୟ͍ͯ͘Εͨͱ͍͏ͷ͕ଟ͍Ͱ͢ɻ ఆ͕ٛ༳Ε΍͍͢SETͱ͍͏ϩʔϧ͔ͩΒͦ͜ɺʮ͏ͪͷSETʯͱ͍͏΋ͷ ʹڞײΛͯ͠΋Β͏ͱ͍͏ͷ͸͘͢͝େࣄͩͱࢥ͍·͢ɻ A. ࢲ΋஌Γ͍ͨͰ͢…
23. Q. SETͷϩʔϧ(૊৫)ͬͯͲͷλΠϛϯάͰ࡞ͬ ͨΒ͍͍Ͱ͔͢ʁ ٯʹݴ͏ͱɺඞཁੑ͕໌֬Ͱͳ͍΄ͱΜͲͷ৔߹ͰSETͷJD͸;Θͬͱͨ͠ ΋ͷʹͳΓ͕ͪͳ܏޲͕͋Δͱࢥ͍·͢ɻͳʹΛ໨ࢦ͢૊৫ͳͷ͔୭΋Θ ͔ͬͯ·ͤΜ͔ΒͶ QAɺSREɺSecurity EngineerͳͲɺΈͳ͞Μͷ૊৫ͷಛघͳΤϯδχΞϩʔ ϧ͸Ͳ͏͍͏λΠϛϯάͰੜ·Ε·͔ͨ͠ʁಉ͡Α͏ͳ࿩ͩͱࢥ͍·͢ A. ඞཁͩͱࢥͬͨλΠϛϯάͰ࡞͍ͬͯͩ͘͞
24. ·ͱΊ
25. SETͬͯͳΜͯಡΉͷʁˠਓʹΑΓ·͢ SETͷఆٛͬͯʁˠਓʹΑΓ·͢ ࣗಈςετΤϯδχΞͱͳʹ͕ҧ͏ͷʁˠਓʹΑΓ·͢ SETͷΩϟϦΞύε͸ʁˠਓʹΑΓ·͢ SETͷ૊৫͍ͬͯͭ࡞Ε͹͍͍ͷˠਓʹΑΓ·͢
26. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ ͓೰Έ૬ஊ΍෭ۀͷ͝ґཔͳͲ͋Ε͹͍ͭͰ΋DM͓଴ͪͯ͠·͢ʂ