Alea jacta test (Code d’Armor)

Les tests dans les projets, c'est un peu comme le sexe chez les ados : tout le monde en parle, mais bien moins pratiquent !
Pourquoi est-ce si important ? Quels sont les outils à utiliser ? Quelles pratiques peut-on appliquer ?
Bienvenue dans le monde des tests !

Présentation faite lors d'un meetup du Google Developers Group Code d'Armor.
Support de présentation sous licence CC-BY.

Vidéo du meetup : https://www.youtube.com/watch?v=5a8uhDVYMbY

Vous avez aimé ce support ? Payez moi une bière , merci <3
(https://pylapersonne.info/buymeacoffee)

Transcript

1. Alea jacta test Bienvenue dans le monde des tests ! Pierre-Yves Lapersonne ✿✿✿✿ ʕ •ᴥ•ʔ/ ︻デ═一 Cette œuvre est mise à disposition selon les termes de la Licence Creative Commons Attribution 4.0 International. Version 15 - 18/12/2017
2. PY LAPERSONNE Software developer pylapersonne.info
3. Alea jacta test
4. Au menu... • les clichés sur les tests • exemples de tests ratés • pourquoi en faire ? • les tests en détails • quelques outils
5. quelques... trucs.
6. 6 • 9ème Journée Française des Tests Logiciels 11 / 04 / 2017 Montrouge, France • CFTL Comité Français des Tests Logiciels Perros Guirrec, Bretagne • ISTQB International Software Testing Qualifications Board Bruxelles, Belgique
7. quelques chiffres
8. 8 • 40 % du budget projet dédiés aux tests • 39 % des devs sont en mode TDD • 46 % des devs estiment ne pas avoir assez de temps pour les tests Chiffres : 2016
9. les clichés sur les tests
10. 10 Source : CommitStrip
11. 11 ça ne sert à rien !
12. 12 ça prend trop de temps !
13. 13 ça coûte trop cher !
14. 14 le client est le meilleur testeur !
15. 15 ça ajoute des sources à maintenir !
16. inutiles les tests ?
17. 17 Therac 25 1980’ Image : Wikidot
18. 18 • outil de traitement de cancers par radiations • exposition prévue de 200 rad • exposition réelle de 20 000 rad • au moins 6 morts
19. 19 AT&T 15 Janvier 1990
20. 20 • mise à jour du réseau téléphonique • transmissions de mauvais messages entre les antennes • 9h de panne • 60 millions $ de pertes
21. 21 Mars Climate Orbiter 23 Septembre 1999 Image : Wikipédia
22. 22 • plusieurs équipes internationales... • utilisant le système anglo-saxon... • ... ET le système métrique • navigation totalement défectueuse • 900 millions $ perdus
23. 23 vol 501 de Ariane 5 4 Juin 1996
24. 24 • récupération d’éléments logiciels d’Ariane 4 • overflow dans les calculs de trajectoire • problème de conversion float 64 bits unsigned 16 bits • destruction de la fusée • +370 millions $ ... à l’eau
25. 25 retournement d’un F-18
26. 26 • retournement une fois passé l’équateur • mauvaise gestion des coordonnées
27. 27 Louvois 2011 Image : LeMagIT
28. 28 • retards de paiement • mauvais soldes versés • les familles des militaires en danger • 465 millions d’euros d’erreur... juste en 2012 selon la Cour des Comptes
29. 29 Stagefright 2015
30. 30 • AOSP, Firefox, Firefox OS • librairie multimédia obsolète • débordement mémoire • execution de code arbitraire, ...
31. 31 iOS et le killer text 2015
32. 32 • réception d’un message particulier • affichage dans les notifications • débordement d’un buffer • comportements dangereux de l’iPhone redémarrage, blocage, boot loop, ...
33. 33 SNCF et Linux... 2015
34. 34 • sur Windows ? Ça fonctionne. • sur OS X ? Ça fonctionne. • Linux ? Android ? Oups.
35. 35 Castorama 8 Juin 2016 Image : Hitek
36. 36 • suggestions douteuses selon les requêtes • fermeture du site en catastrophe donc manque à gagner pour l’entreprise
37. 37 SAIP 14 Juillet 2016 Image : Google Play
38. 38 • notification des usagers 3h après la tragédie • retard d’information par rapport à d’autres Facebook, Twitter, QWIDAM, les SMS...
39. pourquoi faire des tests ?
40. 39 • prouver la qualité du produit • identifier des comportements incohérents • repérer d’éventuelles failles • avoir des clients cont€nts • éviter les surcharges liées aux bugs • et puis avoir la conscience tranquille aussi...
41. mais qu’est-ce qu’un test ?
42. définitions mais qu’est-ce qu’un test ?
43. 43 Testing The process consisting of all lifecycle activities, both static and dynamic, concerned with planning, preparation and evaluation of software products and related work products to determine that they satisfy specified requirements, to demonstrate that they are fit for purpose and to detect defects.
44. 44 Verification Confirmation by examination and through provision of objective evidence that specified requirements have been fulfilled. Are we building the product right?
45. 45 Confirmation by examination and through provision of objective evidence that the requirements for a specific intended use or application have been fulfilled. Validation Are we building the right product?
46. 46 The exit criteria that a component or system must satisfy in order to be accepted by a user, customer or other authorized entity. Acceptance Is the feature good enough?
47. concrètement mais qu’est-ce qu’un test ?
48. 48 • pré-conditions, post-conditions, invariants • paramètres, valeurs de retour • succès, échec, en cours, pas fait, planté
49. 49 • tests statiques ▪ vérification des sources dead / unreachable code, métriques, syntaxe, standards... ▪ pas d’exécution de code
50. 50 • tests dynamiques ▪ black box se baser sur les spécifications, comportements macros, abstraction de la conception ▪ white box se baser sur la conception, comportements micros
51. 51 user acceptance smoke portability integration unit stress alpha beta friendly user accessibility attack-based bottom-up component integrity load monkey regression usability Source : http://glossary.istqb.org/search/testing/ instrumented
52. les 6 commandements
53. 53 1. Automatisable et rejouable 2. Facile à concevoir 3. Pérenne 4. Exécutable par tous 5. Facilement exécutable 6. Rapide d’exécution
54. et les bugs dans tout ça ?
55. 55 • niveaux de bugs new, open, assign, test, deferred, rejected, duplicate, verified, closed • sévérités minor / low, average / medium, major / high, critical
56. Test-Driven Development
57. 57 • méthodologie de projet Kent Beck, 2003 • héritage de eXtreme Programming revues de codes, tests unitaires, cycles très courts, test-first • Test Driven Development: By Example, Kent Beck Addison-Wesley Longman, 2002, ISBN 0-321-14653-0, ISBN 978-0321146533
58. 58 • proche du programme JUnit, Espresso, QUnit, UnitJS, Mocha, ... • vise le code source, l’implémentation bas niveau, côté développeurs
59. 59 Image : apollossc.com
60. 60 Image : Wikipédia
61. Behaviour-Driven Development
62. 62 • méthodologie de projet Dan North, 2003 • héritage de Test-Driven Development mélange de XP, TDD, YAGNI, domain driven design, DSL • basé sur des stories et vise les spécifications Cucumber, Gherkin
63. 63 • proche des fonctionnalités • vise le comportement du produit et ne considère pas d’abord l’implémentation
64. 64 Source : http://agilelucero.com/agile-points/bdd/
65. Acceptance Test-Driven Development
66. 66 • méthodologie de projet • héritage de Behaviour-Driven Development mélange de BDD, TDD • basé sur des stories Robot Framework
67. 67 • proche de l’utilisateur • vise l’acceptance du produit • permet de guider le développement implique tous les membres du projet qui savent ce qui doit être fait
68. {T | B | AT} DD
69. 69 Images : https://www.linkedin.com/pulse/tdd-vs-atdd-bdd-vahid-farahmandian ATDD - acceptance BDD - features TDD - source code abstraction products programs
70. la (grosse) boîte à outils
72. et bien d’autres encore... 72
73. 73 tasks scheduler Acceptance Test-Driven Development instrumented tests unit tests project lifecycle
78. 78 Monkey adb shell monkey -p com.package.myApp --throttle 300 -s 123456 10 adb shell monkey -p com.package.myApp --pct-touch 50 -pct-motion 25 --pct-trackball 25 10000
79. 79 Monkeyrunner
83. 83 Source : https://bitbucket.org/robotframework/robotdemo
88. one more slide
89. 89 • les tests sont indispensables • les développeurs sont de bons testeurs du programme • les utilisateurs sont de bons testeurs du produit • ce ne sont pas les outils qui manquent...
90. Merci ! Dura test, sed test. Alea jacta test !
92. • Des frameworks de tests ◦ Appium ▪ http://appium.io/ ◦ Catch ▪ https://github.com/philsquared/Catch ◦ Espresso ▪ https://google.github.io/android-testing-support-library/docs/espresso/ ◦ Jasmine ▪ http://jasmine.github.io/ ◦ JSUnit ▪ http://www.jsunit.net/ ◦ JUnit ▪ http://junit.org/ ◦ Mocha ▪ https://mochajs.org/ ◦ Quick ▪ https://github.com/Quick/Quick ◦ QUnit ▪ https://qunitjs.com/ ◦ Selendroid ▪ http://selendroid.io/ ◦ Selenium ▪ http://www.seleniumhq.org/ ◦ Robot Framework ▪ http://robotframework.org/ ◦ Robolectric ▪ http://robolectric.org/ ◦ Robotium ▪ http://robotium.com/ ◦ UI Automator ▪ http://developer.android.com/tools/testing-support-library/index.html#UIAutomator ◦ UnitJS ▪ http://unitjs.com/
93. • Des plateformes de tests ◦ Google Cloud Test Lab ▪ https://developers.google.com/cloud-test-lab/ ◦ Sauce Labs ▪ http://saucelabs.com/ • Des robots de tests ◦ Chrome Touch Bot ▪ http://www.frandroid.com/marques/google/291985_chrome-touchbot-robot-teste-reactivite-appareils-de-google ◦ Rob5X ▪ http://www.keolabs.com/automation.html ◦ Tapster ▪ http://www.tapster.io/ • Des ordonnanceurs ◦ Jenkins ▪ https://jenkins-ci.org/ ◦ Hudson ▪ http://hudson-ci.org/ • D’autres outils ◦ HP Quality Center ▪ https://saas.hpe.com/fr-fr/software/quality-center ◦ HP Application Lifecycle Management ▪ https://saas.hpe.com/fr-fr/software/application-lifecycle-management
94. • D’autres liens chouettes ◦ http://fr.slideshare.net/tfrommen/an-introduction-to-software-testing ◦ http://www.slideshare.net/UdayaSree/software-testing-life-cycle-presentation ◦ http://blog.hubstaff.com/why-you-should-write-unit-tests/ ◦ http://blog.hubstaff.com/survey-many-developers-write-unit-tests/ ◦ http://artofunittesting.com/ ◦ http://programmers.stackexchange.com/questions/21133/how-to-write-good-unit-tests ◦ http://blog.stevensanderson.com/2009/08/24/writing-great-unit-tests-best-and-worst-practises/ ◦ https://en.wikipedia.org/wiki/List_of_unit_testing_frameworks ◦ http://android-developers.blogspot.fr/2015/12/leveraging-product-flavors-in-android.html ◦ http://www.journaldugeek.com/2015/05/28/un-bug-qui-permet-a-un-sms-de-redemarrer-votre-iphone/ ◦ http://www.numerama.com/tech/135593-sncf-empeche-achat-de-billets-train-ter-sous-linux.html ◦ https://fr.wikipedia.org/wiki/Logiciel_unique_%C3%A0_vocation_interarm%C3%A9es_de_la_solde ◦ http://www.marmiton.org/recettes/recette_pate-a-crepes-des-plus-raffinees_49665.aspx ◦ http://radonc.wikidot.com/radiation-accident-therac25 ◦ http://users.csc.calpoly.edu/~jdalbey/SWE/Papers/att_collapse.html ◦ https://www.youtube.com/watch?v=_p3Qxl4736A ◦ https://www.nirgal.net/mco_end.html ◦ https://google.github.io/android-testing-support-library/ ◦ https://google.github.io/android-testing-support-library/docs/androidjunitrunner-guide/index.html ◦ https://github.com/googlesamples/android-testing ◦ https://developer.android.com/tools/testing-support-library/index.html ◦ https://medium.com/@nileshjarad/how-to-do-tdd-in-android-90f013d91d7f#.dhvrjw8ug ◦ https://medium.com/@nileshjarad/why-developers-scared-to-refactor-code-47efd1b854e7#.ojtyerioc ◦ https://developer.android.com/studio/test/monkey.html ◦ https://developer.android.com/studio/test/monkeyrunner/index.html ◦ https://cucumber.io/ ◦ http://blog.soat.fr/2011/06/introduction-au-behavior-driven-development/ ◦ https://dannorth.net/introducing-bdd/ ◦ https://www.linkedin.com/pulse/tdd-vs-atdd-bdd-vahid-farahmandian ◦ https://www.linkedin.com/pulse/agile-development-difference-between-tddatddbdd-komal-sureka ◦ https://gaboesquivel.com/blog/2014/differences-between-tdd-atdd-and-bdd/