Quality assurance a testovací nástroje v praxi. Bohumír Zoubek bohumir.zoubek@profinit.eu

Transkript

1 Quality assurance a testovací nástroje v praxi Bohumír Zoubek bohumir.zoubek@profinit.eu

2 Quality Assurance

3 QA obsah Kvalita proč, co, kde? DMAIC model Plánování Validace a verifikace Měření a historie projektu Komplexní pohled na QA v organizaci Poznatky z praxe Doporučená literatura

4 Co je cílem? Ukázat proč je řízení kvality důležité Ukázat možné způsoby, jak zvýšit kvalitu SW Pragmaticky Efektivně Nezkresleně Ukázat, jak funguje projekt ve firmě, která si na skutečné (nikoli papírové) kvalitě velmi zakládá.

5 Stručný úvod do tématu

6 Proč kvalita? Čtvrtá planeta sluneční soustavy Druhá nejmenší Má dva měsíce

7 Mars Polar Lander Mys Canaveral vstup do atmosféry

8 Plán přistání a realita 40 metrů na povrchem vypnuty motory Volný pád Víc se neví

9 Pravděpodobná příčina Falešný signál od jedné nohy vyhodnocen jako informace o tom, že modul přistál. Chyba identifikována na 1 řádku kódu Cena mise 327,6 mil. USD (celý Mars Surveyor 98)

10 Víc? Mars Climate Orbiter (MCO) metric/imperial (náklady viz MPL) Ariane 5 64 floating point -> 16 bit signed integer (7 billion USD/10 let vývoje) Procesor Pentium chybný algoritmus dělení

11 Obsah Stručný přehled tématu Proč kvalita Jak na kvalitu Kvalita a softwarový proces Poznatky z praxe Goodies templates, checklists Doporučená literatura

12 Proč kvalita? Údaj Hodnota Chybovost (počet chyb na 1000 SLOC) 2 Produktivita (počet řádků kódu na 1MD) Poznámka průměr v IT odvětví je 7 průměr v IT odvětví (COCOMO) je 4 Softwarový proces Rozsah projektů pragmaticky definovaný a dodržovaný MD Průměrná velikost týmu 4 Průměrná délka projektů měsíce obrat (mil. Kč) počet změstnanců rok rok

13 Kde je kvalita?

14 Quality Assurance vs. Validace & Verifikace vs. Testing

15 DMAIC model

16 Plánování

17 Plán QA Je nutné plánovat jednotlivé aspekty QA Definice procesů Plán testů Plán přezkoumání a revizí Je nutné plánovat minimálně na úrovni Organizace (firmy) Projektu Jedince

18 Jak vybrat správný postup?

19 Minimální nároky Pragmatické a efektivní Základ firemního procesu Projekt se vůči nim vymezuje

20 Validace, Verifikace

21 Verifikace & Validace Am I building the product right? Am I building the right product? V&V je realizováno pomocí Testování (unit, integrační, ) Review, Inspekce, Walkthroughs,

22 Přezkoumání přezkoumání projektu přezkoumání nabídky přezkoumání designu přezkoumání kódu

23 Testování

24 Cíle Testování je součástí procesu vývoje. Testování je snadné. Testování je rychlé. Testování je automatizované. Testování je důkladné.

25 Typologie testů Unit testy Integrační testy Systémové testy Funkční Výkonové Uživatelské akceptační testy Regresní testy

26 V - model Business case Product verification review Requirements User acceptance tests review Functional design System, integration tests review Design & Coding review Unit tests, code analysis

27 Statická analýza kódu Analýza zdrojového kódu SW bez jeho spuštění Dokáže najít velké množství opakujících se problémů Používání synchronizačních primitiv Manipulace s I/O resources Problémy v dizajnu Dodržování konvencí v kódu (jména, styl, ) Nástroje dostupné pro mnoho platforem

28 Testy v kontextu projektu Smoke testing, Continuous Integration Vývojová platforma Pravidelný commit SCM Pravidelný build Integrační platforma Lokální vývoj Povinná sada testů (krátké a rychlé) Všechny automatické testy Regresní testy (automatické a manuální) Výkonové a jiné nefunkční testy, manuální testy dodávka Testovací platforma

29 Měření, historie Sledovat vlastní vývoj Srovnání s předchozími výsledky Povinnost vytvořit historii projektu Pragmatický cenový model Základní metriky size, time, effort, quality Pragmatická evidence Sybis, Bugzilla, SVN/CVS,

30 Big picture

31 Pohled na proces vývoje v organizaci

32 Poznatky z praxe QA je nutné naplánovat Proces musí být pragmatický Bez měření se nelze zlepšovat O kvalitě je nutné uvažovat na všech úrovních od organizace až po jedince Přezkoumání je efektivní (a mnohdy jediný) způsob zajištění kvality

33 Doporučená literatura Little Book of Testing Volume I, Volume II, Software Program Managers Network James A. Whittaker, What Is Software Testing? And Why Is It So Hard?, IEEE Software, vol. 17, no. 1, pp , 79, Jan/Feb., 2000 ESA SOFTWARE ENGINEERING STANDARDS, ESA PSS-05-0 Issue 2, February SOFTWARE ASSURANCE GUIDEBOOK, NASA-GB-A201 Overcoming the NAH Syndrome for Inspection Deployment. ICSE 1998 Sanders, J. et al. Software Quality: A Framework for Success in Software Development and Support. Addison-Wesley. 1995

34 Testovací nástroje

35 Agenda Typologie testů vs. dostupné nástroje Koncept Continuous Integration Udržovatelnost testů Volně dostupné nástroje TestNG, Findbugs, PMD, Selenium, AutoIt jmeter,

36 Typologie testů vs. nástroje

37 Typologie testů Unit testy Přezkoumání kódu Statická analýza kódu Integrační testy Systémové testy Funkční Výkonové

38 Kde nám pomáhají nástroje? Příprava testovacího prostředí Vytvoření testovacích scénářů Naplánování testů Testování Exekuce testů Vyhodnocení testů, reporting

39 Continuous Integration

40 Testy v kontextu projektu Smoke testing, Continuous Integration Vývojová platforma Pravidelný commit SCM Pravidelný build Integrační platforma Lokální vývoj Povinná sada testů (krátké a rychlé) Všechny automatické testy Regresní testy (automatické a manuální) Výkonové a jiné nefunkční testy, manuální testy dodávka Testovací platforma

41 Volně ě dostupné nástroje

42 Tlustý / tenký klient Liší se hlavně při systémových testech Funkční testy (GUI) Výkonové testy Bez výrazného rozdílu Unit a integrační testy Statická analýza kódu

43 Nástroje bez rozdílu Unit a integrační testy junit, TestNG, jmock, EasyMock, DbUnit, Statická analýza kódu Findbugs, PMD, FxCop, Continuous Integration CruiseControl, Hudson, Team Foundation Server,

44 Nástroje tenký klient Funkční testy Selenium, jwebunit, Watij, Výkonové testy JMeter, Dieseltest, Komplexní řešení HP Test Suite, Rational Test Suite,

45 Nástroje tlustý klient Quick Test Professional Rational Functional Tester AppPerfect Functional Tester GUI Automation White AutoIt

46 Příklad č. 1 TestNG

47 Ukázka TestNG Framework pro tvorbu (nejen) unit testů Velmi dobrá podpora pro integrační testy Vysoká granularita spouštění testů test methods groups tests suites Závislosti mezi metodami, skupinami Parametry testů Definice timeout

48 Ukázka TestNG

49 Příklad č. 2 Findbugs, PMD

50 Ukázka PMD / CPD Statická analýza kódu Detekce potenciálních problémů (PMD) Možné chyby Mrtvý kód (nepoužívané metody, proměnné, ) Neoptimální / příliš komplikovaný kód Velké množství pravidel / kontrol Pouze zdrojové soubory (Java, JSP, JSF), ne JAR Velmi dobrá detekce duplicit v kódu (CPD) Konzolová aplikace, CPD má GUI Integrace s Ant, Maven,

51 Ukázka PMD / CPD Seznam pravidel PMD Příklad konfiguračního ního souboru Příklad PMD reportu Příklad CPD

52 Ukázka Findbugs Konkurence PDM Podobná pravidla / kontroly Bez detekce duplicit Umí bytecode (schopnost kontroly JAR) Integrace s Ant, Maven, Konzole, GUI

53 Ukázka Findbugs Příklad GUI Příklad reportu

54 Příklad č. 3 Selenium

55 Ukázka Selenium Funkční ní testování web aplikací Testy lze psát v mnoha jazycích (Java, C#, ) Lze využít Selenium IDE Podpora řady prohlížečů (Firefox, IE, Opera, ) Integrace s junit, TestNG, nunit, Testy jako Javascript v prohlížeči Omezeno možnostmi Javascriptu Opravdu testuje aplikaci v prohlížeči, nesimuluje

56 Ukázka Selenium

57 Příklad č. 4 AutoIt

58 Ukázka AutoIt AutoIt skripty + data Aplikace Test report

59 Příklad č. 5 jmeter

60 Ukázka jmeter Výkonové testování (nejen) web aplikací Opensource nástroj Specializované IDE (Swing desktop aplikace) Lze spustit i konzolově Ne moc dobrá podpora pro Ant, lepší pro Maven Velmi široká paleta možností ( / ) HTTP(S), SOAP, JDBC, LDAP, JMS, Pokročilé statistiky, monitoring, vizualizace

61 Ukázka jmeter

62 Faktory TCO AT

63 Podstatné faktory TCO AT Faktor TCO % funkčního pokrytí systému Míra automatizace testů Architektura AT Zakomponování AT do vývoje Vnímání symbiózy aplikace a AT Built-to-test aplikace

64 Shrnutí Různé typy testů, různé nástroje všechny jsou nutné, doplňují se Lze automatizovat (s rozmyslem ) OpenSource nástroje dostatečně kvalitní Podstatný je design podpora pro testy (na všech úrovních) velmi pomáhá DI a TDD

65 Diskuse

66 Diskuse Komentáře Otázky Připomínky Upřesnění Poznámky