Implementace a využití automatizovaného testování. Staňková Gabriela Home Credit International a.s. 4.listopadu, 2009

Transkript

1 Implementace a využití automatizovaného testování Staňková Gabriela Home Credit International a.s. 4.listopadu,

2 Struktura prezentace Představení společnosti Projekt Automatizace testovaní Fáze realizace implementace procesu automatizace Testování současný stav Popis implementace Zkušenosti s TestDirectorem / QuickTestem Hodnocení implementace automatizovaného testování Vzkaz do budoucna 1

3 Představení společnosti Společnost Home Credit International a.s. Home Credit International a.s. (dále jen HCI) je součástí skupiny Home Credit Group, která náleží do silné mezinárodní finanční skupiny PPF Home Credit Group je předním poskytovatelem spotřebitelského financování na trzích střední a východní Evropy a střední Asie Home Credit International a.s. je rozdělena na 2 částí: HCI Praha a HCI IT services Brno HCI IT services - poskytuje komplexní podporu IT řešení včetně vývoje a provozování centrálních aplikací, jež jsou pro obchodní činnost společností Home Credit klíčové Home Credit působí v současné době v 8 zemích: Česká republika, Slovensko, Rusko, Ukrajina, Kazachstán, Bělorusko, Vietnam a Čína Hlavní podnikatelskou činností skupiny Home Credit Group je poskytování služeb spotřebitelského financování (tzv. sales finance). Jak se její podnikání rozrůstá, zavádí také postupně skupina Home Credit výběrově pro své zákazníky depozitní služby, v Rusku pak rozvíjí koncept univerzální retailové banky. Sídla firmy HCI IT services Brno a pobočka Ostrava 2

4 Představení hlavního produktu HCI IT Vývoj, analýza, testování a provozování IS HOMER, včetně datových center a komunikačních linek pro všechny finanční Home Credity v jednotlivých zemích IS HOMER je vyvíjený v klonech dle zemí a podobností business strategií počet klonů 5 (některé země jsou samostatně a tvoří svůj vlastní klon) IS HOMER se skládá ze skupin aplikací: webové aplikace určené především pro pořizování nových smluv a práci s externími partnery (JAVA) Tlustý klient určený pro práci centrál finančních HC (VB6,.Net, Oracle) DWH Účetnictví IS HOMER Podpůrné systémy sloužící jako interface mezi IS HOMER a systémy třetích stran 3

5 IS HOMER v číslech Počet klonů 5 (na 8 zemí) Počet řádků zdrojového kodu cca (VB6,.Net, Java WEB + WS, db) Počet formulářů cca 750 (.Net, VB6) Počet metod (funkce, procedury) cca Počet releasů na zemi 4x / 1 rok o velikosti MD Počet uživatelů IS HOMER cca (zaměstnanci skupiny Home Credit v jednotlivých zemích + obchodní partneři s přístupem na webové aplikace) Celkový počet aktivních klientů 6,6 milionu (počet klientů s kreditní historií 12,5 milionu) stav ke konci roku 2008 Počet zaměstnaců v HCI IT services (Brno+Ostrava) cca 215 4

6 Automatizace testovaní úvodní představení projektu Popis projektu: Implementace nástroje pro automatizované testování Účel projektu: Zvýšení efektivnosti a kvality testování Optimalizace regresního testování Cíl projektu: Pokrytí automatizovanými testy testování hlavních business procesů jako je pořizování smluv a základní práce v dílčích modulech systému Optimalizace průběhu testování na UAT prostředích Definice a implementace základních pracovních postupů pro používání nástrojů automatizovaného testování Délka projektu: 9 měsíců 5

7 Důvody zahájení projektu Popis releasového cyklu Délka interního testování 3 4 týdny se skládá z: 2 3 týdnů testů na interních testovacích databázích 3 4 dnů retesty na UAT testovacím prostředí Velikost releasů dle vývojových MD: MD UAT období trvá 3 4 týdny, v tomto období: se ze strany HCI v pravidelných servisních oknech 1x denně nasazují opravy v průběhu servisního okna je nutné provést retest systému a opravených chyb, servisní okno trvá 1, 5 hodiny, z čehož minut probíhá nasazení oprav a minut probíhá retest systému Nedostatečné testovací kapacity na regresní testy v období špičky testování Nekomplexnost a nesystematičnost realizovaných testů 6

8 Fáze projektu automatizace / časové rozložení 0. Výběr společnosti (11-12/2007) KOMIX s.r.o. zkušenost s automatizací testování IS ve finančním sektoru komplexnost dodávaných služeb - schopnost realizace projektu od počáteční studie, přes připravení testovacích skriptů až k vytvoření komplexní metodiky zkušenost s nástrojem HP Quality Center 1. Technologický test (KOMIX) (03-04/2008) cíl ověření použitelnosti SW QuickTest pro automatizaci IS HOMER návrh a plán následných kroků implementace HP Quality Center 2. Realizační fáze projektu (05-07/2008) tvorba testovacích scénářů (HCI) tvorba testovacích skriptů (KOMIX) příprava metodiky (KOMIX) převzetí know-how (skripty) od KOMIX do HCI 3. Roll out automatizace na všechny destinace (03-12/2008) 4. Vyhodnocení (12/2008), optimalizace (2009) 7

9 1. fáze projektu technologický test IS HOMER (03-04 / 2008) CÍL ověření použitelnosti SW QuickTest pro automatizaci IS HOMER VSTUPY Testovací scénáře: KZ HOMER pořízení smlouvy + validace polí na webových formulářích WEB aplikace (Java) UA HOMER pořízení smlouvy na POS aplikaci (.Net) UA HOMER pořízení a schválení smlouvy přes workflow (Visual Basic 6) Testovací prostředí + požadované testovací prostředky: KZ + UA testovací prostředí 4 PC 1 server + 3 PC 2 test analytici + 2 vývojáři (KOMIX) 4 HCI zaměstnanci VÝSTUPY: Testovací skripty v QTP Technologický test HOMER application s výsledkem: Aplikace vyvíjené v Java a.net jsou vhodné pro automatizaci Aplikace vyvíjené ve Visual Basicu nejsou vhodné pro automatizaci S ohledem na probíhající převod častí modulu z VB6 aplikací do.netu a rozložení funkčních částí systému v technologiích JAVA a.net, bylo rozhoduto, že nástroj QTP je vhodný pro tvorbu automatických testů pro IS HOMER. ZÁVĚR: QC a QTP je určen jako vhodný nástroj pro řízení a tvorbu automatizovaných testů pro IS HOMER. 8

10 2. Fáze implementace automatizace (05-07 / 2008) CÍL vytvoření základní sady testovacích skriptů pro vhodné funkčnosti pro 3 vybrané destinace Základní definice skriptů: 1. Proces pořízení a zpracování smlouvy až do stavu aktivní 2. Validace polí na vstupních formulářích 3. Regresní testy základní funkčnosti všech.net modulů VSTUPY Testovací scénáře pro RU, UA & KZ HOMER Testovací prostředí + požadované testovací prostředky: RU, UA & KZ HOMER testovací release database 4 PC 1 server + 3 PC with installation of SW HP Quality Center 3-4 KOMIX test analyst and programmer 1-4 HCI zaměstnanci VÝSTUPY Testovací skripty pro UA & KZ HOMER Pilotní provoz skriptů v rámci release Proškolení pracovníků HCI (8) Metodika automatizace v rámci HCI ZÁVĚR + Úspěšné ověření procesu automatizace v provozu - Nesplnění plánu skripty pro RU HOMER nebyly dovyvinuty a odladěny dle plánu => Časová náročnost na tvorbu a údržbu skriptů je větší než s jakou se předpokládalo 9

11 Použité nástroje - HP Quality Center Do verze 8.0 známe pod názvem Mercury TestDirector Komplexní řešení pro řízení automatizovaných testů Webová aplikace na principu Klient Server Využíváme 4 moduly: Business Components, Test Plan, Test Lab, Defects Quality Centrer využívá na uskladnění potřebných dat filesystem serveru a Oracle db 10

12 Business Components HP QuickTest Professional Nahrávání kroků podle připraveného testovacího scenáře Programovaní v jazyku VBScript Obsahuje pluginy pro podporu rozpoznávání webových,.net a VB6 aplikací Doplnitelný modul pro Quality Center Automatizované skriptované komponenty: Nahrávání, úprava a spouštění probíhá v programu QuickTest Professional Primární dělení podle zemí Sekundárně podle technologie aplikace NET, VB a WEB Finální rozdělení na jednotlivé moduly / části aplikace 11

13 Test Plan 3 TYPY TESTŮ Procesy: - kompletní proces smlouvy od založení přes kompletaci až po aktivaci Smoke testy: - proklikání záložek, ověření základní funkc. Validace: - ověření validace polí, zobrazení dialogů Vytvoření jednotlivých testů z komponent, nastavení návaznosti. 2 typy vstupných parametrů: runtime pro každou iteraci testu možná jiná hodnota fixed stejná hodnota pro všechny běhy Rozdělení dle zemí a následně podle typu 12

14 Test Lab krajina release databáze Pro novou databázi je nezbytné nastavit runtime parametry Každý den se vytváří nová testovací sada lehčí dohledání výsledků do minulosti V Execution Flow se nastaví pořadí běhu testů Analýza výsledků pro testy se statusem Failed nebo Not Completed 13

15 Defects modul a analýza výsledků Množství informací o chybě závisí od kvality skriptu Doprogramovaná možnost o pořízení screenshotu K chybám sa přistupuje z výsledků testů v testovacích plánech nebo z modulu Defects Modul Defects umožnuje i jednoduchéřízení chyb HCI používá komplexnější nástroj JIRA Nutně ručně zadávat chyby do JIRA 14

16 3.Fáze roll-out na ostatní destinace (09-12 / 2008) CÍL dokončení + tvorba základní sady testovacích skriptů pro vhodné funkčnosti pro 3 vybrané destinace RU, KZ, UA Zapojení pracovníků HCI do tvorby a updatu skriptů, převzetí know-how od kolegů z KOMIXu VSTUP Testovací scénáře pro ostatní destinace CS, SK, CN, VN & BY HOMER Testovací prostředí + požadované testovací prostředky: RU, UA & KZ HOMER testovací release database 6 PC 1 server + 5 PC with installation of SW HP Quality Center 3-4 KOMIX test analyst and programmer 1-4 HCI zaměstnanci VÝSTUP Testovací skripty pro BY, RU HOMER Update skriptů pro UA, KZ Pilotní provoz skriptů v rámci release První vytvořené skripty zaměstnanci HCI Metodika automatizace v rámci HCI ZÁVĚR + Úspěšné použití automatizovaného testování na nejkritičtějším klonu RU/BY + Ověření schopnosti převzít know-how od KOMIXu a následně udržovat a vyvíjet skripty nové + realizace větší množiny testů než před automatizací - Nezvládnutí všech naplánovaných aktivit (zjištění nemožnosti přesunu částí skriptů na jiné vyvíjené klony 15

17 Výstupy z projektu a jejich přínosy a nedostatky VÝSTUPY nastavení procesu automatizovaného testování uvnitř firmy připravená architektura technického řešení, naparametrizovaný TD sada vytvořených testovacích skriptů připravenost 5 pracovníků HCI pracovat s nástroji HP a skripty vytvářet a spouštět 16

18 Vývoj pokrytí skripty IS HOMER k

19 Silné a slabé stránky projektu Automatizace testování + SILNÉ STRÁNKY Snížení chybovosti v základní funkčnosti v UAT Jasně definovaný pracovní postup automatizovaných testů v rámci HCI Zrychlení procesu testování ve fázi interního testování a předávání zákazníkovi testovacího prostředí po opravných patchích v průběhu UAT testu - SLABÉ STRÁNKY Vyšší nároky na HR zdroje HCI než se předpokládalo Nedodržování termínů vytýčených v rámci původního projektového plánu 50% úspěšnost zapojení se proškolených lidí do práce s QTP Pořizovací náklady 18

20 Q and A