A/B Testing.

Transkript

1 A/B Testing

2 Princip A/B Testování - Více variant (A,B,C,D, ) -Část návštěvníků vidí variantu A, část B, - Analyzujeme výkonnost variant - Nejlepší nasadíme natrvalo

3 Podmínky úspěšného testu - správně zvolené sledované metriky (KPI) - konzistence v zobrazování variant - přiměřená doba testu - každá varianta řeší jednu změnu - srovnatelné skupiny relevantních návštěvníků

4 Podmínky úspěšného testu - správně zvolené sledované metriky (KPI) - konzistence v zobrazování variant - přiměřená doba testu - každá varianta řeší jednu změnu - srovnatelné skupiny relevantních návštěvníků

5 KPI sledované metriky KPI (Key Performance Indicators): - dosažení cílové stránky (odeslaný formulář, dokončená objednávka) - hodnota objednávek - zisk -čas strávený na webu, čas strávený na konkrétní stránce, media consumption, počet shlédnutých stránek, čas potřebný k dosažení cílových stránek, exit rate, míra opakovaných návštěv (loajalita),... Rizika: - sledování nesprávného KPI - zvyšování sledovaného KPI na úkor jiného

6 Podmínky úspěšného testu - správně zvolené sledované metriky (KPI) - konzistence v zobrazování variant - přiměřená doba testu - každá varianta řeší jednu změnu - srovnatelné skupiny relevantních návštěvníků

7 Konzistence v zobrazování - Jeden návštěvník vidí stále jednu variantu - Persistentní cookie

8 Podmínky úspěšného testu - správně zvolené sledované metriky (KPI) - konzistence v zobrazování variant - přiměřená doba testu - každá varianta řeší jednu změnu - srovnatelné skupiny relevantních návštěvníků

9 Správná doba testování Krátká doba experimentu - statisticky nevýznamné - sezonní vlivy Dlouhá doba experimentu - zbytečné - nákladné Jaká je správná doba? - kombinace faktorů návštěvnost webu, množství variant, míra konverze, zvolené KPI,...

10 Podmínky úspěšného testu - správně zvolené sledované metriky (KPI) - konzistence v zobrazování variant - přiměřená doba testu - každá varianta řeší jednu změnu - srovnatelné skupiny relevantních návštěvníků

11 1 varianta = 1 změna - Potřeba izolovat vliv jednotlivých změn na změnu KPI Zvýšila konverzi změna textu? Nebo ostylování tlačítka? Nebo přidání ikonky košíku? - Více možných změn vyžaduje více variant multivariate testing

12 Podmínky úspěšného testu - správně zvolené sledované metriky (KPI) - konzistence v zobrazování variant - přiměřená doba testu - každá varianta řeší jednu změnu - srovnatelné skupiny relevantních návštěvníků

13 Srovnatelní & relevantní - Každou variantu vidí stejně velká část návštěvníků - Segmentace - zaměřit se na správné návštěvníky

14 Nástroje pro A/B testování výhody: - jednoduché HTML úpravy, není potřeba reálného programování - persistentní cookies si řeší sám - mulitvariate testing - zdarma nevýhody: - složité napojení na detailnější segmentaci návštěvníků - nemožnost následné segmentace - složité (nebo nemožné) použití jiných KPI než dosažení cílové stránky a čas strávený na stránce - nelze zobrazit názorné srovnání variant v rámci site overlay reportu - velký bratr

15 Ukázka: BLVD Suites - mapa Obor: Pronájem apartmentů v USA pro corporate housing Hypotéza: Klikací mapa na HP zlepší navigaci na stránky měst a stránky nabízených produktů KPI: Dosažení cílové stránky (detail produktu)

16 A: Původní varianta Navigace vlevo

17 B: mapa + formulář vlevo Klikací mapa Navigace vlevo

18 C: mapa + formulář dole Klikací mapa Navigace pod mapou

19 A/B Overlay Split formulář pod mapou vs. vlevo

20 Ukázka: BLVD Suites - mapa KPI: cílová stránka Chybné KPI: čas na webu

21 Ukázka: Eshop s MT - tlačítka Obor: Eshop s mobilními telefony Hypotéza: Použití systémových tlačítek povede k zvýšení konverze. KPI: Objem objednávek

22 A: Ostylovaná tlačítka B: Systémová tlačítka

23 Dílčí KPI: Vložení do košíku A/B Overlay Split Tlačítko vložení do košíku

24 Primární KPI: Objem objednávek KPI: Objem objednávek

25 A/B Testing pro Klub WebTop100 Artur Holba Atweb Consulting zastoupení ClickTracks v ČR