A/B Testing
Princip A/B Testování - Více variant (A,B,C,D, ) -Část návštěvníků vidí variantu A, část B, - Analyzujeme výkonnost variant - Nejlepší nasadíme natrvalo
Podmínky úspěšného testu - správně zvolené sledované metriky (KPI) - konzistence v zobrazování variant - přiměřená doba testu - každá varianta řeší jednu změnu - srovnatelné skupiny relevantních návštěvníků
Podmínky úspěšného testu - správně zvolené sledované metriky (KPI) - konzistence v zobrazování variant - přiměřená doba testu - každá varianta řeší jednu změnu - srovnatelné skupiny relevantních návštěvníků
KPI sledované metriky KPI (Key Performance Indicators): - dosažení cílové stránky (odeslaný formulář, dokončená objednávka) - hodnota objednávek - zisk -čas strávený na webu, čas strávený na konkrétní stránce, media consumption, počet shlédnutých stránek, čas potřebný k dosažení cílových stránek, exit rate, míra opakovaných návštěv (loajalita),... Rizika: - sledování nesprávného KPI - zvyšování sledovaného KPI na úkor jiného
Podmínky úspěšného testu - správně zvolené sledované metriky (KPI) - konzistence v zobrazování variant - přiměřená doba testu - každá varianta řeší jednu změnu - srovnatelné skupiny relevantních návštěvníků
Konzistence v zobrazování - Jeden návštěvník vidí stále jednu variantu - Persistentní cookie
Podmínky úspěšného testu - správně zvolené sledované metriky (KPI) - konzistence v zobrazování variant - přiměřená doba testu - každá varianta řeší jednu změnu - srovnatelné skupiny relevantních návštěvníků
Správná doba testování Krátká doba experimentu - statisticky nevýznamné - sezonní vlivy Dlouhá doba experimentu - zbytečné - nákladné Jaká je správná doba? - kombinace faktorů návštěvnost webu, množství variant, míra konverze, zvolené KPI,...
Podmínky úspěšného testu - správně zvolené sledované metriky (KPI) - konzistence v zobrazování variant - přiměřená doba testu - každá varianta řeší jednu změnu - srovnatelné skupiny relevantních návštěvníků
1 varianta = 1 změna - Potřeba izolovat vliv jednotlivých změn na změnu KPI Zvýšila konverzi změna textu? Nebo ostylování tlačítka? Nebo přidání ikonky košíku? - Více možných změn vyžaduje více variant multivariate testing
Podmínky úspěšného testu - správně zvolené sledované metriky (KPI) - konzistence v zobrazování variant - přiměřená doba testu - každá varianta řeší jednu změnu - srovnatelné skupiny relevantních návštěvníků
Srovnatelní & relevantní - Každou variantu vidí stejně velká část návštěvníků - Segmentace - zaměřit se na správné návštěvníky
Nástroje pro A/B testování výhody: - jednoduché HTML úpravy, není potřeba reálného programování - persistentní cookies si řeší sám - mulitvariate testing - zdarma nevýhody: - složité napojení na detailnější segmentaci návštěvníků - nemožnost následné segmentace - složité (nebo nemožné) použití jiných KPI než dosažení cílové stránky a čas strávený na stránce - nelze zobrazit názorné srovnání variant v rámci site overlay reportu - velký bratr
Ukázka: BLVD Suites - mapa Obor: Pronájem apartmentů v USA pro corporate housing Hypotéza: Klikací mapa na HP zlepší navigaci na stránky měst a stránky nabízených produktů KPI: Dosažení cílové stránky (detail produktu)
A: Původní varianta Navigace vlevo
B: mapa + formulář vlevo Klikací mapa Navigace vlevo
C: mapa + formulář dole Klikací mapa Navigace pod mapou
A/B Overlay Split formulář pod mapou vs. vlevo
Ukázka: BLVD Suites - mapa KPI: cílová stránka Chybné KPI: čas na webu
Ukázka: Eshop s MT - tlačítka Obor: Eshop s mobilními telefony Hypotéza: Použití systémových tlačítek povede k zvýšení konverze. KPI: Objem objednávek
A: Ostylovaná tlačítka B: Systémová tlačítka
Dílčí KPI: Vložení do košíku A/B Overlay Split Tlačítko vložení do košíku
Primární KPI: Objem objednávek KPI: Objem objednávek
A/B Testing 18.9.2008 pro Klub WebTop100 Artur Holba Atweb Consulting zastoupení ClickTracks v ČR www.clicktracks.cz