Testování vyhledávačů Google a Seznam.cz

Testování vyhledávačů Google a Seznam.cz pomocí kvantitativního testu Semestrální práce B1 v rámci předmětu A7B36TUR ČVUT FEL STM

Zadání: Definujte testované subjekty a určete metriku pro kvantitativní test. Autor:, 22.11.2014 Obsah dokumentu Obsah Obsah dokumentu... 2 1 Úvod... 4 2 Cílová skupina... 4 3 Příprava testování... 4 3.1 Hypotéza... 4 3.2 Nulová hypotéza... 4 3.3 Testovací metodika... 4 3.4 Závislá proměnná... 5 3.5 Nezávislá proměnná... 5 3.6 Obsah dotazníku... 5 3.6.1 Google... 5 3.6.2 Seznam... 5 4 Testování... 5 4.1 Výběr participantů... 5 4.2 Sběr dat... 5 4.3 Pomocné nástroje... 6 5 Získaná data... 6 5.1 Vyhledávač Google... 6 5.2 Vyhledávač Seznam... 7 6 Vyhodnocení získaných dat... 8 6.1 Výsledky... 9 6.2 Statistické testování pomocí programu R... 9

6.3 Vysvětlení pojmů v t-testu... 10 7 Závěry kvantitativního testování... 10 8 Použité zdroje... 10

1 Úvod a motivace V současné době mi stále více připadá, že Google při sběru uživatelských dat a sledování aktivity osob překračuje únosné hranice. Rád bych ho tedy porovnal v rámci testování s jeho českým konkurentem Seznam.cz. Google je na trhu již od roku 1998, Seznam pak zahájil činnost již v roce 1996. Mými testovanými subjekty budou tedy vyhledávače Google a Seznam. Metrikou budou hodnoty z dotazníku posuzované pomocí Likertovy škály. Motivací pro tento test byla pokračující expanze firmy Google do všech oblastí internetových služeb včetně Cloudu, sociálních sítí či internetových prohlížečů. Zhruba před 10 lety byl v českých podmínkách vyhledávač Seznam prakticky rovnocenný se svým konkurentem v podobě Google. Lidé na něm oceňovali především zpravodajství, chat na webu Lidé.cz a další služby. Tato studie zjišťuje, jak jsou oba vyhledávače vnímány uživateli nyní, a který z nich je oblíbenějši. 2 Cílová skupina Jako cílovou skupinu jsem si zvolil uživatele internetu ve věku 20-30 let, kteří mají zkušenosti s oběma vyhledávači. 3 Příprava testování V rámci přípravy bylo potřeba formulovat hypotézu, na základě které bude připraven test a proveden výběr participantů. 3.1 Hypotéza Jak Google, tak Seznam nabízejí fulltextové vyhledávání v celém Internetu. Seznam k tomu nabízí také další služby, například oblíbený Seznam E-mail či portál Novinky.cz. Google v tomto ohledu dlouho zaostával, nicméně v současné době poskytuje také velmi širokou škálu doplňkových služeb. Cílem tohoto testu je zjistit, který portál je pro uživatele užitečnější (z pohledu kvality vyhledávání či dalších služeb). 3.2 Nulová hypotéza Mým předpokladem je, že oba vyhledávače v testu dopadnou stejně. 3.3 Testovací metodika Jako testovací techniku jsem použil metodu internetového dotazníku (Computer assisted web interview). Vytvořil jsem dotazník s uzavřenými otázkami (aby bylo možné ho kvantitativně vyhodnotit), a poté odeslal odkaz účastníkům testu. Množinu odpovědí tvořilo celkem 5 možností, vycházejících z Likertovy škály:

Silný Participanty jsem získal prostřednictvím e-mailu, sociálních sítí a osobního kontaktu. Ve zprávě jsem je požádal, aby otevřeli dotazník v odkazu a vyplnili jej. 3.4 Závislá proměnná Odpovědi participantů v rámci Likertovy škály 3.5 Nezávislá proměnná Testované portály Google a Seznam.cz 3.6 Obsah dotazníku Dotazník jsem sestavil z celkem 6 otázek pro každý z vyhledávačů: 3.6.1 Google 1. Vyhledávač Google je přehledný 2. Uživatelské rozhraní vyhledávače Google je příjemné 3. Nabídka služeb Google je dostatečně široká 4. Služby nabízené vyhledávačem Google jsou kvalitní 5. Použití vyhledávače Google vyžaduje odbornější znalosti 6. Vyhledávač Google plánuji v budoucnu využívat 3.6.2 Seznam 1. Vyhledávač Seznam je přehledný 2. Uživatelské rozhraní vyhledávače Seznam je příjemné 3. Nabídka služeb Seznam je dostatečně široká 4. Služby nabízené vyhledávačem Seznam jsou kvalitní 5. Použití vyhledávače Seznam vyžaduje odbornější znalosti 6. Vyhledávač Seznam plánuji v budoucnu využívat 4 Testování 4.1 Výběr participantů Po vytvoření dotazníku na Google Forms jsem začal s výběrem respondentů. K tomu jsem využil e- mailovou komunikaci, sociální síť Facebook a osobní kontakt s danými lidmi. Po úspěšném výběru respondentů jsem přešel k samotnému sběru dat. 4.2 Sběr dat Sběr dat probíhal v podstatě automaticky po zaslání formuláře vybraným respondentům se do mého Google účtu uložily jejich odpovědi pro další zpracování.

Výsledky dotazníku jsem zpracoval s použitím tabulkového procesoru Microsoft Excel 2010. Výsledné grafy a statistiky jsem pak generoval s pomocí programu R Gui, předvedeného na cvičení. 4.3 Pomocné nástroje Pro získání respondentů jsem využil Facebook.com a Seznam E-mail. K provedení sběru dat jsem využil zdarma dostupné služby Google Forms, která umožňuje vytvářet formuláře a odpovědi formátuje do přehledných tabulek. 5 Získaná data Pro potřeby testu se mi podařilo získat 30 respondentů. Získaná data jsem umístil do dvou tabulek, kdy každá se týká jednoho z testovaných vyhledávačů. 5.1 Vyhledávač Google V této tabulce jsou uvedeny výsledky dotazníku z části týkající se vyhledávače Google. Vyhledávač Google je přehledný Uživatelské rozhraní vyhledávače Google je příjemné Nabídka služeb Google je dostatečně široká Služby nabízené vyhledávačem Google jsou kvalitní Použití vyhledávače Google vyžaduje odbornější znalosti Silný Silný Silný Vyhledávač Google plánuji v budoucnu využívat

Silný Silný Silný Silný Silný Silný Silný Silný Silný Silný 5.2 Vyhledávač Seznam V této tabulce jsou uvedeny výsledky dotazníku z části týkající se vyhledávače Seznam. Vyhledávač Seznam je přehledný Uživatelské rozhraní vyhledávače Seznam je příjemné Nabídka služeb Seznam je dostatečně široká Služby nabízené vyhledávačem Seznam jsou kvalitní Použití vyhledávače Seznam vyžaduje odbornější znalosti Vyhledávač Seznam plánuji v budoucnu využívat Silný Silný Silný Silný

Silný Silný Silný Silný Silný Silný Silný Silný Silný Silný Silný Silný Silný Silný Silný Silný Silný 6 Vyhodnocení získaných dat Data budeme vyhodnocovat s pomocí programu R Gui předvedeného na cvičení. Provedeme převod dat na číselné vektory s použitím mapování Likertovy škály na přirozená čísla 1 až 5.

5 4 3 2 Silný 1 V otázkách 1, 2, 3, 4, 6 je škála standardní (viz výše), v otázce 5 je pak obrácená (potřeba odbornějších znalostí je v tomto kontextu negativní). 6.1 Výsledky Pořadové číslo respondenta Google součet bodů Seznam součet bodů 1 26 26 2 24 25 3 25 17 4 27 21 5 28 22 6 25 16 7 27 21 8 30 27 9 24 28 10 29 28 11 30 30 12 29 23 13 27 24 14 26 23 15 28 17 16 23 20 17 29 19 18 25 21 19 28 26 20 28 17 21 29 16 22 27 22 23 25 15 24 25 18 25 29 20 26 11 27 27 22 19 28 24 17 29 26 19 30 30 19 786 / 30 = 26,2 643 / 30 = 21,43 6.2 Statistické testování pomocí programu R 1. Do programu R Gui jsem zadal následující vektory hodnot: Google<-c(26,24,25,27,28,25,27,30,24,29,30,29,27,26,28,23,29,25,28,28,29,27,25,25,29,11,22,24,26,30) Seznam<-c(26,25,17,21,22,16,21,27,28,28,30,23,24,23,17,20,19,21,26,17,16,22,15,18,20,27,19,17,19,19)

2. Následně jsem na tyto hodnoty aplikoval t-test: t.test(google, Seznam, paired=true) 3. Výstup testu: t = 4.607 df = 29 p = 7.553e-05 6.3 Vysvětlení pojmů v t-testu p-hodnota (7.553e-05): Pravděpodobnost, že výsledek testovacího kritéria t padne do kritického oboru W. Tedy že i při platnosti nulové hypotézy H0 (prohlížeče jsou uživateli vnímány stejně), budou ve skutečnosti vnímány jinak. Stupně volnosti (df = 29) počet nezávislých veličin, které mohou nabývat libovolných hodnot. Například v tomto testu je 30 participantů, 29 participantů tedy může mít libovolné výsledky, ale 30. Participant již musí svými výsledky dorovnat požadovaný výsledek. Stupňů volnosti je tedy jen 29. Testovací kritérium (t = 4,607) funkce náhodného výběru, jejíž obor hodnot dělíme na dva vzájemně se vylučující obory V (obor přijetí nulové hypotézy) a W (kritický obor, kdy nulovou hypotézu zamítáme) 7 Závěry kvantitativního testování Výsledky testu mě samotného překvapily. Zdá se, že cílová skupina využívá Seznam spíše pro jeho doplňkové služby (e-mail, zpravodajství, počasí atd.), zatímco primárním vyhledávačem je v současné době Google. Vzhledem k vemi vysokému rozdílu v hodnocení (obou vyhledávačů tedy zamítám nulovou hypotézu a shledávám, že uživatelé výrazně preferují vyhledávač Google oproti konkurenčnímu Seznamu. 8 Použité zdroje 1. The R Project for Statistical Computing [online]. The R Foundation for Statistical Computing Dostupné z: http://www.r-project.org/ 2. Testování uživatelského rozhraní 2014/2015 [online]. České vysoké učení technické v Praze. [vyd. 2014]. Dostupné z: https://cent.felk.cvut.cz/courses/y39tur/ 3. Testování statistických hypotéz. Wikipedia: the free encyclopedia. [online]. 2001- [cit. 2014-11-25]. Dostupné z: http://cs.wikipedia.org/wiki/testov%c3%a1n%c3%ad_statistick%c3%bdch_hypot%c3%a9z 4. GROSSOVÁ, S. Marketing: principy, postupy, metody [online]. Vysoká škola chemicko-technologická v Praze, 2002. ISBN 80-7080-505-6

Dostupné z: http://vydavatelstvi.vscht.cz/knihy/uid_isbn-80-7080-505-6/pdf/140.pdf