Univerzita Pardubice Fakulta ekonomicko-správní. Modelování predikce časových řad návštěvnosti web domény pomocí SVM Bc.

Transkript

1 Unverzta Pardubce Fakulta ekonomcko-správní Modelování predkce časových řad návštěvnost web domény pomocí SVM Bc. Vlastml Flegl Dplomová práce 2011

2

3

4 Prohlašuj: Tuto prác jsem vypracoval samostatně. Veškeré lterární prameny a nformace, které jsem v prác využl, jsou uvedeny v seznamu použté lteratury. Byl jsem seznámen s tím, že se na moj prác vztahují práva a povnnost vyplývající ze zákona č. 121/2000 Sb., autorský zákon, zejména se skutečností, že Unverzta Pardubce má právo na uzavření lcenční smlouvy o užtí této práce jako školního díla podle 60 odst. 1 autorského zákona, a s tím, že pokud dojde k užtí této práce mnou nebo bude poskytnuta lcence o užtí jnému subjektu, je Unverzta Pardubce oprávněna ode mne požadovat přměřený příspěvek na úhradu nákladů, které na vytvoření díla vynaložla, a to podle okolností až do jejch skutečné výše. Souhlasím s prezenčním zpřístupněním své práce v Unverztní knhovně. V Pardubcích dne Bc. Vlastml Flegl

5 Poděkování Na tomto místě bych chtěl poděkovat svému vedoucímu dplomové práce, panu prof. Ing. Vladmíru Olejov, CSc. za vedení, podporu a poskytnuté odborné rady př psaní dplomové práce.

6 ANOTACE Dplomová práce se zabývá modelováním predkce návštěvnost Web domény pomocí SVM neuronových sítí. Jako data pro modelování je použtá naměřená návštěvnost webových stránek Unverzty Pardubce. Součástí práce je charakterstka Web mnngu a SVM neuronových sítí. V této prác jsou navrženy optmální modely a zhodnocení dosažených výsledků. KLÍČOVÁ SLOVA Support Vector Machne, Support Vector Regresson, Web Mnng, Predkce, Modelování TITLE Modellng of Tme Seres Predcton Vst of Web Doman by SVM Neural Networks ANNOTATION The graduaton theses focuses on modellng of predcton vst of Web doman by SVM neural networks. As data for modellng s used measurng vst rate of Unversty Pardubce s web pages. Part of ths work s characterzaton of Web mnng and SVM neural networks. In ths work are desgned optmal models and evaluaton of acheved results. KEYWORDS Support Vector Machne, Support Vector Regresson, Web Mnng, Predcton, Modellng

7 Obsah Obsah...7 Úvod Web Mnng Základní charakterstka Data mnngu Základní charakterstka Web mnngu Web Structure Mnng Web Content Mnng Web Usage Mnng Předzpracování dat pro Web mnng Využtí předzpracovaných dat Neuronové sítě a Support Vector Machnes Základní charakterstka neuronových sítí Support Vector Machne VC dmenze Mnmalzace Strukturálního Rzka Charakterstka metody Support Vector Machne Optmální nadrovna pro lneárně separovatelné datové vzory Kvadratcká optmalzace pro hledání optmální nadrovny Optmální nadrovna pro neseparovatelné datové vzory Prncp SVM Defnce a vlastnost jádrových funkcí Jádrové funkce SVM Archtektura SVM Support Vector Regresson Data pro modelování Charakterstka dat Předzpracování dat Modelování Modelovací prostředí Vstupní a výstupní data...43

8 4.3 Nastavení parametrů modelu Sledovaná chyba modelu Postup př provádění expermentů Analýza výsledků Charakterstky parametrů modelu SVR Vlvy parametrů na RMSE Vzájemné vlvy parametrů Krátká časová řada Střední časová řada Dlouhá časová řada Porovnání výsledků Závěr...61 Zdroje...62 Seznam Obrázků...65 Seznam Tabulek...66 Seznam Grafů...67 Seznam Zkratek...68 Seznam Symbolů...69 Přílohy...71

9 Úvod Web mnng je skupna metod a nástrojů, poskytující přínosy v podobě snadnějšího a přesnějšího vyhledávání nformací pro návštěvníky nternetu. Především ale poskytuje mnoho důležtých využtelných údajů o návštěvnících pro majtele webových stránek. Správně cílený Web mnng a následné využtí jím poskytnutých údajů může znamenat konkurenční výhodu v nternetovém byznysu. V první část práce jsou popsány přínosy Web mnngu pro běžné webové stránky, nternetové obchody vyhledávače. Web mnng je rozdělen na jednotlvé část a každá část je popsána z hledska prncpu a využtí. Dplomová práce popsuje predkc návštěvnost webových stránek Unverzty Pardubce. Návštěvnost Webu je jeden ze základních údajů zkoumaných pomocí Web mnngových technk. Predkce je prováděna pomocí metody Support Vector Machne, což je metoda blízká neuronovým sítím, ale má své specfcké vlastnost a prncp práce. V druhé část této práce je charakterzována metoda Support Vector Machne, její základy a prncp. Tato metoda je zde popsána z hledska klasfkace regrese. V této část je dále vysvětlen pojem jádrová funkce, příklady jádrových funkcí a jejch souvslost s metodou Support Vector Machne. Další část práce se věnují charakterstce dat pro modelování, jejch předzpracování a použtí př procesu modelování. Následně je popsán postup př modelování a jsou analyzovány získané výsledky. Cílem této práce je nalezení optmálních matematckých modelů, které slouží k predkc návštěvnost Web domény Unverzty Pardubce. Predkce je provedena pro různě dlouhé časové řady. Cílem je také expermentálně nalezené modely popsat, dále na základě těchto nalezených modelů popsat souvslost a poznatky nabyté př modelování a zhodnott úspěšnost predkce. 9

10 1 Web Mnng 1.1 Základní charakterstka Data mnngu Data mnngem se nazývá objevování znalostí v databázích [1]. Český ekvvalent pro tento pojem je dolování z dat. Jnak řečeno, je to dolování z dat za účelem získání dosud neznámých nformací a souvslostí. Data mnng obvykle začíná pochopením dat, pomocí datových analýz. Ty provádějí datoví analyzátoř. Dolování dat je obvykle prováděno ve třech hlavních krocích: Předzpracování: Nezpracovaná data nejsou obvykle vhodná pro dolování z různých důvodů: Je třeba očštění a odstranění šumu, odstranění abnormalt a odlehlých hodnot, data můžou být také přílš obsáhlá, s nepotřebným atrbuty, apod. Data mnng: Zpracovaná data jsou přpravena k aplkac Data mnngových algortmů, které budou produkovat výsledky a znalost Následné zpracování: V tomto kroku se roztřídí data a provádí se vzualzace výsledků. Pro různé aplkace a použtí v prax se vybírají příslušná vhodná data. Data mnng je hlavně používán v oblast frem se zaměřením na spotřebtele, ve fnančních, komunkačních a marketngových organzacích. To umožňuje těmto frmám stanovt vztahy mez faktory jako je cena, umístění produktu, ekonomcké ukazatele, demografcké údaje zákazníka a další. Data mnngové technky mají poztvní vlv na prodej, zsky a spokojenost zákazníků. Mez používané nástroje Data mnngu patří umělé neuronové sítě, rozhodovací stromy, genetcké algortmy, shlukování pomocí různých metod, IF-THEN pravdla a v neposlední řadě také vhodná vzualzace dat. Tyto nástroje pracují s jedním nebo svíce vztahy. Mez základní čtyř typy vztahů patří: Třídy, shluky, asocace a sekvenční data (vzory). Text mnng a Web mnng jsou další dva podobné pojmy používané spolu s Data mnngem. Tato práce v další část přblíží druhý z těchto pojmů. 1.2 Základní charakterstka Web mnngu Se zvyšujícím se množstvím nformací a nformačních zdrojů přístupných onlne na webu je stále potřebnější tyto nformace nějakým způsobem získat a využívat. 10

11 S tím také stoupají nároky na nástroje pro sledování těchto dat, jejch automatcké sbírání, analyzování a případné další možnost využtí. To vede k potřebě vytvořt ntelgentní systémy na straně serveru klenta. Web mnng s klade za cíl nalézt užtečné nformace a znalost z webové struktury, z obsahu stránek a z používaných dat. Web mnng využívá mnoho Data mnngových technk, ale není pouze aplkací tradčního Data mnngu a to kvůl různorodost a polo-strukturované nebo nestrukturované povaze webových dat. Rozdíl mez Data mnngovým a Web mnngovým procesem je obvykle ve sběru dat. V tradčním Data mnngu jsou často data jž sesbíraná a skladovaná v datovém úložšt. Naopak Web mnng počítá jako se značnou částí svých úloh s různým způsobem sběru dat. Na sesbíraná data jsou aplkovány stejné tř kroky jaké byly uvedeny v předchozí kaptole o Data mnngu. Technky se však můžou pro každý krok oprot Data mnngu lšt. Na obr.1 je znázorněn koncept Web mnngu. Obr.1: Konceptuální mapa Web mnngu [4] Web mnng je dobrým nástrojem především pro majtele nternetových obchodů. Analyzuje pohyb zákazníků č návštěvníků, dobu strávenou na jednotlvých stránkách, místa příchodů a odchodů, sekvence průchodů stránkam, apod. Díky těmto nformacím lze zjstt mnoho užtečných nformací o zákaznících a jejch preferencích. 11

12 Je však přínosem pro běžné užvatele nternetu především v oblast vyhledávání. Web mnng se dělí na tř následující část: Web Structure Mnng (WSM) nebol zkoumání struktury webových stránek Web Content Mnng (WCM) nebol získávání nformací z obsahu webu Web Usage Mnng (WUM) nebol zkoumání chování užvatelů O každé z těchto tří skupn pojednává v této prác samostatná kaptola. 1.3 Web Structure Mnng První skupna Web mnngu je Web structure mnng. Tento typ Web mnngu je založen na uspořádání a analyzování spojení a vztahů mez webovým stránkam. Typckým výstupem jsou nformace o vzájemném propojení množn webových stránek nebo jejch adres. Rozlšují se dva odlšné přístupy a to Lnk Topology Mnng a Lnk URL Mnng. Oba používají odlšná data a metody. V případě přístupu Lnk Topology Mnng je zacházeno s webem jako s grafem, stránky potom představují uzly grafu a odkazy představují hrany nebo oblouky. Tento přístup pracuje nezávsle na nformacích o obsahu stránek. Pro Lnk URL Mnng představuje topologe jednotlvé URL zdroje a cíle každé stránky, což dovoluje přístup ke konkrétnějším adresovým datům. Oba tyto typy můžou být použty samostatně nebo spolu s jným přístupy k řešení problémů Web mnngu (např. dentfkace témat webu). Jak je patrno z obr.1, stránky můžou být statcké nebo můžou být generovány dynamcky. V případě dynamckých stránek je jejch mapování komplkovanější, protože dynamcké prostředí je zatíženo potřebou více technk. V roce 1998 byly navrženy dva nejdůležtější vyhledávací algortmy založené na hypertextových odkazech: PageRank a HITS (Hypertext Induced Topc Search) [6]. Využívají strukturu hypertextových odkazů Webu k hodnocení stránek podle jejch stupně prestže nebo autorty. Autorta je určtá tematcká stránka s velkým množstvím referencí (hypertextových odkazů směrovaných na n). Algortmus PageRank je založen na míře hodnocení prestže. Hodnota PageRank je vypočítávána pro každou ndexovanou off-lne stránku. Hlavní koncept tohoto algortmu vypadá následovně: 12

13 Hypertextový odkaz ze stránky odkazující na jnou stránku je mplctní přenos autorty k cílové stránce. Jnak řečeno čím více odkazů na příslušnou webovou stránku odkazuje, tím je důležtější. Hypertextový odkaz z prestžní stránky je důležtější než odkaz z méně prestžní stránky. Z toho vyplývá, že stránka je důležtá, když je na ní odkazováno z jných důležtých stránek. Algortmus HITS má základní myšlenku v tom, že pokud má stránka dobrý a věrohodný obsah na nějaké téma, tak j důvěřuje hodně ldí a odkazují se na n. Hub (centrální stránka) se nazývá stránka s velkým množstvím odkazů na czí stránky. Pod pojmem Hub s lze představt např. katalog stránek. Užvatel, který navštíví tuto Hub stránku nalezne užtečné odkazy na stránky různých tématk. Klíčová myšlenka je, že dobré Hub stránky zaměřují dobré autorty a naopak dobré autorty jsou zaměřovány mnoha dobrým Hub stránkam. Tuto myšlenku lustruje obr Web Content Mnng Obr.2: Struktura Hubů a Autort [7] Web content mnng je druhou skupnou Web mnngu. Tato část Web mnngu má svým prncpem nejblíže k tradčnímu Data mnngu. Myšlenkou je zde hledání nformací prostřednctvím klíčových slov, což může být jedno slovo nebo víceslovné spojení. Klíčovým slovům se říká termy. Hledání na webu je zakořeněno v IR modelu (Informaton Retreval, nebol model získávání nformací) [1]. Problémem je orentace v obrovském množství dokumentů (webových stránek) na nternetu a nalezení nevhodnějších z nch pro konkrétní dotaz užvatele. Důležté je také rozlšení různých 13

14 částí dokumentu. Některé část obsahující požadované termy jsou nevýznamné (např. reklama na stránkách), jné mají vyšší význam. Uvažuje se zde nejen samotný text webové stránky, ale např. hlavčka, ttulek a další textové část. Problémem můžou být také slova, která mají v daném jazyce více významů. Toto všechno je potřeba zohlednt př relevantní odezvě výsledků hledání. Na obr.3 je znázorněna archtektura IR modelu. Obr.3: Archtektura IR modelu [1] Výše zmíněný IR model řídí, jak jsou dokumenty a dotazy reprezentované a jaká je relevance dokumentu na užvatelský dotaz [1]. Jsou čtyř hlavní IR modely: Boolean model, model vektorového prostoru (vector space model), jazykový model a pravděpodobnostní model. Nejznámější a nejrozšířenější je model vektorového prostoru. Tento model představuje reprezentac množny dokumentů jako vektorů ve společném vektorovém prostoru [6]. Myšlenka je přřazení váhy ke každému termu t v dokumentu d. Takto se spočítá pro každý dokument skóre pro určtý dotaz obsahující daný term. Váha určtého termu t v dokumentu d závsí buď pouze na počtu výskytů termu v dokumentu nebo se bere ohled na významnost termu. Tomuto váhovému schématu se říká četnost termu a značí se t f t,d [6]. V případě, že se bere v úvahu významnost termu, se používá zmírnění efektu termů, které se často v souborech vyskytují pomocí redukce vah. Redukování váhy termu může být provedeno pomocí faktoru, který roste s frekvencí výskytu [6]. Redukce váhy by měla pomoc k relevantnějším výsledkům hledání. 14

15 Boolean model uvažuje pouze s tím, zda se daný term v dokumentu vyskytuje nebo nevyskytuje. Výsledná váha termu je v tomto případě pouze 0 nebo 1. Jazykový model je založen na pravděpodobnost s využtím Bayesovských pravdel. 1.5 Web Usage Mnng Poslední část Web mnngu je Web usage mnng. Tato část se zabývá chováním užvatele na webu. Zajímá se především o to, odkud užvatel přšel na danou stránku, jak dlouho se tam zdržel, jakou stránku navštívl jako další, zda-l je to jeho první návštěva nebo navštěvuje Web často, v jakou dobu navštěvuje dané stránky, apod. Samozřejmě se zaznamenává IP adresa, ale další údaje o užvatel jako je jeho operační systém nebo typ a verze prohlížeče. Tato část Web mnngu je tak užtečná hlavně pro nternetové obchody případně komerční weby, kde je potřeba zjstt, které produkty zákazníky zajímají, z jakých stránek zákazníc odcházejí a z toho vyvodt další marketngové změny nebo přímo reorganzac struktury webu. Výhodou zde může být přzpůsobení webu směrem k pohodlí zákazníků, nevýhodou může být do jsté míry ztráta soukromí zákazníků (užvatelů). Archtektura Web usage mnngu je zobrazena na obr.4. Web usage mnng lze rozdělt na dvě základní část: Předzpracování dat Využtí předzpracovaných dat (objevování znalostí a souvslostí v datech) Obr.4: Archtektura Web usage mnngu [2] 15

16 1.5.1 Předzpracování dat pro Web mnng Pod pojmem předzpracování dat s lze představt přípravu dat pro další použtí zahrnující: Čštění dat (výběr užtečných použtelných dat a vyřazení nezajímavých dat), ntegrac dat z různých zdrojů a transformac takto ntegrovaných dat do formy vhodné pro další Data mnngové postupy. Vše je názorně patrné z obr.4, kde levá část až po naformátovaná data zahrnuje předzpracování a pravá část využtí dat. Proces přípravy dat je často časově a výpočetně nejnáročnější krok v procesu Web usage mnng [1]. Je zároveň klíčový př správném výběru užtečných dat. Data pro předzpracování jsou získávána z různých datových zdrojů. As nejčastějším zdrojem jsou logovací soubory (logy) umístěné na straně serveru. Tyto soubory můžou mít různou strukturu a obsahovat různé nformace (časové nformace a chování užvatele nebo zákazníka zmíněné výše, reference z jné stránky, apod.). Jejch nevýhodou může být u frekventovanějších serverů zbytečné zatížení důsledkem velkého množství zaznamenávaných dat. V souvslost s přístupem na server se používají dva základní pojmy: Page Vew (shlédnutá stránka): Reprezentuje jednu užvatelskou událost, např. otevření stránky, přdání produktu do košíku, přhlášení užvatele apod. I každé znovunačtení stejné stránky je chápáno jako nové Page Vew. Sesson nebo jnak Server Sesson je posloupnost Page Vew událostí a reprezentuje jednu unkátní návštěvu webu se všem kroky užvatele. Mez další zdroje dat patří tzv. cookes na straně klenta. Jsou to soubory, ve kterých jsou uchovávány údaje z navštívených stránek, resp. weby do nch zapsují své údaje. Pomocí nch pak lze zjstt unkátnost návštěvy užvatele na daném webu. Cookes můžou být na straně klenta povolené nebo zakázané. Data je možné získat z jných externích zdrojů, např. z demografckých nebo z tzv. clckstreamových zdrojů. Pojem clckstream znamená posloupnost užvatelem otevřených odkazů, nebol cestu užvatele Webovým prostředím. Využívají se např. meta-data nebo doménové znalost. Př předzpracování dat se typcky vyskytují problémy jako [8]: Jedna IP adresa, více přístupů na server: Poskytovatelé nternetu mají většnou společné proxy servery a jeden proxy server tak může obsluhovat několk užvatelů přstupující na stejnou stránku v ten samý čas. 16

17 Více IP adres, jeden serverový přístup: Opačný případ, kdy se př požadavku stejného užvatele přděluje pokaždé jná náhodná IP adresa. Více IP adres, jeden užvatel: Jeden užvatel může přstupovat na Web z odlšných počítačů a tudíž pod odlšným IP adresam. Více prohlížečů, jeden užvatel: Případ kdy užvatel používá na stejném počítač více prohlížečů. Přístup z různých prohlížečů je pak brán jako přístup různých užvatelů. Tyto problémy jsou potom především příčnam sporů, kolk přesně užvatelů (nebo zákazníků) na Web přstupuje nebo jak dlouho se užvatel na stránce zdrží. To lze částečně řešt regstrací užvatele na Webu, což zaručuje jednoznačnost každého přhlášeného užvatele. Na Webech se regstrují většnou stálejší zákazníc nebo návštěvníc, což vede k získání jejch podrobnějších a přehlednějších údajů. Nelze však zaručt, že se bude ten samý zákazník pohybovat na Webu pouze pod svým užvatelským účtem. Jednou se může pohybovat po Webu jako přhlášený, podruhé jako nepřhlášený. Z tohoto důvodu nelze zjstt o určtém regstrovaném zákazníkov přesné údaje o počtu návštěv, počtu shlédnutých stránek, apod. Každý majtel stránek, sledující návštěvnost musí brát v potaz také roboty, kteří znepřesňují skutečný počet návštěvníků Webu. Robota lze poznat např. podle času stráveného na stránce. Ten bývá výrazně kratší než v případě skutečného návštěvníka. Robot dokáže také projít větší množství stránek v malém časovém ntervalu. Na základě těchto skutečností lze rozeznat skutečné přístupy na Web oprot přístupům robota a pravé přístupy pak vyfltrovat Využtí předzpracovaných dat K využtí získaných dat pro konkrétní potřebu se používá jejch zpracování pomocí různých metod a technk. Některé metody, převzaté z jných oblastí musí brát v úvahu strukturu Webových dat. Exstuje několk základních metod: Statstcké analýzy, asocační pravdla (asocace a korelace), shlukování, klasfkace, případně sekvenční analýza a modelování závslostí. Mez metody statstcké analýzy patří zjšťování hodnot stejných jako v klascké popsné statstce. Z předzpracovaných dat (např. údaje z logů) se určuje průměr, modus, četnost, maxmum, mnmum a další hodnoty dle konkrétní potřeby. Například 17

18 tak lze z dat určt nejčastěj otevírané stránky, průměrnou dobu zákazníka strávenou u nějakého produktu v nternetovém obchodě, apod. Využtí statstcké analýzy může být např. v posílení konektvty nejvytíženějších částí Webu nebo v umístění specfcké nabídky produktů na hlavní stránce nternetového obchodu. Asocační pravdla jsou metody zjšťující souvslost událostí uskutečněných ve Webovém prostředí. Výsledkem může být např. zjštění, že užvatel prohlížející s oddělení nternetového obchodu s moblním telefony s v rámc jedné unkátní návštěvy prohlíží taky oddělení obchodu s počítač. Používají se také korelace např. ke zjštění vztahu užvatelů navštěvujících určtý typ stránek k užvatelům navštěvujících tématcky jný typ stránek. Příkladem asocačního pravdla je tvrzení: Pokud zákazník navštíví oddělení obchodu s moblním telefony, tak navštíví oddělení obchodu s počítač. K asocačním pravdlům se vztahují dva pojmy: Podpora pravdla a spolehlvost pravdla. Na výše uvedeném případu je podpora pravdla pravděpodobnost, že zákazník navštíví obě zmíněné oddělení obchodu, vzhledem ke všem návštěvám obchodu. Spolehlvost pravdla je na výše uvedeném příkladu pravděpodobnost, že zákazník navštíví oddělení obchodu s počítač vzhledem ke všem návštěvám v oddělení s moblním telefony. Využtí asocačních pravdel je hlavně pro marketngové účely (rozmístění reklamy) nebo pro vhodnou strukturu Webu (např. odkazy na část Webu které zákazníc nejčastěj navštěvují umístěné blízko sebe). Asocační pravdla můžou také sloužt jako heurstka pro předběžné načítání dokumentů za účelem snížt užvatel dobu čekání př načítání stránky z jného vzdáleného místa [8]. Shlukování (Clusterng) je metoda seskupování objektů se společným charakterstkam. Jedná se o učení bez učtele a seskupování objektů probíhá pouze na základě vypočítané podobnost. V oblast Web usage mnng se rozlšují dva typy shlukování: Shlukování užvatelů (vytváření skupn užvatelů, kteří se chovají na nternetu podobně, navštěvují podobné typy stránek, nakupují podobné produkty,...) Shlukování stránek (vytváření skupn stránek s podobným obsahem) může být přínosem pro nternetové vyhledávače. Klasfkace je na rozdíl od segmentace tzv. učení s učtelem. Př této metodě se objekty umísťují do předem defnovaných tříd. Každá třída je charakterstcká svým 18

19 vlastnostm, které musí objekt spadající do této třídy splňovat. Mez nejznámější klasfkátory patří neuronové sítě a rozhodovací stromy. Cyklus, který začíná sběrem dat, pokračuje jejch předzpracováním a následným zpracováním pomocí výše uvedených metod končí analýzou výsledků a jejch využtím v prax. Pro reálné využtí získaných nformací z některých z výše uvedených metod je potřeba výsledky správně pochopt, případně grafcky znázornt. Analýza výsledků vede k rozhodnutí o provedení dalších opatření a změn. Správné využtí výsledků v prax může vést jak k příjemnější a ntutvnější prác užvatele na Webu, tak ke konkurenční výhodě na straně frmy. S měnící se ekonomckou stuací, preferencem užvatelů nebo s varabltou socálních skupn užvatelů využívajících různé část nternetu bude cyklus Web usage mnngu stále aktuální otázkou. 19

20 2 Neuronové sítě a Support Vector Machnes 2.1 Základní charakterstka neuronových sítí Myšlenka a struktura neuronových sítí vychází z tendence napodobování čnnost ldského mozku. Stejně jako jsou v mozku hlavním zpracovatel nformací nervové buňky (neurony), tak je v neuronových sítích základním prvkem neuron. Neurony mají vstup nebo více vstupů a výstup nebo více výstupů sloužících k přenosu nformace. Kromě výstupních neuronů jsou výstupy každého neuronu vstupem do jných neuronů. Každému spojení mez dvěma neurony se říká synapse. Ty jsou ohodnocené váhovým koefcenty. Formálně je neuronová síť pojatá jako orentovaný graf [9]. Skládá se z jedné vstupní vrstvy, jedné nebo více skrytých vrstev a jedné výstupní vrstvy. Hlavní předností neuronových sítí je schopnost učt se. Dále také schopnost generalzace (zevšeobecnění) a práce s daty, které obsahují šum. Zevšeobecnění znamená, že síť správně reaguje výstupní hodnotou na nová, neznámá vstupní data. Neuronové sítě nemohou plnohodnotně napodobt funkc ldského mozku už mnmálně z jedno základního důvodu. Ldský mozek obsahuje obrovské množství nervových buněk, kde jeden neuron má stovky, tsíce a někdy až několk desítek tsíc synapsí [9]. I přesto je neuronová síť meotdou s velkým potencálem. Neuronové sítě se používají pro dvě základní čnnost: Klasfkac a predkc. Klasfkace znamená zařazení objektů do předem defnovaných tříd. Predkce znamená předpověď budoucího vývoje nějakého ukazatele na základě jeho dosavadního vývoje. Často se používá predkce pro budoucí vývoj časových řad. Tyto dvě metody spadají do tzv. kontrolovaného učení, nebo-l učení s učtelem. Učení s učtelem je charakterstcké tím, že se neuronová síť naučí na nějakých známých datech (trénovací množna) a následně je schopna predkovat nové hodnoty (v případě predkce) nebo zařazovat správně objekty do předem defnovaných tříd (v případě klasfkace). Neuronová síť se může naučt správně klasfkovat nebo predkovat s určtou přesností, může být také špatně naučená, pokud je přesnost neuspokojvá nebo může být tzv. přeučená. Pokud je neuronová síť přeučená, pak se naučla trénovací množnu dat nazpaměť a bude mít problém př klasfkac nebo predkc nových neznámých dat. Druhou skupnou je tzv. 20

21 nekontrolované učení nebo-l učení bez učtele, kde jsou objekty řazeny do tříd, které nebyly užvatelem defnovány, ale metoda s je zvolla sama (na základě podobnost objektů). Zástupcem nekontrolovaného učení jsou např. Kohonenovy (samoorganzující-se) mapy. 2.2 Support Vector Machne VC dmenze VC dmenze (Vapnk Chervonenks dmenze) je pojem využívaný v metodě Support Vector Machnes. Defnce VC dmenze množny ndkačních funkcí je následující: VC dmenze množny ndkačních funkcí F( x, w), w W je maxmální počet h, bodů x 1,..., x h, které můžou být separovány do dvou tříd všem možným způsoby 2 h. Jnak řečeno, je to maxmální počet bodů, které můžou být funkcí rozděleny [14]. Indkační funkce je funkce, která rozděluje danou množnu bodů na dvě podmnožny 0 a 1. Na obr.5 je ukázáno 2 3 = 8 možností rozdělení tří bodů v dvourozměrném prostoru do dvou tříd. VC dmenze dvourozměrného prostoru př separac pomocí přímky je 3. Na obr.6 je názorně zobrazeno, že v případě čtyř bodů jž nelze klasfkovat pomocí přímky body x 1 a x 3 do jedné třídy a body x 2 a x 4 do třídy druhé. Více vz. [16]. Obr.5: Rozdělení tří bodů v dvourozměrném prostoru [14] 21

22 x 2 x 2 x 3 x 1 x 3 x 1 x 4 Obr.6: Tř a čtyř body v dvourozměrném prostoru [16] Mnmalzace Strukturálního Rzka Mnmalzace Strukturálního rzka poskytuje komproms mez VC dmenzí aproxmačních funkcí a kvaltou vzorku trénnkových dat (emprckou chybou). Postup je přblžně následující [17]: Volba třídy funkcí jako např. neuronové sítě s n skrytým vrstvam neuronů. Rozdělení třídy funkcí na herarch vnořených podmnožn s rostoucí složtostí. Provést mnmalzac emprckého rzka pro každou podmnožnu. Vybrat model, který vykazuje mnmální součet emprckých rzk a mnmální VC confdence Charakterstka metody Support Vector Machne Support Vector Machnes (dále jen SVM) v překladu znamená algortmy podpůrných vektorů. Jsou to metody velm blízké neuronovým sítím. Spadají do skupny nazývané jádrové algortmy (kernel machnes). Jedná se o metody s učením s učtelem. První zmínka o SVM byla ve (Vapnk, 1979), ale první hlavní písemný dokument byl napsán v roce 1995 [12]. Základní původní využtí SVM je bnární klasfkace (rozdělení datových vzorů do dvou tříd). Pozděj byla metoda SVM rozšířena k řešení regresních úloh. Klascké jednovrstvé neuronové sítě mají schopnost pouze lneárního oddělování dat pomocí přímek nebo rovn a u vícevrstvých sítí je rzko př nelneární funkc uvíznutí v jejím lokálním mnmu, což zhoršuje náročnost učení. Metody SVM řeší tyto problémy svým specfckým způsobem. Snaží se využít výhody poskytované efektvním algortmy pro nalezení lneární hrance a zároveň jsou schopny reprezentovat vysoce složté nelneární funkce [11]. 22

23 Základní myšlenkou SVM je vytvořt nadrovnu, která je rozhodovací rovnou a to takovým způsobem, že se maxmalzuje hrance separace mez dvěma třídam datových vzorů. Jnak řečeno je potřeba dosáhnout toho, aby datové vzory obou tříd, které jsou k sobě nejblíže měly maxmální vzdálenost od hrance separace (maxmalzování mnmální vzdálenost). K problému lneárního oddělení nelneárně odděltelných datových vzorů se využívá převodu dat z klasckého vstupního prostoru do charakterstckého vícerozměrného prostoru (feature space), v němž je možné lneární separac dat provést. Na obr.7 je v levé část zobrazen případ lneárně odděltelných dat, v pravé část je případ lneárně neodděltelných dat. Obr.7: Lneárně separovatelná a lneárně neseparovatelná data Problém je v tom, že v reálu jsou data často lneárně neodděltelná. Převod do charakterstckého vícerozměrného prostoru názorně zobrazuje obr.8. Jedná se o nejjednodušší případ, kdy byly datové vzory převedeny z dvourozměrného prostoru do třírozměrného prostoru. Obecně platí, že N datových bodů je možno vždy (kromě některých specálních případů) lneárně oddělt v prostoru s N-1 nebo více dmenzem [11]. 23

24 Obr.8: Transformace ze vstupního do vícerozměrného prostoru a způsob oddělení dat nadrovnou ve vícerozměrném prostrou [13] Ke splnění maxmalzace separační hrance mez dvěma třídam SVM využívá přístupu založeném na teor statstckého učení (vz. [10]). SVM je přblžná mplementace metody mnmalzace strukturálního rzka. Tento prncp je založen na tom, že chyba učení SVM na testovacích datech je ohrančena součtem trénnkových chyb na termu, který závsí na VC (Vapnk-Chervonenks) dmenz. Pokud jsou vzorová data oddělená, SVM produkuje nulovou hodnotu pro první term a zároveň mnmalzuje druhý term [10]. Název Support Vector, nebo-l podpůrný vektor vznknul z toho, že datové vzory na každé straně oddělovací rovny, které jsou této rovně nejblíže tvoří právě podpůrné vektory, vz. další část práce. Datových vzorů tvořících podpůrný vektor bývá výrazně méně než celkový počet vstupních vzorů a jsou vybrány algortmem. Hlavní myšlenka k tvorbě učícího algortmu SVM je vntřní produkt jádra mez podpůrným vektorem x a vstupním vektorem x. Každá učící metoda (polynomcká, RBF,...) má své charakterstcké nelneární rozhodovací rovny. Podle toho jak je jádrová funkce generovaná, lze sestrojt příslušné odlšné učící metody. Důležtou vlastností SVM je dobrá schopnost zevšeobecnění ( pro menší počet trénovacích dat než u běžné NS) a díky tomu šroká použtelnost. 24

25 2.3 Optmální nadrovna pro lneárně separovatelné datové vzory Na úvod je nutno zmínt, že nformace z odborné problematky SVM byly v této prác čerpány především z lteratury [10]. Je daný vzor trénovacích dat {( x ) N, d } = 1, kde x je vstupní datový vzor pro -tý příklad a d je odpovídající požadovaná odezva (výstupní hodnota), přčemž { 1,1 } d. Je nutno předpokládat, že vzor reprezentovaný podmnožnou d = + 1 (poztvní vzor) a vzor reprezentovaný podmnožnou d = 1 (negatvní vzor) jsou lneárně separovatelné. Rovnce rozhodovací rovny provádějící separac má tvar w T x + b = 0, (2.1) kde x je vstupní vektor, w je regulovatelný váhový vektor a b je bas. Lze tedy psát w w T T x x + b 0 + b < 0 pro d = +1, pro d = -1. (2.2) Separace mez nadrovnou defnovanou v (2.1) a nejblžším datovým vzorem pro daný váhový vektor w a bas b je nazývána rozpětí separace (margn) a označuje se ρ. Jak bylo napsáno výše, cílem je najít maxmální hodnotu ρ. Pokud je nalezená hodnota ρ maxmální, potom je rozhodovací rovna nazývána optmální. Optmální nadrovna pro lneárně separovatelné vzory je znázorněna na obr. 9. Odděluje v levé část negatvní vzory dat a v pravé část poztvní vzory dat. Nechť w 0 a b 0 označují optmální hodnoty váhového vektoru w a basu b. Odpovídající optmální nadrovna reprezentující vícerozměrnou lneární rozhodovací rovnu ve vstupním prostoru je defnována jako [10] w T x + b 0, (2.3) 0 0 = což je přepsaná rovnce (2.1). Dskrmnační funkce g( x) = w x + b dává algebracký rozsah vzdálenost z x k optmální nadrovně. T 0 0 (2.4) 25