Vytěžování znalostí z dat

Rozměr: px

Začít zobrazení ze stránky:

Download "Vytěžování znalostí z dat"

Dana Pešková
před 8 lety
Počet zobrazení:

1 Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 1/27 Vytěžování znalostí z dat Pavel Kordík, Jan Motl Department of Computer Systems Faculty of Information Technology Czech Technical University in Prague Přednáška 4: K-nejbližších sousedů BI-VZD, 09/2011 MI-POA Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti

Information Technology Czech Technical University in Prague Přednáška 4: K-nejbližších

2 Osnova Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 2/27 Přednáška 1) Způsoby učení 2) Metoda K-nejbližších sousedů 3) Plasticita modelu

3 Způsoby učení Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 3/27 Modely v data miningu Učení Klasifikace s učitelem (máme informaci, jak třídit do tříd) Shlukováni bez učitele (nemáme informaci, jak třídit do tříd)

miningu Učení Klasifikace s učitelem (máme informaci, jak

4 Způsoby učení Přehled metod generujících modely Funkce Klasifikace Shlukování Metody K-nejbližších sousedů, Rozhodovací stromy, Bayesův klasifikátor, Neuronové sítě. K-means, Hierarchické shlukování. Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 4/27

klasifikátor, Neuronové sítě. K-means, Hierarchické shlukování.

5 Způsoby učení Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 5/27 Dvě fáze Vytvoření a použití modelu 1. Fáze učení, trénování Model je vygenerován, upravuje se vnitřní struktura, parametry 2. Fáze použití, vybavování Model je použit, vypočítá se výstup, model to neovlivní

Fáze učení, trénování Model je vygenerován, upravuje se vnitřní struktura,

6 KNN 1NN nejbližší soused 1. Trénování generování modelu o Ulož trénovací data 2. Klasifikace použití modelu o Najdi nejbližšího souseda a klasifikuj stejnou třídou? třída A třída B třída ke klasifikaci o Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 6/27

třída A třída B třída ke klasifikaci o http://www.theparticle.

7 KNN Metrika, Euklidovská vzdálenost o Je třeba nějak určit podobnost vzorů jejich vzdálenost o Vzdálenost musí splňovat určité podmínky: 1. d(x,y) >0. 2. d(x,y) = 0 iffx = y. 3. d(x,y) = d(y,x). 4. d(x,y) < d(x,z) + d(z,y) (trojúhelníková nerovnost). Dva body v n-rozměrném prostoru: Euklidovská vzdálenost P a Q = o Odmocňování není nezbytně nutné, když vzdálenosti porovnáváme Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 7/27

d(x,y) < d(x,z) + d(z,y) (trojúhelníková nerovnost).

8 KNN Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 8/27 Manhattonská vzdálenost Jak budeme počítat vzdálenostdvou cyklistů v Manhattonu? M ( P, Q) = p1 q1 + p2 q p n qn

9 KNN Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 9/27 Váha atributů Problém různé rozsahy vzdáleností Při určování euklidovské vzdálenosti mají atributy různou váhu např. pje 100x důležitější než q 3,5 q 0 p 2 350

rozsahy vzdáleností Při určování euklidovské vzdálenosti mají

10 Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 10/27 KNN Normalizace atributů Problém vyřešíme přeškálováním (normalizací) atributů: 1) Mini-max normalizace a i = vi min vi maxv min v i i 2) Z-score normalizace a i vi Avg( vi ) = StDev( v ) i Původní rozsahy se u obou transformují do <0,1>

(normalizací) atributů: 1) Mini-max normalizace a i = vi min vi maxv min v i i 2)

11 Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 11/27 KNN Rozhodovací hranice 1 q Kde přesně je rozhodovací hranice tříd? p

12 Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 12/27 KNN Voronoiův diagram

13 Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 13/27 knn k nejbližších sousedů Najdi k nejbližších sousedů a klasifikuj majoritní třídou KNN 3NN klasifikace:? 5NN klasifikace:? Jak zvolit optimální k?

Najdi k nejbližších sousedů a klasifikuj majoritní třídou

14 Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 14/27 KNN 1NN

15 Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 15/27 KNN 3NN

16 Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 16/27 KNN 9NN

17 Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 17/27 KNN 9NN měkké rozhodnutí (poměr mezi počtem sousedů z různých tříd)

18 Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 18/27 KNN 31NN měkké rozhodnutí

19 Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 19/27 KNN Závislost chybovosti na k Zdroj: University of California, Irvine

20 Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 20/27 KNN Menší trénovací množina Zdroj: University of California, Irvine

21 KNN Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 21/27 Porovnání vlivu velikosti datasetu Zdroj: University of California, Irvine

22 Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 22/27 Plasiticita Přeučení

23 Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 23/27 Plasiticita Přeučení

24 Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 24/27 Plasiticita Lineární klasifikátor (separátor)

25 Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 25/27 Plasiticita Nelineární klasifikátor

26 Plasiticita Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 26/27 Varianty knn Příspěvek souseda je vážen vzdáleností od klasifikovaného vzoru Klasifikace pomocí etalonů vybrána vhodná podmnožina trénovací množiny

27 Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 4 27/27 Diskuze Diskuze Velmi populární metoda klasifikace a často i velmi úspěšná Okamžité vytvoření modelu Ale pomalé používání o Při klasifikaci nutno projít celou trénovací množinu Model je paměťově náročný o Nutno si pamatovat celou trénovací množinu Pozor na váhy atributů o Řešením je normalizace dat Důležité je najít vhodné k o Pro minimalizaci chyb na testovacích datech

Podobné dokumenty

Vytěžování znalostí z dat

Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 13 1/14 Vytěžování znalostí z dat Pavel Kordík, Jan Motl Department of Computer Systems Faculty of Information Technology