Strojové uení. typy učení: Metody učení: učení se znalostem (knowledge acquisition) učení se dovednostem (skill refinement).

Transkript

1 Strojové uení typy učení: učení se znalostem (knowledge acquisition) učení se dovednostem (skill refinement). volba reprezentace u ení u ení znalosti rozhodování objekt popis rozhodování rozhodnutí objektu Metody učení: Obr. 1 Obecné schema uícího se systému 1. učení zapamatováním (rote learning neboli biflování), 2. učení se z instrukcí (learning from instruction, learning by being told), 3. učení se z analogie (learning by analogy, instance-based learning, lazy learning),, 4. učení na základě vysvětlení (eplanation-based learning), 5. učení se z příkladů (learning from eamples), 6. učení se z pozorování a objevováním (learning from observation and discovery),

2 Metody učení: statistické metody - regresní metody, diskriminační analýza, shluková analýza, symbolické metody umlé inteligence - rozhodovací stromy a pravidla, případové usuzování (CBR) subsymbolické metody umlé inteligence - neuronové sítě, bayesovské sítě nebo genetické algoritmy. Informace o správnosti učení: příklady zařazené do tříd (uení s uitelem - supervised learning) odměny za správné chování a tresty za chování nesprávné (reinforcement learning) nepřímé náznaky odvozené s chování učitele (apprenticeship learning) žádné (uení bez uitele - (unsupervised learning) reprezentace příkladů: 1. atributy: kategoriální (binární, nominální, ordinální) a numerické [barva_vlasucerna & vyska180 & vousyano & vzdelanivs] 2. relace otec(jan_lucembursky, karel_iv)

3 Učení na základě podobnosti (similarity-based learning) objekty, patřící do téže třídy mají podobné charakteristiky z konečného počtu příkladů odvozujeme obecné znalosti Obr. 2 Málo dat Obr. 3 Více dat

4 Obecná definice uení (s uitelem) Analyzovaná data: Řádky tabulky reprezentují sledované objekty Sloupce datové tabulky odpovídají atributm Přidáme-li cílový atribut do datové tabulky, získáme data vhodná pro použití některé metody učení s učitelem (tzv. trénovací data). Klasifikační úloha: hledáme znalosti (reprezentované rozhodovací funkcí ), které by umožňovaly k hodnotám vstupních atributů nějakéhoobjektupřiřadit vhodnou hodnotu atributu cílového V průběhu klasifikace se tedy pro hodnotyvstupních atributů nějakéhoobjektuodvodí hodnota cílového atributu:

5 Odvozená hodnota se pro objekty z trénovacích dat může lišit od skutečné hodnoty. Můžeme tedy pro každý objekt vyčíslit chybu klasifikace pro numerický atribut např. ( o i,) ) pro kategoriální atributnapř. pro (, ) pro 2 Pro celou trénovací množinu pak můžeme vyčíslit souhrnnou chybu například jako střední chybu ) (, ) Cílem učení je nalézt takové znalosti které by minimalizovaly tuto chybu )

6 1. Uení jako prohledávání: Předpokládejme, že jak vstupní atributy tak i cílový atribut jsou kategoriální - hodnotě atributu budeme říkat kategorie: 1. atomická formule vyjadřující vlastnost objektu pro pro 2. množina objekt majících danou vlastnost { } } Spojováním kategorií logickou spojkou budeme vytvářet kombinace "#! 1. pro "# jinak 2. { "# } }. Platí-li "#, říkáme, že kombinace pokrývá objekt Přidáváním kategorií ke kombinaci vznikají její nadkombinace, odebráním kategorií z kombinace vznikají její podkombinace. Pomocí pojmu podkombinace můžeme definovat částečné uspořádání mezi kombinacemi. Je-li kombinace podkombinací kombinace, potom říkáme, že kombinace je obecnjší než kombinace a že kombinace je speciálnjší než kombinace

7 Je-li kombinace obecnjší než kombinace, potom pokrývá alespoň všechny ty objekty, které pokrývá. V případě učení s učitelem budeme hledat znalosti použitelné pro klasifikaci objektů do tříd. Znalosti budou reprezentovány kombinacemi, které budeme chápat jako hypotézy vyjadřující vazbu mezi hodnotami vstupních atributů na jedné straně a hodnotou cílového atributu na straně druhé. Kombinace je konzistentní, právě když pokrývá pouze příklady jedné třídy: % ) "# % Cílem uení bude hledat hypotézy konzistentní s trénovacími daty. Příklad: p íjem konto pohlaví nezam stnaný auto bydlení úv r vysoký vysoké žena ne ano vlastní Ano vysoký vysoké muž ne ano vlastní Ano nizký nízké muž ne ano nájemní Ne vysoký vysoké muž ne ne nájemní Ano Tab. 1 Trénovací data V kombinaci Comb (hypotéze popisující koncept úvěr ) se pro každý atribut může objevit:? jakožto indikace toho, že na hodnotě atributu nezáleží, hodnota atributu, jakožto indikace toho, že žádná hodnota atributu nevyhovuje.

8 [?,?,?,?,?,?]... [?,?, žena,?,?,?]?,?,?,?,?] [?,vysoké,?,?,?,?] [?,?,?,?,?, vlastní]...?,?, ne,?,?] vysoké,?,?,?,?] [?, vysoké,?, ne,?,?,?] vysoké,?, ne,?,?] vysoké,?, ne,ano,?] vysoké,?,ne,?,vlastní] vysoké,muž, ne,?,?] vysoké,?, ne,ano, vlastní] vysoké, muž,ne,?,vlastní] vysoké, žena,ne,?,vlastní] vysoké, muž,ne, ano,?] vysoké, muž,ne, ne,?] vysoké,žena,ne, ano, vlastní] vysoké,muž,ne, ano, vlastní] vysoké,muž,ne, ne, nájemní] [,,,,, ] Obr. 4 Prostor hypotéz Prostorem hypotéz se můžeme pohybovat dvěma způsoby: od obecnějšího popisu ke speciálnějšímu (specializace), od speciálnějšího popisu k obecnějšímu (generalizace).

9 Kritérium Err(f), které minimalizujeme, je počet chyb, kterých se dopustíme při klasifikaci trénovacích dat. Find-S algoritmus 1. přiřaď do h nejspeciálnější hypotézu v H 2. pro každý pozitivní příklad 2.1. pro každý atribut a i z hypotézy h if hodnota atributu a i neodpovídá příkladu then nahraď hdnotu a i nejbližší obecnou hodnotou která odpovídá 3. vydej h S: vysoké,?,ne,?,?] vysoké,?, ne,ano,?] vysoké,?,ne,?,vlastní] vysoké,muž, ne,?,?] vysoké,?, ne,ano, vlastní] vysoké, muž,ne, ne,?] vysoké,žena,ne, ano, vlastní] vysoké,muž,ne, ano, vlastní] vysoké,muž,ne, ne, nájemní]

10 Candidate-Elimination algoritmus 1. přiřaď do G množinu nejobecnějších hypotéz z H 2. přiřaď od S množinu nejspeciálnějších hypotéz z H 3. pro každý příklad 3.1. if je pozitivní příklad then odstraň z G všechny hypotézy inkonsistentní s příkladem pro každou hypotézu s z S která je inkonsistentní s příkladem odstraň s z S přidej do S nejmenší generalizaci h hypotézy s takovou, že h je konsistentni s příkladem a že v G je hypotéza obecnější než h odstraň z S hypotézy, které jsou obecnější než jiné hypotézy v S 3.2. if je negativní příklad then odstraň z S všechny hypotézy inkonsistentní s příkladem pro každou hypotézu g z G která je inkonsistentní s příkladem odstraň g z G přidej do G nejmenší specializaci h hypotézy g takovou, že h je konsistentní s příkladem a že v S je hypotéza speciálnější než h odstraň z G všechny hypotézy, které jsou speciálnější než jiné hypotézy v G G:?,?,?,?,?] [?, vysoké,?,?,?,?]?,?, ne,?,?] vysoké,?,?,?,?] [?, vysoké,?, ne,?,?,?] S: vysoké,?,ne,?,?]

11 Uení jako aproimace funkcí: na základě hodnot funkce v konečném počtu bodů snažíme zrekonstruovat její obecnou podobu yf() metoda nejmenších tverc: Hledání minima celkové odchylky min i (y i - f( i )) 2 se převádí na řešení rovnice d dq i (y i - f( i )) 2 0 řešení: 1) analytické (známe typ funkce) řešení soustavy rovnic pro parametry funkce viz statistika

12 2) numerické (neznáme typ funkce) - gradientní metody Err(q) & & & Q. Modifikace znalostí!& & & pak probíhá podle algoritmu kde & & ' & )& ( & aηje parametr vyjadřující velikost kroku kterým se přibližujeme k minimu funkce. Je-li např. chybová funkce ) ) * )) 2 2 a předpokládaná funkce lineární kombinací vstupů, můžeme odvodit gradient funkce jako Err q j a tedy 1 2 n n 2 ( y - y~ ) 2( y - y~ ) ( y - y~ ) i i i i i 1 q j 2 i 1 q j 1 n n ( yi - y~ i ) ( yi -) ( yi - y~ i )(- ij) q i 1 & η j i 1 ( ) i i