NAIL072 ROZPOZNÁVÁNÍ VZORŮ RNDr. Jana Štanclová, Ph.D. jana.stanclova@ruk.cuni.cz www.cuni.cz/~stancloj LS Zk 2/0
OSNOVA 1. Úvod do rozpoznávání vzorů 2. Bayesovská teorie rozpoznávání 3. Diskriminační funkce 4. Odhady parametrů 5. Lineární klasifikátory 6. Nelineární klasifikátory 7. Rozpoznávání v řetězcích 8. Template matching 9. Strukturální rozpoznávání 10. Rozhodovací stromy 11. Klastrování Jana Štanclová, jana.stanclova@ruk.cuni.cz 2/44
LITERATURA Richard O. Duda, Peter E. Hart, David G. Stork Pattern Classification Second Edition, A Wiley-Interscience Publication, 2000 Sergios Theodoridis, Konstantinos Koutroumbas Pattern Recognition Second Edition, Elsevier Academic Press, 2003 Third Edition, Academic Press, 2006 Evangelia Micheli-Tzanakou Supervised and Unsupervised Pattern Recognition, Feature Extraction and Computational Intellingence, CRC Press, 2000 Jana Štanclová, jana.stanclova@ruk.cuni.cz 3/44
ROZPOZNÁVÁNÍ VZORŮ Jana Štanclová, jana.stanclova@ruk.cuni.cz 4/44
ROZPOZNÁVÁNÍ VZORŮ rozpoznávání vzorů ekvivalent anglického pattern recognition dříve (60. a 70. léta) zazníval pojem rozpoznávání obrazců zřejmě: pattern recognition = распознавание образцов Jana Štanclová, jana.stanclova@ruk.cuni.cz 5/44
ROZPOZNÁVÁNÍ VZORŮ člověk umí rozpoznat obličeje rozumět mluveným slovům číst ručně psaný text dotykem rozpoznat klíč v kapse proces rozpoznávání rozpoznávání (pattern recognition) klasifikace objektů do tříd objekty = obrázky, signály,... podle aplikace obecně vzory (patterns) Jana Štanclová, jana.stanclova@ruk.cuni.cz 6/44
TROŠKA HISTORIE 1 západní svět Platón základy rozpoznávání rozšířeny Aristotelem esenciální (základní) a druhotné vlastnosti rozpoznávání vzorů nalezení esenciální vlastnosti východní svět filozofická epistemologie nauka o přirozenosti vědění patriarcha Bodhidharma ze Zenu konfrontace procesů v mysli, identifikace objektů a klasifikace Jana Štanclová, jana.stanclova@ruk.cuni.cz 7/44
TROŠKA HISTORIE 2 novověk před rokem 1960 rozpoznání výstup teoretického výzkumu v oblasti statistiky rozvoj počítačů potřeba aplikací na rozpoznávání vzorů požadavek na další teoretický rozvoj rozpoznávání vzorů součást systémů strojového vnímání (machine intelligence) rozhodovací systémy Jana Štanclová, jana.stanclova@ruk.cuni.cz 8/44
APLIKACE Jana Štanclová, jana.stanclova@ruk.cuni.cz 9/44
APLIKACE ROZPOZNÁVÁNÍ VZORŮ 1 machine vision snímání obrázků kamerou analýza popis scény počítačová diagnóza pomáhá doktorům dělat rozhodnutí nevýhoda medicínská data nejsou vždy dobře interpretovatelná příklad: rentgenová mamografie rozpoznávací systém rozpoznání rakoviny prsu (suplování dalšího doktora) Jana Štanclová, jana.stanclova@ruk.cuni.cz 10/44
APLIKACE ROZPOZNÁVÁNÍ VZORŮ 2 rozpoznávání řeči dlouho neřešitelné rozpoznání textu a převod do ASCI znaků rozpoznávání znaků... OCR (optical character recognition) tiskací písmena: komerčně dostupné 1. detektor citlivý na světlo převod intenzity světla do čísel obraz 2. čárová a znaková segmentace obrazu 3. klasifikace znaku do třídy (číslo/písmeno/punkce) 4. uložení rozpoznané třídy zahození naskenovaného obrazu výhody snadné další zpracování efektivní uložení Jana Štanclová, jana.stanclova@ruk.cuni.cz 11/44
APLIKACE ROZPOZNÁVÁNÍ VZORŮ 3 rozpoznávání ručně psaných textů online rozpoznávání ručně psaných textů Jana Štanclová, jana.stanclova@ruk.cuni.cz 12/44
APLIKACE ROZPOZNÁVÁNÍ VZORŮ 3 rozpoznávání ručně psaných textů čtení bankovních šeků strojové rozpoznávání částky ověření podpisu praxe: strojově rozpoznána zhruba polovina šeků (zbytek ručně) automatické třídící stroje na poštách třídění dopisů podle PSČ online rozpoznávání ručně psaných textů tužkové počítače vstup psaní textu na displej Jana Štanclová, jana.stanclova@ruk.cuni.cz 13/44
VYTVOŘENÍ KLASIFIKÁTORU Jana Štanclová, jana.stanclova@ruk.cuni.cz 14/44
POJMY Z TEORIE SYSTÉMŮ objekt zkoumání složitého jevu omezení se jen na část, která nás zajímá pozadí vše, co nás z daného jevu nezajímá rozlišovací úroveň objekty složité typicky se nezkoumají celé výběr zajímavých vlastností ty se měří a zkoumají různá rozlišovací úroveň různý popis a chápání objektů Jana Štanclová, jana.stanclova@ruk.cuni.cz 15/44
JAK POPSAT OBJEKTY? 1 popis objektů snaha o exaktní popis objektů pomocí nástrojů matematiky 1. matematické modelování objekt popsán pomocí matematických rovnic hledání relace mezi vstupem a výstupem problém vytvořit matematický model (např. model fungování mozku) Jana Štanclová, jana.stanclova@ruk.cuni.cz 16/44
JAK POPSAT OBJEKTY? 2 2. rozpoznávání alternativa k matematickému modelování menší porozumění objektu rozhodovací pravidlo zařazování objektů do předem známých tříd třídy ekvivalence (reflexivita, symetrie, tranzitivita) objekty podobnější uvnitř tříd než mezi třídami navzájem výhoda při vytváření klasifikátoru není nutné rozumět složité podstatě objektů, které se budou klasifikovat rozhodovací pravidlo lze naučit empiricky z naměřených dat trénovací vzory Jana Štanclová, jana.stanclova@ruk.cuni.cz 17/44
UČENÍ KLASIFIKÁTORU učení s učitelem učitel informace o správné kategorii či chybě klasifikace pro každý trénovací vzor učení bez učitele (klastrování) není známa správná kategorie či chyba klasifikace vytváření přirozených shluků vstupních vzorů Jana Štanclová, jana.stanclova@ruk.cuni.cz 18/44
ILUSTRAČNÍ PŘÍKLAD třídění ulovených ryb: losos mořský okoun Získání formálního popisu 1. snímání dat (např. kamerou) 2. předzpracování dat nastavení průměných intenzit světla odstranění pozadí izolace obrazu jediné ryby 3. extrakce vybraných příznaků Klasifikace rozhodnutí, co to je za rybu Jana Štanclová, jana.stanclova@ruk.cuni.cz 19/44
JAK UDĚLAT KLASIFIKÁTOR? 1 externí informace okouni jsou větší než lososi klasifikace délka ryby hledání kritické délky l* na základě trénovacích vzorů histogram délek?? Jana Štanclová, jana.stanclova@ruk.cuni.cz 20/44
JAK UDĚLAT KLASIFIKÁTOR? 1 externí informace okouni jsou větší než lososi klasifikace délka ryby hledání kritické délky l* na základě trénovacích vzorů histogram délek průměrně losos kratší jako samostatné kritérium to nestačí Jana Štanclová, jana.stanclova@ruk.cuni.cz 21/44
JAK UDĚLAT KLASIFIKÁTOR? 2 jiný příznak barva šupin ryby problém při předzpracování změna osvětlení může změnit barvu šupin hledání kritické světlosti x* na základě trénovacích vzorů Jana Štanclová, jana.stanclova@ruk.cuni.cz 22/44
JAK UDĚLAT KLASIFIKÁTOR? 2 jiný příznak barva šupin ryby problém při předzpracování změna osvětlení může změnit barvu šupin hledání kritické světlosti x* na základě trénovacích vzorů histogram světlosti šupin ryb lepší klasifikátor třídy lépe oddělené Jana Štanclová, jana.stanclova@ruk.cuni.cz 23/44
CENA ŠPATNÉHO ROZHODNUTÍ špatné rozhodnutí při klasifikaci kousek lososa v konzervě okouna může být kousek okouna v konzervě lososa špatné redukce počtu špatně klasifikovaných okounů řešení:?? Jana Štanclová, jana.stanclova@ruk.cuni.cz 24/44
CENA ŠPATNÉHO ROZHODNUTÍ špatné rozhodnutí při klasifikaci kousek lososa v konzervě okouna může být kousek okouna v konzervě lososa špatné redukce počtu špatně klasifikovaných okounů řešení: posunutí rozhodovací hranice do světlejších barev Jana Štanclová, jana.stanclova@ruk.cuni.cz 25/44
CENA ŠPATNÉHO ROZHODNUTÍ špatné rozhodnutí při klasifikaci kousek lososa v konzervě okouna může být kousek okouna v konzervě lososa špatné redukce počtu špatně klasifikovaných okounů řešení: posunutí rozhodovací hranice do světlejších barev teorie rozhodování celková cena spojená s rozhodnutím cíl: najít rozhodovací pravidlo minimalizující cenu klasifikace Jana Štanclová, jana.stanclova@ruk.cuni.cz 26/44
VÝBĚR VÍCE PŘÍZNAKŮ více příznaků x 1... barva šupin x 2... šířka ryby příznaky 2D-prostor příznaků rozdělení prostoru na dvě oblasti (oblast lososa a oblast okouna) Jana Štanclová, jana.stanclova@ruk.cuni.cz 27/44
VÝBĚR VÍCE PŘÍZNAKŮ více příznaků x 1... barva šupin x 2... šířka ryby příznaky 2D-prostor příznaků rozdělení prostoru na dvě oblasti (oblast lososa a oblast okouna) celková cena klasifikátoru menší než u jednoho příznaku Jana Štanclová, jana.stanclova@ruk.cuni.cz 28/44
DALŠÍ VÝVOJ KLASIFIKÁTORU 1. další příznaky - poloha očí, úhel hřbetní ploutve,... 2. komplexnější rozhodovací kritérium - ne přímka složitější křivka Jana Štanclová, jana.stanclova@ruk.cuni.cz 29/44
DALŠÍ VÝVOJ KLASIFIKÁTORU 1. další příznaky - poloha očí, úhel hřbetní ploutve,... 2. komplexnější rozhodovací kritérium - ne přímka složitější křivka Jana Štanclová, jana.stanclova@ruk.cuni.cz 30/44
DALŠÍ VÝVOJ KLASIFIKÁTORU 1. další příznaky - poloha očí, úhel hřbetní ploutve,... 2. komplexnější rozhodovací kritérium - ne přímka složitější křivka správná klasifikace známých ryb špatná klasifikace neznámých ryb problém generalizace klasifikátoru Jana Štanclová, jana.stanclova@ruk.cuni.cz 31/44
LEPŠÍ GENERALIZACE KLASIFIKÁTORU více trénovacích vzorů (pokud jsou k dispozici) lepší oddělení tříd nepožadovat příliš složitá rozhodovací kritéria trénovací data slabší výkon celková generalizace lepší Jana Štanclová, jana.stanclova@ruk.cuni.cz 32/44
LEPŠÍ GENERALIZACE KLASIFIKÁTORU více trénovacích vzorů (pokud jsou k dispozici) lepší oddělení tříd nepožadovat příliš složitá rozhodovací kritéria trénovací data slabší výkon celková generalizace lepší statistické rozpoznávání vzorů problém odhadnout, zda bude dobře generalizovat Jana Štanclová, jana.stanclova@ruk.cuni.cz 33/44
REPREZANTACE DAT typické reprezentace vektory reálných čísel uspořádaný seznam atributů,... dobrá reprezentace dat blízké vzory vedou ke stejné akci vzdálené vzory vedou k různé akci praxe malé množství příznaků jednodušší rozhodovací oblasti snadné naučení klasifikátoru nedostatečná data další znalost problematiky Jana Štanclová, jana.stanclova@ruk.cuni.cz 34/44
REPREZANTACE DAT typické reprezentace vektory reálných čísel uspořádaný seznam atributů,... dobrá reprezentace dat blízké vzory vedou ke stejné akci vzdálené vzory vedou k různé akci praxe malé množství příznaků jednodušší rozhodovací oblasti snadné naučení klasifikátoru nedostatečná data další znalost problematiky Jana Štanclová, jana.stanclova@ruk.cuni.cz 35/44
ILUSTRAČNÍ PŘÍKLAD 2 požadované vlastnosti příznaků invariance, odlišitelnost, nezávislost, úplnost,... protipříklad příznaky auto? barva logo třída: Ferrari auto?... ANO barva... červená logo... kůň Jana Štanclová, jana.stanclova@ruk.cuni.cz 36/44
ILUSTRAČNÍ PŘÍKLAD 2 požadované vlastnosti příznaků invariance, odlišitelnost, nezávislost, úplnost,... protipříklad příznaky auto? barva logo třída: Ferrari auto?... ANO barva... červená logo... kůň Jana Štanclová, jana.stanclova@ruk.cuni.cz 37/44
METODY ROZPOZNÁVÁNÍ Jana Štanclová, jana.stanclova@ruk.cuni.cz 38/44
METODY ROZPOZNÁVÁNÍ 1. statistické (příznakové) rozpoznávání objekt n-tice čísel n vybraných příznaků objekt = bod v n-rozměrném příznakovém prostoru volba reprezentace objektů body z jedné třídy kompaktní a dobře oddělitelné shluky v příznakovém prostoru 2. strukturální (syntaktické) rozpoznávání popis struktury mezi objekty častá reprezentace struktury gramatiky třída... gramatika vzor/objekt... slovo rozpoznávání... syntaktická analýza problém: zašuměná data Jana Štanclová, jana.stanclova@ruk.cuni.cz 39/44
METODY ROZPOZNÁVÁNÍ 1. statistické (příznakové) rozpoznávání objekt n-tice čísel n vybraných příznaků objekt = bod v n-rozměrném příznakovém prostoru volba reprezentace objektů body z jedné třídy kompaktní a dobře oddělitelné shluky v příznakovém prostoru 2. strukturální (syntaktické) rozpoznávání popis struktury mezi objekty častá reprezentace struktury gramatiky třída... gramatika vzor/objekt... slovo rozpoznávání... syntaktická analýza problém: zašuměná data Jana Štanclová, jana.stanclova@ruk.cuni.cz 40/44
SYSTÉMY NA ROZPOZNÁVÁNÍ VZORŮ 1. snímání 2. segmentace a shlukování izolování nasnímaných objektů od pozadí a jiných objektů 3. extrakce příznaků závislá na úloze měření vlastností/příznaků objektů pro klasifikaci podobné pro objekty stejné třídy invariantní vůči tranformacím a škálování (tvar, barva, druh textury,...) 4. klasifikace ohodnocení vstupních příznaků určení třídy složitost klasifikátoru podle různorodosti příznaků ve stejné třídě vliv šumu = vlastnost nasnímaných objektů bez vztahu ke skutečnému modelu náhodnost ve světě, na senzorech,... praxe: ne vždy lze zjistit hodnoty všech příznaků pro daný objekt 5. post-processing podle rozhodnutí klasifikátoru příslušné akce účinnost klasifikátoru = poměr chyby/ztráty minimalizace chyby Jana Štanclová, jana.stanclova@ruk.cuni.cz 41/44
SYSTÉMY NA ROZPOZNÁVÁNÍ VZORŮ 1. snímání 2. segmentace a shlukování izolování nasnímaných objektů od pozadí a jiných objektů 3. extrakce příznaků závislá na úloze měření vlastností/příznaků objektů pro klasifikaci podobné pro objekty stejné třídy invariantní vůči tranformacím a škálování (tvar, barva, druh textury,...) 4. klasifikace ohodnocení vstupních příznaků určení třídy složitost klasifikátoru podle různorodosti příznaků ve stejné třídě vliv šumu = vlastnost nasnímaných objektů bez vztahu ke skutečnému modelu náhodnost ve světě, na senzorech,... praxe: ne vždy lze zjistit hodnoty všech příznaků pro daný objekt 5. post-processing podle rozhodnutí klasifikátoru příslušné akce účinnost klasifikátoru = poměr chyby/ztráty minimalizace chyby Jana Štanclová, jana.stanclova@ruk.cuni.cz 42/44
NÁVRH KLASIFIKÁTORU 1. sběr dat trénovací/testovací data 2. výběr příznaků závisí zcela na daném problému využití apriorní informace 3. výběr modelu dány příznaky nalezení dobrého modelu 4. učení klasifikátoru parametry klasifikátoru (pomocí dat) 5. ohodnocení klasifikátoru nutnost zopakovat některé kroky klasifikátor málo naučen, špatná volba příznaků,... pozor na přeučení systému Jana Štanclová, jana.stanclova@ruk.cuni.cz 43/44
PŘÍBUZNÉ OBORY testování hypotéz hypotézu zamítnout či ne? image processing rotace obrázku, zvýšení kontrastu,... extrakce příznaků objekt/vzor hodnoty příznaků ztráta informace typicky nemožnost zpětné rekonstrukce klasifikace ještě radikálnější ztráta informace regrese/interpolace funkční popis s cílem predikovat hodnoty pro nové vstupy příklady známa změna délky lososa v závislosti na věku lososa pro první dva týdny života odvození závislosti od věku 2 týdnů do 2 let domněnka: délka lososa lineárně závislá na hmotnosti naměření hodnot a nalezení koeficientů regrese Jana Štanclová, jana.stanclova@ruk.cuni.cz 44/44