SIMULACE BIOMETRICKÝCH ZABEZPEČOVACÍCH SYSTÉMŮ PRACUJÍCÍCH NA ZÁKLADĚ ROZPOZNÁVÁNÍ TVÁŘE

Transkript

1 VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ BRNO UNIVERSITY OF TECHNOLOGY FAKULTA ELEKTROTECHNIKY A KOMUNIKAČNÍCH TECHNOLOGIÍ ÚSTAV TELEKOMUNIKACÍ FACULTY OF ELECTRICAL ENGINEERING AND COMMUNICATION DEPARTMENT OF TELECOMMUNICATIONS SIMULACE BIOMETRICKÝCH ZABEZPEČOVACÍCH SYSTÉMŮ PRACUJÍCÍCH NA ZÁKLADĚ ROZPOZNÁVÁNÍ TVÁŘE SIMULATION OF BIOMETRIC SECURE SYSTEMS WORKING ON PRINCIPLE OF FACE RECOGNITION DIPLOMOVÁ PRÁCE MASTER S THESIS AUTOR PRÁCE AUTHOR VEDOUCÍ PRÁCE SUPERVISOR BC. MILAN DUBSKÝ ING. HICHAM ATASSI BRNO 2007

2 1. Pan/paní (dále jen autor ) LICENČNÍ SMLOUVA POSKYTOVANÁ K VÝKONU PRÁVA UŽÍT ŠKOLNÍ DÍLO uzavřená mezi smluvními stranami: Jméno a příjmení: Milan Dubský Bytem: Čáslavská 279, , Nasavrky Narozen/a (datum a místo): , Chrudim 2. Vysoké učení technické v Brně (dále jen nabyvatel ) Fakulta elektrotechniky a komunikačních technologií se sídlem Údolní 244/53, , Brno a jejímž jménem jedná na základě písemného pověření děkanem fakulty: prof. Ing. Kamil Vrba, CSc. Čl. 1 Specifikace školního díla 1. Předmětem této smlouvy je vysokoškolská kvalifikační práce (VŠKP): disertační práce diplomová práce bakalářská práce jiná práce, jejíž druh je specifikován jako... (dále jen VŠKP nebo dílo) Název VŠKP: Vedoucí/ školitel VŠKP: Ústav: Simulace biometrických zabezpečovacích systémů pracujících na základě rozpoznávání tváře Ing. Hicham Atassi Datum obhajoby VŠKP: VŠKP odevzdal autor nabyvateli v * : Ústav telekomunikací tištěné formě počet exemplářů 2 elektronické formě počet exemplářů.. 1 * hodící se zaškrtněte 2

3 2. Autor prohlašuje, že vytvořil samostatnou vlastní tvůrčí činností dílo shora popsané a specifikované. Autor dále prohlašuje, že při zpracovávání díla se sám nedostal do rozporu s autorským zákonem a předpisy souvisejícími a že je dílo dílem původním. 3. Dílo je chráněno jako dílo dle autorského zákona v platném znění. 4. Autor potvrzuje, že listinná a elektronická verze díla je identická. Článek 2 Udělení licenčního oprávnění 1. Autor touto smlouvou poskytuje nabyvateli oprávnění (licenci) k výkonu práva uvedené dílo nevýdělečně užít, archivovat a zpřístupnit ke studijním, výukovým a výzkumným účelům včetně pořizovaní výpisů, opisů a rozmnoženin. 2. Licence je poskytována celosvětově, pro celou dobu trvání autorských a majetkových práv k dílu. 3. Autor souhlasí se zveřejněním díla v databázi přístupné v mezinárodní síti ihned po uzavření této smlouvy 1 rok po uzavření této smlouvy 3 roky po uzavření této smlouvy 5 let po uzavření této smlouvy 10 let po uzavření této smlouvy (z důvodu utajení v něm obsažených informací) 4. Nevýdělečné zveřejňování díla nabyvatelem v souladu s ustanovením 47b zákona č. 111/ 1998 Sb., v platném znění, nevyžaduje licenci a nabyvatel je k němu povinen a oprávněn ze zákona. Článek 3 Závěrečná ustanovení 1. Smlouva je sepsána ve třech vyhotoveních s platností originálu, přičemž po jednom vyhotovení obdrží autor a nabyvatel, další vyhotovení je vloženo do VŠKP. 2. Vztahy mezi smluvními stranami vzniklé a neupravené touto smlouvou se řídí autorským zákonem, občanským zákoníkem, vysokoškolským zákonem, zákonem o archivnictví, v platném znění a popř. dalšími právními předpisy. 3. Licenční smlouva byla uzavřena na základě svobodné a pravé vůle smluvních stran, s plným porozuměním jejímu textu i důsledkům, nikoliv v tísni a za nápadně nevýhodných podmínek. 4. Licenční smlouva nabývá platnosti a účinnosti dnem jejího podpisu oběma smluvními stranami. V Brně dne:... Nabyvatel Autor 3

4 Abstrakt Zadáním této práce je navrhnout v prostředí Matlab-Simulink systém pro rozpoznávání tváře určitého člověka z množiny (databáze) tváří všech uživatelů systému. V rámci práce jsou popsány jak algoritmy používané pro detekci tváře, tak pro rozpoznávání tváře. U algoritmů používaných pro detekci tváře jsou popsány a implementovány především příznakově orientované metody, konkrétně metoda založená na hledání barevné oblasti odpovídající barvě kůže, tzv. barevná segmentace. Další metodou je metoda porovnávání šablon. Tato metoda je rovněž použitelná i pro rozpoznávání tváře, což je v této práci ověřeno. Posledním zde popsaným algoritmem pro rozpoznávání lidské tváře je PCA (analýza hlavních komponent). V závěru práce jsou zhodnoceny dosažené výsledky a to hlavně u metody PCA, která se pro úkol rozpoznávání tváře jeví jako nejlepší. Klíčová slova Detekce tváře, rozpoznávání tváře, barevná segmentace, porovnávání šablon, PCA, eigenfaces, obraz Abstract The aim of this work is to realize a system in the Matlab-Simulink environment, which will be able to detect and recognize the human face from the input image. The created model will actually simulate the biometric security systems working on the principle of face recognition. The work is divided into two parts. In the first part, several methods for face detection from image are described. We focused on the symptomatic oriented and color segmentation methods. The pattern matching method is also described and implemented; the advantage of the pattern matching that it can be used either for face detection or face recognition. The second part of this work contains a description of the face recognition. Where PCA (Principal Component Analysis) are used for this task, this part of the work also includes experimental results of tests performed on our methods. Key words Face detection, face recognition, colour segmentation, pattern matching, PCA, eigenfaces, image 4

5 DUBSKÝ M. Simulace biometrických zabezpečovacích systémů pracujících na principu rozpoznávání tváře. VUT v Brně, Fakulta elektrotechniky a komunikačních technologií, Ústav telekomunikací, str. Diplomová práce. Vedoucí práce ing. Hicham Atassi. 5

6 Prohlášení Prohlašuji, že svou diplomovou práci na téma Simulace biometrických zabezpečovacích systémů pracujících na základě rozpoznávání tváře jsem vypracoval samostatně pod vedením vedoucího semestrálního projektu a s použitím odborné literatury a dalších informačních zdrojů, které jsou všechny citovány v práci a uvedeny v seznamu literatury na konci práce. Jako autor uvedeného semestrálního projektu dále prohlašuji, že v souvislosti s vytvořením tohoto projektu jsem neporušil autorská práva třetích osob, zejména jsem nezasáhl nedovoleným způsobem do cizích autorských práv osobnostních a jsem si plně vědom následků porušení ustanovení 11 a následujících autorského zákona č. 121/2000 Sb., včetně možných trestněprávních důsledků vyplívajících z ustanovení 152 trestního zákona č. 140/1961 Sb. V Brně dne podpis autora 6

7 Poděkování Děkuji vedoucímu diplomové práce Ing. Hichamu Atassimu, za velmi užitečnou metodickou pomoc, ochotu a cenné rady při zpracování diplomové práce. 7

8 Seznam použitých zkratek BH Barevná Hodnota Cb Chrominance blue (Složka modré barvy v barevném modelu YCbCr) Cr Chrominance red (Složka červené barvy v barevném modelu YCbCr) JPEG Joint Photographic Experts Group (Metoda pro ztrátovou kompresi obrazu) LDA Linear Discriminant Analysis (Lineárních diskriminační analýza). NCC Normalized Color Components (Barevný model) PAL Phase Alternating Line ( Systém kódování barev, Televizní standard ) PCA Principal Component Analysis (Analýza hlavních komponent) PM Pattern Matching (Porovnávání šablon) RGB Red Green Blue (Barevný model) Y Luminance (Složka jasu v barevném modelu YCbCr) YCbCr Barevný model (Oddělující jasovou složku) 8

9 Seznam důležitých značek a symbolů a a a x b A A T e r T r Φ Ω Ω T Sjednocení Proměnná Sloupcový vektor Vektorový součin Matice Transponovaná matice Minimální vzdálenost (např. Euklidova) Hodnota prahu (mezní hodnota) Vycentrovaný průměrný vektor (obrázek) Eigenfaces Eigenfaces neznámé tváře Ψ Průměrný vektor (z vektorů Γ) σ() Γ Rozptyl n-rozměrný vektor µ() Střední hodnota Morfologická operace dilatace Morfologická operace eroze Morfologická operace otevření Morfologická operace otevření 9

10 Obsah 1 Úvod Metody detekce lidské tváře Příznakově orientované metody Obličejové příznaky Obličejová textura Barva kůže Vícenásobné příznaky Porovnávání se vzory Předdefinované vzory Deformovatelné vzory Učící se metody Vlastní plochy obličeje (Eigenfaces) Neuronové sítě Barevné modely RGB YCbCr NCC Detekce tváře Pravděpodobnostní model Segmentace barev prahováním Morfologické operace Rozpoznávání tváře Pattern matching Systém typu pattern matching Databáze uživatelů Korelace Vyhodnocení pattern matching PCA Eigenfaces Vyhodnocení PCA Závěr Použitá literatura Přílohy

11 Seznam obrázků Obr. 2.1: Rozdělení metod detekce lidské tváře Obr. 3.1: Barevný prostor RGB Obr. 4.1: Diagram detekce tváře Obr. 4.2: Vzorek barvy kůže Obr. 4.3: Podprostor barev lidské kůže v modelu RGB Obr. 4.4: Podprostor barev lidské kůže v prostoru CbCr bez jasové složky Obr. 4.5: (a) původní obraz, (b) jasová složka Y, (c) barevná složka Cb, (d) barevná složka Cr Obr. 4.6: Histogram pro obrazové vzorky z Cb Obr. 4.7: Histogram pro obrazové vzorky z Cr Obr. 4.8: Prahy obklopující prostor barev odpovídajících barvám kůže Obr. 4.9: (a) binární obraz ze složky Cr, (b) binární obraz ze složky Cb Obr. 4.10: Výsledný binární obraz Obr. 4.11: Grafické znázornění dilatace Obr. 4.12: Grafické znázornění eroze Obr. 4.13: Grafické znázornění morfologických operací otevření a uzavření. a) objekt A (množina) a strukturální element B, b) objekt B vyplňuje objekt A, c) výsledek operace otvírání, d) objekt B obklopuje objekt A, e) výsledek operace uzavření Obr. 4.14: Grafické znázornění procesu morfologické operace otevření. a) původní binární obraz, b) výstupní binární obraz po morfologické operaci otevření Obr. 4.15: Grafické znázornění procesu morfologické operace uzavření. a) vstupní binární obraz, b) výstupní binární obraz po morfologické operaci uzavření Obr. 4.16: Výsledek detekce lidské tváře prahováním Obr. 5.1: Rozdělení metod pro rozpoznávání lidské tváře Obr. 5.2: Diagram rozpoznávání tváře pomocí porovnávání šablon Obr. 5.3: Normalizované obrazy tváře uživatele A Obr. 5.4: Normalizované obrazy tváře uživatele B Obr. 5.5: Velmi podvzorkované obrazy tváří dvou různých uživatelů Obr. 5.6: Postup korelace obrazu Obr. 5.7: Obraz vizualizované korelační matice Obr. 5.8: Tváře uživatelů Obr. 5.9: Vstupní obraz tváře

12 Obr. 5.10: Vizualizovaná korelační matice Obr. 5.11: Nalezená odpovídající tvář Obr. 5.12: (a) Vstupní tvář, (b) Nalezená odpovídající tvář uložená v databázi Obr. 5.13: Princip PCA Obr. 5.14: n-rozměrný vektor obrázku Obr. 5.15: Matice V ( M x N x P) Obr. 5.16: Trénovací kolekce obrázků tváří uživatelů systému Obr. 5.17: Průměrný obrázek trénovací sady Obr. 5.18: (a) Kovarianční matice L, (b) Matice vlastních čísel kov. matice L Obr. 5.19: Setříděné hodnoty vlastních čísel kovarianční matice L Obr. 5.20: Ukázka prvních 9 eigenfaces Obr. 5.21: Neutrální výrazy tváří Obr. 5.22: Pozměněné natočení a výrazy tváří Obr. 5.23: Mírně modifikované obrazy tváří Obr. 5.24: Výrazně modifikované obrazy tváří Obr. 5.25: a) Testovací obraz tváře, b) Nalezená odpovídající tvář uložená v databázi Obr. 5.26: Euklidovi vzdálenosti testovacího obrázku tváře na trénovací sadu Obr. 5.27: a) Testovací obraz tváře, b) Chybně nalezená tvář uložená v databázi.. 70 Obr. 5.28: Euklidovi vzdálenosti testovacího obrázku tváře na trénovací sadu (2) Obr. 5.29: Graf úspěšnosti rozpoznávání tváří v závislosti na předkládané sadě obrázků

13 Seznam tabulek Tab. 5.1: Rozpoznávání. Neutrální výraz tváře Tab. 5.2: Rozpoznávání. Neutrální výraz tváře + rozhodovací úroveň Tab. 5.3: Rozpoznávání. Mimický výraz tváře Tab. 5.4: Rozpoznávání. Mimický výraz tváře + rozhodovací úroveň Tab. 5.5: Rozpoznávání. Mírná degradace obrazu Tab. 5.6: Rozpoznávání. Mírná degradace obrazu + rozhodovací úroveň Tab. 5.7: Rozpoznávání. Výrazná degradace obrazu Tab. 5.8: Rozpoznávání. Výrazná degradace obrazu + rozhodovací úroveň

14 1 Úvod V současné době je vinou zvyšujících se nároků na bezpečnost využívána spousta nových způsobů identifikace osob. Mezi tyto relativně nové způsoby patří i automatická detekce a rozpoznávání tváře využívající výpočetní techniku. Přestože rozpoznávání tváří má menší spolehlivost, než např. rozpoznávání oční duhovky či otisků prstů, tak nikoho neobtěžuje a může být prováděno i bez vědomí pozorovaného. Existuje nespočet možností využití, jako jsou biometrie, dohledové systémy, uživatelská rozhranní, obsahové kódování obrazu, nebo jejich kombinace, jako jsou biometrické zabezpečovací systémy. Tyto systémy se liší jednak svou komplikovaností, účelem zřízení a způsobem detekce/rozpoznávání, tak i tím, zda lidé vystavení tomuto systému mají o jeho existenci vůbec nějaké tušení. Např. u dohledového systému monitorujícího vstupní prostory letiště jistě není žádoucí, aby o něm měli cestující, či případní teroristé nějaké tušení. Navíc tento systém by byl tvořen velkým počtem kamer, rozlehlou, možná mezinárodní databází, větším počtem pracovníků a výpočetní techniky. Rozpoznávání osob v tomto systému je navíc zkomplikováno skutečností, že ve snímaném místě se může vyskytnout teoreticky neomezený počet lidí, jejichž tváře budou různě natočené nebo vzdálené. Naproti tomu např. uživatelské rozhranní pracující na principu rozpoznávání tváře bude tvořeno asi jedním počítačem, a člověk k němu bude přistupovat sám už s tím cílem, že chce být rozpoznán. To je případ i biometrických zabezpečovacích systémů, pracujících na principu rozpoznávání tváře, kterým se věnuje tato práce. Takový systém je tvořen relativně malou databází uživatelů, umožňující rozlišit např. zaměstnance, kterým je vstup umožněn, nebo není, a jedním nebo více přístupovými body, ke kterým mohou tito uživatelé přistupovat. Je ve vlastním zájmu těchto uživatelů být rozpoznán, proto lze předpokládat, že uživatel se nebude tomuto procesu nijak bránit, spíše bude jeho iniciátorem a bude se snažit tvářit se tak, aby systém neměl s tímto procesem větší problémy (např. by se neměl mračit, smát, nebo si zakrývat oči slunečními brýlemi). Lze též předpokládat, že systém bude pracovat s jednotným způsobem pořizování obrazu, který se bude podobat např. pasovým fotografiím. Takovéto zabezpečovací systémy lze velice často a úspěšně doplnit dalšími způsoby identifikace, jako jsou rozpoznávání hlasu, oční duhovky či otisků prstů, nebo pouhým zadáním přístupového jména a hesla. 14

15 2 Metody detekce lidské tváře Prvním a hlavním úkolem v systémech pro rozpoznávání lidské tváře je nutnost tuto tvář nejprve detekovat. Pokud je tvář v obraze detekována přesně, následný krok rozpoznávání tváře už nemusí být tak složitý. Přesná detekce tváře v obraze je proto z tohoto důvodu tak důležitá, jako je samotné rozpoznávání. Problém je, že už samotná detekce obličeje je dosti náročný a složitý problém. V prohledávaném obraze se teoreticky může vyskytovat různý počet osob a tím i různý počet obličejů vhodných k detekci. Tyto obličeje navíc mohou být různě natočeny, mohou být od snímací kamery různě vzdáleny nebo různě nasvíceny. Poněvadž v tomto projektu simuluji biometrický zabezpečovací systém, lze předpokládat, ze v obraze se bude vyskytovat pouze jeden člověk, který navíc bude čelně natočen ke snímací kameře. Lze též předpokládat, že pozadí bude jednoduché a osvětlení konstantní. V současné době existuje spousta metod určených k detekci lidské tváře v obraze [10, 30]. Každá z těchto metod je různě složitá, s různou mírou detekční úspěšnosti. Některé z metod jsou použitelné jen za určitých podmínek, přičemž při splnění těchto podmínek poskytují vysokou míru pravděpodobnosti úspěchu. Jiné jsou naopak univerzální, kdy dokáží detekovat tvář v téměř jakémkoliv obraze, s úspěšností přinejmenším spekulativní. Tyto metody lze rozdělit do několika tříd (Obr. 2.1). Roztřídění některých metod však není úplně jednoznačné, poněvadž se dají zařadit do více statí najednou. Neexistuje přesná hranice, kam které metody zařadit. Navíc existují přístupy, kdy je pro větší úspěšnost kombinováno více metod najednou. 15

16 Detekce tváře Příznakově orientované metody Porovnávání se vzory Učící se metody Obličejové příznaky Předdefinované vzory Vlastní plochy - Eigenfaces Obličejová textura Deformovatelné vzory Neuronové sítě Barva kůže Výcenásobné příznaky Obr. 2.1: Rozdělení metod detekce lidské tváře 16

17 2.1 Příznakově orientované metody Tyto metody jsou založené na principu detekce obecně platných rysů lidské tváře. Mezi tyto rysy mohou patřit např. obličejové příznaky, jako jsou oči, nos, nebo ústa, dále obličejová textura či barva kůže. Tyto rysy mohou popsat tvář nezávisle na její podobě, či na parametrech scény. Na základě přítomnosti těchto rysů je provedena detekce tváře. Podstatnou výhodou těchto metod je snadná a rychlá implementace. Tyto metody navíc poskytují vcelku kvalitní výsledky Obličejové příznaky Tyto metody jsou založené na hledání buď celého obličeje, nebo na hledání jeho částí obočí, očí, nosu, nebo třeba rtů. Většinou všech těchto částí současně. Jedna z těchto metod vychází z nalezení očí nebo očí a obočí [9]. Pořízený obraz je segmentován pomocí vhodně zvolených prahů a v segmentovaném obrazu jsou poté nalezeny oči. Na základ vyhodnocení vzdálenosti a umístní očí v obraze je poté stanovena oblast, ve které se s největší pravděpodobností nalézá obličej. Tato metoda je však použitelná pouze při vhodně stanovených podmínkách pořízení obrazu. Další používaná metoda pro detekci obličeje je založena na nalezení hran v obraze, např. [24]. U této metody je použit Cannyho hranový detektor [4] pro nalezení hran. Na základ heuristické analýzy se poté jednotlivé hrany odstraní, nebo sloučí tak, aby v hranovaném obraze zůstala pouze ta linie, která reprezentuje obrys obličeje. Tato hrana je poté nahrazena vhodnou elipsou, která v obraze nalezenou tvář vyznačí. Další z možných přístupů představuje algoritmus kapek a linií [11]. Pro tuto metodu byl vytvořen obličejový model, který se skládá ze dvou tmavých a tří světlých kapek, které reprezentují oči, lícní kosti a rty. Model dále obsahuje linie, reprezentující obrysy obličeje, obočí a rtů. Pro určení prostorového vztahu mezi kapkami jsou použity dvě trojúhelníkové geometrické konfigurace. Obraz je upraven pomocí Laplaceova gradientního operátoru s nízkým rozlišením. Tato operace usnadňuje nalezení jednotlivých kapek a linií. Na základ rozmístění jednotlivých kapek je obraz prohlédnut, zda se v předem odhadnutých místech nacházejí linie. 17

18 Detekční algoritmus pak vyhodnocuje, na základě nalezení a rozmístní kapek a linií, zda se v pořízeném obraze obličej nachází. Velice často je také využívána tvarová segmentace obrazu pomocí operací matematické morfologie [25]. Morfologické operace jsou většinou prováděny v binárním obraze. Pomocí morfologických operací otevření a uzavření lze hledat celý obličej [2] nebo jeho jednotlivé části [8] oči, obočí, nos, rty. Využívá se vlastnosti, že jednotlivé části obličeje mají určitý tvar (oči-kruh, obličej a rty-elipsa) a pokud je vhodně zvolena velikost a tvar strukturního elementu pro morfologické operace, tak lze takto nalézt celý obličej nebo jeho příznaky (oči, rty, nos, nosní dírky, obočí,...). Při detekci obličeje se využívá i toho, že jednotlivé části obličeje (oči, rty, obočí, nosní dírky) jsou od sebe navzájem relativně stejně vzdálené [19]. Pro tuto metodu je typické, že je nejdříve vytvořena (ručně nebo poloautomaticky) databáze rozmístění a relativních vzdáleností částí obličeje. Z pořízeného obrazu se poté postupně oddělí (pomocí postupné segmentace nebo různými obrazovými filtry) jednotlivé části obličeje a zjistí se jejich vzájemné relativní vzdálenosti, které se pak porovnají s hodnotami z databáze Obličejová textura Lidský obličej je v pořízeném obraze reprezentován texturou, která se u lidí podobné barvy kůže příliš nemění. Této vlastnosti lze využít pro detekci lidského obličeje v obraze [3]. Texturou je zde chápána pravidelná struktura obrazových bodů, kde každý obrazový bod má svou barevnou, popř. jasovou hodnotu. Velikost této textury (počet obrazových bodů) závisí na velikosti lidského obličeje v obraze a na celkovém rozlišením obrazu. Často se původní obraz převzorkuje na nižší rozlišení a tím se zmenší počet bodů a celková výpočetní náročnost. Pořízený obraz se porovnává s obličejovými texturami z databáze, která se předem vytvoří z ručně nebo poloautomaticky zpracovaných snímků s lidským obličejem. Nikdy se obraz neporovnává s celými texturami, ale postupně s výřezy textury. Přestože je tato metoda poměrně rychlá, je využívána spíše při složitějších realizacích. 18

19 2.1.3 Barva kůže Detekce tváře založená na metodě hledání barevných oblastí odpovídajících barvě kůže je jedna z nejpoužívanějších a současně asi i nejjednodušších metod detekce. Na základě této informace se dá, s jistou pravděpodobností, nalézt lidský obličej v obraze. Ve světě existuje několik skupin lidí (etnik), kteří mají přibližně stejnou barvu kůže. V současné době se pro detekci lidského obličeje vymezují dvě skupiny lidí s různou barevností kůže - lidé se světlou barvou kůže (běloši, někteří asiaté, míšenci...) a lidé s tmavou barvou kůže (černoši, část asiatů, původní obyvatelé Austrálie, někteří z původních obyvatelů amerického kontinentu...). Při rozpoznávání se většinou dělají barevné modely pro každou z těchto skupin zvlášť nebo se vytvářejí vícemodální modely. Je to z toho důvodu, že udělat jeden barevný model pro obě tato etnika by bylo jednak složité a jednak by se tím podstatně snížila detekční schopnost algoritmu. Jako základ tuto metodu používají i jiné kombinované techniky. Podstatnou výhodou této metody je především rychlost a jednoduchost. S touto metodou není problém detekovat různě natočené tváře, nebo tváře, do kterých zasahují např. tzv. strukturální komponenty, jako jsou vousy, brýle, nebo třeba vlasy padající do čela. Účinnost této metody je ovšem velmi závislá na použitém modelu. S tím souvisí také problém detekce tváře v obraze s pozadím odpovídajícím barvě kůže. Proto se tato metoda používá v případě obrazu s jednoduchým pozadím buď samostatně, nebo je v případě obrazu s komplexním pozadím, které odpovídá barvě kůže, doplněna ještě o nějakou další metodu. Mezi tyto metody může patřit např. metoda založená na hledání různých obličejových rysů, jako jsou oči, nos, nebo ústa. Problém u této metody může být také ve zdroji signálu, ze kterého snímáme obraz a který obsahuje šum. Tento šum je dobré před započetím samotné detekce odstranit. Další nenápadný problém se může skrývat v nasvícení scény, resp. vyvážení bílé [9]. Existuje několik metod pro stanovení, zda obrazový bod v obraze má barvu kůže či nikoliv. Nejednoduší je segmentace obrazu prahováním. V tomto případě se stanový dva prahy. Pokud se barevná hodnota bodu BH nalézá v rozmezí BH 1 < BH < BH 2, kde BH 1 a BH 2 jsou vhodně stanovené mezní hodnoty, je obrazový bod označen jako 1 (1 obrazový bod má hodnotu barvy shodnou s hodnotou barvy kůže), v případě, že v tomto rozmezí není, dostane hodnotu 0 (0 obrazový bod nemá barevnou hodnotu jako barva kůže). Tím vznikne binární obraz, kde jedna 19

20 barva (např. bílá) vyznačuje místa shodná s barvou kůže (tvář) a druhá barva (černá) vyznačuje pozadí. Hodnoty prahů se stanovují buď experimentálně, nebo na základě analýzy obrazového histogramu. Další často používaná je i metoda, kdy se obrazové body kůže statisticky zpracují, tj. zjistí se střední hodnota, rozptyl atd. a tyto odhadnuté statistické parametry jsou použity pro rozpoznávání, s jakou pravděpodobností má neznámý obrazový bod barevnou hodnotu shodnou s hodnotou barvy kůže [29]. Dále existují metody, které se snaží barvu kůže popsat vhodným matematickým modelem [12]. Parametry tohoto modelu jsou získány z trénovaní množiny. Podprostor barvy kůže má u většiny používaných modelů eliptický tvar a přibližně normální rozložení. Při použití výše zmíněných metod je také důležité vhodně zvolit barevný model, ve kterém pak obraz zpracováváme. Na výběr je spousta barevných modelů jako jsou RGB, YCbCr, nebo NCC [14] Vícenásobné příznaky Pro vetší spolehlivost detekce lidské tváře v obraze se používá více výše popsaných metod současně. Např. se použije metoda pro barevnou segmentaci obrazu na základě vyhodnocení barvy kůže a poté se aplikuje tvarová segmentace, která nám pomůže odstranit všechny obrazové body, které sice měly podobnou barvu jako je barva lidské kůže, ale tyto body nebyly součástí lidské tváře [2]. Byly součástí nějakého objektu v pozadí, který měl jen podobnou barvu. Vhodnou kombinací v tomto případě je barevná segmentace a následné použití morfologických operací. Často se přidávají další příznaky, které jsou zaměřeny na zjištění velikosti, geometrie a pozice jednotlivých částí obličeje [29]. Obecně lze říct, že u této metody se využívají různé kombinace příznaků a metod, které mají jakýkoliv vztah k obličeji a mohou tak napomoci jeho detekci. 20

21 2.2 Porovnávání se vzory Tyto metody hledají tvář na principu korelace obrazu s přednastavenými šablonami buď celého obličeje, nebo jeho částí. Pro tuto metodu je potřeba předem vytvořit databázi vzorů (šablon), kde vzorem je chápána nějaká oblast, ve které jsou obrysy lidského obličeje či částí obličeje (oči, nos, rty). Nejčastěji se používají čelní pohledy na lidský obličej, ale je i možné vytvořit databázi vzorů nasnímaných při rozdílných natočeních lidské tváře. Pro daný prohledávaný obraz jsou nezávisle počítány korelační hodnoty pro obrysy obličeje, očí, nosu a rtů. Nevýhodou této metody je nutnost mít vytvořeny a v paměti uloženy jednotlivé vzory. Dále je zde problematická detekce různě natočených, nebo různě velikých tváří. Vše v závislosti na databázi uložených vzorů. Proto se vytvářejí databáze vzory pořízeny v různých měřítkách a při různém natočení hlavy Předdefinované vzory U této metody je vytvářena databáze vzorů a výřezů ze vzorů (podvzorů). Vzory z takto vytvořené databáze se poté porovnávají se vstupním obrazem, např. využitím korelace. Vzory se někdy i upravují, aby se zvýraznila informace, kterou tyto vzory v sobě nesou. Jednou z možných úprav může představovat např. operace, která v obraze zvýrazní hrany [5]. Aby nebylo nutno vytvářet velkou databázi vzorů, tak se jednotlivé vzory před porovnáním upravují. Především se využívá geometrických transformací, jako jsou rotace, či změna měřítka [25] Deformovatelné vzory Tyto metody se snaží najít univerzálnější vzory pro detekci obličeje [16, 17] než ty popsané výše. Pomocí různých optimalizačních algoritmů se u této metody hledají univerzální (deformovatelné) vzory pro jednotlivé části obrazu. Poté se tyto univerzální vzory porovnávají se vstupním obrazem (nebo jeho výřezem) a hledá se optimální přiřazení mezi částí obrazu a vzorem, např. pomocí minimální vzdálenosti. Při tomto porovnávání a přiřazení tak dochází k deformaci vzorů. 21

22 2.3 Učící se metody Učící se metody jsou založeny na podobném principu, jako metody porovnávání se vzory. Zde však nejsou jednotlivé vzory vytvořené experimentátorem, ale hledají se pomocí učících se algoritmů na základ předložené databáze obrázků, ve kterých jsou lidské obličeje. Často je zde využívána tzv. umělá inteligence Vlastní plochy obličeje (Eigenfaces) Eigenfaces je metoda, která se používá především pro rozpoznávání obličeje, ale dá se použít i pro detekci [27]. Pro tuto metodu se používá databáze normalizovaných obrazů, ve kterých je lidský obličej. Tato metoda využívá pro rozpoznávání vlastní vektory, které byly získány z autokorelační matice obrazů z databáze. Podle těchto vlastních vektorů označovaných jako vlastní plochy (eigenface) se tedy metoda jmenuje. Problém s detekcí obličeje pomocí této metody však spočívá v tom, že je velmi obtížné nalézt vhodné reprezentativní obrázky, které by sloužily k detekci. Je nutno najít takové reprezentativní vzorky, kde se obličej nevyskytuje, ovšem těch existuje teoreticky nekonečné množství. Jednodušší je to tedy s rozpoznáváním, kde nám stačí teoreticky pár normalizovaných obrazů tváře Neuronové sítě Neuronové sítě se používají v různých aplikacích k různým účelům. Dokáží rozpoznávat různé vzory jako signály nebo obrazy, a proto se mohou uplatnit i při detekce lidské tváře [22]. Pro použití neuronové sítě pro detekci lidské tváře je nutno tuto síť nejprve naučit, co má rozpoznávat. Pro tyto účely se používá databáze lidských tváří, které jsou většinou před vstupem do neuronové sítě různým způsobem upravovány (např. zmenšeny nebo zkomprimovány). A pokud je síť dostatečně trénována, tak ji lze následně pro tuto detekci použít. 22

23 3 Barevné modely V současné době existuje v počítačové technice pro zpracování obrazu spousta barevných modelů s rozdílnými vlastnostmi [7, 13, 18]. Některé se hodí pro detekci tváře v obraze více, jiné méně. Je to dáno tím, že tvar a kompaktnost jednotlivých podprostorů barev kůže se v každém z těchto modelů liší. Vhodný výběr barevného modelu je tedy celkem důležitý. Správně zvolený barevný model nám může detekci tváře v obraze podstatně ulehčit. Mezi u nás běžně používané barevné modely hodící se k detekci tváře patří RGB a YCbCr. Za zmínku také stojí model NCC. 3.1 RGB Při zpracování obrazu v počítačové technice obvykle každý pixel obsahuje 3 základní složky barvy. RGB obraz si můžeme představit jako trojrozměrnou matici a MxNx3 prvky. Kde tyto 3 základní barvy jsou červená, zelená a modrá (red, green a blue). Tento nejzákladnější model se nazývá RGB. Každá z těchto 3 složek je obvykle kódována 8 bity, tedy 2 8, což je 256 různých odstínů každé barvy. Mícháním těchto 3 složek se dostáváme až k úctyhodnému číslu 16,7 milionu barev. Jedná se celkem o jednoduchý a snadno pochopitelný model (Obr. 3.1), který si můžeme představit jako krychli, kde na jednotlivé osy vynášíme tří základní barvy (červená, zelená a modrá) a protilehlé rohy této krychle obsahují doplňkové barvy (černá bílá, modrá žlutá, zelená purpurová a červená azurová). Asi podstatnou nevýhodou tohoto modelu je, že od sebe neodděluje jasovou a barevnou složku signálu, což může být v některých aplikacích na škodu. Obr. 3.1: Barevný prostor RGB 23

24 3.2 YCbCr Další často využívaný barevný model se nazývá YCbCr. Používá se např. u televizního standardu PAL, nebo u kompresního algoritmu JPEG. Jedná se o transformovaný RGB model, který už explicitně odděluje jasovou a barevnou složku signálu. Y zde reprezentuje jasovou složku a Cb a Cr zde reprezentují tzv. chrominanční složky. Mezi oběma modely existuje jednoduchý transformační vztah. Y R Cb G = + Cr B (3.1) 3.3 NCC Barevný model NCC je jednoduchý model, který vychází z modelu RGB a efektivně odstraňuje intenzitu z barevných složek. Jednotlivé složky vypočítáme jako: r= R R+ B+ G (3.2) g = G R+ B+ G (3.3) b= B R+ B+ G (3.4) potom platí: r+ g+ b= 1 (3.5) Je vidět, že pokud chceme pomocí tohoto modelu barevně popsat nějaký objekt, stačí nám jen dvě složky, většinou r a g. Výhodou též je, že model se dá popsat pomocí pouhých dvou souřadnic, tzv. 2D. 24

25 4 Detekce tváře Ve svém projektu se zabývám detekcí lidské tváře založené především na příznakově orientované metodě. Konkrétně na metodě hledání barevných oblastí shodných s barvou kůže skombinovanou s různými morfologickými operacemi. Obrázek 4.1 (diagram detekce tváře) zobrazuje různé fáze, které při detekci probíhají. Vstupní obraz Barevná segmentace Morfologické operace Ohraničení Výstupní obraz Obr. 4.1: Diagram detekce tváře Jako první blok (resp. druhý) v tomto diagramu je blok pro barevnou segmentaci. Zde dochází k rozdělení jednotlivých pixelů vstupního obrazu podle barvy. Odpovídá-li barva pixelu barvě kůže, je pixel označen jako 1, neodpovídá-li, je označen jako 0. Vznikne tak binární obraz (kap. 4.2). Poté následují morfologické operace. Těmi vhodným způsobem binární obraz upravíme tak, aby v něm v ideálním případě zůstalo jen místo, představující lidskou tvář (kap. 4.3). Takto vzniklé bílé kompaktní místo v binárním obraze stačí pouze vhodným způsobem ohraničit. V posledním kroku je výsledný obraz s detekovanou tváří buď zobrazen na obrazovce monitoru, nebo uložen. 25

26 Před samotným začátkem práce bylo tedy nutno vytvořit databázi vzorků barev lidské kůže. K tomuto účelu jsem využil svou databázi fotek a databázi fotek zvanou Georgia Tech face database [34], ze které jsem nasbíral cca 590 vzorků barev. Obr. 4.2: Vzorek barvy kůže Georgia Tech face database je tvořena více než pěti sty fotek 50 lidí, snímaných z různého úhlu natočení a v různém nasvícení. V databázi se vyskytovali jak lidé světlé barvy pleti, tak lidé barvy tmavší. Pro lepší detekční schopnost s minimalizací chyb by možná bylo dobré vytvořit databáze dvě, jednu pro tmavší odstíny barev a druhou pro světlejší. Poněvadž barva lidská kůže není v celém obličeji barevně homogenní, barevné odstíny jsou v každé části obličeje jiné a barva částečně závisí i na nasvícení, postupoval jsem tak, že jsem bral vzorky o velikosti 40 x 40 pixelů z náhodné části obličeje (Obr. 4.2). Hodnota barev všech pixelů ze vzorku byla poté zprůměrňována. Hodnoty jsem sbíral v režimu RGB. Pro další barevné modely byly hodnoty přepočítány. Při sbírání vzorků jsem se snažil vynechat místa s očima a 26

27 ústy, které barevně nespadají do prostoru kůže. Rozložení barev lidské kůže v krychli RGB zobrazuje Obr Obr. 4.3: Podprostor barev lidské kůže v modelu RGB Jelikož barevný model RGB explicitně neodděluje jasovou složku, která při detekci lidské tváře stejně není podstatná, rozhodl jsem se provádět barevnou segmentaci v barevném modelu YCbCr. A to za použití pouze chrominančních složek Cb a Cr a vynecháním jasové složky Y. Je vidět, že v tomto modelu se nám podprostor barev jednak zmenšil a jednak dostal kompaktní podobu, zhruba elipsové podoby (Obr. 4.4). 27

28 Obr. 4.4: Podprostor barev lidské kůže v prostoru CbCr bez jasové složky Jak už bylo naznačeno, jasová složka nenese žádnou barevnou informaci, ale pouze nás informuje o intenzitě světla, pro detekci tváře se moc tedy moc nehodí a bohatě stačí tvář detekovat pouze pomocí složek Cb a Cr. Na Obr. 4.5 jsou vidět jednotlivé složky obrazu přetransformovaného do YCbCr. Čím více je obrazový bod světlý, tím má složka Cb nebo Cr větší hodnotu a naopak. Např. bílá oblast v Cr představuje v originálním obraze oblast červenou. 28

29 (a) (b) (c) (d) Obr. 4.5: (a) původní obraz, (b) jasová složka Y, (c) barevná složka Cb, (d) barevná složka Cr 4.1 Pravděpodobnostní model Před vlastním započetím práce jsem vytvořil pravděpodobnostní model. Vytvořil jsem ho z toho důvodu, že je nutno barvy v originálním obraze nějakým způsobem segmentovat, abychom dostali obraz binární. Je tedy nutno oddělit barvy odpovídající barvě kůže a barvě kůže neodpovídající. Ze všech vzorků barev jsem tedy pro obě složky Cr a Cb vypočetl střední hodnotu µ(), rozptyl σ 2 () a směrodatnou odchylku σ(). 29

30 1 N xi N i= 1 µ = (4.1) N 2 i= 1 σ = ( x µ ) í N 1 2 (4.2) 2 σ = σ (4.3) Kde x i je Cr nebo Cb hodnota vzorků barev z databáze a N je počet vzorků. Rozložení jednotlivých hodnot zobrazuje histogram pro Cr a Cb (Obr. 4.6 a 4.7). Obr. 4.6: Histogram pro obrazové vzorky z Cb 30

31 Obr. 4.7: Histogram pro obrazové vzorky z Cr Střední hodnota a rozptyl poté vyšly následující: Cb: µ = 116, rozptyl σ 2 = 353,4, směrodatná odchylka σ = 18,8. Cr : µ = 148, rozptyl σ 2 = 64,6, směrodatná odchylka σ = Segmentace barev prahováním Segmentace barev prahováním, je metoda, při které se obrazu přidělí buď logická 0, nebo logická 1, a to v závislosti podle toho, zda barva obrazového bodu spadá do rozmezí daného dvěma mezními hodnotami (prahy) či nikoliv. Pokud se tedy barevná hodnota bodu BH nalézá v rozmezí BH 1 < BH < BH 2 je tento bod označen hodnotou 1 (bílá barva), pokud se nalézá mimo toto rozmezí, je označen hodnotou 0 (černá barva). Výsledkem tohoto procesu je tzv. binární obraz, s kterým pak pracujeme dále. Tento proces se dá matematicky popsat následovně: g(i,j) = 1 pro f(i,j) T 1 a f(i,j) T 2 (4.4) g(i,j) = 0 jinak 31

32 Kde T 1 je dolní práh, T 2 je horní práh (platí že T 1 < T 2 ), f(i,j) je barevná hodnota obrazového bodu o souřadnicích i a j původního obrazu a g(i,j) je nová binární hodnota obrazového bodu o souřadnicích i a j ve výsledném binárním obraze. Hodnoty prahů je možno nastavit buď experimentálně, nebo za použití výše zmíněného statistického modelu. Je také nutno hodnotu těchto prahů nastavit pro každou ze složek Cb a Cr zvlášť. Segmentace totiž probíhá pro každou ze složek odděleně. T T 1 2 = µ σ = µ + σ (4.5) Hodnota prahů pro složku Cb: T = µ σ 97 T 1 2 = µ + σ 135 (4.6) Hodnota prahů pro složku Cr: T = µ σ 140 T 1 2 = µ + σ 156 (4.7) Z výše jmenovaného pravděpodobnostního modelu a stanovených prahů byl vytvořen prostor, který obklopuje podprostor barev kůže (Obr. 4.8). Všechny barvy vyskytující se v tomto prostoru jsou po barevné segmentaci označeny jako 1 a barvy mimo tento ohraničený prostor jsou označeny jako 0. Z obrázku je bohužel jasné, že tento box obklopuje i barvy, které barevně neodpovídají barvám kůže, což má za následek mírnou nepřesnost. Při detekci jsou totiž tyto barvy vyhodnoceny jako barvy kůže, i když by neměli. Tyto barvy se vyskytují především v rozích. Pro lepší detekční výsledky schopnosti by bylo tedy lepší využít jinou metodu než pouhé prahování. 32

33 Obr. 4.8: Prahy obklopující prostor barev odpovídajících barvám kůže Na obr. 4.9 a) je vidět binární obraz vytvořený barevnou segmentací z původního obrazu ze složky Cr. Na obr. 4.9 b) je vidět to samé, ovšem s pomocí barevné segmentace ze složky Cb. V obraze vytvořeném ze složky Cr je již jasně rozeznatelná tvář. V obraze ze složky Cb tomu tak není. Výsledný obraz (Obr. 4.10) je vytvořen sečtením těchto dvou obrazů pomocí hradla AND (logickým součinem). Překrývající se bílé zůstanou bílé, vše ostatní bude černé. Mohlo by se zdát, že barevná složka Cb není k detekci tak podstatná jako složka Cr, ba nepoužitelná. Její výhoda se může projevit až v případě výskytu nějaké červené barvy na pozadí, která by mohla být považována za barvu lidské kůže. Tato barva by se poté projevila v obraze a), ale v obraze b) ne. A po konečném součtu těchto obrazů by se tedy také neprojevila. V případě detekce pouze za použití složky Cr by tomu tak nebylo. 33

34 (a) (b) Obr. 4.9: (a) binární obraz ze složky Cr, (b) binární obraz ze složky Cb Obr. 4.10: Výsledný binární obraz 34

35 4.3 Morfologické operace Tento výsledný binární obraz ale ještě není k detekci vhodný. Na pozadí se vyskytuje pár objektů, jejichž barva byla vyhodnocena jako barva kůže. V případě uměle vyvolaného, jednoduchého pozadí (např. modrého) by k tomu nedošlo. V případě komplexního pozadí, jehož různé části mohou barevně odpovídat barvě kůže, však k této situaci může docházet celkem často. Abychom tedy nalezli oblast, ve které se nachází pouze lidská tvář, je nutno tyto detaily odstranit. Pro tyto účely se používá tvarová segmentace obrazu, založená na metodách matematické morfologie, tzv. morfologické operace. Morfologické operace jsou metody pro zpracování binárních obrazů, využívající algebraické nelineární operace. Mezi základní morfologické operace patří eroze a dilatace. Z těchto dvou elementárních operací jsou odvozeny další dvě. Jedná se o operace otevření a uzavření. Morfologická operace dilatace množiny (matice) X strukturálním elementem (maticí) B je definována vztahem: {, x, y } X B= x y B X (4.8) Neboli operace roztažení, graficky znázorněná na obr. X. Obr. 4.11: Grafické znázornění dilatace 35

36 Morfologická operace eroze množiny (matice) X strukturálním elementem (maticí) B je definována vztahem: {, x, y } X B= x y B X (4.9) Neboli ztenčování, je operace graficky znázorněná na obr Obr. 4.12: Grafické znázornění eroze Kde X je původní binární obraz, B značí strukturální element, což je obvykle nějaká matice reprezentující vzor (maska), a x,y je euklidovský prostor 2D matice reprezentující obraz. Výsledný obraz je tedy různě roztažen nebo ztenčen, v závislosti na metodě a na použitém strukturálním elementu. Strukturální elementy mohou mít tvar např. prosté úsečky nebo třeba kružnice, v závislosti jakých výsledků chceme dosáhnout. Morfologická operace otevření množiny (matice) X strukturálním elementem B (maticí) je definována jako morfologická operace eroze, následovaná morfologickou operací dilatace, a to dle vztahu: X B= ( X B) B (4.10) 36

37 Morfologická operace uzavření množiny (matice) X strukturálním elementem B (maticí) je definována jako morfologická operace dilatace, následovaná morfologickou operací eroze, dle vztahu: X B= ( X B) B (4.11) Morfologické operace otevření a uzavření nám graficky interpretuje obr. 4.13: Obr. 4.13: Grafické znázornění morfologických operací otevření a uzavření. a) objekt A (množina) a strukturální element B, b) objekt B vyplňuje objekt A, c) výsledek operace otvírání, d) objekt B obklopuje objekt A, e) výsledek operace uzavření 37

38 Tyto dvě operace nám zjednoduší vstupní binární obraz tím, že z něho odstraní množství nepotřebných detailů. Operace otevření totiž oddělí všechny objekty spojené úzkou šíjí a odstraní z obrazu všechny objekty, které jsou menší než strukturální element B. Tato operace též odstraní různé výčnělky velkých objektů. Tyto objekty jakoby vyhladí. Naopak operace uzavření nám spojí všechny objekty, které jsou blízko u sebe, také vyhladí obrysy objektů a zaplní takové díry v objektech, které jsou menší než strukturální element. Vždy samozřejmě závisí na vhodném výběru velikosti a tvaru tohoto strukturálního elementu. Jako první jsem tedy použil operaci otevření se strukturálním elementem tvaru disku o poloměru 12 pixelů. Tvar kruhu se ze všech možných elementů, které matlab podporuje, jevil jako nejvhodnější. Poloměr 12 pixelů byl zvolen experimentálně s ohledem ke komplexnosti scény a k faktu, že obličej by měl ze všech objektů, které se v binárním obraze vyskytují, zabírat největší část plochy. Velikost strukturálních elementů je nutno volit s ohledem na předpokládanou velikost obličeje v obraze. Jak je vidět na obr. 4.14, ze vstupního binárního obrazu, bylo tímto krokem odstraněno množství detailů, mezi nimi i část krku, který sice má barvu kůže, ale do obličeje nezapadá. a) b) Obr. 4.14: Grafické znázornění procesu morfologické operace otevření. a) původní binární obraz, b) výstupní binární obraz po morfologické operaci otevření 38

39 Po operaci otevření následuje morfologická operace uzavření. Jako strukturální element jsem použil opět disk, nyní s poloměrem 20 pixelů. Tvar a velikost byly opět zvoleny experimentálně. Pomocí tohoto procesu jsem vyhladil obrysy výsledného objektu a odstranil díry, které zde reprezentovali oči. Výsledek operace uzavření, znázorňuje obr a) b) Obr. 4.15: Grafické znázornění procesu morfologické operace uzavření. a) vstupní binární obraz, b) výstupní binární obraz po morfologické operaci uzavření Takto upravený binární obraz už spolehlivě reprezentuje místo výskytu lidské tváře v obraze. Z obrazu byly odstraněny všechny nepotřebné detaily, výsledná plocha byla vyhlazena a dostala kompaktní tvar. Nyní už stačí tuto plochu nějakým způsobem ohraničit (např. obdélníkem, nebo elipsou) a vyznačit v původním obraze. Výsledek detekce je patrný na obr V originálním obraze je vyznačen prostor, kde se nachází lidská tvář. 39

40 Obr. 4.16: Výsledek detekce lidské tváře prahováním V obraze byla detekovaná tvář ohraničena obdélníkem, nicméně použití elipsy by bylo také vhodné. V pokračování této práce, tedy v systému pro rozpoznávání tváře, se ovšem nebude dále pracovat s celým obrazem, ale bude nutno detekovanou tvář z obrazu vyříznout a dále pracovat jen s ní. Zde je v obraze, ve kterém se vyskytuje tvář, pouze přikreslen obdélník, který tuto tvář ohraničuje a který neposkytuje jakoukoliv výhodu při dalším zpracování. Spíše má jen informativní charakter. 40

41 5 Rozpoznávání tváře Metody pro rozpoznávání tváře lze rozdělit do dvou základních oblastí. Jedná se o metody založené na zpracování rysů tváře a na zpracování obrazu jako takového. A) Přístupy založené na rysech tváře: Tyto přístupy byly často vyvinuty v raných dobách vývoje oblasti rozpoznávání lidských tváří, a proto zde existuje vcelku velké množství publikovaných článků. Využívají znalosti o obličeji a jeho rysech a aplikují různé metody pro extrakci těchto rysů, jako jsou např. nízko-úrovňová analýza provádějící segmentaci vizuálních rysů [7], či aktivní tvarové modely (tzv. snakes) [11]. B) Přístupy založené na zpracování obrazu: Tyto přístupy chápou řešený problém jako problém rozpoznávání vzoru (pattern recognition problem). Detekce tváře pomocí přesného modelování rysů obličeje je nepředvídatelná právě kvůli možnému chování tváře a vlivu okolí (např. různé natočení tváře, mimika, nasvícení scény, ). Kdežto přístupy založené na zpracování obrazu často klasifikují tváře bez nutnosti hledání těchto rysů a mohou tak řešit i složitější problémy. Mezi tyto metody lze zařadit např. porovnávání šablon nebo vzorů (template matching a pattern matchning) [15], lineární podprostorové metody či neuronové sítě. Lineární podprostorové metody chápou kolekci obrázků tváří jako vektory podprostoru v prostoru všech obrázků, díky čemuž lze aplikovat rozmanité algebraické metody jako jsou analýza hlavních komponent (PCA) či lineárních diskriminační analýza (LDA). 41

42 Rozpoznávání tváře Rysy tváře Zpracování obrazu 3-D Morphable model PCA 3-D Face recognition ICA EBGM LCA AAM EP Kernel Methods Pattern matching Obr. 5.1: Rozdělení metod pro rozpoznávání lidské tváře 42

43 5.1 Pattern matching Tedy porovnávání šablon nebo vzorů je metoda, kterou jsem se rozhodl první zabývat. Jedná se o metodu, která je použitelná jak pro detekci tváře, tak i pro její rozpoznávání. Pro tuto metodu je potřeba předem vytvořit databázi vzorů (šablon), kde vzorem je chápána nějaká oblast, ve které jsou obrysy lidského obličeje či částí obličeje (oči, nos, rty). Nejčastěji se používají čelní pohledy na lidský obličej, ale je i možné vytvořit databázi vzorů nasnímaných při rozdílných natočeních lidské tváře. Pro daný prohledávaný obraz jsou nezávisle počítány korelační hodnoty pro právě používanou šablonu. Nevýhodou této metody je nutnost mít vytvořeny a v paměti uloženy jednotlivé vzory. Dále je zde problematická detekce různě natočených, nebo různě velkých tváří. Vše v závislosti na databázi uložených vzorů. Já jsem se rozhodl tuto metodu využít právě pro rozpoznávání tváře. U biometrického zabezpečovacího systému je věc zjednodušena některými skutečnostmi, které byly zmíněny výše (např. předpoklad čelního natočení tváře, neutrální výraz tváře, konstantní nasvícení, ), navíc se jedná o systém verifikace uživatele, tedy ověření jeho totožnosti, kdy není prohledávána ohromná databáze všech vzorů všech uživatelů, ale pouze databáze všech vzorů právě snímaného (rozpoznávaného, ověřovaného) uživatele. Vzorů tváří jednotlivých uživatelů je pro vetší úspěšnost verifikace lepší vytvořit více tak, aby zabírali tvář i z mírně jiných úhlů pohledu a s mírně odlišnými mimickými výrazy, poněvadž není zaručeno, že se uživatel bude za všech podmínek tvářit vždy stejně Systém typu pattern matching Jak již bylo zmíněno, jedná se o systém verifikace uživatele. Tedy z databáze vzorů všech uživatelů jsou vybrány vzory právě ověřovaného uživatele (nebo pouze jeden vzor) a ty pomocí 2-D křížové korelace porovnány se vstupním obrazem. Na základě míry shody je poté verifikace vyřízena buď kladně, nebo záporně. Vstupní obraz lze samozřejmě porovnávat i s celou databází, což je sice výpočetně náročnější, zato však přesnější. Na obr. 5.2: je vidět diagram pro rozpoznávání tváře s použitím porovnávání šablon (Pattern matching). 43

44 Databáze uživatelů Vstupní obraz tváře Porovnání (2-D křížová korelace) Vyhodnocení (zobrazení výsledku, atd.) Obr. 5.2: Diagram rozpoznávání tváře pomocí porovnávání šablon V bloku databáze vzorů jsou uchovávány normalizované obrazy (šablony) tváří všech uživatelů. Normalizovanými obrazy je myšleno, že všechny obrazy mají stejný grafický formát, stejné rozlišení, přibližně stejné umístění hlavy v obraze atd. (viz. Kapitola 5.1.3). Tato databáze vzorů je poté v bloku porovnání porovnána pomocí 2-D křížové korelace se vstupním obrazem (tváří). Tento vstupní obraz by měl být též normalizován. V posledním bloku dojde k vyhodnocení shody některé ze šablon se vstupním obrazem. Na základě výsledku je poté tvář rozpoznána nebo ne Databáze uživatelů Databáze tváří uživatelů je tvořena několika různými obrazy tváří všech uživatelů systému. Čím více obrazů databáze obsahuje, tím je samozřejmě proces rozpoznávání spolehlivější, avšak pomalejší a databáze je větší. Dále velikost databáze závisí na rozlišení obrazů tváří a na grafickém formátu, ve kterém jsou uloženy. Já jsem se rozhodl pro použití černobílých obrazů uložených ve formátu bmp a podvzorkovaných na rozlišení 64 x 78 pixelů. Černobílých jednak proto, že se tím ušetří podstatná velikost paměti, rozpoznávání je spolehlivější, a jednak pro to, že barevná složka zde nehraje takovou roli. Výběr přesné velikosti a formátu uložení obrazů nehraje tak důležitou roli, je však nutné striktně dodržovat to, aby všechny obrazy byly normalizovány. Tzn. všechny uloženy v jakémkoliv rozumném (ale stejném) rozlišení, tvář by se měla v obraze vyskytovat vždy zhruba ve stejném místě, atd. Důležité je také zachovat ve všech obrazech stejné světelné podmínky, 44

45 tedy nasvícení, vyvážení bílé apod. Dobré je také před zpracováním z obrazů odstranit šum. Tyto podmínky je dobré dodržet jak pro databázi vzorů, tak i pro vstupní obraz (např. výstup z web kamery). Na obr. 5.3 a 5.4 je vidět příklad normalizovaných, podvzorkovaných obrazů tváře použitelných jako vzory. Obr. 5.3: Normalizované obrazy tváře uživatele A Obr. 5.4: Normalizované obrazy tváře uživatele B Při výběru velikosti rozlišení jsme limitováni několika omezeními. Obrazy, které mají velmi malé rozlišení, sice zabírají v paměti velmi malé místo, korelace probíhá rychle, avšak může docházet k tomu, že tvář bude detekována chybně. Obrazy jsou si vinou malého rozlišení velmi podobné a lze je tedy zaměňovat jeden 45

46 za druhý. Korelace má potom pro všechny nebo pro většinu obrazů v databázi stejné maximální hodnoty a rozpoznání, nebo přiřazení tváře není jednoznačné. Může být dokonce za stejnou tvář považována tvář naprosto jiná. Na obr. 5.5 jsou vidět dva velmi podvzorkované obrazy tváří dvou různých (výše zobrazených) uživatelů. Už na první pohled je jasné, že jsou téměř totožné, a i pro člověka téměř k nerozeznání. Obrazy byly podvzorkovány na rozlišení 12 x 15 pixelů. Obr. 5.5: Velmi podvzorkované obrazy tváří dvou různých uživatelů Druhý extrémní příklad naopak představují obrazy s velmi vysokým rozlišením. Např. obraz tváře s teoretickým rozlišením 640 x 780 obrazových bodů nejenže bude zabírat velkou část paměti, ale i korelace takto velkých obrazů nebude příliš rychlá. Navíc se vinou vysokého rozlišení může stát, že žádná ze šablon se nebude se vstupním obrazem shodovat do té míry, že by bylo možné tváře z obou obrazů považovat za totožné. A to i v případě, že by totožné skutečně byly. Z těchto důvodů jsem se rozhodl vytvořit šablony tváří z obrazů o rozlišení 64 x 78 pixelů. Jedná se kompromis mezi velikostí obrazu, rychlostí prováděné korelace a přesností výpočtů. Pro účely vytvoření databáze uživatelů jsem použil databázi tváři zvanou Att faces [35]. 46

47 Jedná se o veřejně přístupnou databázi, která obsahuje 400 normalizovaných fotek tváří zhruba 40 uživatelů Korelace Pro porovnání míry toho, jak jsou si dva obrazy, nebo části obrazu podobné, jsem se rozhodl použít normalizovanou 2-D křížovou korelaci (normalized crosscorrelation) [33]. Křížová 2-D korelace počítá klasickou korelaci, ne však pro jednorozměrný signál, ale pro diskrétní 2-D signál, tedy matice. Tato korelace je navíc ještě normalizována. Černobílý (šedotónový) digitální obraz o rozlišení M x N obrazových bodů si lze představit jako matici o M řádcích a N sloupcích. 2-D křížová korelace obrazů nám vrací korelační matici, ve které je vyjádřeno, jak moc si jsou vstupní obrazy podobné. Nemusejí se však porovnávat vždy stejně velké matice (obrazy), ale naopak se často využívá případu, kdy je jedna malá matice porovnávána postupně s jednou vetší. Ostrý vrchol hodnot se poté nalézá v těch místech, kde se obě matice nejvíce shodují. Koeficienty normalizované křížové korelace nabývají hodnot v intervalu 0,1. Kde 0 vyjadřuje statisticky nezjistitelnou podobnost mezi dvěma obrazy (obrazy si nejsou podobné), a naopak 1 vyjadřuje naprostou totožnost obrazů. Např. koeficienty s hodnotou v rozmezí 0,9 0,99 nám říkají, že v těchto místech se obrazy v podstatě shodují. Záleží však na vhodném zvolení prahů, tedy hodnot, které nám budou stačit na to, abychom mohli obrazy (tváře) považovat za totožné. Máme-li matici I 1 o rozměrech (M, N) a matici I 2 o rozměrech (M, N), potom vztah pro 2-D diskrétní křížovou korelaci je: M N 2 1 (5.1) i= 1 j= 1 C( x, y) = I ( x, y) conj( I ( y+ i, y+ j)) 47

48 Normalizovaná křížová korelace (NCC) je definována: NCC ( x, y) = M N i= 1 j= 1 I ( x+ i, y+ j) I ( i, j) 1 2 M N M N 2 2 I1( x+ i, y+ j) I 2 ( i, j) i= 1 j= 1 i= 1 j= 1 (5.2) Korelaci velkého obrazu s malou šablonou (vzorem) zobrazuje obr Šablona je porovnávána s obrazem bod po bodu, tak aby byla postupně porovnána s celým obrazem. Obr. 5.6: Postup korelace obrazu Normované korelační hodnoty jsou poté zapisovány do korelační matice (obrazu), kde maxima hodnot odpovídají místům s největší shodou šablony a obrazu. 48

49 Vizualizovaná matice normovaných korelačních hodnot poté vypadá tak jako na obr Čím vyšší jsou čísla korelačních koeficientů, tím více se v těchto místech obrazy shodují. Pro příklad na tomto obrázku je jasně vidět, že v pravé části snímku dosahují koeficienty matice hodnot kolem 0,97, z čehož můžeme usuzovat, že v tomto místě se nachází objekt (tvář), který se velmi podobá vzorové šabloně. Obr. 5.7: Obraz vizualizované korelační matice Vyhodnocení pattern matching Matice normovaných korelačních hodnot je základ pro další zpracování. Systém může pracovat tak, že tváře buď pouze detekuje, nebo detekuje a poté rozpozná, která tvář patří hledanému uživateli. V případě rozpoznávání se v matici normovaných korelačních koeficientů označí místo s nejvyššími hodnotami a toto místo se poté ohraničí i v původním obraze. Mějme pro příklad uloženy v databázi 4 uživatele systému. Každý uživatel je navíc v databázi zastoupen dvěma obrazy své tváře tak, jak zobrazuje obr Rozlišení obrazů v databázi je 64 x 78 pixelů a je stejné jako je rozlišení vstupního obrazu porovnávané tváře. Uživatelé jsou označeni číslem od 1 do 4. Tváře jednoho uživatele jsou poté označeny A nebo B. 49

50 Obr. 5.8: Tváře uživatelů Vstupní obraz tváře je na obr Jedná se o uživatele, jehož obraz je skutečně zastoupen v databázi, avšak výraz tváře není stejný. Na tomto obrázku je tvář zvětšena. Ve skutečnosti je rozlišení stejné jako je rozlišení obrazů v databázi, tedy 46 x 78 pixelů. Obr. 5.9: Vstupní obraz tváře 50

51 Vstupní obraz tváře je porovnáván s obrazem tváří všech uživatelů a pomocí korelační matice je vybrán ten nejvíce podobný. Obr. 5.10: Vizualizovaná korelační matice Zde se dá systém použít pro zmíněné dvě funkce. Buď pro detekci tváře, nebo pro rozpoznávání tváře. V případě detekce se označí všechna maxima od určité úrovně (zvoleného prahu). Na obr je vidět, že hodnoty korelační matice dosahují svých maxim ve dvou místech. Tyto místa odpovídají výskytu tváří hledaného uživatele. Jedná se o místa označená 4A a 4B. V ostatních bodech koeficienty už takových hodnot nedosahují. Absolutně nejvyšších hodnot však koeficienty dosahují v místech označených 4A. Proto je toto místo pro názornost ohraničeno a zobrazeno v původním obraze uživatelů. 51

52 Obr. 5.11: Nalezená odpovídající tvář Jak je vidět na obr. 5.12, že i když byl výraz vstupní tváře uživatele jiný, než jsou výrazy uložené v databázi, tak systém správně rozpoznal, o jakého uživatele se jedná. (a) (b) Obr. 5.12: (a) Vstupní tvář, (b) Nalezená odpovídající tvář uložená v databázi 52

53 5.2 PCA PCA (Principal Component Analysis analýza hlavních komponent) je metoda často využívaná k efektivní reprezentaci lidské tváře v tzv. facespace (prostoru tváří), v němž lze snadno provádět rozpoznávání tváře. V našem případě je prostor tváří popsán pomocí metody Eigenfaces. Na principu této metody byla publikována a popsána spousta technik pro rozpoznávání i detekci lidské tváře [6,14,19,24]. Princip spočívá v tom, že tvář je popsána jako vektor a pomocí PCA je redukován počet rozměrů z n na k, kde k < n. k vybraných vlastních vektorů (příslušejících ke k největším vlastním číslům) nazýváme eigenfaces, tyto vektory tvoří bázi redukovaného prostoru obrázků. Po jejich vytvoření se úloha identifikace tváře stává úlohou rozpoznávání vzorů. Obr 5.13: Princip PCA Eigenfaces Jak již bylo napsáno výše, tato metoda patří do skupiny přístupů založených na zpracování obrazu. Výhodou této metody je možnost klasifikace tváře bez nutnosti extrakce rysů, což nám dovoluje řešit i složitější problémy. Nevýhodou je nutnost pracovat pouze s normalizovanými a centralizovanými obrazy o stejném rozlišení. 53

54 Mějme tedy kolekci P obrázků tváří uživatelů systému (trénovaní sadu), kdy všechny musejí mít stejné rozlišení M x N. Nyní z každého obrázku sestrojme n- rozměrný vektor Γ (n = M x N) tak, jak zobrazuje obr Obr. 5.14: n-rozměrný vektor obrázku Z těchto obrázků (n-rozměrných vektorů Γ) poté sestrojíme matici V tak, že jednotlivé vektory poskládáme vedle sebe. Vznikne nám tak matice o počtu řádků rovném n=m.n a o počtu sloupců rovném počtu obrázků P. Viz, obr

55 Obr. 5.15: Matice V ( M x N x P) Kolekce obrázků je tak definována jako množina bodů ve vysocedimenzionálním prostoru. Obrázky tváří jsou si ovšem vzhledem k normalizaci a centralizaci částečně podobné, a proto nejsou v tomto prostoru náhodně distribuovány. Hlavní myšlenkou PCA (též Karhunen - Loeve expanze) v tomto případě tedy je, nalézt takové vektory, které nejlépe popisují distribuci obrázků tváří v celém prostoru obrázků. Tyto vektory dimenze n definují podprostor, který nazýváme prostor obrázků tváří (eigenspace, facespace), jsou lineární kombinací původních vektorů. Tyto vektory jsou vlastní vektory kovarianční matice korespondující k původním obrázkům a protože jsou podobné obrázkům tváří, nazýváme je eigenfaces. Podobnost redukovaných obrázků poté měříme Euklidovskou metrikou. Mějme tedy kolekci obrázků (nyní už vektorů) Γ 1, Γ 2,, Γ i, které jsme poskládali vedle sebe do matice V. Z těchto vektorů (obrázků) si spočteme průměrný vektor Ψ: 55

56 1 P i (5.3) P i= 1 ψ = Γ Na obrázku je vidět trénovací sada obrázků tváří uživatelů systému. Sada obsahuje 2 tváře od každého z 10 uživatelů systému, tedy celkem 20 tváří. Obr. 5.16: Trénovací kolekce obrázků tváří uživatelů systému Průměrný obrázek dostaneme tak, že přeskládáme vektor Ψ na původní rozlišení obrázků, v našem případě tedy 112 x 92 pixelů. Průměrný obrázek trénovací sady je na obr

57 Obr. 5.17: Průměrný obrázek trénovací sady Od každého obrázku sady Γ i, poté odečteme průměrný obraz Ψ (provedeme centrování dat): Φ = ( Γ Ψ ) (5.4) i i Takto získané vektory uspořádáme do matice A=[ Φ 1 Φ 2 Φ i ], kde každý sloupec popisuje jeden z vektorů Φ. Matice A má tedy n řádků a P sloupců a je vstupem do analýzy hlavních komponent, která hledá množinu n ortonormálních vektorů u i, které nejlépe popisují distribuci dat. Hledané vektory u i a skaláry λ i (dále jen eigenvectors a eigenvalues) jsou tedy námi hledané vektory (též hlavní komponenty), resp. vlastní čísla kovarianční matice C: C 1 P T T i i AA (5.5) P i = 1 = ΦΦ = 57

58 Vidíme, že kovarianční matice C je řádu n x n. Což je velmi nepraktické, matice je příliš velká a výpočet vlastních čísel téměř nezvládnutelný. Proto vypočítáme kovarianční matici L a eigenvectors v i, podle vztahu, čímž se po úpravách dostaneme ke stejným eigenvectors u i, jako u matice C: L 1 P T T i i A A (5.6) P i = 1 = Φ Φ = Matice L je řádu P x P, což už je výpočetně zvládnutelné. Autoři v [24] uvádějí, že takovýto výpočet vlastníc čísel a vektorů je mnohem výhodnější, avšak pouze za předpokladu P<<n, tedy že počet obrázků v trénovací sadě je daleko menší, než je počet obrazových bodů jednotlivých obrazů. Tuto podmínku v našem případě bez problému splňujeme, neboť počet obrázků tváří v databázi je 20, přičemž jejich rozlišení je 112 x 92 obrazových bodů. Čímž se dostáváme k číslu n = Tedy 20<< (a) (b) Obr. 5.18: (a) kovarianční matice L, (b) matice vlastních čísel kovarianční matice L 58

59 Obr. 5.19: Setříděné hodnoty vlastních čísel kovarianční matice L Jak již bylo zmíněno, pro proces rozpoznávání potřebujeme znát vlastní vektory kovarianční matice C. K tomuto účelu použijeme vlastní vektory matice L. Musíme si tedy vypočítáme vlastní vektory v i z matice A T A a vyřešit rovnici: T A Avi = µ ivi (5.7) Což se dá zapsat i následovně: Lv µ i = ivi (5.8) Kde µ i jsou vlastní čísla matice C a v i jsou vlastní vektory matice L. Vztah mezi u i a v i je následující: = µ => = µ => T T A Avi ivi AA Avi i Avi (5.9) CAv = µ Av / Cu = µ u => u = Av i i i i i i i i Z čehož vyplívá důležitý poznatek, že vlastní hodnoty (eigenvalues) matic A T A a AA T jsou stejné a vlastní vektory (eigenvectors) jsou propojeny vztahem u i = Av i. 59

60 Po vyřešení této rovnice tedy získáme vlastní čísla a vektory matice C. Kovarianční matice L obsahuje nejvýše P vlastních čísel různých od nuly a platí, že tato čísla jsou shodná s vlastními čísly matice C. U vlastních vektorů však toto bohužel neplatí. Vlastní vektory v i kovarianční matice L uspořádáme po řádcích do matice W. K matici U vlastních vektorů kovarianční matice C se poté dostaneme s využitím výše zmíněného vztahu tak, že: U = A W (5.10) Dostaneme tak matici U, která obsahuje v P řádcích vlastní vektory délky n, které tvoří bázi prostoru eigenspace. Vektory je poté ještě nutno seřadit podle příslušných vlastních čísel od největšího k nejmenšímu. Matice U tedy obsahuje k vybraných vlastních vektorů (příslušejících ke k největším vlastním číslům), které nazýváme eigenfaces. Tímto způsobem jsme zredukovali původní n-dimenzionální prostor obrázků na k-rozměrný. Počet eigenfaces (tedy hodnotu k) je možné heuristiky určit dle hodnot vlastních čísel. Malá vlastní čísla málo přispívají k popisu odchylek mezi obrázky, a proto můžeme tyto příslušné vlastní vektory ignorovat. Naopak největší vlastní čísla nejlépe charakterizují zpracovávanou sadu obrázků. Vlastní vektory matice U také musíme normalizovat na jednotkovou velikost: u = 1 (5.11) i Původní n-rozměrný prostor redukujeme na k-rozměrný promítnutím n- rozměrného vektoru Γ do prostoru obrázků tváří. Tedy transformovat trénovací sadu tváří do eigenfaces komponent: T ω = u ( Γ Ψ ), i= 1,..., k (5.12) i i ω1 ω 2 Ω=... ωk (5.13) 60

61 Zjednodušeně se to dá popsat tak, že máme v potřebném tvaru vytvořenou matici V, do které transformujeme trénovací sadu tváří uloženou v matici A. Předpokládá se, že jednotlivé transformované eigenfaces vkládáme po řádcích do matice Ω: V T ω =Φi (5.14) Ω je redukovaný k-rozměrný vektor, obvykle nazývaný jako vektor tvaru vah. Vektor vyjadřuje příspěvek každého vlastního vektoru pro reprezentaci obrázku, vlastní vektory tedy tvoří základní množinu kolekce obrázků tváří. Každá tvář (po odečtení průměrné tváře) z trénovací sekvence může být totiž vyjádřena jako lineární kombinace k největších vlastních vektorů. _ Φ Ψ= k T ω ju j,( ω j = u jφi ) (5.15) j= 1 Obr. 5.20: Ukázka prvních 9 eigenfaces 61

62 5.2.2 Proces rozpoznávání Po všech těchto krocích jsme si připravili trénovací sekvenci tváří tak, že můžeme přistoupit k samotnému procesu rozpoznávání. Princip je téměř totožný s principem vytváření trénovací sekvence. V prvém kroku neznámý obraz vycentrujeme (normalizujeme): Vycentrovaný obrázek promítneme do eigenspace: Φ T =Γ Ψ (5.16) ω = u Φ (5.17) T it i T Složením matice: ω1t ω 2T Ω T =... ωkt (5.18) Po tomto procesu pouze zbývá rozhodnout o tom, jaká tvář z trénovací sady je nejpodobnější tváři neznámé. Provedeme to tak, že určíme vzdálenost trénovacích eigenfaces Ω k eigenface Ω T neznámé tváře. V této práci používám určení pomocí Euklidovy vzdálenosti, ale nabízejí se i jiné metriky, jako je Mahalanobisova vzdálenost, Hammingova, či zobecněná Minkowskiho. Z nalezené minimální vzdálenosti poté určíme z trénovací sady odpovídající tvář. K nalezení odpovídající tváře můžeme použít buď minimální vzdálenost, nebo tuto vzdálenost doplnit ještě prahem. Pokud nebude minimální vzdálenost menší než určitá prahová hodnota, k nalezení odpovídající tváře nedojde. Minimální vzdálenost: e r = min l ΩT Ω (5.19) kde při využití prahu musí být minimální vzdálenost e r menší než je prahová hodnota T r : e r < Tr (5.20) 62

63 5.2.3 Vyhodnocení PCA Databáze tváří uživatelů systému je pro ověřovací účely tvořena počtem 10 lidí různého pohlaví a stáří, z nichž každý uživatel je v databázi zastoupen dvěma normalizovanými obrazy své tváře (celkem tedy 20 tváří v databázi) viz. Kap , Obr Při simulaci biometrického zabezpečovacího systému a vyhodnocování jeho úspěšnosti pro rozpoznávání tváře pomocí metody PCA jsem postupoval následovně: a) Předkládaný obraz tváře, kterou hodláme rozpoznat (nebo verifikovat) má neutrální výraz. Výraz tváře je velmi podobný výrazu tváře uložené v databázi. Viz. Obr Obr. 5.21: Neutrální výrazy tváří 63

64 b) Předkládaný obraz tváře, kterou hodláme rozpoznat nemá neutrální podobu. Tváře mají různý výraz, jsou různě natočené a od těch v databázi se v tomto ohledu částečně liší. Viz. Obr Obr. 5.22: Pozměněné natočení a výrazy tváří c) Předkládaný obraz tváře, kterou hodláme rozpoznat je mírným způsobem modifikován. Může se jednat např. o šum, nebo o rozmazání (nezaostření) obrazu, či rozmazání vinou pohybu. Nebo je obraz doplněn o různé šmouhy simulující např. nečistoty na čočce videokamery. Obr. 5.23: Mírně modifikované obrazy tváří 64

65 d) Předkládaný obraz tváře, kterou hodláme rozpoznat je výrazným způsobem modifikován. Jedná se o výrazné deformace obrazu, kdy tvář na obraze např. není vidět celá, je různě natočená apod. Tyto obrazy tváří se od těch uložených v databázi velmi výrazně liší. Dalo by se říci, že už s obrazy tváří nemají mnoho společného. Obr. 5.24: Výrazně modifikované obrazy tváří Všechny kolekce neznámých tváří byly testovány tak, že v prvním případě byla hledána vždy nejbližší (nejpodobnější) tvář, nezávisle na Euklidově vzdálenosti. V druhém případě byla Euklidova vzdálenost doplněna prahem, a pokud tento byl menší než nejmenší Euklidova vzdálenost, k rozpoznání tváře nedošlo. Doplněním prahové hodnoty, která musí být větší než je Euklidova vzdálenost se mohou částečně vyřešit problémy špatného určení tváře. V případě systému bez prahové hodnoty se totiž po předložení jakéhokoliv obrazu, ať již je to obraz tváře nebo není, vybere z databáze tvář, která má k tomuto vstupnímu obrazu nejmenší vzdálenost. V biometrických zabezpečovacích systémech lze toto řešit např. přidáním jisté prahové hodnoty. Navíc ze své podstaty je tento systém spíše verifikující, než rozpoznávající. Tvář sice rozpoznává, ale primárně určuje, jestli opravdu patří tomu, komu má. 65

66 a) Neutrální výraz tváře První tabulka zobrazuje stav, kdy je rozpoznání prováděno na základě nejmenší Euklidovy vzdálenosti mezi eigenface trénovací sady (bez ohledu na hodnotu) Ω T neznámé tváře a eigenfaces Ω Číslo obrazu Euklidova vzdálenost Správně rozpoznáno 1. 15,41 Ano 2. 7,04 Ano 3. 12,07 Ano 4. 23,17 Ano 5. 28,37 Ano 6. 11,61 Ano 7. 81,52 Ano 8 36,50 Ano 9. 20,81 Ano ,37 Ano Úspěšnost [%] 100 Tab. 5.1: Rozpoznávání. Neutrální výraz tváře Obr a 5.24 zobrazují příklad rozpoznávání tváře. Na obr a) je vidět vstupní neznámá tvář a na b) je vidět nalezená odpovídající tvář uložená v databázi. Obr zobrazuje Euklidovy vzdálenosti testovacího obrazu na všechny obrazy tváří uložených v trénovací sadě. Na tomto obrázku je vidět i výběr a hodnota nejmenší Euklidovy vzdálenosti. a) b) Obr. 5.25: a) Testovací obraz tváře, b) Nalezená odpovídající tvář uložená v databázi 66

67 Obr. 5.26: Euklidovi vzdálenosti testovacího obrázku tváře na trénovací sadu V dalším případě byl proces rozhodování doplněn o určitou hodnotu prahu: - V prvním případě měl práh T r hodnotu 200, tedy ne příliš vysoká podobnost. Testovací obraz a odpovídající obraz tváře se mohou částečně lišit. - Ve druhém případě měl práh T r hodnotu 100, tedy relativně velká podobnost. Testovací obraz a odpovídající obraz tváře se mohou lišit jen mírně. Z tabulky je patrné, že pří T r = 200 nebylo s rozpoznáváním problém. Při T r = 100 nastal problém s rozpoznáním jedné tváře. Ekvivalentní tvář nebyla vinou nízké rozhodovací úrovně vůbec nalezena. 67

68 Číslo obrazu Euklidova vzdálenost Hodnota prahu T r Nalezena tvář Správně rozpoznáno 1. 15, Ano Ano 2. 7, Ano Ano 3. 12, Ano Ano 4. 23, Ano Ano 5. 28, Ano Ano 6. 11, Ano Ano 7. 81, Ano Ano 8. 36, Ano Ano 9. 20, Ano Ano , Ano Ano Úspěšnost [%] , Ano Ano 2. 7, Ano Ano 3. 12, Ano Ano 4. 23, Ano Ano 5. 28, Ano Ano 6. 11, Ano Ano 7. 81, Ano Ano 8. 36, Ano Ano 9 20, Ano Ano , Ne - Úspěšnost [%] 90 Tab. 5.2: Rozpoznávání. Neutrální výraz tváře + rozhodovací úroveň b) Mimický výraz tváře Číslo obrazu Euklidova vzdálenost Správně rozpoznáno ,63 Ano 2. 14,76 Ano 3. 43,96 Ano 4. 23,56 Ano ,12 Ano 6. 49,32 Ano ,34 Ano 8 64,03 Ano 9. 27,56 Ano ,57 Ano Úspěšnost [%] 100 Tab. 5.3: Rozpoznávání. Mimický výraz tváře 68

69 výrazy tváře. V těchto testech se testuje za stejných principů jako v testech a) Neutrální Číslo obrazu Euklidova vzdálenost Hodnota prahu T r Nalezena tvář Správně rozpoznáno , Ano Ano 2. 14, Ano Ano 3. 43, Ano Ano 4. 23, Ano Ano , Ano Ano 6. 49, Ano Ano , Ano Ano 8. 64, Ano Ano 9. 27, Ano Ano , Ano Ano Úspěšnost [%] , Ne , Ano Ano 3. 43, Ano Ano 4. 23, Ano Ano , Ne , Ano Ano , Ne , Ano Ano 9 27, Ano Ano 10 35, Ano Ano Úspěšnost [%] 70 Tab. 5.4: Rozpoznávání. Mimický výraz tváře + rozhodovací úroveň c) Mírná degradace obrazu V těchto testech jsou pro rozpoznávání tváře předkládány obrazy, které jsou různým způsobem mírně upraveny (např. šum, rozostření), avšak lidé na nich mají neutrální výraz. Za povšimnutí stojí, že ačkoliv jsou obrazy upraveny, je zde dosaženo lepších výsledků (menších Euklidových vzdáleností), než při testování tváří s mimickými výrazy. Z výsledků vyplývá, že tato metoda je vůči různým chybám v obraze (šum, 69

70 rozostření) odolnější, než v případě rozpoznávání tváří, které mají jiný mimický výraz, než mají tváře v trénovací sadě. Číslo obrazu Euklidova vzdálenost Správně rozpoznáno 1. 16,94 Ano 2. 7,68 Ano 3. 11,46 Ano 4. 41,42 Ano 5. 21,21 Ano 6. 70,32 Ano 7. 90,53 Ano 8 48,93 Ano 9. 94,91 Ano ,05 ne Úspěšnost [%] 90 Tab. 5.5: Rozpoznávání. Mírná degradace obrazu Na obr a 5.26 je vidět neúspěšný proces rozpoznávání neznámé tváře. Nejnižší hodnota Euklidovy vzdálenosti neodpovídá tváři, kterou hledáme. a) b) Obr. 5.27: a) Testovací obraz tváře, b) Chybně nalezená tvář uložená v databázi Na obr je vidět graf Euklidových vzdáleností testovacího obrázku tváře na trénovací sadu. Zelenou barvu má číslo a Euklidova vzdálenost odpovídajícího (správného) námi hledaného obrázku tváře. Červenou barvu má číslo a Euklidova vzdálenost mylně nalezeného obrázku tváře. Tento mylně nalezený obraz tváře má však nejmenší Euklidovu vzdálenost. 70