POÍTAOVÁ PODPORA DETEKCE ZAJÍMAVÝCH OBRÁZK Pavel Krsek a Jií Matas VUT, Fakulta elektrotechnická, Centrum aplikované kybernetiky Technická 2, 166 27 Praha 6 Úvod a motivace Pi zpracování a výmn dat prostednictvím velkokapacitních datových sítí je velmi obtížné zamezit jejich zneužití, nebo alespo takové zneužití odhalit. Pi sledování komunikace v takovéto síti získáváme velké množství nejrznjších dat. Jejich manuální analýza je velmi nákladná a asto nereálná z dvod omezených kapacit. V tchto pípadech je možné využít automatickou i poloautomatickou analýzu dat, v naší úloze digitalizovaných obrázk. V lánku je popsána úloha, která vychází z konkrétní poteby analyzovat velké množství obrazových dat. První krok této analýzy lze popsat jako hledání zajímavých obrázk, které budou postoupeny k dalšímu vyhodnocení. Zadavatelem doposud používané manuální prohledávání je z dvodu velkého potu prohledávaných obrázk asov nároné a pro operátora únavné. Typicky je poteba prohledat desítky tisíc obrázk, v nichž je jen velmi málo zajímavých obrázk. etnost hledaných obrázk je obvykle 1 ku tisíci až 1 k milionu. Naším cílem je podpoit proces vyhledávání zajímavých obrázk metodami poítaového zpracování obrazu a automatické klasifikace. Zadavatel uvedl, že zajímavé obrázky jsou ve vtšin pípad textové dokumenty i nártky. V menší míe pak lze za zajímavé oznait také portrétní fotografie a identifikaní snímky konkrétních osob i míst a zaízení. Obrázky, které budeme klasifikovat, jsou získány na internetu a v odkládacích prostorech internetových server. V množin nezajímavých snímk pevládají proto pedevším erotické snímky a nejrznjší loga s malým rozlišením. Vyhledávání zajímavých obrázk spoívá v rozpoznání obrazu a jeho zaazení mezi obrázky, které budou analyzovány specialistou, nebo mezi obrázky, které nemá
smysl vyhodnocovat. Takto popsaný problém je klasickým píkladem binární klasifikace do dvou tíd. Pi klasifikaci popisujeme pedmt jednotlivými ísly píznaky. Na základ tchto píznak rozhoduje klasifikátor o zaazení objektu do tídy. Existuje ada algoritm pro realizaci klasifikace vetn algoritm strojového uení klasifikátoru. Píkladem mohou být algoritmy SVM [1] i AdaBoost [2]. Podpora vyhledávání Ze zkušenosti však vyplývá, že zajímavostí obrázku je mnoho druh. Operátor sám není asto jednoznan schopen posoudit úrove zajímavosti. Tu je možné pesnji urit až po složité analýze, porovnání s dalšími obrázky a s využitím dalších informací. Proto není vhodné pro rozhodování využít klasický binární klasifikátor, který neumožní operativní úpravu kritérií. V našem pípad se ukázalo jako vhodnjší modelovat vlastnost zajímavost spojit a reprezentovat ji reálným íslem. Obrázky jsou nejdíve parametrizovány a ohodnoceny mírou zajímavosti. Na základ tohoto hodnocení jsou setídny a prezentovány operátorovi, který rozhodne o jejich další analýze nejen na základ jejich ohodnocení. Jak pro binární klasifikátor, tak pro pípad našeho spojitého ohodnocení obrazových dat, by bylo možné použít metod uení na základ píklad. Tyto metody dosahují použitelných výsledk jen za pedpokladu, že máme dostatený poet píklad, které vhodn popisují zadaný problém. Toho se v pípad obrazové informace, kdy nejsou kritéria exaktn dána, dosahuje vtšinou velkým množstvím píklad. V pípad malého potu píklad je u klasifikátor nutno vzít v úvahu možnost peuení. To je pípad kdy se klasifikátor nauí odlišit jednotlivé píklady a umožní jejich 100% klasifikaci, ale ztratí pitom schopnost zobecnní. Zpracovávaná data, která nebyla použita k uení, jsou pi peuení klasifikována chybn. Toto nebezpeí se zvyšuje nejen s nedostatkem píklad pro uení, ale také s rostoucím potem píznak. My jsme mli k dispozici jen 16 píklad zajímavých obrázk, oproti více jak 11 tisícm obrázk ostatních. Poet píklad a jejich nevyváženost nám neumožnila použít metody strojového uení. Proto jsme se zamili na rozbor píklad a pípravu programu pro runí nastavení hodnotící funkce a její ovování v praxi.
Píznaky Na základ informací od zadavatele a rozboru píkladu jsme implementovali dv skupiny píznak. První skupina je urena k detekci textu a nártk. Druhá skupina má za úkol potlait erotické snímky a pitom zachovat význam fotografií osob. Indikátory textu Pedpokládáme, že textový dokument se bude vyznaovat vysokým kontrastem jasu. Základem pro výpoet píznak textu je histogram jas, který reprezentuje relativní etnost jednotlivých jasových úrovní v obraze. Píklad histogramu pro textový obrázek (Obr. 2a) mžeme vidt na obrázku (Obr. 1). Jasový histogram je pro pehlednost zobrazen vynesen v semilogaritmických souadnicích. Obr. 1. Jasový histogram Globální kontrast G k definujeme jako jasovou vzdálenost dvou nejvyšších lokálních maxim v histogramu. Tato vzdálenost je udávána relativn k potu v obraze použitých jasových úrovní. Oborem hodnot je interval (0-1). Nejvtší možný kontrast je reprezentován íslem 1.
Analýza histogramu umožuje segmentaci (binarizaci) obrázk textových dokument na popedí a pozadí (Obr. 2b). Po segmentaci jsou vyhodnoceny níže popsané parametry popedí. Segmentace probíhá prahováním. Práh je nalezen adaptivn jako jas odpovídající minimu na histogramu mezi dvma nejvtšími lokálními maximy. Za popedí je považována ta ást obrazu, která zabírá menší plochu náleží k ní mén bod. To nám umožuje rozpoznat nejen dokumenty psané na svtlém pozadí, ale i dokumenty psané bíle na tmavém pozadí. (a) (b) Obr. 2. Segmentace textového dokumentu. Originální obrázek (a) a segmentovaný binární obrázek (b) Nelineární funkce plochy popedí P p vychází ze známého pedpokladu, že plocha pokrytá znaky, tj. erní (resp. bílou), je u tištných dokument cca 5% plochy dokumentu. Píznak v rozsahu (0-1) indikující textový dokument je nelineární transformací plochy popedí. Funkce nabývá hodnoty 1 v intervalu 3-10%. V intervalu 0-3% roste a v intervalu nad 10% opt klesá k nule. Kompaktnost popedí K p je píznakem zachycujícím složitost tvaru popedí. Lze oekávat, že popedí bude v pípad textu rozdleno do vtšího potu oblastí s adou otvor. Proto bude kompaktnost textu velmi malá. Kompaktnost mžeme vypo- íst jako pomr plochy oblasti a kvadrátu délky její hranice. kde P p je plocha popedí a 16P K p =, H p 2 p H p je délka hranice popedí, která se získá jako poet bod z popedí sousedících s pozadím ve tyokolí. Pro klasifikaci používáme nelineární
transformaci kompaktnosti, která vyjaduje nekompaktní oblast íslem 1 a vyznauje se rychlým poklesem pi lineárním rstu kompaktnosti. Barva lidské kže Erotické obrázky jsou poetnou množinou obrázk, které nejsou pro zadavatele zajímavé. Pro jejich odlišení byl implementován píznak relativní plocha oblastí barvy lidské pokožky K Z. V pípad segmentace oblastí dané barvy vycházíme z modelu barvy pokožky. Model je realizován tírozmrným histogramem reprezentujícím pravdpodobnost, že daná barva je barvou pokožky. Histogram byl získán analýzou barvy v sekvenci vzorových obrázk. Píklad segmentace lidské pokožky je na obrázku 3. Rozsahem hodnot tohoto píznaku je interval (0-1). Detekce obliej Pro zkvalitnní detekce identifikaních fotografií osob byla implementována detekce tváí v obraze. Použitý detektor je založen na metod AdaBoost [3] jejímiž píznaky jsou rozdíly jas oblastí v obraze. Jeho výhodou je postupné vyhodnocování píznak, které umožuje postupn vyazovat jednotlivé hypotézy o pítomnosti oblieje na dané pozici v obraze. (a) (b) Obr. 3. Detekce oblastí odpovídajících barvou lidské pokožce. Originální obrázek (a) a obrázek (b) s ern vyznaenými oblastmi odpovídajícími pokožce Základním píznakem, který vychází z výsledk detektoru tváí je poet frontálních obliej F N. Krom prostého potu detekovaných tváí jsme implementovali
také relativní plochu detekovaných obliej F a. Tento píznak vychází z plochy obdélník opsaných detekovaným tváím. Tyto obdélníky jsou výstupem detektoru urujícím velikost a polohu detekovaných tváí. (a) (b) Obr. 4. Detekce tváí v obrázku. Originální snímek (a) a obrázek s obdélníky oznaujícími detekované tváe (b). Pedevším pro odlišení obrázk s erotickými námty jsme použili pomr plochy odpovídající svojí barvou kži a plochy detekovaných obliej. Vycházíme pitom z pedpokladu, že u zajímavých snímk tváe je plocha pokožky srovnatelná s plocho oblieje, zatímco u pro nás nezajímavých obrázk výrazn pevládá plocha pokožky. Samotný pomr ploch nevykazuje vhodný prbh funkce pro oblast našeho zájmu. Navíc by byl její výsledek jen velmi tžko porovnatelný s výsledky ostatních píznak. Proto jsme pipravili nelineární funkci pomru K / F jejíž rozsah hodnot je interval (0-1). Hodnota 1 pitom znamená, že je pomr ve prospch plochy tváí, zatímco klesající hodnota udává zvyšující se podíl plochy pokožky. Vyhodnocení míry zajímavosti z a Protože nebylo možné použít metody automatické konstrukce klasifikátoru, implementovali jsme klasifikátor pouze jako jednoduchou lineární funkci píznak jejímž výsledkem je míra zajímavosti obrázku. Tuto lineární funkci lze zapsat rovnicí:
N Z = a i z i, i= 1 kde z i jsou hodnoty jednotlivých píznak a a i jsou váhové koeficienty. Klasifikátor je nastavován obsluhou na základ experiment a požadavk na výbr obrázk. Lineární klasifikaní funkce byla vybrána práv s ohledem na možnost snadného nastavení jednotlivých koeficient. Její rozhodovací schopnost je však omezená. Nakonec jsou snímky setídny vzestupn podle výsledné hodnoty rozhodovací funkce. Implementace umožuje nastavovat její koeficienty a provádt petídní obrázk, ímž umožní uživateli pro nj optimální nastavení. Píznaky jsou vypoteny pedem a tak se zmna váhových koeficient mže projevit tém okamžit. Závr Implementace algoritmu je rozdlena do dvou ástí. Hlavní program provádí výpoet parametr, který pedstavuje asov nejnáronjší operaci. Pro setídní a zobrazování je použit samostatný program v Matlabu. Výpoet píznak trvá pibližn 0.3 sekundy pro obrázek 640 x 480 bod na poítai s procesorem AMD 1.2 GHz. Pitom více jak 80% tohoto asu zabírá detekce tváí. Navržené a implementované ešení není ideální z hlediska klasifikace a možností automatického uení, ale je vyhovující z hlediska uživatele. Použití algoritm strojového uení a klasifikace bylo omezeno pedevším nedostatkem píklad zajímavých obrázk, které z velké ásti nemohly být poskytnuty akademickému pracovišti. Zadavatel systém nasadil a vyjádil s jeho funkcí spokojenost. Pedpokládáme, že další vývoj by mohl jít práv smrem využití metod strojového uení. Podkování Tato práce byla podporována z prostedk projektu Ministerstva školství R íslo 1M0567.
Literatura [1] Vapnik: The Nature of Statistical Learning Theory. Berlin, Springer Verlag 1995. [2] Y. Freund a R.E. Shapire: A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55(1):119 139, srpen 1997. [3] J. Šochman a J. Matas: WaldBoost - Learning for Time Constrained Sequential Detection Face detection. Proc. of Conference on Computer Vision and Pattern Recognition (CVPR), str. 150-157, IEEE Computer Society, erven 2005.