SMART CAR: DETEKCE DOPRAVNÍCH ZNAČEK SMART CAR: TRAFFIC SIGNS DETECTION

Transkript

1 VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ BRNO UNIVERSITY OF TECHNOLOGY FAKULTA INFORMAČNÍCH TECHNOLOGIÍ ÚSTAV POČÍTAČOVÉ GRAFIKY A MULTIMÉDIÍ FACULTY OF INFORMATION TECHNOLOGY DEPARTMENT OF COMPUTER GRAPHICS AND MULTIMEDIA SMART CAR: DETEKCE DOPRAVNÍCH ZNAČEK SMART CAR: TRAFFIC SIGNS DETECTION BAKALÁŘSKÁ PRÁCE BACHELOR S THESIS AUTOR PRÁCE AUTHOR VEDOUCÍ PRÁCE SUPERVISOR Martn Brzoza Ing. Vítězslav Beran BRNO 2009

2 Abstrakt Tato bakalářská práce se zabývá známým postupy detekce dopravních značek ve vdeo sekvenc. Z úvodu se věnuje jejch popsání a vytyčení hlavních výhod a nevýhod s ohledem na rychlost zpracování a přesnost detekce. V dalších kaptolách je pak navržen kompletní systém pro detekc a klasfkac dopravních značek. V závěru je tento systém otestován na vytvořené testovací sadě dat a zhodnoceny výsledky expermentů. Práce je zaměřena na metodu Template Matchng pro klasfkac a model hodnocení barevného vzhledu CeCam97, pro hledání kanddátních oblastí. Abstract Ths bachelor s thess s concerned about known methods of detecton traffc sgns n vdeo sequence. In ntroducton are explaned and located man benefts n the lght of process speed and accuracy of detecton. At the next chapters s desgned system for traffc sgns detecton and classfcaton. In the end s ths system tested on prepared testng data and results are evaluated. The work s focused on method Template Matchng for classfcaton and color appearance model CeCam97 for detectng canddate areas. Klíčová slova detekce dopravních značek, opencv, cecam97, template matchng, hledání kontur Keywords traffc sgns detecton, opencv, cecam97, template matchng, fnd contours Ctace Brzoza Martn: SMART CAR: Detekce dopravních značek, bakalářská práce, Brno, FIT VUT v Brně, 2009

3 SMART CAR: Detekce dopravních značek Prohlášení Prohlašuj, že jsem tuto bakalářskou prác vypracoval samostatně pod vedením Ing. Vítězslava Berana a uvedl jsem všechny lterární prameny a publkace, ze kterých jsem čerpal. Martn Brzoza Poděkování Chtěl bych velce poděkovat mému vedoucímu Ing. Vítězslavov Beranov za odbornou pomoc, cenné a užtečné nformace př řešení této bakalářské práce. Martn Brzoza, 2009 Tato práce vznkla jako školní dílo na Vysokém učení technckém v Brně, Fakultě nformačních technologí. Práce je chráněna autorským zákonem a její užtí bez udělení oprávnění autorem je nezákonné, s výjmkou zákonem defnovaných případů. 3

4 Obsah Obsah Úvod Metody detekce dopravních značek Segmentace obrazu pomocí barev Vytvoření bnárního obrazu pomocí RGB Redukce barev pomocí HSV Vytvoření bnárního obrazu pomocí modelu CeCam Segmentace obrazu pomocí hran Hranové operátory Cannyho hranový detektor Hledání geometrckých tvarů v obraze Houghova transformace RANSAC Metody rozpoznání dopravních značek Template matchng Neuronové sítě FOST Možné problémy Návrh systému Implementace a testy OpenCV Segmentace obrazu Pops Řešené problémy Klasfkace dopravní značky Pops Řešené problémy Testy Závěr

5 1 Úvod Dopravní značky patří mez základní prvky utvářející pravdla provozu na pozemních komunkacích. Upozorňují řdče na případné nebezpečí, upravují přednost vozdel, nformují o přítomnost důležtých objektů. Pokud by naším cílem bylo vytvoření systému ntelgentního vozdla, který by byl schopný řdč podat důležté nformace o provozu a umožnt mu tak soustředt se více na další důležté čnnost řízení, detekce dopravních značek by byla jedna z nejdůležtějších částí. Dopravní značení v České republce a na Slovensku se začalo utvářet kolem roku Od té doby prodělalo velm rozsáhlý vývoj. Přbylo několk nových kategorí barev tvarů. Rozdělení dopravních značek do skupn, včetně specfckého popsu s můžeme prohlédnout v obr Obrázek 1.1: Přehled dopravního značení v České republce 2

6 2 Metody detekce dopravních značek Mnoho známých metod detekce dopravních značek se zakládá na základních předpokladech o tvaru značky a barvy kontury, která j ohrančuje. Tímto postupem jsou vybrán případní kanddát, kteří by mohl být dopravní značkou. Pokud jsou v této část použty vysoké krtéra a metoda je dostatečně slná, podaří se nám najít s velkou pravděpodobností všechny značky v obraze. Další částí je nalezenou oblast značky klasfkovat. Tato část nám řekne, jž správné označení dopravní značky. Klasfkace se také používá pro redukc nalezené množny potenconálních značek. V opačném případě, kdy nám detekce značky některou z oblastí nenašla, nám jž klasfkace nepomůže. 2.1 Segmentace obrazu pomocí barev Společným prvkem těchto metod je, že se snaží najít oblast dopravních značek pomocí barevné nformace. Většnou se hledá barva kontury, která značku ohrančuje, jako například červená v případě zákazových značek. Nevýhodou těchto metod bývá jejch závslost na kvaltě barvy značky, osvětlení scény a dalším podnebným podmínkám. Proto se často volí barevné modely podávající nformace odpovídající více ldskému vnímání barvy Vytvoření bnárního obrazu pomocí RGB RGB je jeden z nejpoužívanějších a nejznámějších barevných modelů. Reprezentuje nformac o barvách většny montorů a projektorů. Používá adtvní způsob míchání tří barevných složek červené (R), zelené (G) a modré (B). To znamená, že výsledná barva odpovídá kombnac ntenzt těchto tří barevných složek. Tento barevný model je pro aplkac detekce dopravních značek jen velm obtížně použtelný, neboť zanedbává vlv osvětlení na celkové podávané nformac o barvě. O použtí tohoto barevného modelu se pokusl například autor [1]. Jedním z možných řešení vlvu osvětlení na celkovém podání barvy bylo vyřešeno použtím poměrů mez jednotlvým barevným složkam, jaké můžeme vdět ve vzorc (1), pro práh výstražných dopravních značek. Výsledkem této metody je pak bnární obraz, kde bílé jsou body splňující daný práh a černé zůstanou ostatní. Jednou z významných výhod této metody je, že s nežádá žádné složté matematcké výpočty pro převod a je tak velce nenáročná. r / g & r / b & g / b (1) w w w 3

7 Proměnné r, g, b odpovídají hodnotám ntenzt těchto tří barevných složek v daném bodě obrazu; α w, β w, γ w jsou konstanty určující práh úrovní pro výstražné dopravní značky Redukce barev pomocí HSV Jedním z barevných modelů, který se snaží popsat barvu mnohem věrněj, s ohledem na ldské vnímání barvy je HSV (Hue, Saturaton, Value). Hue představuje samotný odstín barvy. Zapsuje se ve stupních, v rozsahu <0,360 >. Saturaton odpovídá nasycení barvy nebo také čstotě barvy. Udává se v procentech a určuje příměs šedé barvy do výsledného odstínu barvy. Poslední hodnotou je Value a jedná se o hodnotu jasu barvy. Jeden z praktckých využtí modelu je možné vdět v [2]. Celý barevný prostor zkoumaného obrazu je v této prác redukován pomocí hodnot HSV do osm základních barev- červené, žluté, zelené, azurové, modré, falové, černé a bílé. V takto redukovaném obraze jsou pak případní kanddát dopravní značky hledán pomocí hstogramu vertkální nebo horzontální projekce červené barvy (pokud tedy hledáme např. zákazové dopravní značky). Jedná se o hstogram, který nám podává statstcké nformace o úrovních dané barevné složky pro určtý sloupec obrázku (vertkální) nebo řádek (horzontální). Vybrána je pak spojtá oblast s nejvyšší úrovní v těchto hstogramech. Výhodou může být to, že takový hstogram můžeme porovnávat s hstogramy projekce známých geometrckých tvarů a získat tak nformace o tvaru takovéto oblast. Obrázek 2.1: Vlevo orgnál, vpravo po redukc barev modelem HSV Obrázek 2.2: Vlevo: hstogram horzontální projekce červené barvy, vpravo: hstogram vertkální projekce červené barvy 4

8 Obrázek 2.3: Vlevo: typcká horzontální projekce pro trojúhelník, vpravo: vertkální Vytvoření bnárního obrazu pomocí modelu CeCam97 Model pro hodnocení barevného vzhledu přjatý v roce 1997 organzací CIE, se snahou o vytvoření určtého standardu na pol této problematky. Tento model s klade za cíl podat věrohodné nformace o vzhledu barvy za odlšných pozorovacích podmínek. Jelkož výčet všech vstupů a výstupů z modelu je celkem obsáhlý jejch přehled můžeme vdět v tabulce 2.1. Tabulka 2.1: Vstupy modelu CeCam97 Označení Pops X, Y, Z relatvní trstmulus barevné složky X w, Y w, Z w relatvní trstmulus bílé barvy La, Yb jas adaptační oblast, relatvní jas pozadí c, Nc, Fll, F další parametry popsující okolí Tabulka 2.2: Výstupy modelu CeCam97 Označení Pops J světlost h odstín C sytost barvy M barevnost S nasycení barvy Q jas Jak je vdět jedná se o velce škálovatelný model, který podává velké množství nformací o zkoumané barvě. Abychom se nemusel trápt měřením a výpočtem mnoha vstupních parametrů, bylo ustanoveno několk základních hodnot parametrů pro odlšné pozorovací podmínky, které můžeme vdět v tabulce 2.3. Organzace CIE pak také defnovala standardní lumnant D65, který odpovídá dennímu světlu a ten defnuje relatvní trstmulus bílé barvy jako X=95.04, Y=100.00, Z=

9 Tabulka 2.3: Typcké nastavení modelu CeCam97 Zkoumané okolí F c Nc Průměrné Matné Temné Možné užtí tohoto modelu pro detekc dopravních značek lze vdět například v [3]. Nejdříve jsou převedeny jednotlvé RGB barevné složky pomocí vztahu (2) na relatvní XYZ trstmulus barevné složky a dále pak pro každý bod vypočteny hodnoty sytost barvy (C) a odstínu (H). Z těchto hodnot je pak podle nastavených prahů vytvořen bnární obraz. Autor se snaží využít plného potencálu modelu a umožňuje podle odlšných pozorovacích podmínek nastavovat parametry modelu. Vybírá se mez slunečným, deštvým a oblačným počasím. Pro každé nastavení se pak mění nastavení prahů hodnot sytost a odstínu barvy a relatvní trstmulus bílé barvy. Je uváděno až 94% úspěšnost segmentace dopravní značky př slunečném počasí. X Y Z R G B (2) Toto vše je bohužel vykoupeno náročností mplementace a vysokou výpočetní náročností, díky častému používání mocnn a gonometrckých funkcí. Model prošel jž několka vylepšením a nyní je k dspozc verze CeCam Segmentace obrazu pomocí hran Hrana představuje v obraze místa s prudkou změnou úrovně jasu. Vstupem těchto metod bývá obrázek převedený do stupňů šed. Problémem základních metod pro detekc hran v obraze bývá šum, proto se provádí práhování velkostí nalezené hrany, kdy zůstanou pouze ty výrazné a aplkování Gaussova fltru, před samotnou detekcí, pro redukc šumu. Dopravní značky jsou tvořeny základním geometrckým tvary a ty je možné detekovat metodam uvedeným v kaptole 2.3, což je další krok po detekc hran v obraze. Nevýhodou těchto metod bývá detekce v terénu bohatém na geometrcké obrazce (sídlště, městská centra), naopak významnou výhodou oprot metodám založených na barevné nformac bývá odolnost prot nekvaltnímu obarvení značky nebo rozdílným světelným podmínkám. 6

10 Další možností je podle nalezených hran, detekovanou oblast přímo klasfkovat. Možnou aplkac můžeme vdět v [4], kde autor porovnává hstogramy orentací nalezené oblast a kanddátních značek. Cílem této kaptoly je seznámení základních možností detekce hran v obraze a jejího možného uplatnění. Nakonec je pak uveden jeden z, v současnost nejpoužívanějších detektorů Cannyho hranový detektor. Obrázek 2.4: Vlevo: zdrojový obraz, uprostřed: obraz ve stupních šed, napravo: po použtí Canny hranového detektoru Hranové operátory Používají se většnou k řešení první a druhé dervace jasové hodnoty obrazu. Mez nejznámější hranové operátory řešící první dervac patří Sobelův, Robertsův, pro druhou pak např. Laplaceův. První dervací obrazové funkce o dvou proměnných x a y získáváme gradent, čl nformac o směru prudké změny jasu v oblast hrany a její velkost. Vznká však velký problém se šumem, kdy je třeba volt správný práh, určující velkost hrany, která je ještě vybrána. Pokud zvolíme přílš nízký práh, propouštíme tím do výsledku mnoho šumu. Pokud naopak zvolíme přílš vysoký práh, můžeme ztratt některé podstatné hrany Cannyho hranový detektor V současně době nejpoužívanější detektor. Podává velm dobré výsledky. Na obraz je aplkován Gaussův fltr pro redukc šumu. Přílš šroké hrany jsou ztenčeny hledáním lokálních maxm ve směru gradentu. Práhování velkostí gradentu hran je provedeno s hysterezí, což znamená, že v obrazu ponecháváme slné hrany, tenké pouze pokud navazuje na některou ze slnějších hran. Možné využtí pro detekc dopravních značek můžeme vdět v [5]. Autor se zde však omezuje pouze na kruhové dopravní značky. Elpsy jsou v obraze redukovaném pouze na hrany detekovány pomocí Houghovy transformace. 7

11 2.3 Hledání geometrckých tvarů v obraze Naším dalším krokem po segmentac obrazu, ať jž pomocí barev nebo hran může být hledání určtých souvslostí mez nalezeným body. Můžeme hledat body, které leží na nějaké přímce nebo body, které utvářejí kružnc a klasfkovat další jednodušší geometrcké obrazce. Možnou nevýhodou těchto metod může být narůstající náročnost metod, př složtějších útvarech Houghova transformace Touto metodou lze hledat objekty, od nchž máme k dspozc analytcký pops. Je vhodná pro hledání jednodušších typů objektů, jakou je například přímka nebo elpsa. Pokud například v obrazu hledáme přímku, výsledkem této metody nám bude rovnce přímky, na které leží nejvíce bodů z množny bodů v prohledávaném prostoru. Základem je tedy rovnce (3). Hledané parametry jsou φ, r. Vybereme s lbovolný exstující bod v naší množně o souřadncích x, y. Výčet všech možných řešení φ a r v daném prostoru nám vytvoří spojtou křvku. V místě, kde se tyto křvky jednotlvých bodů protnou, jsou parametry hledané přímky (na této přímce leží nejvíce bodů). S počtem neznámých parametrů v rovnc roste výpočetní náročnost algortmu. Nevyplatí se takto hledat tvary, které mají více než dvě neznámé. Využtí pro hledání dopravních značek může být např. hledání elpsy dle rovnce (4). xcos ysn r 2 x a x b 2 2 r (3) (4) RANSAC RANSAC(Random Sample Consensus) lze použít pro hledání geometrckých tvarů, které lze popsat nějakým modelem nebo parametry. Náhodně vybíráme v obraze mnmální počet bodů, ze kterých lze vytvořt parametry hledaného modelu. Můžeme s představt, že hledaný model v množně zkonstruujeme (například přímka) a hledáme body v prohledávaném prostoru, které s určtou tolerancí (prahem) ještě konstruovanému modelu náležejí. Pokud je množství dostačující skončíme a výsledkem nám jsou parametry hledaného modelu. Pokud ne pokračujeme další terací algortmu. 2.4 Metody rozpoznání dopravních značek Template matchng Metoda vhodná pro hledání malých šablon v obraze. Šablona (template) je použta jako konvoluční maska, kterou aplkujeme na zdrojový obraz. V místě největšího výstupu se nachází hledaná šablona. 8

12 Nevýhodou této metody je docela velká výpočtová náročnost a závslost na velkost a natočení šablony. Proto vznkají různé alternatvy této metody Neuronové sítě Dle [6] se jedná o základní výpočetní model používaný v umělé ntelgenc. Pro naše účely se můžeme zaměřt na umělé neuronové sítě, jejchž vzorem je chování odpovídajících bologckých struktur. Základním stavebním kamenem takovéto sítě jsou neurony, které jsou vzájemně propojeny. Podle jejch propojení pak rozlšujeme různé typy archtektury sítě. Do jednoho neuronu může vstupovat sgnál z lbovolného počtu neuronů. Každý takový sgnál může mít nastavenu určtou váhu, s kterou do neuronu vstupuje. Neuron může mít pouze jeden výstup, jehož hodnota je dána výsledkem specfcké přenosové funkce. Typckou vlastností je možnost učt se. Jde o nastavení vah vstupů a prahů přenosových funkcí, tak aby podávaly odpovídající výstupy. Rozlšujeme tyto základní přístupy: Učení s učtelem je zde využto zpětné vazby. Sít je předložena sada trénovacích dat a máme základní nastavení vah vstupů a prahů. Podle výstupu sítě určíme chybu a provedeme korekc pro nové nastavení prahů a vah. Provedeme nový cyklus a vyhodnotíme novou chybu. Síť takto učíme, dokud nenalezneme takovou konfgurac, abychom dosáhl nám stanovenou mnmální chybu. Učení bez učtele Výstup se nevyhodnocuje, protože není znám. Síť dostává na vstupu sadu vzorů a tyto vzory s třídí například podle typckého zástupce. Použtí vyhodnocování neuronových sítí pro rozpoznání dopravní značky můžeme vdět v [5]. Jako vstupní vektor je použto 63 uzlů, 3 určují průměrné hodnoty úrovně červené, modré, zelené barvy, dalších 30 vertkální hstogram, zbytek horzontální. Hodnot je 30, protože velkost zkoumaného obrazu dopravní značky je normalzována na 30 řádků a 30 sloupců. Pro natrénování sítě byla vytvořena sada dopravních značek, kde pro každou značku bylo aplkováno několk typů zkreslení, jako například šum nebo rozmazání. Autor uvádí, že rychlost rozpoznávání takto natrénované neuronové sítě dosahuje průměrně ms, pro zpracování jednoho snímku zkoumané scény FOST Dle [1] je FOST(Foveal system for traffc sgns) založen na metodě BMV(Behavoral model of vsual percepton and recognton) [7]. Tento systém se snaží mtovat některé z mechansmů ldského vnímání tvarů. Imtuje změnu vnímání ostrost směrem od centra oční sítnce až po její perfere a složtý proces zaměření na důležté fragmenty rozpoznávaného prvku. Systém je odolný vůč jednoduchému natočení rozpoznávaného prvku, posunutí částečnému roztažení (změně velkost). 9

13 Ve FOST je každý obrázek určený pro rozpoznávání analyzován pomocí specálního senzoru, který můžeme vdět na obr. 2.5, důležté prvky tohoto systému pak můžeme shrnout do následujících bodů: Každé okolí jednoho ze 49 fxačních bodů senzoru je popsáno orentovaným segmenty, které se v něm nacházejí Fxační body senzoru se nacházejí na průsečících 16 přímek s třem kružncem o rozdílných průměrech Orentace segmentu je pak dána rozdílem dvou orentovaných gaussových funkcí s prostorově posunutým středem a krokem 22.5 Prostorově varantní reprezentace rysů obrazu je emulována gaussovu konvolucí, s rozdílnou velkostí operátoru rostoucí s vzdáleností od středu senzoru Obrázek 2.5: Vlevo senzor metody FOST, vpravo nalezené orentace hran okolí jednotlvých fxačních bodů Souřadnce jednotlvých fxačních bodů senzoru můžeme vypočítat podle vzorců (5), (6). x y X Y 0 0 R cos l l R sn k k (5) (6) X 0,Y 0 je střed senzoru, R l, odpovídá poloměru tří kružnc utvářející rozložení fxačních bodů (R 0 =3,R 1 =9,R 2 =15), ψ k = 22,5k, k = 0,1,..,15 je úhel rozestupu jednotlvých bodů. Každý fxační bod A, = 1, 2,, 48 je popsán orentací domnantního úhlu α a jeho hustotou ρ. A max A ( A ) když A A (8) (7) 10

14 Sg A x, y p x 1 kdyžx p 0 jné 1 S( x, y ) m, n Sg ( Or( m x, n y )) (9) (10) Or(x,y) je orentace detekované hrany v okolí se souřadncem (x, y). S(x,y ) je plocha oblast zájmu a odpovídá 49 bodům; m, n = -3,, 3; α = 0, 1,, 15. Z těchto dvojc je pak vytvořen vektor popsující značku (11). F, A A A A 0 48, 0 48 (11) Samotné rozpoznávání je pak prováděno dle vzorce (12). Máme v obraze kanddátní oblast, pro kterou máme vytvořen vektor (11) a máme vytvořenu databáz značek (vzorů), jejchž pops máme také redukován do těchto vektorů. Vzorec nám určí míru podobnost mez oblastí a vzorem. Většnou se prochází celá databáze značek a hledá největší podobnost, je však uváděno, že dobré výsledky podává zvolený práh podobnost na 25. K b Sg x 48 0 Sg b rw b rw Or Or 1 1 kdyžx 0 0 jné (12) (13) Or je orentace domnantní hrany v okolí fxačního bodu a ρ je její hustota. Horní ndex b označuje vzor značky z databáze, horní ndex rw označuje zkoumanou oblast. Výhodou této metody je dle dostupných materálů její rychlost a přesnost. 2.5 Možné problémy Detekujeme prvky často podléhající venkovním vlvům, jako různá mechancká poškození, špatné pozorovací podmínky. Musíme se proto snažt nalézt způsob, jak se s nm co nejlépe vypořádat. V této kaptole bude proveden souhrn a analýza nejčastějších problémů a uveden návrh jejch možných řešení. 11

15 Obrázek 2.6: Vlevo: přílš vybledlé barvy, uprostřed: nežádoucí vlv osvětlení, vpravo: rozmazání Vybledlé barvy U hodně vybledlých barev, jaké můžeme vdět na obrázku 2.6, už selhávají metody založené na detekování podle barvy. Možným řešením by byla detekce pomocí hran. U méně vybledlých značek pomáhá snížení prahu pro hledanou barvu. Rotace a perspektvní zkreslení Značky mohou být snímány z různých úhlů, mohou být různě natočeny. Pokud pro klasfkac značek používáme metodu, která není odolná prot takovýmto jevům, jako například Template Matchng, musíme s nalezenou značku upravt. Pomohou nám základní afnní transformace, kdy víme, že afnní transformace je defnována pomocí rovnoběžníku, který lze jednoznačně defnovat pomocí tří bodů. Prncp můžeme vdět na obrázku 2.7. Toto nám však přílš nepomůže odstrant vlv perspektvního zkreslení, pro tento problém se používá např. hledání homografe, což už je složtější metoda odstraňující perspektvní zkreslení. Pro její defnování je potřeba mnmálně čtyř bodů. Obrázek 2.7: Úprava natočení značky Rozmazání Nevýhodou detekce dopravních značek ve vdeu je možnost rozmazání obrazu, zvláště př vyšších rychlostech anebo použtím nekvaltní vdeokamery. Nalezení takové oblast není obtížné. Problém 12

16 nastává př klasfkac, kdy se nám značka jakoby zdvojí. Řešením by mohlo být umístění do databáze značek, vůč které klasfkujeme nalezené oblast značky v takto rozmazané podobě. 13

17 3 Návrh systému Po fáz nastudování potřebných nformací přchází část, kdy se pokusím navrhnout systém, který bude co nejlépe splňovat naše předpoklady. Těm jsou robustnost, systém se musí umět vyrovnat s prudkým změnam, které se v reálném světě vyskytují. Rozšřtelnost, systém bude složen z malých částí, které budou konat svou specfckou čnnost a bude-l potřeba, lze tyto část lehce nahradt jným. Rychlost, systém bude pracovat v reálném čase, proto je nutné volt mechansmy tak, aby nebyly přílš výpočetně náročné. Návrh takového systému můžeme vdět na obr Obrázek 3.1: Návrh systému pro detekc a klasfkac dopravních značek Vstupem takovéhoto systému je jeden snímek ze zpracovávaného vdea. Tento snímek prochází segmentací. Segmentujeme pomocí barev, použtím modelu pro hodnocení barevného vzhledu CeCam97. Tento model splňuje naš dříve zmňovanou robustnost. Model se snaží co nejpřesněj popsat zkoumané barvy a navíc je šroce škálovatelný. Je možné volt vstupní parametry modelu podle podnebí. V současnost exstuje mnoho jž ověřených parametrů modelu, jak pro slunečné počasí, tak pro zatažené. Práhovat budeme podle úrovně odstínu barvy (H) a sytost barvy (C). Výstupem segmentace je pro nás bnární reprezentace obrazu, kde bílé oblast reprezentují část obrazu, které vyhovují barevným prahům. Tato reprezentace je pro nás ještě nedostačující, proto budeme hledat v bnárním obraze kontury. Takto dostaneme jasné hrance a obraz rozdělíme na přesné část, ve kterých by se měla nacházet značka. Pokud tyto část (kontury) správně aproxmujeme polygony, dostaneme vypovídající nformac o tvaru. Máme tedy nformac o tvaru, umístění a barvě značky, je tedy správný okamžk dostat nformace v rozumné formě do další čast klasfkace. Jelkož značka může být lehce natočená, provedeme na výřezu značky afnní transformace, jež byly popsány v předcházející kaptole. Výřez normalzujeme na standardní velkost a vložíme do seznamu oblastí potřebných k oklasfkování. Klasfkace je část systému, která je odpovědna za pojmenování jednotlvých oblastí jejch skutečným jménem. K dspozc máme databáz značek rozdělenou podle tvaru a barvy. Pokud příslušná značka nevyhovuje žádné ze značek z databáze podle určených krtérí, je tato oblast 14

18 vyškrtnuta z oblastí, kde se nachází značka. Klasfkace značek je provedena metodou Template Matchng. Jedná se o komproms s ohledem na dostupný čas a jednoduchost mplementace. Metoda je relatvně časově náročná. Pokud nám ale pomůže použtý barevný model správně redukovat prohledávané oblast a databáz značek ntelgentně rozdělíme podle barvy a tvaru, je dle mne možné dosáhnout celkem dobré úrovně. 15

19 4 Implementace a testy Celý systém byl mplementován v jazyce C++ s využtím knhovny OpenCV a otestován pod systémem Wndows. Tato kaptola se věnuje popsu realzování jednotlvých částí dle návrhu a částečně předkládá možnost další práce s celým systémem. Na závěr jsou popsány sady testů, kterým prošel a zobrazeny výsledky. 4.1 OpenCV Je jedna z nejvýznamnějších knhoven na pol počítačového vdění. Jedná se o celek čítající přes 500 optmalzovaných algortmů pro zpracování obrazu, vyvnutý v začátcích frmou Intel. Současně nabízí základní rutny pro vytváření užvatelského rozhraní a přehrávání vdea. Tuto oblast obstarává část knhovny nazvaná HghGu. V aplkac využívám verz 1.1, jak pro samotné zpracování, tak vytvoření jednoduchého užvatelského rozhraní. 4.2 Segmentace obrazu Pops Samotná segmentace obrazu na část je provedena pomocí modelu pro hodnocení barevného vzhledu CeCam97, byla použta revdovaná mplementace uvedená v [8]. Hlavní výpočetní kód modelu je ukrytý ve třídě CeCam. Model provádí velkou sadu výpočtů a velké množství z nch lze provést jen jednou, protože závsí na vstupních parametrech modelu. Proto byla vytvořena prvátní metoda precomputevals(), která je volána př nastavování vstupních parametrů modelu metodou setconfg() a přepočítává všechny tyto jednorázové výpočty. Práce s třídou je ntutvní. Zdrojový obraz je nastaven pomocí metody setinput() a klent této třídy pak volá metodu get() která vrací výstup výpočtu hodnot pro konkrétní bod v obraze. Tuto třídu pro svou prác využívá třída CCBnaryMap, která vytváří bnární reprezentac obrazu podle hodnot výstupu modelu. Bílé budou oblast, které vyhovují prahům hodnot a černé ostatní oblast. Hlavní metody jsou setinput(), která nastaví používanou nstanc CeCam a metoda make(), jejímž výstupem je bnární obraz. Máme tedy reprezentac bodů, ve kterých by se mohla nacházet značka, nyní tyto oblast potřebujeme ohrančt, nějak je popsat a rozdělt. K tomu slouží třída Countours. Mez její hlavní 16

20 veřejné metody patří setinput(), která nastaví zpracovávaný obraz bnární mapy a make(), která rozdělí vstupní obraz podle kontur z bnární mapy na jednotlvé část a pokusí se určt jejch tvar. Metoda make() využívá přednostně algortmů z knhovny OpenCv. Nejdříve se v bnárním obraze naleznou kontury pomocí metody cvfndcontours(). Všechny jsou testovány na velkost, nevyhovující (přílš malé) jsou vyřazeny ze zpracování. Vyhovující kontury jsou dále aproxmovány na polygony pomocí metody cvapproxpoly(). Pokud počet hran takto aproxmovaného polygonu souhlasí s některým ze známých tvarů (trojúhelník, obdélník, ), tak je provedena pomocí afnních transformací rotace a změna velkost. Natočení značky je určeno pomocí dvou bodů základny tvaru, podrobněj je možno dočíst v kaptole 2.5. Aby byla v následující část vylepšena klasfkace dopravní značky, je okolí kontury vyplněno šedou barvou. Tím je odstraněn vlv pozadí značky na výslednou klasfkac. Obrázek 4.1: Postup detekce dopravních značek Určování prahu barev dopravní značky dle modelu CeCam97 V systému bylo zatím mplementováno a odzkoušeno hledání červených dopravních značek, přesto zde uvedu možnost určení barevného prahu pro ostatní barvy. Samotný práh je určen na dvou hodnotách a to kompozc odstínu - H c pro jednotlvé barvy, který je přepočítán z hodnoty odstínu h, pomocí vztahů uvedených v [8] a hodnoty sytost barvy - C. Přehled algortmu pro převod a jejch použtý práh lze vdět v tabulce

21 Tabulka 4.1: Barvy dopravních značek v modelu CeCam97 Barva Převod na Hc barvy Práh Hc Práh C f (H>300) Hc = H-300; H c > 40 C > 10 else f (H<100) Hc = 100-H; else Hc= 0; f (H<=100) Hc = H; H c > 40 C > 10 else f(h<200) Hc = 200-H; else Hc=0; If (H>300) Hc = 400-H; Else f (H>200) Hc=C54-200; Else Hc=0; H c > 40 C > 10 Hledání kontur v knhovně OpenCV I když máme vytvořen bnární obraz reprezentující body, které vyhovují našm prahům, ještě nemáme nformace o spojtých oblastech a jejch hrancích. O toto se nám postará funkce cvfndcontours(). Kontura je seznam bodů, který popsuje v jednom směru křvku v obraze. Exstuje několk způsobů, jak tuto křvku popsat. V OpenCV jsou kontury popsány sekvencem bodů, kdy každý prvek v sekvenc nese nformac o dalším bodu ležícím na křvce. Způsob, který funkce používá k nalezení těchto křvek je odvozen od metody, kterou představl Suzuk. OpenCV uchovává nalezené kontury ve specfcké stromové struktuře. Více se lze o tomto dočíst v [9]. Nyní se podrobněj podívejme na samotnou funkc: nt cvfndcountours( IplImage* mg, CvMemStorage* storage, CvSeq** frstcontour, nt headersze = szeof(cvcontour), CvContourRetrevalMode mode = CV_RETR_LIST, CvChanApproxMethod method = CV_CHAIN_APPROX_SIMPLE ); První argument označuje obrázek, ve kterém hledáme kontury (nejčastěj se jedná o bnární obraz nebo obraz hran). Druhý argument je úložště, kde bude moct funkce vytvářet své dynamcké proměnné. Třetí parametr frstcontour je ukazatel na paměťové místo první nalezené místo kontury. OpenCV nám ukazatel na tuto konturu sama naplní. Velkost hlavčky nebol argument headersze je závslá od způsobu uložení bodů kontury a může být např. szeof(cvcontour) nebo szeof(cvchan). Předposlední argument defnuje způsob uložení kontur a poslední defnuje způsob reprezentace bodů defnující křvku kontury. Pro naše 18

22 potřeby je užtečné použít CV_RETR_EXTERNAL pro způsob uložení kontur, což způsobí, že z více kontur na jednom místě bude vybrána pouze ta nejokrajovější. Funkce vrací počet nalezených kontur. Mez další užtečné funkce pracující s výsledkem nalezených kontur jsou cvboundngrect(), která vrátí obdélník ohrančující konturu, cvdrawcontours(), která kontury vykreslí a cvaproxpoly(). Poslední jmenovaná je obzvláště pro nás velce užtečná, protože může pomoc v analýze tvaru nalezené kontury. Vstupem metody je jedna kontura, kterou chceme aproxmovat a míra precznost výsledné aproxmace. Prncp algortmu aproxmace kontury deálního trojúhelníku dopravní značky lze vdět na obrázku 4.2. Nejprve jsou vybrány dva nejvzdálenější body a je vytvořena první přímka aproxmované kontury. Dalším krokem je nalezení nejvzdálenějšího bodu od této přímky a jeho přdáním do aproxmovaného polygonu. Celý proces pokračuje takto dál přdáváním nejvzdálenějších bodů, dokud tato vzdálenost není menší než hodnota nastavení precznost aproxmace. Obrázek 4.2: Prncp aproxmace kontury polygony Expermentováním jsem došel k závěru, že pro účely rozhodnutí jestl se jedná o obdélník, čtverec nebo trojúhelník je vhodné volt větší rozptyl precznost nacházení aproxmací s ohledem na velkost kontury. Metoda je pak méně náchylná k porušeným konturám způsobené nedokonalostí vytvořeného bnárního obrazu Řešené problémy Jedním z hlavních problémů této část je velm vysoká výpočtová náročnost modelu CeCam97, která znemožňovala detekc v reálném čase. Rozhodl jsem se proto hodnoty modelu vypočítat do trojrozměrného pole, jehož ndexy odpovídají hodnotám R, G, B. Tyto vypočítané hodnoty jsou uloženy do bnárního souboru, který se načítá př dalším spuštění programu. I toto řešení však není úplně správné, neboť takovýto soubor vypočítaných hodnot má velkost přblžně 120 MB a tato velkost se nám také promítne do obsazení operační pamět. Mnohem lepší by bylo řešení, kdy bychom měl vyhledávací tabulku obsahující pouze prvky kombnací R, G, B vyhovující našm prahům. Toto by však vyžadovalo mplementac převráceného modelu CeCam97, která je velm náročná a vyžadovala by vymezení delšího času na mplementac přesto však je urychlení značné. 19

23 4.3 Klasfkace dopravní značky Pops Aby bylo podle čeho klasfkovat oblast nalezené v předchozí část je potřeba mít přpravenu databáz dopravních značek. O tuto úlohu se postará třída SgnDatabase. Mez její hlavní veřejné metody patří metoda load(), která přjímá jako parametr soubor s defncí dopravních značek. Značky jsou načteny a normalzovány na standardní velkost 50x50 bodů. Dále jsou značky rozděleny do kategorí podle tvaru a barvy. Další důležtou metodou je next(), která vrací další značku z databáze o zadaných parametrech a reset (), která naopak nastaví terátory značek na první pozc. Za samotnou klasfkac nalezených oblastí odpovídá třída SgnClassfcator a její hlavní veřejná metoda classfy(). Pro řešení je použta, jak jž bylo zmíněno v návrhu, metoda Template Matchng. Tady znovu přchází na řadu OpenCv a funkce cvmatchtemplate(). Funkce nabízí několk typů mplementací. Po vyzkoušení jsem s vybral metodu nalezení schody korelací, která má ve funkc označení CV_TM_CORR_NORMED, podávala totž nejlepší výsledky. Metoda porovnává šablonu s obrázkem podle vzorce (14). T je hledaná šablona, I je zkoumaný obrázek. V místě kde se šablona bude nejvíce shodovat s oblastí v obrázku, bude výstup funkce největší. R 2 x, y T x', y' Ix x', y y' (14) x', y' Výsledek metody je navíc normovaný, což je užtečné neboť umožňuje redukovat vlv rozdílu osvětlení mez šablonou a obrázkem. Normalzační koefcent je vypočten dle vztahu (15). Výsledek metody je pak normalzován vztahem (16). Z 2 2 x, y Tx', y' Ix x', y x' (15) x', y' x', y' R norm x, y R( x, y) Z( x, y) (16) 20

24 4.3.2 Řešené problémy Jedním z hlavních problémů, které jsem řešl, bylo vůbec použtí metody Template Matchng. Nejdříve jsem v databáz použl předkreslené značky a hledal největší podobnost. Jelkož se však v předkreslených značkách neodráží vlv osvětlení na celkovém podání značky, klasfkace nepodávala dobré výsledky. Proto jsem se místo předkreslených značek rozhodl použít v databáz značky nafocené přímo v terénu, některé vícekrát za různých podmínek. Tady pak vznkal problém, že metoda dávala často vysokou míru podobnost na nesprávné oblast, proto jsem se rozhodl nastavt vysoký práh hodnoty podobnost vracející Template Matchng. Pokud není nalezena podobnost přesahující tento práh, o oblast je rozhodnuto, že není značkou. Další problémem je, že s velkostí databáze narůstá výpočetní náročnost celé klasfkace, protože metoda není njak optmalzována a porovnává vzor a kanddát bod po dobu. Obrázek 4.3: Ukázka šablon použtých v databáz dopravních značek 4.4 Testy Jelkož cílem bylo vytvořt systém rozpoznávání dopravních značek ve vdeu. Byly vytvořeny dva ukazatele kvalty. První, jehož výsledky jsou uvedeny v tabulce 4.3, mají za cíl ukázat relatvní výkonnostní schopnost systému pro prác v reálném čase a ukazují průměrné časy potřebné pro detekc značek v obrazu a jejch klasfkac. Druhá část testů, uvedená v tabulce 4.2, zahrnuje kvaltatvní hodnocení systému, jeho úspěšnost v detekc a klasfkac dopravní značky. Testovaných značek není sce moc, reprezentatvní by byl o něco větší vzorek, ale snažl jsem se volt různé typy značek s různou pozorovací kvaltou. Pozn. testováno, pro představu, bylo na konfgurac s dvoujádrovým procesorem frekvence 1.6 MHz. Výsledky s přepočítáním znamenají, že byl použt předpočítaný model CeCam97. Tabulka 4.2: Výsledky testování kvalty Celkový počet značek 29 Počet správně detekovaných 27 Počet špatně detekovaných 1 Počet správně klasfkovaných 25 Počet špatně klasfkovaných 2 Tabulka 4.3: Výsledky rychlost zpracování S přepočítáním Bez přepočítání Detekce ms 51.5 ms Klasfkace ms ms 21

25 Pro snadnější testování byla výsledná aplkace vybavena testovacím režmem, kdy na vstupu přjímá soubor anotací značek. Každý takovýto soubor je tvořen následujícím řádky: Soubor[.png.jpg], x_souradnce, y_souradnce, pops_znacky Např. test1.png, 70, 89, Det Můžeme uvést více řádků se stejným názvem souboru. Bude pak bráno, že v tomto obrázku je více značek. Po spuštění a proběhnutí testů pak program vypíše nformace podobné těm, které můžeme vdět v předchozí tabulce, včetně názvů obrázků ve kterých došlo k chybě detekce nebo klasfkace. Obrázek 4.4: Výstupy detekce pro vybrané vzorky, uprostřed chybné výsledky klasfkace 22

26 Na obrázku 4.4 můžeme vdět několk výstupů z aplkace pro detekc značek. Uprostřed lze vdět špatné výsledky klasfkace. Důvod chyby obrázku vlevo, kde byla správně detekovaná oblast, ale špatně klasfkována jako výstražná značka Dět, je zřejmý. Chybu zakrytím část značky, by bylo možné vykompenzovat rozšířením databáze o tyto případy. Otázkou je, jestl je to nutné, neboť se jedná o ojednělé případy. Chyba v klasfkac napravo je způsobena nedokonalostí vytvořeného bnárního obrazu, v kontuře tvaru dopravní značky tak vznkly přerušené část. Díky tomu nebylo možné určt pozadí značky a následně ho odstrant, protože vntřek kontury nebyl uzavřený. Do porovnávání se vzory se tak započetla barevná nformace o pozadí značky. Řešením v těchto případech může být použtí dlatace na bnární obraz, která menší přerušení slepí. Ta nám však oblast jednotlvých značek také rozšíří a může se stát, že pokud se nachází více značek těsně pod sebou, spojí se touto operací dohromady a vytvoří jednu oblast. Obrázek 4.5: Ukázka špatně odstraněného pozadí a špatně vytvořené bnární mapy 23

27 5 Závěr Jak je vdět z výsledků testů, úspěšnost je docela velká. Je to dáno víceméně tím, že zkoumaný vzorek není přílš velký a také tím, že v databáz značek byly použty značky, které byly nafoceny přímo z reálného prostředí a testovány pouze případy značek, které se nachází v této databáz. V současnost databáze obsahuje velkou část červených trojúhelníkových značek a nějakou část kruhových. Rozšíření by nemělo dělat další problémy, stačí další značky nafott a dodat je do databáze podle dokumentace na přloženém CD. Je důležté, aby byla pro použtou metodu Template Matchng vytvořena větší databáze nafocených dopravních značek, protože metoda porovnává podobnost k šabloně. Je dobré mít pro jeden typ značky více vzorů, nafocených za různých podmínek. Bohužel čím větší databáze, tím větší časová náročnost na porovnávání. Možným urychlením by mohlo být zvolení určté hrance podobnost, který by přerušl algortmus hledání nejlepšího výsledku podobnost. Velce jsem byl zvědavý, jaké výsledky bude podávat model pro hodnocení barevného vzhledu CeCam97, použtý v tomto systému. Bohužel jsem neměl možnost detekce např. v deštvých podmínkách a vyzkoušet tak různé typy nastavení parametrů modelu. I přesto model podává dobré výsledky, problémy nastávaly v případech, kdy se v obraze objevla například sytě červená střecha, ale tady tyto oblast odstranla následná klasfkace. Celý systém je nyní ve fáz, kdy kromě toho, že je schopen předvést základní detekc dopravních značek v obraze, je také schopen ukázat jak by pak mohla vypadat taková detekce v reálném nasazení. Programový kód jsem se snažl strukturovat a psát tak, aby bylo možné jeho snadné rozšíření a díky objektovému členění na jednotlvé část detekce, klasfkace snadnou změnu použtých metod. Kód je také kvaltně komentovaný a obsahuje komentáře, které směrují systém k dalšímu vývoj a rozšřování. Závěrem se ještě uchýlím k zhodnocení systému a zamyšlení nad jeho deální podobou. Myslím s, že deální systém, který nám pohotově nalezne a rozpozná značku v obraze zatím navrhnout nelze. Vždycky zůstanou aspoň částečné problémy s různým pozorovacím podmínkam, poškozením značky, zakrytím a různým světelným podmínkam. Velm kvaltní schopnost detekce modelu CeCam97 přebíjí velká výpočetní náročnost, proto bych v této fáz teď voll raděj komproms v podobě modelu HSV. Rozpoznávání tvarů pomocí aproxmace kontur na polygony je docela nepřesné a hodně záleží na kvaltě bnární mapy, ve které byla vyhledávána kontura. Lepší by nejspíš bylo použít klasfkac tvarů pomoc FOST. Použtí tohoto modelu by se tato část programu skloubla zároveň s klasfkací značky a podle toho co se lze dočíst, je tato metoda o dost rychlejší, než použtý Template Matchng, jehož nevýhodou je potřeba velké databáze porovnávaných dopravních značek. Možnou další alternatvou pro klasfkac značky by mohl být neuronové sítě. 24

28 Lteratura [1] Schneer, Mchael. Road sgn detecton. IEEE Computer Socety Internatonal Conference on Computer Vson and Pattern Recognton. [Onlne] [Ctace: 1. Květen 2009.] [2] Cheh Hsen, Jung, Sheng Lou, YI and Yuan Chen, Shu. Road Sgn Detecton and Recognton Usng Hdden Markov Model. Asan Journal of Health and Informaton Scences. [Onlne] [Cted: Duben 2, 2009.] [3] Xaohong, Gao, a další. Colour Vson Model-Based Approach for Segmentaton of Traffc Sgns. EURASIP Journal on Image and Vdeo Processng [Ctace: 1. Duben 2009.] [4] Alefs, Bram, a další. Road Sgn Detecton from Edge Orentaton Hstograms. Intellgent Vehcles Symposum [Ctace: 1. Květen 2009.] [5] Lorsakul, Auranuch a Suthakorn, Jackrt. Traffc Sgn Recognton Usng NeuralNetwork on OpenCV: Toward Intellgent Vehcle/Drver Assstance System. Center for Bomedcal and Robotcs Technology. [Onlne] [Ctace: 4. Květen 2009.] df. [6] Neuronová síť. Wkpede: Otevřená encyklopede. [Onlne] 7. Únor [Ctace: 5. Květen 2009.] [7] Rybak, I.A., a další. A model of attenton-guded vsual percepton and recognton. [Onlne] [Ctace: 5. Duben 2009.] 98_AttensonGudedPercepton.pdf. [8] Farchld, Mark D. A Revson of CIECAM97s for Practcal Applcatons. Munsell Color Scence Laboratory. [Onlne] [Ctace: 10. Duben 2009.] [9] Gao, X.W., a další. Recognton of traffc sgns based on ther colour and shape features extracted usng human vson models. Journal of Vsual Communcaton and Image Representaton. [Onlne] [Ctace: 3. Duben 2009.] 25

29 [10] Bradsk, Gary a Kaehler, Adran. Learnng OpenCV: Computer Vson wth the OpenCv Lbrary. Sebastopol : O'Relly Meda, Inc., [11] Template matchng. Wkpeda, The Free Encyclopeda. [Onlne] 27. Duben [Ctace: 5. Květen 2009.] [12] RANSAC. Wkpeda, The Free Encyclopeda. [Onlne] 15. Květen [Ctace: 16. Květen 2009.] [13] HSV. Wkpede: Otevřená encyklopede. [Onlne] 23. Duben [Ctace: ] [14] Hough transform. Wkpeda, The Free Encyclopeda. [Onlne] 27. Duben [Ctace: 1. Květen 2009.] [15] Edge detecton. Wkpeda, The Free Encyclopeda. [Onlne] 28. Duben [Ctace: 2. Květen 2009.] [16] Cannyho hranový detektor. Wkpede: Otevřená encyklopede. [Onlne] [Ctace: ] 26