Rozpoznávání zájmových bodů na snímku

Transkript

1 Proceedings of International Scientific Conference of FME Session 4: Automation Control and Applied Informatics Paper Rozpoznávání zájmových odů na snímku LIČEV, Lačezar 1 1 Ing., CSc, Katedra informatiky, Fakulta elektrotechniky a informatiky, VŠB-TU v Ostravě, tř. 17.listopadu 15, Ostrava-Porua, URL Lacezar.Licev@vs.cz, Astrakt: V příspěvku jsou popsané metody, které yly vyvinuté na Katedře informatiky FEI VŠB TUO. Řešení rozpoznávání zájmových odů na snímku u fotogrammetrických úloh s využitím výpočetní techniky vytváří nový prostor pro rozvoj tohoto odvětví. Vyvinuté metody vytvářejí komfortní prostředí při měření různých ojektů na fotografii pomoci osoního počítače. Klíčová slova: segmentace, prahování, matematická morfologie, eroze, Back Propagation, Kohonenovo učení 1 Rozpoznávání zájmových odů na snímku Rozpoznávání zájmových odů na snímku slouží k nalezení a pak následně k určení hodnoty souřadnic X i,y i. Výsledkem je datový souor těchto hodnot. Na určování polohy jednotlivých odů existuje celá řada algoritmů a metod. Celou tuto prolematiku jsem rozdělil do dvou části. V první části se věnuji prolematice zpracování grafické informace a ve druhé části prolematice nalezení hledaných zájmových odů. 1.1 Segmentace orazu Segmentace orazu je nejdůležitějším a také nejsložitějším krokem v celém postupu vedoucím k analýze osahu zpracovávaných orazových dat. Snahou je rozčlenit oraz do částí, které mají úzkou souvislost s předměty či olastmi reálného světa zachyceného na oraze. Výsledkem mají ýt orazy reálných ojektů, které jsou zachyceny v oraze. Po provedení segmentace nastává další fáze, a to indexování olastí. Indexování je důležité pro odlišení ojektů od see a pro zjištění jejich počtu. Podronější popis je uveden v literatuře (Sojka E., 000) Prahování Prahování je jedna z nejstarších a nejjednodušších metod segmentace orazu a patří také k jedné z nejrychlejších. Ve většině případů vystupují ojekty z pozadí, čímž je myšleno, že jasové (arevné) hodnoty pixelů ojektů jsou odlišné od pozadí. Na tomto předpokladu je založena metoda prahování. Jejím principem je najít vhodný práh (hodnota jasu) t, který y oddělil ojekty od pozadí. Výsledkem tohoto procesu je oraz v inárním tvaru, ve kterém mají hodnotu 1 ty pixely, které patří ojektům a hodnotu 0 ty, které patří pozadí.

2 Stanovení prahu metodou nejmenší chyy Hodnotu prahu je většinou těžké vhodně stanovit. Proto yly odvozeny některé metody, které se touto prolematikou zaývají. Stanovení prahu metodou nejmenší chyy je založeno na využití minimalizace pravděpodonosti chyného zařazení pixelů (tzn. že pixel ojektu ude chyně vyhodnocen jako pixel pozadí a naopak). Protože se jedná o statistickou metodu, musíme nejdříve uvést následující předpoklady: pz ( z µ ) 1 = exp (1.1) σ π σ kde pz - normální rozložení hustoty pravděpodonosti jasových úrovní pixelů ojektu µ - střední hodnota σ qz kde qz ν - směrodatná odchylka ( z ν) 1 = exp (1.) τ π τ - normální rozložení hustoty pravděpodonosti jasových úrovní pixelů pozadí - střední hodnota τ - směrodatná odchylka Uvedené předpoklady zavádějí normální rozložení hustoty pravděpodonosti jasových úrovní pixelů ojektů a pozadí. Zde se dopouštíme jisté nepřesnosti, protože hodnoty jasů pixelů jsou nespojité a pouze na určitém rozsahu, který vyplývá ze zavedené implementace (ve většině případů 0-55). θ a podíl odů pozadí 1 θ. Navíc předpokládejme, že pro střední hodnoty platí µ < ν. Hledanou hodnotu prahu označíme t. Dále předpokládejme, že podíl odů ojektů na oraze je θ ( 0 1 ) ude tedy ( ) Or. č. 1.1 Normální rozložení hustot pravděpodonosti pro ojekty a pozadí s naznačeným prahem t, a pravděpodonostmi 1-P(t) a Q(t).

3 Zavedeme další pojmy: P t je pravděpodonost, že od ojektu ude vyhodnocen správně jako od ojektu = Pt t pzdz (1.3) Pravděpodonost jevu, že od ojektu ude vyhodnocen chyně jako od pozadí, je 1 Pt a Q t je pravděpodonost, že od pozadí ude vyhodnocen chyně jako od ojektu = Qt t qzdz (1.4) Pravděpodonost jevu, že od pozadí ude vyhodnocen správně jako od pozadí, je 1 Qt. Celková pravděpodonost chyné detekce je ε. ( 1 ) ( 1 ) ( ) ε = θ Pt + θ Qt (1.5) Snahou je dosáhnout co nejlepších výsledků segmentace, a proto musíme zajistit, ay chya ε yla co možná nejmenší. Tato situace nastane v extrému, kterému odpovídá místo, kde je první derivace nulová. ε θ Pt ( θ) Qt = + 1 t t t = 0 (1.6) Po úpravě dostaneme vztah ( 1 θ) = θ qt pt (1.7) Dalším dosazením (1.1) a (1.) do (1.7) získáme po dalších úpravách a logaritmování ( 1 θ) ( t ν) ( t µ ) ln lnτ = lnθ lnσ τ σ dalšími úpravami se dostáváme ke vztahu t ( ) t( ) τ σ + σ ν τ µ + τ µ σ ν + τ σ ( 1 θ) (1.8) σ ln = 0 (1.9) θτ Vyřešením této kvadratické rovnice určíme hledanou hodnotu prahu t. Ay rovnice měla řešení musíme splnit následující podmínky. σ 0 θ 0 a (1.10) τ 0 θ 1 Řešením rovnice (1.10) získáme hledanou hodnotu prahu metodou nejmenší chyy. Metoda popsaná v této kapitole má však jednu velkou nevýhodu, a to, že musíme před začátkem výpočtu znát velmi mnoho informací o zpracovávaném oraze. Z tohoto důvodu uvedu vylepšení této metody (snížení počtu hodnot, které musíme znát). Iterační proces u metody nejmenší chyy Vylepšení proti předchozí metodě spočívá v tom, že tato metoda nepředpokládá znalost poměrného zastoupení odů ojektů v oraze θ - tato hodnota se určí iteračním

4 procesem. Musíme však znát hodnoty středních hodnot a směrodatných odchylek jasů pro ojekty a pozadí. Iterační proces pracuje stejně kvalitně jako metoda určení prahu pomocí nejmenší chyy. Prahování proměnným prahem V případech, kdy je oraz sice kontrastní, avšak v různých svých částech má nerovnoměrnou úroveň jasu (např. vlivem nerovnoměrného osvětlení), nelze najít jedinou hodnotu prahu tak, ay vyhovovala pro všechny části orazu. V takovém případě lze použít úspěšně metodu prahování s proměnným prahem. Princip metody prahování proměnným prahem spočívá v rozdělení zdrojového orazu na několik částí. V každé z těchto nově vzniklých částí se vypočte práh pouze pro danou olast. Práh se vypočte jako průměr maximální a minimální hodnoty jasu v olasti. Může ovšem také nastat situace pro některé olasti, že rozdíl maximální a minimální hodnoty jasu ude malý. V takovéto olasti y určení prahu neylo přesné (v olasti jsou pouze pixely pozadí neo pixely ojektu). V takovém případě se hodnota prahu stanovuje jako průměr prahů z okolních olastí. 1. Zpracování inárních orazů Binárním orazem nazýváme takový oraz, v němž orazová funkce v každém odě (pixelu) naývá jedné ze dvou možných hodnot. Binární orazy jsou z pravidla výsledkem metod provádějících segmentace orazu (v pixelech náležících ojektů např. orazová funkce naývá hodnotu 1, pixlech pozadí naývá hodnotu 0). Před tím, než jsou inární orazy analyzovány, lze je zpracovat některým ze speciálních postupů Matematická morfologie Teorie matematické morfologie (Dougherty 9, Sojka 000) je dosti osáhlá. Základními operacemi matematické morfologie jsou eroze a dilatace. Tyto operace jsou definovány následujícími vztahy: E = B S = {x,y S x,y B} (1.11) D = B S = {x,y S x,y B } (1.1) Erozí inárního orazu (vztah 1.11) B za použití masky S vznikne oraz E, který je opět inární. Jednotlivé ody inárního orazu nesou hodnotu 0 neo 1. V odě o souřadnicích (x,y) je v oraze E hodnota 1, jestliže je v oraze B hodnota 1 alespoň na těch místech, je hodnota 1 v masce S x,y. Jinak je v oraze E v odě o souřadnicích (x,y) hodnota 0. Ve vztahu jsou orazy formálně reprezentovány jako množiny jedná se o množiny pixelů nesoucích hodnotu 1. Analogicky y ylo možné interpretovat také vztah 1.1. Grafická interpretace dilataci a erozi je následující: Or. č. 1. Dilatace a eroze

5 1.. Ztenčování Cílem ztenčování je reprezentovat ojekty jako lineární útvary. Ztenčování může ýt realizováno pomocí opakované eroze (tj. opakovaným odstraňováním krajních pixelů zojektu). Postup provádění každého erozního kroku je přitom modifikován tak, ay nedošlo k porušení souvislosti ojektu. 1.3 Metody rozpoznávání ojektu s využití neuronových sítí V souladu se současným trendem aplikovat neuronové sítě jsem se rozhodl i já využít neuronovou síť jako rozpoznávací mechanismus pro modul rozpoznávání zájmových odů Třívrstvá síť s učením Back Propagation Do vrstvy vstupních uzlů se zavádí jednotlivé složky vektoru příznaků, a proto je vstupních uzlů tolik, kolik je příznaků. Z výstupní vrstvy se odeírá identifikátor třídy. I když jsou možné i jiné způsoy, často se používá kódování 1 z n. V tomto případě je pak počet neuronů ve výstupní vrstvě roven počtu rozpoznávaných tříd. Počet neuronů ve střední skryté vrstvě (případně vrstvách) se zpravidla volí na základě zkušenosti Kompetitivní síť a Kohonenovo učení Kompetitivní sít je tvořena dvěmi vrstvami neuronů, kde spodní reprezentuje vstupní jednotky, které jsou propojeny se všemi neurony vrstvy výstupní, ve které jsou opět všechny neurony vzájemně propojeny. Každý neuron výstupní vrstvy je napojen sám na see tzv. seeexcitující vazou a inhiičními vazami k ostatním neuronům. Tento způso propojení vede k posilování excitace neuronu, který yl na začátku excitován nejvíce. Nakonec je tento neuron vyexcitován na maximum a ostatní jsou úplně potlačeny (tento jev se nazývá laterální, postranní inhiice). Každý neuron pak reprezentuje nějaký ojekt neo třídu ojektů ze vstupního prostoru Rozpoznávání ojektu Aychom mohli ojekty rozpoznávat, musíme je nejdříve popsat. Způsoy popisu je možno rozdělit na několik metod. Potom mluvíme o syntaktické a příznakové analýze orazu. Syntaktická analýza orazu používá k popisu ojektu posloupností primitiv a jejich hierarchickou strukturou. Vytvořený popis se předkládá analyzátoru, který slouží k samotnému rozpoznávání. Analyzátor používá k rozpoznávání gramatiky. Gramatika musí ýt známa již před započetím rozpoznávání. Příznaková analýza orazu předpokládá, že máme k dispozici popis rozpoznávaného T x, x,..., x n. Tyto vektory pak orazu neo jeho části ve formě vektorupříznaků x= ( 1 ) předkládáme k dalšímu zpracování, např. klasifikátoru neo neuronové síti. Proměnné x i jsou příznakové proměnné a jejich hodnoty pak nazýváme příznaky. Každý příznakový vektor reprezentuje od v n-rozměrném prostoru X n, který je nazván příznakový prostor. Příznakový prostor je definován jako kartézký součin oorů hodnot všech uvažovaných příznakových proměnných. Tj. příznakový prostor X n je tvořen všemi možnými vektory T x=( x1, x,..., x n ). V případě, že jsou všechny použité příznakové proměnné spojité, může ýt prostor X n Euklidovský. Protože každý oraz a ojekty v něm osažené mají jiné vlastnosti, velmi záleží na vhodné volě množiny příznaků. Málokdy (skoro nikdy) je vhodné zvolit je všechny. V následujících části popíšu vyrané příznaky.

6 Příznaky, které lze použit pří rozpoznávání, mohou ýt např. plochu, momentové atriuty, ovod, Eulerovo číslo, nekompaktnost, projekce výšky, šířky, výstřednost, podlouhlost apod. Ve své práci jsem se rozhodl pro implementaci atriutu založené na Fourierově transformaci průěhu křivosti hranice ojektu, který je velmi kvalitní příznak pro rozpoznávání. Výpočet Fourierovy transformace průěhu křivosti: Základem pro výpočet právě popisovaných atriutů je určení křivosti hranice ojektu. Z diferenciální geometrie víme, že křivost jednoznačně určuje křivku (až na polohu). Tzv. přirozená rovnice křivky je: 1 k= 1 k s, kde 1 ks je průěh první křivosti (předpokládáme práci pouze s rovinnými křivkami). Výpočet atriutu založeného na Fourierově transformaci průěhu křivosti hranice se dá popsat následujícími kroky: 1. nalezení hranice ojektu. proložení křivek (případně úseček) hranicí ojektu 3. určení křivosti hranice ojektu 4. Fourierova transformace křivosti hranice ojektu Výsledkem tohoto procesu je vektor osahující všechny segmenty proložené hranice. Tento vektor dále slouží jako základ pro výpočet Fourierovy transformace. Jasové atriuty: Výsledkem segmentace orazu jsou extrahované olasti. Právě k popisu těchto olastí slouží atriuty. Jasové atriuty mají tu zvláštnost, že i když jsou tyto olasti známy, jejich hodnoty jasů ukrývají jisté informace, které lze i dále využít. V následujících částech popíši jednotlivé jasové atriuty, které jsem v práci implementoval. - Střední hodnota jasu Tento atriut udává střední hodnotu jasu na ploše ojektu. Jsou dány dva ojekty stejného tvaru, velikosti ale každý z nich má jinou úroveň jasu. Oa dva tyto ojekty jsou detekovány metodou segmentace jako testované olasti. Střední hodnota jasu však tento prolém řeší. Jednoznačně odliší tyto ojekty od see. µ ( ) = p (1.13) - Směrodatná odchylka jasu Následující vztah popisuje výpočet atriutu směrodatné odchylky jasu. Hodnota atriutu udává rozptyl hodnot jasu na ploše ojektu. Využití tohoto atriutu uvedu opět na příkladu. Máme dva testované ojekty, které mají stejnou střední hodnotu jasu, ale u jednoho z nich jas kolísá a u druhého dosahuje skoro konstantní hodnoty. Použitím tohoto atriutu je rozlišení těchto olastí jasné a snadné. ( ) ( ) σ = µ p (1.14) Dále jsem implementoval jasové atriuty, které jsou statistickými momenty vyšších řádů (šikmost) a dále atriuty počítající energii a entropii. Definici uvedených atriutů je uvedena v následujících vztazích.

7 - Šikmost jasu s = 1 = 3 σ ( ) - Energie jasu ( µ ) 3 p (1.15) E = ( ) [ p ] - Entropie jasu T = ( ) p log ( p ) (1.16) (1.17) 1.4 Rozpoznávání zájmových odů Postup při rozpoznávání zájmových odů můžeme rozdělit na: Rozpoznávání zájmových odů přímo ze světelné stopy Rozpoznávání zájmových odů pomocí neuronové sítě Rozpoznávání zájmových odů přímo ze světelné stopy Tento postup je vhodný v případě, kdy nelze měřený ojekt dostatečně doře separovat a proto je nutné postupovat opačně, tzn. určit zájmové ody neo ody definující měřený ojekt a potom z nich nadefinovat měřený ojekt. K tomuto účelu je postupováno tak, že v místech, kde se ude nacházet předpokládaný zájmový od určíme tzv. zájmovou olast ve tvaru odélníku pomocí standardních prostředků (použití myši, zvětšení snímku) aneo použijeme polohu zájmového odu z předchozího snímku. Zájmovou olast určujeme přidáním neo odečtením určitého počtu pixelů po souřadnici x, y. Takto nadefinovaná zájmová olast osahuje světelnou stopu, která představuje množinu potenciálních zájmových odů. Dále je zpracován oraz zájmové olasti. K tomu jsou použity prostředky popsané v předchozích kapitolách, tzn. výpočet prahu a prahování olasti, zpracování inárného orazu - erose světelné stopy. Takto zpracovaná světelná stopa osahuje ody, které mají nejvyšší jas. Novým zájmovým odem se stane ten hraniční od ze světelné stopy, který je nejližší k výchozímu odu, z něhož yla vytvořena zájmová olast, od o souřadnici X 0,Y 0. Vizualizace procesu rozpoznávání je uvedena v 1.4 při zpracování důlních snímků. Budeme-li ale měřit ojekty, které tvoří souvislou olast, např. na rentgenových snímcích, postup je odoný ale s tím rozdílem, že světelná stopa, která vzniká, tvoří souvislé pole Stanovení zájmových odů pomocí neuronové sítě Tento způso rozpoznání lze s úspěchem použít v případě, že měřený ojekt lze dostatečně doře separovat. Samotné stanovení zájmových odů je provedeno tak, že nejdříve je ojekt na snímku rozpoznán a potom jsou zpětně z hraničních odů stanoveny jednotlivé zájmové ody rozpoznaného ojektu. I zde musíme nejdřív provést zpracování orazu. K tomu účelu použijeme prostředky popsané v předchozích kapitolách, tzn. výpočet prahu a prahování orazu, zpracování inárného orazu - erose světelné stopy. Tento postup patří do příznakového rozpoznávání. Vstupní vrstva neuronové sítě je tvořena příznaky popisující rozpoznaný ojekt, viz kap Výstupní vrstvu tvoří neurony definující jednotlivé rozpoznané ojekty.

8 1.5 Visualizace procesu určení zájmových odů Určení zájmové olasti, viz or.č Analyzovaná olast Or. č Určení zájmového odu po prahování a eroze zájmové olasti, viz or X ZB,Y ZB X 0,Y 0 Or. č Novým zájmovým odem o souřadnici X ZB,Y ZB se stává ten od, který je nejližší k výchozímu odu X 0,Y 0, viz or. č. 1.4.

9 Použitá literatura Ličev L. a Holuša T Nové řešení důlní fotogrammetrie na PC, /1998, URGP Praha. Ličev L New approaches to mining photogrammetry using PC, 5 nacionalna konferencija Varna 98, MGU Sofia. Ličev L. a Holuša T Fotogrammetrické měření důlních jam, Konference GIS'99 VŠB TUO, HGF. Ličev L..: Fotogrammetrie na PC, 4/1999, Acta montanistica slovaca, Košice. Sojka E Digitální zpracování orazu, skripta VŠB - TUO, FEI. Šmidrkal J Fotogrammetrie I,II,III - Teoretické základy, ČVUT Praha. 3 Závěr Rozpoznávání zájmových odů na snímku je činnost velmi důležitá, neoť na ni záleží efektivnost a rychlost zpracování fotografické informace. V předloženém příspěvku yly popsané metody a způsoy jak rozpoznávat zájmové ody neo měření ojekt a následně stanovení jejich souřadnic. Výše uvedené metody a algoritmy yly experimentálně ověřeny a dosažené výsledky potvrdily jejích správnost. V současné doě pracuji na vývoji samostatného modulu na rozpoznávání zájmových odů, který se pak stane součástí fotogrammetrického systému FOTOM 000 na Katedře informatiky FEI VŠB TU v Ostravě. Vývoj fotogrammetrického systému FOTOM přispívá k vyřešení konkrétních požadavků kladených na jednosnímkové fotogrammetrii jako ucelený systém na kvalitativnì vyšší úrovni, než jsou stávající technické a softwarové prostředky.