Pedzpracování obrazu

Transkript

1 Pedzpracování obrazu Poítaové vidní Ilona Kalová Skupina poítaového vidní Ústav automatizace a micí technik Fakulta elektrotechnik a komunikaních technologií Vsoké uení technické v Brn

2 Pedzpracování obrazu pednáška Tematické rozdlení pednášk:. etzec zpracování obrazu.. Pedzpracování obrazu. 3. Šum zkreslení 4. Bodové jasové transformace. 5. Geometrické transformace. 6. Lokální pedzpracování. 7. Další technik pedzpracování

3 etzec zpracování obrazu Tematické rozdlení pednášk:. etzec zpracování obrazu.. Pedzpracování obrazu. 3. Šum zkreslení 4. Bodové jasové transformace. 5. Geometrické transformace. 6. Lokální pedzpracování. 7. Další technik pedzpracování

4 etzec zpracování obrazu Vhodný postup operací blok vedoucí k danému výsledku mení rozpoznání objekt inspekce výrob atd. Je lepší pokud hned od zaátku víme k emu bude obraz použit a k tomu smujeme všechn jednotlivé krok

5 etzec zpracování obrazu osvtlení objektiv Osvtlení tp zdroje slunení svtlo žárovka záivka výbojka LED dioda laser provedení orientace bodové plošné kruhové svtelný pruh vzor pímé smrové rovnobžné difusní boní zadní vlnová délka IR viditelné UF vzaovací charakteristika intenzita polarizace koherence Objektiv ohnisková vzdálenost zorný úhel zorné pole zvtšení rozsah ostení hloubka ostrosti svtelné íslo clona množství svtla které propustí na senzor prmr clon svtelná ada vad objektiv pídavné filtr

6 etzec zpracování obrazu senzor A/D pevod Senzor tp ádkový lineární plošný maticový barevná jeden ti ip ernobílá technologie CCD CMOS progresivní prokládaný interlaced rozmr senzoru nejastji /3 / /3 rozmr pielu pielové rozlišení video standard spektrální citlivost data rate kontrolní a ídicí signál interface epoziní doba závrka A/D pevod v závislosti na použité kamee - digitalizaní karta do PC souást inteligentní kamer vzorkování a kvantování programovatelná hradlová pole signálové procesor mohou ešit i nkteré operace pedzpracování obrazu DFT prahování

7 etzec zpracování obrazu pedzpracování Cíl pedzpracování: potlait šum odstranit zkreslení potlait i zvýraznit rs obrazu Vstupem i výstupem pedzpracování je obraz gij element vstupního obrazu fij element výstupního transformovaného obrazu

8 etzec zpracování obrazu segmentace Cíl segmentace: rozlenit obraz do ástí které souvisí s pedmt i oblastmi reálného svta = oddlení objekt od pozadí analýza obsahu obrazu obraz chstáme pro další krok = popis redukce dat Vstupem segmentace je obraz výstup mže být rzný podle použité metod obraz ásti obrazu poloha objektu v obraze atd.

9 etzec zpracování obrazu popis Cíl popisu: popsat objekt v obraze kvalitativn nebo kvantitativn vede k porozumní obrazu Výstup je ovlivnn tím na co se popis bude používat vjádení urité vlastnosti píznakový vektor seznam primitiv atd. Kvantitativní - vektor píznak Kvalitativní etzec primitiv.barva vlas erná = hndá = blond = rezavá = 3.pohlaví muž = žena = 3.výška = 75 cm 4.vous ne = ano = 5.vzdlání základní = stedoškolské = vsokoškolské = = [ 75 ] Vektor ted popisuje 75 m vsokou brunetu s vsokoškolským vzdláním která naštstí nemá vous.

10 etzec zpracování obrazu aplikace

11 Pedzpracování obrazu Tematické rozdlení pednášk:. etzec zpracování obrazu.. Pedzpracování obrazu. 3. Šum zkreslení 4. Bodové jasové transformace. 5. Geometrické transformace. 6. Lokální pedzpracování. 7. Další technik pedzpracování

12 Pedzpracování obrazu Cíl pedzpracování = zlepšení obrazu z hlediska dalšího zpracování potlait šum odstranit zkreslení potlait i zvýraznit rs obrazu Vstupem i výstupem pedzpracování je obraz gij element vstupního obrazu fij element výstupního transformovaného obrazu Vužívá se nadbtenosti údaj v obrazu sousední piel mají vtšinou podobnou hodnotu jasu adu operací pedzpracování mžeme zjednodušit vhodným nastavením scén výbrem senzoru objektivu atd. Pedzpracování musíme vztahovat k tomu co chceme z obrazu získat co s ním chceme dlat dál

13 Pedzpracování obrazu metod. Bodové jasové transformace - jasová korekce - transformace jasové stupnice. Geometrické transformace - plošná transformace - jasová transformace 3. Lokální pedzpracování - vhlazování obrazu - detekce hran ostení 4. Filtrace obrazu v kmitotové oblasti 5. Restaurace obrazu 6. Matematická morfologie

14 Šum zkreslení Tematické rozdlení pednášk:. etzec zpracování obrazu.. Pedzpracování obrazu. 3. Šum zkreslení 4. Bodové jasové transformace. 5. Geometrické transformace. 6. Lokální pedzpracování. 7. Další technik pedzpracování

15 Šum zkreslení Šum tp: bílý = idealizovaný používá se pro simulace nejhorších degradací obrazu ve výkonovém spektru má rovnomrn zastoupen všechn frekvence Gaussv = aproimace degradace obrazu tpu pep a sl u binárních obraz impulsní šum u obraz s více jasovými úrovnmi = zrnní aditivní = vzniká pi penosu obrazu nebo snímání multiplikativní = šum TV rasteru má charakter vodorovných pruh kvantizaní = není použit dostatený poet jasových úrovní Šum vznik: pi digitalizaci pi penosu obrazu Zkreslení píklad: radiální zkreslení poduška soudek tangenciální zkreslení zkreslení tpu zmna mítka Bílý šum šum tpu pep a sl Zkreslení vznik: turbulence atmosfér vzájemný pohb snímae a pedmtu nevhodné zaostení vada optické soustav špatná oka nelinearita opticko-elektrického senzoru nelinearita záznamového materiálu zrnitost filmového materiálu Píklad soudkovitého zkreslení Zkreslení - a soudek b poduška c tangenciální - natoení detektoru k ose optik

16 Bodové jasové transformace Tematické rozdlení pednášk:. etzec zpracování obrazu.. Pedzpracování obrazu. 3. Šum zkreslení 4. Bodové jasové transformace. 5. Geometrické transformace. 6. Lokální pedzpracování. 7. Další technik pedzpracování

17 Bodové jasové transformace Jas v bod výstupního obrazu závisí pouze na jasu bodu ve vstupním obrazu = pro úpravu jednoho konkrétního pielu použijeme jen tento piel vstupního obrazu a Jasová korekce poruch hardwaru jiná citlivost jednotlivých svtlocitlivých prvk snímae vadné piel nerovnomrné osvtlení jiná citlivost snímacího a digitalizaního zaízení = sstematické chb f i j e i j. g i j pedpokládá se multiplikativní model poruch eij Urení degradaní fce eij pi stálých svtelných podmínkách poídíme obraz o známém gij - nejlépe obraz o konstantním jase c => f c ij. fc i j e i j c nebo poídíme obraz s objektem I obraz za stejných svtelných podmínek bez objektu I f korekce osvtlení a obraz za tm zakrtý objektiv I b korekce nelinearit snímae I i j Ib i j I c i j M I i j I i j f b kde konstantou M mníme kontrast výsledného obrazu I I f I b Pvodní snímek snímek pozadí snímek za tm obrázek po korekci

18 Bodové jasové transformace b Transformace jasové stupnice jen uritá hodnota jasu ve vstupním obrazu je transformována na jinou hodnotu bez ohledu na pozici transformace T výchozí stupnice jasu p na novou stupnici q: q = Tp píklad: inverze prahování ekvalizace histogramu roztažení histogramu úprava kontrastu

19 Bodové jasové transformace b Transformace jasové stupnice ekvalizace histogramu algoritmus který zmní rozložení intenzit v obrazu tak ab se v nm vsktoval intenzit pibližn se stejnou etností snaha o zvýšení kontrastu. má-li pvodní obraz interval jas <p p k > a histogram Hp cílem je najít takovou monotónní transformaci q = Tp ab výsledný histogram Gp bl rovnomrný pro celý výstupní interval <q q k > q T q q p k p H i q NM i po MN Hi Hi V tomto pípad ale nezáleží pouze na jasu v daném bod ale i na rozložení jasu v celém snímku - histogramu p i p o H i... kumulativní histogram q=tp

20 Geometrické transformace Tematické rozdlení pednášk:. etzec zpracování obrazu.. Pedzpracování obrazu. 3. Šum zkreslení 4. Bodové jasové transformace. 5. Geometrické transformace. 6. Lokální pedzpracování. 7. Další technik pedzpracování

21 Geometrické transformace Cíl odstranní geometrických zkreslení zkosení vi snímané ploše širokoúhlé snímae zmna rozlišení obrazu posunutí otoení zkosení D obrazu rovnání prostoru nap. letecké snímk Dva krok plošná transformace - transformace souadnic bod jasová transformace aproimace jasové funkce Problém obecn nepiadí diskrétním celoíselným souadnicím ve vstupním obrazu celoíselné souadnice v obraze výstupním mohou vzniknout dír nebo naopak nkolik piel se mapuje na totéž místo ást pvodního obrazu mže ležet mimo nový obraz transformace vtšinou nejsou invertovatelné f = Tg : = T = T

22 Geometrické transformace plošná transformace Najde k diskrétnímu bodu ve vstupním obrazu odpovídající bod ve výstupním obrazu obecn spojité souadnice Urení transformaních vztah: jsou dán pedem rotace zvtšení zkosení je nutné je hledat na základ znalosti pvodního i transformovaného obrazu - obvkle pomocí známých vlícovacích bod které lze snadno najít v obou obrazech Transformaní vztah se vtšinou aproimují polnomem n-téhoádu ' n nr r k a rk r k ' r k pokud nedochází k náhlým zmnám pozic vstaíme si vtšinou s polnom do stupn n = 3 Koeficient a rk a b rk lze urit pomocí vlícovacích bod množin sob odpovídajících bod a a metod nejmenších tverc n nr b rk r k Píklad: Bilineární transformace ' a ' b a a b b a b 3 3 Afinní transformace ' a ' b a a b b

23 Geometrické transformace plošná transformace Píklad: Radiální zkreslení Zjednodušení - zkreslení je smetrické podle stedu obrazu r je radiální vzdálenost Tangenciální zkreslení ' ' r k r k r k r k r k r k r p r p r p p ' '

24 Geometrické transformace jasová transformace Najde jas který bude ve výstupním obrazu po geometrické transformaci odpovídat jednotlivým pielm Transformované souadnice leží mimo rastr pitom geometrick transformovaný obraz se také musí reprezentovat maticí Možná ešení: interpolace metodou nejbližšího souseda aritmetický prmr t nejbližších soused lineární interpolace kubická interpolace

25 Geometrické transformace zmna rozlišení Zmenšení i zvtšení Nkolik rzných algoritm lišících se v kvalit rekonstrukce a v asové náronosti Vtšinou separabilní operace možné aplikovat na ádek a pak na sloupec zvláš konvoluce konvoluní jádro h a Interpolace nejbližším sousedem nejjednodušší nearest neighbour interpolation point shift sample and hold výpoet spojité funkce g z diskrétní funkce f k definované v diskrétních bodech k k = n: k k k k g f k ; pro:.5 jádro h { pro :.5 a Bilineární transformace postupná aplikace lineární interpolace dva sousední vzork v bodech a s hodnotami f a f - bod se proloží úsekou a hledaná hodnota v bod se vpote jako: f f f f jádro pro : h { pro : c.. Polnomiální goniometrické eponenciální Parzenovo okno B-spline plochou

26 Geometrické transformace otoení obrazu Plošná transformace otoení obrazu o úhel ' ' cos sin sin cos Otoení o násobk devadesáti stup zámna piel na píslušných pozicích v matici Otoení o obecný úhel dvouprchodový algoritmus two-pass algoritm na ádk a sloupce jsou použit jiné transformace. prchod na všechn ádk ' ' cos sin meziobraz I. prchod nelze aplikovat transformaci ' sin cos protože ta je funkcí se kterým již blo poítáno. Proto vjádíme jako funkci a a dosadíme do pedchozího: ' 'sin cos výpoet hodnot jasu která se bude mapovat do výstupního obrazu lze použít libovolnou metodu pevzorkování v okolí bodu [uv]

27 Lokální pedzpracování Tematické rozdlení pednášk:. etzec zpracování obrazu.. Pedzpracování obrazu. 3. Šum zkreslení 4. Bodové jasové transformace. 5. Geometrické transformace. 6. Lokální pedzpracování. 7. Další technik pedzpracování

28 Lokální pedzpracování Vužívají pro výpoet jasu bodu ve výstupním obrazu jen lokální okolí odpovídajícího bodu ve vstupním obrazu Podle cíle: Vhlazování obrazu Detekce hran gradientní operátor ostení Podle funkního vztahu: Lineární Nelineární Lokální lineární pedzpracování jas v bod ij je dán lineární kombinací jas v okolí O velikosti MN vstupního obrazu g s váhovými koeficient h konvoluní jádro = filtr. Pro izoplanární sstém nezávislé na poloze = diskrétní konvoluce: f i j im / jn/ m i M/ n jn/ h mi n j g m n

29 Lokální pedzpracování vhlazování obrazu Potlaení všších frekvencí = potlaení náhodného šumu ale i jiných náhlých zmn ostré ár a hran - vužívá se nadbtenosti dat = stejné piel v okolí Metod:. Prmrování. Filtr s Gaussovým rozložením 3. Medián 4. Vhlazování rotující maskou. Prmrování Pes více n obraz nerozmazává hran u statických scén pro dnamické scén je vhodné poídit model prostedí pozadí V jednom obrazu lokální aritmetický prmr mžeme ešit konvolucí rozmazává hran P. filtr 33: zvýšení váh stedu: nebo 4-soused: prmrování s omezením zmn povolení jen menších zmn mezi pvodním jasem a výsledkem prmrování n k k j i g n j i f 9 h h 4 6 h

30 Lokální pedzpracování vhlazování obrazu. Filtr s Gaussovým rozložením Gaussovo normální rozložení: D : G e P. filtru 55: D : G e kde jsou souadnice obrazu a je smrodatná odchlka udává velikost okolí na kterém filtr pracuje 3. Medián medián íselné posloupnosti je íslo které se po uspoádání podle velikosti nachází uprosted této posloupnosti výhoda: redukuje rozmazávání hran nevýhoda: poškozuje tenké ár a oezává ostré roh

31 Lokální pedzpracování vhlazování obrazu 4. Vhlazování rotující maskou podle homogenit nap. rozptlu jasu hledá k filtrovanému bodu ást jeho okolí ke které pravdpodobn patí a tu pak použije pro výpoet mírn ostící charakter osm pozic stejné mask rzné mask P. masek A B a naznaení prvních dvou pozic masek: Algoritmus:. Pes všechn bod ij obrazu. Pes všechn pozice mask 8 pozic 3. Výpoet rozptlu jasu n M N O g i j n M N O g i j O okolí MN n poet bod mask 4. Výbr pozice s nejmenším rozptlem 5. Piazení bodu ij výstupního obrazu hodnotu aritmetického prmru jas vbrané mask

32 Lokální pedzpracování vhlazování obrazu Ukázka výsledk obrázek zatížen šumem tpu pep a sl s hustotou.

33 Lokální pedzpracování detekce hran Zdraznní všších frekvencí = zvýraznní obrazových element kde se jasové fce náhle mní velký modul gradientu ale bohužel i šumu Vchází se z toho že hrana je místo kde se náhle mní jas a toto místo se musí zdraznit Hrana je urena velikostí velikost gradientu obrazové fce a smrem Parciální derivace v obrazech nahrazen diferencemi: Ostení = úprava obrazu tak ab v nm bl strmjší hran kde C koeficient udávající sílu ostení Sij strmost zmn v uritém bod nap. gradient nebo Laplacián g g g g g arctg / j i g j i g j i g j i g j i g j i g j i j i S C j i g j i f

34 Lokální pedzpracování detekce hran Operátor neinvariantní vi rotaci nkolik masek rotace jedné: Robertsv Sobelv Prewittv Kirschv. aproimace první derivace Sobeluv Robertsuv h h h h... Kirschuv Prewituv h h h h

35 Lokální pedzpracování detekce hran Operátor invariantní vi rotaci jedna maska: Laplacev aproimace druhé derivace detekce prchodu nulou Operátor Marra a Hildretové Cannho hranový detektor Operátor LoG druhá derivace hledána pomocí filtru s Gaussovým rozložením G a Laplaceova operátoru derivace Gaussova filtru lze spoítat pedem analtick nezávisí na konkrétním obrazu Laplacev h h g g g * * g G g G

36 Ukázka výsledk Lokální pedzpracování detekce hran

37 Další technik pedzpracování Tematické rozdlení pednášk:. etzec zpracování obrazu.. Pedzpracování obrazu. 3. Šum zkreslení 4. Bodové jasové transformace. 5. Geometrické transformace. 6. Lokální pedzpracování. 7. Další technik pedzpracování

38 Filtrace obrazu v kmitotové oblasti Lze aplikovat na celém obrazu i jen na výezu je nutné pevést obraz do frekvenní reprezentace tam provést filtraci a nakonec pevést zpt nejastji Fouriérova transformace kosínová vlnková wavelet Fouriérova transformace vužívá se amplitudová char. nebo výkonová spektrální hustota volbou koeficient ve frekvenní oblasti lze modifikovat obraz v prostorové oblasti nap. realizovat filtr tpu dolní propust pro vhlazení obrazu R v j S u j v u F S R f R v j S u j f v u F R v S u R S ep ep

39 Restaurace obrazu Snaha o potlaení porušení obrazu na základ znalosti charakteru poruch nebo jejího odhadu ím lepší je znalost degradace tím lepší jsou výsledk proto se degradace modelují Model poruch se dlí: apriorní parametr poruch jsou znám nebo je lze získat ped obnovením nap. ohodnocení vlastností snímacího zaízení rozmazání modelujeme smr a rchlost pohbu aposteriorní znalosti o poruše jsou získáván až analýzou degradovaného obrazu urování charakteru poruch vhledáváním osamlých bod nebo pímek v obrazu a nalezením odpovídající penosové funkce po degradaci odhadování spektrálních vlastností šumu v oblastech obrazu o kterých víme že jsou pomrn stejnorodé Obvkle se uvažuje lineární model poruch konvoluce pes celý obrázek kde fab je neporušený obraz g je degradovaný obraz pedstavuje aditivní šum a h je prostorov nezávislý model poruch b a dadb b a h b a f g! * v u N v u H v u F v u G j i j i h f j i g!

40 Restaurace obrazu Píklad filtr: Relativní pohb mezi objektem a kamerou konstantní pohb objektu ve smru os rchlostí V pod dobu T v dob otevení závrk Rozostený objekt špatné zaostení tenké ok pi malé hloubce ostrosti J je Besselova fce prvního ádu r =u +v a je posun v obraze model je prostorov závislý Inverzní filtrace sin VTu H u v Vu J ar H u v ar vhodné jen pro obraz které nejsou zatížen šumem u obraz se šumem rozmazává ostré hran aditivní chba pro vsoké frekvence malá amplituda filtru F u v G u v H u v N u v H u v Wienerova filtrace Kalmanova filtrace vhodné i pro nezanedbatelný šum který má však odhadnutelné statistické vlastnosti

41 Matematická morfologie Používá se pro: pedzpracování odstranní šumu zjednodušení tvaru objekt zdraznní struktur objekt kostra ztenování zesilování výpoet konveního obalu oznaování objekt popis objekt íselnými charakteristikami plocha obvod projekce Úlohu vhodnocení obrazu geometrizuje Základem jsou tvar objekt a transformace které ho zachovávají Jsou realizované jako relace obrázku s jinou menší bodovou množinou = strukturní element elementem sstematick pohbujeme v obrazu Základní operace: dilatace eroze otevení uzavení Binární otevení - 7 pi široký kruhový element