Segmentace. Ilona Janáková. Rozvrh přednášky:

Transkript

1 1 / 31 Segmentace Ilona Janáková Rozvrh přednášky: 1. Úvod do segmentace. 2. Segmentace prahováním. 3. Segmentace z obrazu hran. 4. Segmentace z obrazu hran - Houghova transformace.

2 2 / 31 Segmentace Ilona Janáková Rozvrh přednášky: 1. Úvod do segmentace. 2. Segmentace prahováním. 3. Segmentace z obrazu hran. 4. Segmentace z obrazu hran - Houghova transformace.

3 Úvod do segmentace 3 / 31 Cíl segmentace: rozčlent obraz do částí které souvsí s předměty č oblastm reálného světa = oddělení obektů od pozadí každému pxelu e přřazen ndex segmentu představuící určtý obekt v obraze analýza obsahu obrazu obraz chystáme pro další krok = pops redukce dat zednodušení

4 Úvod do segmentace 4 / 31 Segmentace vychází z: globální znalost obrazu barva tvar poloha bod obektu určování hranc mez oblastm určování / vytváření oblastí Výsledek segmentace: by měl být soubor vzáemně se nepřekrývaících oblastí samostatné část homogenní vzhledem k určtým vlastnostem ako např. as barva textura které ednoznačně koresponduí s obekty kompletní segmentace nemusí přímo korespondovat s obekty částečná segmentace záleží na složtost scény na použté metodě na dalších krocích řetězce zpracování Problémy: př procesu pořízení obrazu šum nerovnoměrné osvětlení neednoznačnost obrazových dat složtost scény překrývaící se obekty různé metody nebo stená metoda s různým parametry počátek práh dávaí různé výsledky edna metoda není vhodná pro všechny typy úloh snímky

5 Úvod do segmentace segmentační metody 5 / 31 Segmentace prahováním - prosté - s více prahy - částečné / poloprahování - adaptvní / lokální prahování Hybrdní metody - neuronové sítě - morfologcké operace - ampltudová proekce - Segmentace z obrazu hran edge-based - prahování obrazu hran - sledování hrance - heurstcké sledování hrance - určování hrance s využtím znalost o eí poloze - aktvní kontury - level-set - houghova transformace Znalostní metody knowledgebased - srovnáním se vzorem Metody orentované na regony regon-based - spoování oblastí - štěpení oblastí - štěpení a spoování - watershed - shluková analýza Mean-shft K-means

6 6 / 31 Segmentace Ilona Kalová Rozvrh přednášky: 1. Úvod do segmentace. 2. Segmentace prahováním. 3. Segmentace z obrazu hran. 4. Segmentace z obrazu hran - Houghova transformace.

7 Segmentace prahováním 7 / 31 obekty č oblast sou charakterzovány konstantní odrazvostí č pohltvostí svého povrchu barva as X obekt a pozadí maí rozdílné vlastnost Prahování - bodová asová transformace vstupního obrazu g na výstupní bnární obraz f s prahem T obrazové elementy náležeící obektu as větší než práh maí hodnotu 1 pxely náležeící k pozadí maí hodnotu 0: f 1 0 pro pro g g T T Prahování: prosté s více prahy částečné / poloprahování adaptvní / lokální prahování prahování s hysterezí Způsoby určení prahu: expermentálně z hstogramu procentní ze statstk z globální znalost

8 Segmentace prahováním prosté prahování 8 / 31 orgnál práh = 50 práh = 100 práh = 200

9 9 / 31 Segmentace prahováním prahování s více prahy nak A g pro n A g pro A g pro f n A sou podmnožny asových úrovní 1 práh 2 prahy 3 prahy 9 prahů 19 prahů

10 10 / 31 Segmentace prahováním částečné prahování T g pro T g pro g f 0 T pro g g T pro g f T g pro T T g pro g T g pro f

11 Segmentace prahováním adaptvní prahování 11 / 31 Př adaptvním prahování e práh funkcí polohy v obrazu t. e určován vždy pro část obrazu Problém ak správně určt velkost oblastí Pokud obraz rozdělen do několka daných oblastí mohou vznkat artefakty na přechodech Řešení: - částečně se překrývaící oblast - nterpolace hodnot mez oblastm - lokální oblast kolem každého pxelu výpočetně náročné Vhodné např. pro snímky s nerovnoměrným osvětlením pokud není vyřešeno v rámc předzpracování Orgnální obraz globální práh obraz rozdělen na šestny každý pxel: oblast 11x11pxl stř.hod. oblast 21x21pxl stř.hod. oblast 11x11pxl stř.hod. + 1 pokud malý rozptyl

12 Segmentace prahováním určení prahu 12 / 31 a expermentálně b z hstogramu graf četností výskytu ednotlvých asových úrovní v obrazu vhodné pro b-modální hstogramy se dvěma dobře separovatelným maxmy lokální mnmum mez dvěma maxmy polovna vzdálenost mez dvěma maxmy překrývaící se rozsahy Otsu prahování Otsu prahování mnmalzace vntřního rozptylu w σ T n 0Tσ0T n1tσ1 T w nebo maxmalzace mez-rozptylu b 2 σ T n 0T n1t b μ T μ T T 1 n 0T p 0 N 1 T n1t p T 1 0T T 1 p n 0 0 p N 1 T n1 125 T zvažovaný práh p počet pxelů o dané ntenztě µ 0 a µ 1 průměrná hodnota ntenzty pozadí a popředí σ 0 a σ 0 rozptyly pozadí a popředí 69

13 Segmentace prahováním určení prahu 13 / 31 c procentní vychází z odhadu plochy kterou obekt zauímá vzhledem k celému snímku pokud např. víme že obekt pokrývá 20 % zvolím prahovou hodnotu T tak aby právě 20 % plochy hstogramu mělo úroveň asu menší než T relatvní kumulatvní hstogram např. pokrytí stránky tštěným textem obekt dané velkost v daném zorném pol d ze statstk práh T určen ako statstka z dané oblast např.: střední hodnota medán max+mn/2 Medán oblast 11x11pxl e z globální znalost prahování na základě né aprorní znalost např. barva kůže

14 14 / 31 Segmentace Ilona Kalová Rozvrh přednášky: 1. Úvod do segmentace. 2. Segmentace prahováním. 3. Segmentace z obrazu hran. 4. Segmentace z obrazu hran - Houghova transformace.

15 Segmentace z obrazu hran 15 / 31 Využívá se: hrana nalezena některým z hranových operátorů předzpracování hrance oblastí obektu sestávaí z hran hrana detekována postupně ako kraní pxely oblast s asem ným než e pozadí aprorní nformace víme předem něco o obektech např. přblžný tvar nebo barvu lepší segmentace ověření kvalty segmentace Požadavky: mnmální počet chyb žádná opomenutá významná hrana; žádná detekována místa která hranam nesou přesnost rozdíl mez skutečnou a nalezenou hranou by měl být mnmální ednoznačnost na ednu hranu nesmí reagovat vícenásobně Problémy: absence hran tam kde hrance probíhá výskyt hran tam kde hrance být nemá dvoté hrany Segmentace z obrazu hran edge-based - prahování obrazu hran - sledování hrance - heurstcké sledování hrance - určování hrance s využtím znalost o eí poloze - aktvní kontury - level-set - houghova transformace

16 Segmentace z obrazu hran prahování 16 / 31 hranové operátory Sobel Prewtt Roberts Krsch Laplacán velkost hrany = dference ostrá hrana může s nízkým prahem dávat menší příspěvek

17 Segmentace z obrazu hran Cannyho detektor 17 / 31 Postup který zahrnue několk kroků pro co nelepší splnění požadavků: Doporučený postup: 1. Elmnace šumu nečastě Gaussův fltr 2. Určení velkost a směru gradentů první dervace např. Sobel 3. Ztenčení nalezení lokálních maxm 4. Prahování s hysterezí elmnace nevýznamných hran Prahování s hysterezí: Předem stanoveny dva prahy vyšší T H a nžší T L. hodnoty hran > T H sou hned uznány ako hrany hodnoty < T L nesou uznány v ntervalu <T L ;T H > sou uznány en pokud ž dříve byl uznán ako hrana některý z okolních bodů

18 Segmentace z obrazu hran sledování hrance 18 / 31 není znám tvar hrance en např. barva obektu hrance e hledána postupně obkroužením obektu - čtyřokolí x osmokolí záps hrance např. pomocí Freemanova kódu Algortmus: 1. Procházíme obraz po řádcích dokud nenarazíme na barvu obektu 2. V okolí 3x3 hledáme další elementy obektu nalezený bod se stává novým výchozím 3. Skončíme až pokud se vrátíme do prvního výchozího bodu Záps hrance:

19 19 / 31 Segmentace z obrazu hran heurstcké sledování hrance využívá postupů prohledávání grafů hrany sou spoovány do řetězů lépe odpovídaících průběhu hranc graf = struktura sestávaící z množny uzlů {n } a z orentovaných sponc mez uzly {n n } hrany mohou být ohodnoceny cena - např. velkost změny asu délka hrany atd. generování grafu soubor pravdel na základě údaů o velkost a směru hrany v každém bodě obrazu prohledávání grafu zednodušení ucelení grafu relaxace hran hledání nekratší cesty cesta s nemenší cenou atd. Relaxace hran cílem e vytvořt souvslé hrance všechny vlastnost hrance včetně té zda hrana má č nemá exstovat sou postupně teračním způsobem zpřesňovány dokud není hranový kontext zcela zřemý podle pozce a velkost hran ve vhodně zvoleném okolí se věrohodnost každé hrany buď zvětšue nebo zmenšue Věrohodnost hran: negatvní 1-1 poztvní středně poztvní nemá vlv na relaxac

20 Segmentace z obrazu hran ze znalost o poloze 20 / 31 a máme nformace o pravděpodobné poloze a tvaru hrance skutečná hrance e hledána ako poloha významných hranových buněk v blízkost předpokládaného umístění hrance s podobným směrem nalezené buňky sou proloženy vhodnou aproxmační křvkou b známe počáteční a koncové body hrance teratvně postupně dělíme sponce ž detekovaných sousedních elementů hrance a vyhledáváme další hranční elementy na normálách vedených středy sponc Zlatý řez

21 Segmentace z obrazu hran Aktvní kontury snakes 21 / 31 Metoda postupného tvarování kontur až ke hraně obektu v obrazu: teratvní postup mnmalzace energe aktvní kontura e řízená uzavřená kontura která se deformue vlvem tzv. vntřních obrazových a vněších sl. vntřní síly kontroluí hladkost průběhu ohyb zlom E N obrazové síly směruí tvarování kontury směrem ke hraně obektu E I vněší síly sou výsledkem počátečního umístění kontury E T Kontura - dskrétní sada bodů: x y pro n 01 N pn n n... Výsledná pozce kontury = lokální mnmum energe kontury: E s N n1 E N p E p E p n Exstue mnoho navržených postupů měření výše uvedených energí N n1 I n N n1 T n

22 Segmentace z obrazu hran Level-set 22 / 31 Obdobný přístup ako aktvní kontury - tvar křvky však neměníme přímo ale prostřednctvím level-set funkce level set functon Level-set funkce vícedmenzonální funkce např. tvaru ehlanu kdy řez nulovou hladnou řez v rovně xy zero level set defnue počáteční křvku přřazue každému bodu rovny xy eho výšku u nad nebo pod nulovou hladnou = povrch funkce se postupně adaptue vzhledem k zadaným metrkám křvost a obrazovým gradentům level-set segmentace může být efektvněší pro komplexní obekty se složtým tvary Nahoře: Příklad Level-set funkce vpravo pro uzavřenou 2D křvku C Dole: Počáteční průběžný a koncový stav segmentace testovacích obrázků elpsy metodou Level-set převzato z

23 23 / 31 Segmentace Ilona Kalová Rozvrh přednášky: 1. Úvod do segmentace. 2. Segmentace prahováním. 3. Segmentace z obrazu hran. 4. Segmentace z obrazu hran - Houghova transformace.

24 Segmentace z obrazu hran Houghova transformace 24 / 31 Použtí: metoda pro nalezení obektů v obraze vyhledávání hranc nebo určování orentace obektů pokud známe analytcký pops tvaru hledaného obektu - detekce známého ednoduchého tvaru - přímka kružnce elpsa troúhelník lze ale použít tam kde není možný ednoduchý analytcký pops obektu detekce lbovolného tvaru = zobecněná Houghova transformace generalzed HT nevhodněší aplkace na bnární naprahovaný vyhranovaný snímek Prncp: mapování obrazového prostoru do prostoru parametrů = body se mapuí na křvku a naopak křvky na body sčítací buňky hlasování - sčítaí kolk bodů patří k přímce kružnc = akumulační prostor hledání maxma

25 Houghova transformace detekce přímek 25 / 31 y k x q Rovnce přímky ve tvaru transformace z prostoru xy obrázek na prostor kq vše co patřlo v obrazu edné přímce se mapue v prostoru kq na bod a naopak každý bod se mapue na přímku pro nalezení přímky v obrazu hledáme tedy v prostoru kq průsečík přímek ednodušší řešt pomocí sčítacích buněk příspěvek do bodu [kq] od každé přímky méně vhodná protože ntervalem možných hodnot parametru k směrnce e celá množna reálných čísel

26 Houghova transformace detekce přímek 26 / 31 r x cos y sn Rovnce přímky ve tvaru kde r e délka normály přímky od počátku e úhel mez normálou a osou x přímka se mapue na bod bod na křvku nterval hodnot např. 0;360 a r 0;velkost úhlopříčky obrázku

27 Houghova transformace detekce přímek 27 / 31 orgnální snímek 470x374 pxl naprahovaný Sobel orgnální snímek s nalezeným přímkam Houghův prostor s vyznačeným maxmy Algortmus: 1. Pro všechny body bnárního vyhranovaného snímku I pro které Ix y = 1: a. Pro úhly od 0 do urč r : r x cos y sn - do akumulátoru H o rozměrech na pozc r přčt ednčku 0 :359;0 : 2 x y 2. Nalezn maxmum maxma akumulátoru H 2

28 Houghova transformace detekce kružnc 28 / 31 šedotónový snímek naprahovaný Sobel Houghův prostor s vyznačeným maxmy r = 50 orgnální snímek s nalezeným středy a kružncem nečastě pracue s rovncí: x a y b r nebo parametrckým vyádřením: x a r cos y b r sn hledané parametry sou a b a r => Houghův prostor má dmenz 3 => vzroste výpočetní náročnost výhodou e znalost alespoň ednoho parametru nebo odhad = omezení ntervalu hledání

29 Houghova transformace - zobecnění 29 / 31 pro obekty které není možné ednoduše analytcky popsat pops hrance hledaného vzoru pomocí explctního seznamu LUT look up table všech bodů hrance tvaru pozce všech pxelů vztažená relatvně k něakému referenčnímu bodu např. těžště Vzor - seznam: p 1 : např. x y rozdíl souřadnc nebo r vzdálenost a natočení p 2 : p 3 :.. p n :

30 Houghova transformace - zobecnění 30 / 31 Algortmus: 1.Pro všechny body bnárního snímku I pro které Ix y = 1: a. Pro každý pxel p hrance vzoru pro každou položku seznamu - ze seznamu získe relatvní pozc bodu p od referenčního bodu - přde tento offset k pozc p - nkrementu tuto pozc v akumulátoru 2. Urč lokální maxma v akumulátoru obrázek naznačue ednoduchý případ kdy e uvažována pouze translace vzoru pokud chceme řešt změnu měřítka nebo/a rotac musíme přdat další parametry dmenze vnořené cykly: s scale měřítko natočení celého obektu

31 Houghova transformace výhody X nevýhody 31 / 31 Výhody: málo ctlvá na šum nectlvá k porušení hranc použtelná př částečném zakrytí obektů Nevýhody: problém přesnost - blízké rovnoběžné čáry mohou vlvem dskretzace vytvořt en edno maxmum zkreslení zakřví přímky -> ve výsledku několk maxm = několk přímek tlustá hrana = několk přímek neříká nc o počátku a konc křvek např. získáváme přímky místo úseček pracnost - vícenásobné vnořené cykly = časová náročnost Metody pro snížení výpočetní náročnost: RHT randomzed HT Monte Carlo náhodný výběr bodů pyramdy postupné zpřesňování v zaímavých oblastech - každá další má dvonásobné rozlšení kvadrantové stromy