DIGITÁLNÍ OBRAZ. Obrázky (popř. slajdy) převzaty od

Transkript

1 DIGITÁLNÍ OBRAZ JANA ŠTANCLOVÁ Obrázky (popř. slajdy) převzaty od RNDr. Josef Pelikán, CSc., KSVI MFF UK

2 Obsah fáze zpracování obrazu reprezentace obrazu digitalizace obrazu alias vzorkování kvantování reprezentace obrázku Fourierovou transformací 2/62 Jana Štanclová,

3 Proces zpracování obrazu PROCES ZPRACOVÁNÍ OBRAZU 3/62 Jana Štanclová,

4 Proces zpracování obrazu 1. snímání obrazu 2. digitalizace obrazu převod spojitého signálu na matici digitální zpracování čísel reprezentující obraz obrazu 3. předzpracování obrazu přizpůsobení obrázku lidskému oku 4. segmentace 5. popis nalezených objektů 6. rozpoznávání objektů počítačové vidění 4/62 Jana Štanclová,

5 1. Snímání obrazu převod vstupních optických veličin na elektrický signál spojitý v čase i v úrovni vstupní informace: jas (z TV kamery, scanneru) intenzita rentgenového záření ultrazvuk tepelné záření snímat lze v jednom nebo více spektrálních pásmech barevné snímání: 3 spektrální složky (např. RGB) 5/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

6 2. Digitalizace obrazu převod vstupního spojitého signálu do diskrétního tvaru matice čísel vstupní analogový signál popsán funkcí f(x,y) dvou proměnných (x,y)... souřadnice v obraze funkční hodnota f(x,y)... např. jas/intenzita vyjadřuje vlastnosti obrazu, tak jak odpovídá vnímání člověka vzorkování a kvantování vstupního signálu výsledkem: matice přirozených čísel popisující obraz jeden prvek matice = pixel (picture element) pixel... nedělitelná jednotka 6/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

7 2. Digitalizace obrazu jiná reprezentace vstupního obrazu v počítači obraz reprezentován jen koeficienty dvourozměrné Fourierovy transformace výhoda: Fourierovu transformaci lze provést okamžitě optickými prostředky již ve fázi snímání obrazu 7/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

8 3. Předzpracování obrazu - I přizpůsobení obrázku lidskému oku zvýraznění kontrastu zvětšení rozdílu mezi minimem a maximem v obrázku odstranění šumu průměrování obrázku s maskou/filtrem zvýraznění hran hrana = místo, kde dochází k výrazné změně intenzit a není to izolovaný bod problém při??zvýraznění hran a odstranění šumu?? 8/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

9 3. Předzpracování obrazu - II invertování degradací 1. modelovat špatné vlivy v obrázku jak se tam dostaly 2. proces invertovat degradace: jasové degradace rozmazání pohybem (fotografie jedoucího auta) vliv atmosféry geometrické degradace např. poškozená geometrie snímače... jiná snímatelnost v horizontálním a vertikálním směru zkresleno perspektivou 9/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

10 Počítačové vidění 4. segmentace nalezení objektů v obraze... nejtěžší proces 5. popis nalezených objektů kvantitativní popis (soubor čísel) kvalitativní popis (relace mezi objekty) 6. rozpoznávání objektů př. automatická analýza buněčného preparátu pozorovaného mikroskopem cíl: spočítat buňky a roztřídit je podle tvaru buněčných jader na podlouhlé a ostatní předzpracování: odstranění šumu segmentace: buněčná jádra jsou tmavší než zbytek obrazu popis obrazu: popsat jádra buněk a roztřídit je 10/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

11 Obraz OBRAZ 11/62 Jana Štanclová,

12 Obraz matematický model obrazu = obrazová funkce spojitá funkce dvou proměnných z = f (x,y) definiční obor R = {(x,y), 1 x x m, 1 y y m } spojitý interval...??tvar?? 12/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

13 Obraz matematický model obrazu = obrazová funkce spojitá funkce dvou proměnných z = f (x,y) definiční obor R = {(x,y), 1 x x m, 1 y y m } spojitý interval...??tvar?? obor hodnot z matematického hlediska: libovolný praxe: reálná čísla jas, intenzita červené barvy, vzdálenost od porozovatele, teplota,... počítačová grafika: tři hodnoty RGB (HSV, HLS,... ) obor hodnot omezený... proč?? 13/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

14 Obraz matematický model obrazu = obrazová funkce spojitá funkce dvou proměnných z = f (x,y) definiční obor R = {(x,y), 1 x x m, 1 y y m } spojitý interval...??tvar?? obor hodnot z matematického hlediska: libovolný praxe: reálná čísla jas, intenzita červené barvy, vzdálenost od porozovatele, teplota,... počítačová grafika: tři hodnoty RGB (HSV, HLS,... ) obor hodnot omezený... dáno technickými vlastnostmi snímacího zařízení (např. typicky 256 stupňů šedi nebo 256 různých barev) 14/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

15 Obrazová funkce obrazová funkce výsledkem perspektivního zobrazení realistický model obraz v klíčové dírce x' y' =?? =?? 15/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

16 Obrazová funkce obrazová funkce výsledkem perspektivního zobrazení realistický model obraz v klíčové dírce x y = = z y f 16/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

17 Obrazová funkce obrazová funkce výsledkem perspektivního zobrazení realistický model obraz v klíčové dírce nevýhoda: při perspektivním zobrazení se ztratí mnoho informace...??kde?? pozdější rekonstrukce 3D objektů z obrazu není možná 17/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

18 Digitalizace obrazu DIGITALIZACE OBRAZU 18/62 Jana Štanclová,

19 Digitalizace obrazu po nasnímání: spojitý 2D obraz typicky: snímací zařízení zdrojem spojitého signálu spojitá funkce f(x,y) pro zpracování obrazu v počítači potřeba rastrový obraz matice čísel číslo matice = jeden pixel obrázku digitalizace obrazu 19/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

20 Příklad digitálního obrázku řez z rentgenového tomografu 20/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

21 Digitalizace obrazu 1. vzorkování obrazu diskretizace v definičním oboru výsledkem je?? 21/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

22 Digitalizace obrazu 1. vzorkování obrazu diskretizace v definičním oboru výsledkem matice m n bodů (pro 2D obrazy) jak vypadá vzorkování v jednorozměrném případě? 2. kvantování co to je?? 22/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

23 Digitalizace obrazu 1. vzorkování obrazu diskretizace v definičním oboru výsledkem matice m n bodů (pro 2D obrazy) jak vypadá vzorkování v jednorozměrném případě? 2. kvantování diskretizace v oboru hodnot spojité jasové úrovně každého pixelu převedeny jen do k úrovní každý pixel nabývá jen určitého počtu hodnot (např. úrovní šedi) jemnější vzorkování a kvantování lepší aproximace původní spojitého obrazu 23/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

24 Vzorkování odebírání hodnot (vzorků) ve stejných intervalech 2 problémy: uspořádání vzorkovacích bodů do rastru vzdálenost mezi vzorky Shannonova věta o vzorkování 24/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

25 Uspořádání vzorkovacích bodů vzorky v pravidelné mřížce čtvercová snadná realizace odpovídá reprezentaci obrazu pomocí matice čísel hexagonální pravidelnost vzhledem k 6 okolním bodům každého bodu a jejich stejná vzdálenost 25/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

26 Vzdálenost mezi vzorky interval vzorkování = vzdálenost mezi nejbližšími vzorkovacími body v obrazu... tzv. vzorkovací (Ny uistova) frekvence vzdálenost vzorků určuje Shannonova věta o vzorkování vzorkovací frekvence musí být alespoň dvakrát vyšší než nejvyšší frekvence ve vzorkovacím signálu co to říká?? 26/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

27 Vzdálenost mezi vzorky interval vzorkování = vzdálenost mezi nejbližšími vzorkovacími body v obrazu... tzv. vzorkovací (Ny uistova) frekvence vzdálenost vzorků určuje Shannonova věta o vzorkování vzorkovací frekvence musí být alespoň dvakrát vyšší než nejvyšší frekvence ve vzorkovacím signálu interval vzorkování: menší nebo roven polovině rozměru nejmenších detailů v obraze interval vzorkování = vzorkovací frekvence nejvyšší frekvence ve vzorkovacím signálu = nejmenší detail v obrázku vzdálenost vzorků x vzorkovací frekvence f s = 1 / x 27/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

28 Po navzorkování vzorkovaný bod = pixel v digitalizovaném obrazu po uspořádání do vzorkovací mřížky vzorky pokrývají celý obraz př. jednorozměrný obrázek 28/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

29 Typy vzorkování bodové vzorkování dané oblasti přiřazeno jediné číslo typicky: hodnota středového pixelu plošné vzorkování méně časté celé oblasti přiřazena jediná hodnota na základě výpočtu typicky: průměr všech bodů oblasti vzorkování spojité funkce?? 29/62 Jana Štanclová,

30 Typy vzorkování bodové vzorkování dané oblasti přiřazeno jediné číslo typicky: hodnota středového pixelu plošné vzorkování méně časté celé oblasti přiřazena jediná hodnota na základě výpočtu typicky: průměr všech bodů oblasti vzorkování spojité funkce zprůměrování všech bodů plochy vyžaduje integraci přes plochu (obtížné) praxe: 30/62 Jana Štanclová,

31 Typy vzorkování bodové vzorkování dané oblasti přiřazeno jediné číslo typicky: hodnota středového pixelu plošné vzorkování méně časté celé oblasti přiřazena jediná hodnota na základě výpočtu typicky: průměr všech bodů oblasti vzorkování spojité funkce zprůměrování všech bodů plochy vyžaduje integraci přes plochu (obtížné) praxe: aproximace plošného vzorkování několika body uvnitř oblasti výsledná hodnota vzorku = vážený průměr vzorků SUPERSAMPLING (vzorkování s vyšší frekvencí) vzorky uvnitř oblasti umístěny rovnoměrně (regular sampling) nebo náhodně (stochastic sampling) 31/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

32 Příklady vzorkování - I uložení digitální nahrávky na kompaktním disku spojitý zvukový signál zaznamenávání okamžité hodnoty signálu v časových intervalech (tj. s určitou frekvencí) uložení hodnoty signálu na disk vyšší vzorkovací frekvence přesnější reprezentace skladby na disku filmový pás spojitý pohyb herců posloupnost filmových políček (diskrétních obrazů) 32/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

33 Příklady vzorkování - II Originál /62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

34 Příklady vzorkování - III Originál /62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

35 Příklady vzorkování - IV Originál ( ) /62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

36 Kvantování diskretizace oboru hodnot obrazové funkce rozdělení obor hodnot na intervaly přiřazení jediné zástupné hodnoty každému intervalu zobrazení = kvantizér (není prosté) 36/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

37 Kvantování diskretizace oboru hodnot obrazové funkce rozdělení obor hodnot na intervaly přiřazení jediné zástupné hodnoty každému intervalu zobrazení = kvantizér (není prosté) t 1 t 2 t 3 t 4 kvantovací prahy 37/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

38 Kvantování kvantizace obrázku zpětný krok není možný kvantizér není prostá funkce při kvantizaci lze ovlivnit počet kvantovacích hladin poloha kvantovacích prahů typicky citlivost zařízení první a poslední kvantizační práh ostatní prahy rozloženy rovnoměrně nebo logaritmicky mezi mezními prahy prahy logaritmicky natlačeny k jedné straně nějaká informace o obrázku kvantizační prahy přizpůsobeny 38/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

39 Počet kvantovacích hladin počet kvantovacích hladin přesné vyjádření jemných detailů obrázku zamezení tzv. falešných obrysů citlivost zařízení se má blížit citlivosti oka typicky: kvantování do k stejných intervalů reprezentace pixelu pomocí b bitů počet úrovní jasu je k =?? 39/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

40 Počet kvantovacích hladin počet kvantovacích hladin přesné vyjádření jemných detailů obrázku zamezení tzv. falešných obrysů citlivost zařízení se má blížit citlivosti oka typicky: kvantování do k stejných intervalů reprezentace pixelu pomocí b bitů počet úrovní jasu je k = 2 b obvykle je b = bitů (občas 6 nebo 4b vyjímečně 1 b) 40/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

41 Chyba kvantování kvantizační chyba náhlý skok barev na plochách s malou změnou gradientu kvantizace: původní hladký barevný přechod nahrazen skokovou změnou?? důvod: nedostatečný počet jasových úrovní 41/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

42 Chyba kvantování kvantizační chyba náhlý skok barev na plochách s malou změnou gradientu kvantizace: původní hladký barevný přechod nahrazen skokovou změnou vznik hran, které v obraze nebyly důvod: nedostatečný počet jasových úrovní 42/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

43 Chyba kvantování chyba kvantování patrná pro člověka pokud počet úrovní 5 člověk schopen rozeznat 5 úrovní šedi v šedot novém obrázku řešení: neuniformní kvantování různě velké intervaly zvětšení rozsahu intervalů, které nejsou příliš zastoupeny v obraze (nebo se očekává, že nebudou příliš zastoupeny) 43/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

44 Digitální obrázek a lidské oko zdravé oko rozlišení,1mm ze vzdálenosti 25cm rozlišení úrovní šedi 5 úrovní šedi 1 úrovní šedi, když je lze položit vedle sebe a porovnávat příklad obrázek s 12 úrovněmi šedi vytištěn na papír 5 5cm díváme se na něj ze vzdálenosti 25cm obrázek se bude jevit spojitý digitalizované obrázky netrpí kvantizací pro pohled lidského oka 44/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

45 Digitalizace a omezená pamě omezená pamě na uložení digitalizovaného obrázku obrázky s velkými plochami důležitý počet kvantizačních hladin kvantování obrázky s hodně detaily důležitý počet kroků vzorkování (prostorovost) vzorkování příklad 16kB paměti počet kroků počet kvant. úrovní???? 45/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

46 Digitalizace a omezená pamě omezená pamě na uložení digitalizovaného obrázku obrázky s velkými plochami důležitý počet kvantizačních hladin kvantování obrázky s hodně detaily důležitý počet kroků vzorkování (prostorovost) vzorkování příklad 16kB paměti B počet kroků počet kvant. úrovní na 1 pixel 1B na 1 pixel 6b 46/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

47 Příklady kvantování - I Originál (256 úrovní) 64 jasových úrovní 47/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

48 Příklady kvantování - II Originál (256 úrovní) 16 jasových úrovní 48/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

49 Příklady kvantování - III Originál (256 úrovní) 4 jasové úrovně 49/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

50 Příklady kvantování - IV Originál (256 úrovní) 2 jasové úrovně 50/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

51 Alias ALIAS 51/62 Jana Štanclová,

52 Alias alias vznik při podvzorkování spojité funkce pod Ny uistův limit nová, nízkofrekvenční frekvence, která nebyla v původním signálu alias v životě? 52/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

53 Alias v běžném životě - I počítačová animace běžící postavička se pohybuje a přitom nehýbe nohama, popř. s nimi pohybuje v opačném směru,... snímání hodin a) hodiny snímány správně... žádný alias b) vliv aliasu ručička přeskakuje mezi celou a půl c) vliv aliasu ručička stojí d) vliv aliasu ručička jde na opačnou stranu 53/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

54 Alias v běžném životě - II továrna... rotační stroje a zářivky zářivky nesvítí spojitě, ale vrhají krátké záblesky svým světlem vzorkují okolí zářivka svítí na rychle se otáčející objekt objekt se otáčí pomalu, vůbec nebo na opačnou stranu televizní obrazovka snímaná kamerou kamera snímá obraz v diskrétních časových intervalech obrazovka promítá po půlsnímcích interference frekvencí alias alias = tmavé pruhy pohybující se různou rychlostí nahoru nebo blikání vrtule letadel na obrazovce snímky získané kamerou = diskrétní vzorky 54/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

55 Fourierova transformace REPREZENTACE OBRÁZKU POMOCÍ FOURIEROV TRANSFORMACE 55/62 Jana Štanclová,

56 Fourierův obraz 2 nejčastější reprezentace obrazu diskrétní matice pixelů... tzv. prostorová oblast Fourierův obraz... tzv. frekvenční oblast Fourierův obraz složení obecně nekonečně mnoha sinusových signálů s různou amplitudou a různým fázovým posunem amplituda... výška sinusovky fáze... posun sinusovky vůči počátku (dopředná) Fourierova transformace obraz Fourierův obraz inverzní (zpětná) Fourierova transformace 56/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

57 Fourierův obraz analogie zvuk = signál složený z hloubek a výšek hloubky... signály nízké frekvence výšky... signály vysoké frekvence silnější hloubky větší amplituda nízkých frekvencí silnější výšky větší amplituda vysokých frekvencí šum typicky nežádoucí vysoké frekvence v obrázku 57/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

58 Fourierova transformace Fourierova transformace pro digitální obrazy F u = ( ) ( ) ( ) - - x e funkce komplexní proměnné -2π i xu+ yv dx dy periodická funkce v proměnné u i v s periodou 2 Fourierova transformace pro obrázky vždy existuje digitální obrazy omezené s konečným počtem bodů nespojitosti inverzní Fourierova transformace f x,y = ( ) ( ) ( ) F u,v - - e 2πi xu+ yv du dv 58/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

59 Spektra Fourierovy transformace Fourierova transformace = funkce komplexní proměnné ( ) ( ) ( ) F u,v = R u,v i I u,v amplitudové spektrum amplitudy (výšky) jednotlivých sinusovek ( ) ( ) ( ) 2 F u,v = fázové spektrum R u,v 2 I u, v posuny jednotlivých sinusovek ( ) u,v = tan -1 I ( u,v ) R( u,v) 59/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

60 Fourierova transformace příklad (jednorozměrná funkce): Fourierova transformace amplitudové spektrum inverzní Fourierova transformace 60/62 Jana Štanclová,

61 Fourierova transformace příklad (jednorozměrná funkce): Fourierova transformace amplitudové spektrum inverzní Fourierova transformace 61/62 Jana Štanclová,

62 Fourierova transformace příklad: obrázek F(u,v) log(1 F(u,v) ) 62/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz