Zpracování obrazů. Honza Černocký, ÚPGM

Transkript

1 Zpracování obrazů Honza Černocký, ÚPGM

2 1D signál 2

3 Obrázky 2D šedotónový obrázek (grayscale) Několikrát 2D barevné foto 3D lékařské zobrazování, vektorová grafika, point-clouds (hloubková mapa, Kinect) Video další dimenze je čas 3

4 Obrázek K L 4

5 Matematicky 5

6 Representace vzorků Běžně kvantovány 8/16 bitů atd Pro výpočty lépe [0 1] A jako floats 6

7 Operace nad pixely jas plus 7

8 Operace nad pixely jas minus 8

9 Kontrast plus 9

10 Kontrast minus 10

11 Co se špatnými hodnotami? x[k,l] < 0 nebo x[k,l] > 1 Nechat Klipovat: 11

12 Využití statistik hodnot Histogram 12

13 Ekvalizace histogramu 13

14 Prahování 14

15 Filtrace signál filtr signál Úkol? Získat nový signál s požadovanými vlastnostmi. 15

16 Filtrace opakování 1D 16

17 Filtrace opakování 1D 17

18 2D filtr I J 18

19 Filtrace Okraj? Třeba nuly 19

20 Koeficienty h[k,l] Říkáme jim Koeficienty Maska Konvoluční jádro Chceme po nich Aby měly nějaký smysl Aby neměnily dynamiku signálu 20

21 Drát 21

22 Vyhlazování 22

23 Detektor vertikálních hran 23

24 Co se zápornými vzorky? Můžeme nechat tak pro další výpočty Nebo vymyslet, jak je převést do [0 1] pro zobrazování např. absolutní hodnota 24

25 Detektor horizontálních hran 25

26 Obojí dohromady 26

27 Odšumování Maska 9x9, hodnoty 1/81 zoom noise_low_pass.png 27

28 Odšumování II mediánový filtr zoom noise_median.png 28

29 Spektrální analýza Úkol: Zjistit, co je v signálu na jakých frekvencích Proč? Vizualisace, Výpočet parametrů (think of Facebook) Filtrace (převod do spektrální oblasti a násobení tam může být efektivnější) Kódování (think of JPEG) 29

30 Opakování 1D Co je v něm? 30

31 Opakování 1D cosinové báze Problém s fází vlna signálu může začínat jinde než v nule 31

32 Tady dobře 32

33 Tady také dobře 33

34 Aj aj Jak to že nula, když 34

35 Komplexní exponenciály 35

36 36

37 37

38 1D ultimate result - DFT 38

39 Teď konečně 2D Korelace = určování podobnosti = projekce do bází To už jsme jednou viděli, je to furt to samý ANO, JE! 39

40 Analyzační signál = d.c. c=4.8287e+03 c=6.8287e+03 c=8.8287e+03 40

41 Analyzační signál horizontální cosinusovka Mění se pouze v jednom směru. Budeme potřebovat zobrazovat i záporné hodnoty 41

42 Geeks: jak se toto dělá v Matlabu?? 42

43 Analýza pro c=4.5475e-13 c=2500 c=3.4106e-13 43

44 2 x rychlejší horizontální cos c=2.9843e-13 c=1.5064e-12 c=2.5000e+03 44

45 Vertikální cos 45 c= e-14 c=2.5000e+03 c=6.9944e-13

46 2 x rychlejší vertikální cos c= e-13 c=2.5000e+03 c=

47 Mix obou směrů 47

48 Zobecnění m/k svislá frekvence n/l vodorovná frekvence 48

49 Rozumné rozsahy frekvencí? m/k a n/l 0 ½ => OK > ½ => hm 0 K x[k,l] K/2 X[k,l] 0 L/2 L 49

50 Ještě o frekvencích 1D 2D 50

51 Fáze opět problém 51 c=2.5000e+03 c=9.9476e-13 c= e-14

52 Řešení komplexní exponenciály (opět) Opakování, co je co k,l jsou počitadla pixelů (vstup) m,n jsou počitadla frekvencí (výsledek) m/k je normalizovaná vertikální frekvence n/l je normalizovaná horizontální frekvence 52

53 Jak si to představit I. 53

54 Jak si to představit II. 54

55 Korelace s x[n] Re(c) = 2500 Im(c) = 0 c =

56 Korelace s x[n] Re(c) = 1250 Im(c) = c =

57 Korelace s x[n] Re(c) = -772 Im(c) = 2378 c =

58 Změna v obou směrech X[7,3] Re(c) = 0 Im(c) = 0 c = 0 nepodobný 58

59 Změna v obou směrech X[7,3] Re(c) = 2165 Im(c) = 1250 c = 2500 podobný 59

60 2D DFT pomocí 2 x 1D DFT takže 60

61 2D DFT pro skutečný signál 61

62 62

63 Něco s více vyššími frekvencemi 63

64 64

65 DFT produkuje K x L bodů! K x[k,l] K X[k,l] L L 65

66 Celý výsledek k=0 K-1, l=0 L-1 66

67 Symetrie? 0 0 L/2 L-1 K/2 K-1 Zdroj: 67

68 Přeskládání Nízké frekvence uprostřed 68

69 Zpětná 2D DFT 69

70 Hraní s frekvencemi 70

71 71

72 DCT Proč? Komplexní koeficienty jsou otravné Symetrie v obrázku jsou otravné Pro obrázek K x L chceme K x L reálných čísel. 72

73 1D DCT + normalisace koeficientů 73

74 2D DCT báze Zdroj: screte_cosine_transform#mult idimensional_dcts 74

75 Filtrování v DCT 75

76 76

77 JPEG Zdroj: Více v grafických předmětech a 2. cvičení. 77

78 SUMMARY Obraz je 2D signál Filtrace Konvoluce, analogie s 1D FIR filtry IIR v obrázcích nepotkáte Jezdím s maskou po obrázku, co pod ni padne, vynásobím s koeficienty a sčítám. 78

79 SUMMARY II. Frekvenční analýza 2D Stejně jako u 1D projekce do bází Obrazové frekvence mají svůj význam. Cos báze jsou dobré cvičení, ale nestačí 2D DFT Projekce/podobnost/korelace s komplexními exponenciálami Koeficienty jsou komplexní, modul a argument Ve výsledné DFT matici je spousta symetrií Ve spektru se dá filtrovat. 79

80 SUMMARY III. DCT 2x pomalejší báze než DFT Trochu složitější definice Produkuje reálné koeficienty, nízké frekvence (jen!) na začátku Využití v JPEG 80

81 TO BE DONE Určení frekvenční charakteristiky 2D filtru Jak je to přesně se symetriemi 2D DFT? Jak je přesně definována 1D a 2D DCT a proč je tam ten půlvzorkový posuv? Jak je to s barvami (barevné modely, atd). Jak funguje rozpoznávání xichtů na FB? Hint: /yann-lecun/ 81

82 The END 82