FAKULTA ELEKTROTECHNIKY A KOMUNIKANÍCH TECHNOLOGIÍ VYSOKÉ UENÍ TECHNICKÉ V BRN Poítaové vidní Ing. Karel Horák Ph.D. Ing. Ilona Kalová Ph.D. Ing. Petr Petyovský Ing. Miloslav Richter Ph.D. Brno 6.4. 8
FEKT Vysokého uení technického v Brn Obsah ÚVOD... ZAAZENÍ PEDMTU VE STUDIJNÍM PROGRAMU (HORÁK).... ÚVOD DO PEDMTU.... VSTUPNÍ TEST... 3 APLIKACE POÍTAOVÉHO VIDNÍ (RICHTER)...3 3. MOTIVACE...3 3. SYSTÉM POÍTAOVÉHO VIDNÍ...4 3.3 PEHLED ÚLOH POÍTAOVÉHO VIDNÍ...5 3.4 ZKRESLENÍ KAMER...5 3.5 MOTIVANÍ PEHLED APLIKACÍ...7 4 REPREZENTACE A VLASTNOSTI OBRAZOVÝCH DAT (PETYOVSKÝ)... 4. REPREZENTACE OBRAZOVÝCH DAT... 4. REPREZENTACE DVOUROZMRNÉHO SYSTÉMU... 4.3 D DIRACOVA FUNKCE A ROZPTYLOVÁ FUNKCE (PSF)...3 4.4 PODMÍNKY DIGITALIZACE D OBRAZOVÉ FUNKCE...4 4.4. Interval vzorkování...4 4.4. Volba vzorkovací mížky...4 4.4.3 Kvantování hodnot obrazové unkce...5 4.5 REPREZENTACE DISKRÉTNÍHO OBRAZU JAKO D/D SIGNÁLU...5 4.6 KONVOLUNÍ INTEGRÁL PRO DISKRÉTNÍ SYSTÉMY...6 4.7 LINEÁRNÍ FILTRACE OBRAZU V SIGNÁLOVÉ OBLASTI...7 4.7. Vyhlazování šumu v obraze...7 4.7. Realizace diskrétního operátoru pro prmrování...7 4.7.3 Detekce hran v obraze...8 4.7.4 Operace ostení obrazu...3 5 BARVY V POÍTAOVÉ GRAFICE (PETYOVSKÝ)...3 5. BAREVNÉ MODELY...3 5. ADITIVNÍ MODELY RGB RGBA...3 5.3 SUBSTRAKTIVNÍ MODELY CMY CMYK...3 5.4 BAREVNÝ MODEL HSV...33 5.5 BAREVNÝ MODEL HLS...33 5.6 MODELY PRO TELEVIZNÍ A VIDEO TECHNIKU YUV...34 5.7 CHROMATICKÝ DIAGRAM XYZ-CIE...34 5.7. Pravidla pro tvorbu barev v chromatickém diagramu...35 5.7. Dsledky plynoucí z chromatického diagramu...35 6 PEDZPRACOVÁNÍ OBRAZU A SEGMENTACE (KALOVÁ)...37 6. SNÍMÁNÍ OBRAZU...37 6. PEDZPRACOVÁNÍ OBRAZU...38 Zkreslení...38 6.. Bodové jasové transormace...39 6.. Geometrické transormace...4
Poítaové vidní 3 6..3 Lokální operace pedzpracování...4 6..4 Restaurace obrazu...44 6..5 Matematická morologie...45 6.3 SEGMENTACE OBRAZU...45 6.3. Segmentace prahováním...45 6.3. Segmentace na základ hran...46 6.3.3 Segmentace narstáním oblastí...48 6.3.4 Segmentace srovnáním se vzorem...49 6.3.5 Sub-pixelové urení hranice...49 7 INTEGRÁLNÍ TRANSFORMACE OBRAZU (RICHTER)...5 7. FOURIÉROVA TRANSFORMACE...5 7. RYCHLÁ FOURIÉROVA TRANSFORMACE...5 7.3 DISKRÉTNÍ KOSINOVÁ TRANSFORMACE...5 7.4 WAVELETOVÁ TRANSFORMACE...5 8 FORMÁTY KOMPRESE (PETYOVSKÝ)...5 8. ROZDLENÍ ZOBRAZOVACÍCH MÉDII...5 8. REPREZENTACE GRAFIKY V PAMTI POÍTAE...5 8.3 RASTROVÉ ZOBRAZENÍ...5 8.4 VEKTOROVÉ ZOBRAZENÍ...5 8.5 KOMPRESE RASTROVÉHO OBRAZU...53 8.5. Komprese RLE...53 8.5. Komprese LZ77/LZW...54 8.5.3 Humanova kompresní metoda...54 8.5.4 Diskrétní kosinová transormace (DCT)...55 8.6 GRAFICKÉ FORMÁTY...56 8.6. Formát PCX...56 8.6. Formát GIF...56 8.6.3 Formát PNG...56 8.6.4 Formát.JPEG...56 8.6.5 Formát TIFF...57 8.7 KOMPRESE DIGITÁLNÍHO VIDEA...58 8.7. Bezeztrátové kompresní metody...58 8.7. Ztrátové kompresní metody...58 8.8 STANDARDY DIGITÁLNÍHO VIDEA...58 8.8. MPEG-...58 8.8. MPEG-...59 8.8.3 MPEG-4...6 8.9 PÍKLADY FORMÁT DIGITÁLNÍHO VIDEA...6 8.9. DivX 3.a Alpha...6 8.9. DivX 5.x...6 8.9.3 XviD...6 8.9.4 MJPEG...6 8.9.5 ASF...6 8.9.6 QuickTime...6 8.9.7 VCD (video CD) SVCD (super video CD)...6 8.9.8 DVD (digital versatile disc)...6 8.9.9 Blue-Ray HD DVD VMD...6 9 MORFOLOGIE OBRAZU (HORÁK)...63
4 FEKT Vysokého uení technického v Brn DETEKCE A PARAMETRIZACE GEOMETRICKÝCH TVAR (KALOVÁ)...64. HOUGHOVA TRANSFORMACE...64.. Detekce pímek...64.. Detekce kružnic...66..3 Zobecnná Houghova transormace...66. DALŠÍ SEGMENTANÍ METODY...67.. Vyplování oblastí...67.. Vyplování geometricky urené hranice ádkové vyplování...67... Barvení oblastí...69..3 Aktivní kontury (snakes active contours)...7..4 Level-set...7..5 Watershed...7..6 Shluková analýza...7.3 ÚPRAVY OBRAZU...7.3. Transormace barev omezení barevného prostoru...7.3. Barevný Šedo-tónový...7.3.3 Šedo-tónový binární...73.3.4 Geometrické transormace obrazu...74 KLASIFIKÁTORY A AUTOMATICKÉ TÍDNÍ (PETYOVSKÝ)...78. POJMY...78. ROZDLENÍ KLASIFIKÁTOR:...8.3 LINEÁRNÍ KLASIFIKÁTOR...8.4 BAYESV KLASIFIKÁTOR...8.5 ZLEPŠENÍ PESNOSTI KLASIFIKACE BOOSTING...84.6 MARKOVOVY MODELY...86.7 SKRYTÉ MARKOVOVY MODELY (HMM)...86.8 PRINCIPAL COMPONENTS ANALYSIS (PCA LDA)...87 POPIS OBJEKT (HORÁK)...89. CO SE ROZUMÍ POPISEM OBJEKTU?...89. PÍPRAVA OBRAZU PRO POPIS...9.3 PÍZNAKOVÝ VEKTOR...9.4 DLENÍ PÍZNAK...9.5 IDENTIFIKACE OBLASTÍ...93.6 RADIOMETRICKÉ DESKRIPTORY ZALOŽENÉ NA REGIONECH...94.7 RADIOMETRICKÉ DESKRIPTORY ZALOŽENÉ NA HRANICÍCH...98.8 FOTOMETRICKÉ DESKRIPTORY...99.9 GEOMETRICKÉ MOMENTY A MOMENTOVÉ INVARIANTY... 3 LOKÁLNÍ PÍZNAKY A KORESPONDENCE (HORÁK)... 4 STROJOVÉ UENÍ (HORÁK)...3 4. KLASIFIKACE PÍZNAK OBRAZU...3 4. NEURONOVÉ SÍT PRO KLASIFIKACI OBRAZU...4 4.. Model neuronu...5 4.. Uení...6 4..3 Aproximátory aproximaní klasiikátory...7 4..4 Asociativní pamti Hopieldova sí...7 4..5 Realizovatelnost klasiikátoru...8
Poítaové vidní 5 4.3 KLASIFIKANÍ ÚLOHY...9 4.3. Klasiikace obrazu íslice...9 4.3. Klasiikace obrazu vady... 4.3.3 Klasiikace obraz znak... 5 ANALÝZA DYNAMICKÝCH OBRAZ (HORÁK)...4 5. POHYB V OBRAZE...4 5. OBRAZOVÁ SEKVENCE...5 5.3 ANALÝZA POHYBU...7 5.4 ROZDÍLOVÉ METODY...8 5.5 ESTIMACE MODELU PROSTEDÍ... 5.6 OPTICKÝ TOK...3 5.7 DETEKCE VÝZNAMNÝCH BOD...4 5.8 KOMPRESE VIDEA...5 5.9 METODA RANSAC...6 6 DODATKY...9 6. VSTUPNÍ TEST...9 6.. Vstupní test zadání...9 6.. Vstupní test ešení...9 6. OBRAZOVÁ GALERIE...3 7 SEZNAM POUŽITÉ LITERATURY...3
6 FEKT Vysokého uení technického v Brn Seznam obrázk OBR. 3.. PROJEKCE TROJROZMRNÝCH DAT ULTRAZVUKU JASOVÁ SLOŽKA PEDSTAVUJE HUSTOTU...3 OBR. 3.. OBRAZ ROZLOŽENÍ TEPLOTY V PSEUDO-BARVÁCH...3 OBR. 3.3. ZMNA VZHLEDU OBJEKTU SE ZMNOU SVTLA VLIVEM POHYBU ODRAZU...4 OBR. 3.4. SNÍMANÝ OBRAZ (VLEVO) A ZVÝRAZNNÍ RYS POMOCÍ HRANOVÉHO DETEKTORU (VPRAVO)...4 OBR. 3.5. HOUGHOVA TRANSFORMACE OBRAZU (VLEVO) A HRANY VYBRANÉ POMOCI MAXIM HT...5 OBR. 3.6. NEJEDNOZNANOST ÚLOHY ROZPOZNÁVÁNÍ...5 OBR. 3.7. GEOMETRICKÉ ZKRESLENÍ SNÍMACÍ SOUSTAVY...6 OBR. 3.8. KIVKY ZKRESLENÍ POSUNU O JEDEN PIXEL V X A Y...6 OBR. 3.9. ROZLOŽENÍ VELIKOSTI CHYB VE SMRU X V PLOŠE PRO 6 PARAMETR A PRO MÍTKO...6 OBR. 3.. AZENÍ DESTIEK Z TVRDOVKOVU...7 OBR. 3.. SNÍMEK OCELOVÉ TYKY PI TAHOVÉ ZKOUŠCE...7 OBR. 3.. SNÍMEK VOZIDLA PRO KONTROLU RYCHLOSTI...8 OBR. 3.3. SNÍMEK SVAR Z PRMYSLOVÉ KAMERY...9 OBR. 3.4. SNÍMEK HRDLA (VLEVO) A DNA LÁHVE (VPRAVO)...9 OBR. 3.5. VÝEZ SNÍMKU PRO DETEKCI PROFILU (VLEVO) A SNÍMACÍ HLAVA (VPRAVO)...9 OBR. 3.6. SNÍMEK ZE STEREO-PÁRU (VLEVO) A DRÁTOVÝ MODEL REKONSTRUOVANÉ SCÉNY (VPRAVO)... OBR. 3.7. REKONSTRUOVANÝ MODEL VRAT... OBR. 3.8. MENÁ KAPKA S NASVÍCENÝM VZOREM (VLEVO) A PRINCIP MENÍ (VPRAVO)... OBR. 3.9. INTERFERENNÍ OBRAZEC MOIRE METODY... OBR. 3.. VSTUPNÍ SNÍMEK SPEKLY (VLEVO) YOUNGOVY PROUŽKY PED A PO FILTRACI (UPROSTED) A EZY PRO DETEKCI PARAMETR DRSNOSTI POVRCHU (VPRAVO)... OBR. 4.. TYPY VZORKOVACÍCH MÍŽEK...4 OBR. 4.. FILTRACE OBRAZU (A) S ŠUMEM (B) MASKOU 3X3 (C) A MASKOU 5X5 (D)...7 OBR. 4.3. FILTRACE OPERÁTOREM DIFERENCE PRVNÍHO ÁDU...9 OBR. 4.4. APLIKACE LAPLACEOVA OPERÁTORU...3 OBR. 4.5. APLIKACE LAPLACEOVA OPERÁTORU PRO OSTENÍ...3 OBR. 4.6. APLIKACE LAPLACEOVA A LOG OPERÁTORU...3 OBR. 5.. BAREVNÉ SPEKTRUM...3 OBR. 5.. RGB KRYCHLE...3 OBR. 5.3. CMY KRYCHLE...33 OBR. 5.4. BAREVNÝ MODEL HSV...33 OBR. 5.5. BAREVNÝ MODEL HLS...34 OBR. 5.6. CHROMATICKÝ DIAGRAM...35 OBR. 5.7. DOPLKOVÉ BARVY V CHROMATICKÉM DIAGRAMU...35 OBR. 5.8. OMEZENÍ BAREVNÉHO GAMUTU TECHNICKÝCH ZAÍZENÍ...36 OBR. 6.. SEKVENCE ÚKON ZPRACOVÁNÍ OBRAZU...37 OBR. 6.. RADIÁLNÍ ZKRESLENÍ A) SOUDEK B) PODUŠKA C) NATOENÍ DETEKTORU...38 OBR. 6.3. PVODNÍ SNÍMEK SNÍMEK POZADÍ SNÍMEK ZA TMY OBRAZ PO KOREKCI...39 OBR. 6.4. TRANSFORMACE JASOVÉ STUPNICE...39 OBR. 6.5. PVODNÍ A EKVALIZOVANÝ OBRÁZEK S HISTOGRAMEM...4 OBR. 6.6. GEOMETRICKÉ TRANSFORMACE...4 OBR. 6.7. JASOVÁ TRANSFORMACE...4 OBR. 6.8. KONVOLUCE OBRÁZKU S MASKOU...4 OBR. 6.9. GAUSSOVO ROZLOŽENÍ SE STEDEM V () A = A ODPOVÍDAJÍCÍ MASKA 5X5...4 OBR. 6.. ROTUJÍCÍ MASKY...43 OBR. 6.. URENÍ PRAHU Z HISTOGRAMU...46 OBR. 6.. SLEDOVÁNÍ HRANIC V OSMI-OKOLÍ...46 OBR. 6.3. GENEROVÁNÍ ORIENTOVANÉHO GRAFU RELAXACE HRAN...47 OBR. 6.4. DEFINICE HRAN PRO RELAXACI...47 OBR. 6.5. SPOJOVÁNÍ OBLASTÍ...48 OBR. 6.6. ŠTPENÍ A SPOJOVÁNÍ...49 OBR. 6.7. SUB-PIXELOVÉ URENÍ HRANY...49 OBR. 8.. OBRAZOVÁ FUNKCE V PAMTI POÍTAE...5 OBR. 8.. BAREVNÝ RASTROVÝ OBRAZ - BITPLÁN...5 OBR. 8.3. BAREVNÝ RASTROVÝ OBRAZ BAREVNÁ PALETA...5 OBR. 8.4. VEKTOROVÁ REPREZENTACE OBRAZU...5
Poítaové vidní 7 OBR. 8.5. KOMPRESE METODOU RLE... 53 OBR. 8.6. HUFFMANOVO KÓDOVÁNÍ... 55 OBR. 8.7. KOMPRESNÍ METODA JPEG... 57 OBR... REPREZENTACE PÍMKY V PROSTORU (XY) A PROSTORU (KQ)... 64 OBR... REPREZENTACE PÍMKY V PROSTORU (XY) A PROSTORU (R)... 65 OBR..3. ORIGINÁLNÍ SNÍMEK A SNÍMEK HRAN JAKO VSTUP HT... 65 OBR..4. HOUGHV PROSTOR MAXIM A PVODNÍ SNÍMEK S NALEZENÝMI PÍMKAMI... 65 OBR..5. DETEKCE KRUHOVÝCH OBJEKT (R=5 PXL) POMOCÍ HT... 66 OBR..6. POPIS HRANICE OBECNÉHO TVARU POLOHOVÝMI VEKTORY... 66 OBR..7. SESTAVOVÁNÍ HOUGHOVA PROSTORU... 66 OBR..8. GEOMETRICKY URENÁ HRANICE OBJEKTU... 67 OBR..9. KROKY A B A C ALGORITMU VYPLOVÁNÍ OBLASTI... 67 OBR... KROKY A B+C A 3 ALGORITMU VYPLOVÁNÍ OBLASTI... 68 OBR... SEMÍNKOVÉ VYPLOVÁNÍ POÁTENÍ BODY... 68 OBR... POSTUP ÁDKOVÉHO SEMÍNKOVÉHO VYPLOVÁNÍ... 69 OBR..3. SLEDOVANÉ PIXELY PRO 4 OKOLÍ A 8 OKOLÍ... 69 OBR..4. KOLIZE BAREV 4 OKOLÍ... 69 OBR..5. PÍKLADY KOLIZNÍCH OBJEKT... 69 OBR..6. PVODNÍ A PRAHOVANÝ OBRAZ (VLEVO) PRVNÍ A DRUHÝ PRCHOD ALGORITMU (VPRAVO)... 7 OBR..7. AKTIVNÍ KONTURY POÁTENÍ STAV STANDARDNÍ POSTUP A MODIFIKOVANÁ VERZE... 7 OBR..8. LEVEL-SET FUNKCE PRO UZAVENOU D KIVKU C... 7 OBR..9. POÁTENÍ PRBŽNÝ A KONCOVÝ STAV SEGMENTACE METODOU LEVEL-SET... 7 OBR... ÁRY REPREZENTUJÍCÍ HRÁZE (WATERSHED LINES)... 7 OBR... PÍKLAD SHLUKOVÁNÍ DVOU PÍZNAK VE D PROSTORU... 7 OBR... DETEKCE REGISTRANÍCH ZNAEK POMOCÍ SHLUKU VERTIKÁLNÍCH AR... 7 OBR..3. PEVOD BAREVNÉHO OBRAZU NA ŠEDO-TÓNOVÝ... 73 OBR..4. RG A B SLOŽKY BAREVNÉHO OBRAZU... 73 OBR..5. PRAHOVANÝ ŠEDO-TÓNOVÝ SNÍMEK A SNÍMKY HRAN (SOBEL CANNY)... 73 OBR..6. NÁHODNÉ ROZPTÝLENÍ MATICOVÉ ROZPTÝLENÍ... 74 OBR..7. ZMNA ROZLIŠENÍ... 75 OBR..8. OKÉNKO VYTYUJÍCÍ OBLAST PRO OEZÁNÍ... 76 OBR..9. OEZÁVÁNÍ OBDÉLNÍKU POSTUP... 77 OBR..3. OEZÁVÁNÍ OBDÉLNÍKU VÝSLEDEK... 77 OBR... PÍSTUP KLASICKÉHO ZPRACOVÁNÍ DAT (VLEVO) A STROJOVÉ KLASIFIKACE (VPRAVO)... 78 OBR... VSTUPY A VÝSTUPY KLASIFIKÁTORU... 79 OBR..3. KOMPLETNÍ A KONZISTENTNÍ MODEL ZNALOSTÍ... 79 OBR..4. PETRÉNOVÁNÍ (OVER-FITTING) KLASIFIKÁTORU... 8 OBR..5. LINEÁRN SEPARABILNÍ PROSTOR PÍZNAK... 8 OBR..6. SCHÉMA LINEÁRNÍHO KLASIFIKÁTORU... 8 OBR..7. ERGODICKÝ MARKOVV MODEL... 86 OBR..8. LEVO-PRAVÝ MARKOVV MODEL... 86 OBR..9. MODEL POASÍ... 87 OBR... DV TÍDY VZORK V PÍZNAKOVÉM PROSTORU... 87 OBR... ZMNA SOUADNICOVÉHO SYSTÉMU PÍZNAKOVÉHO PROSTORU... 88 OBR... METODA LDA A PCA... 88 OBR... SEKVENCE ZPRACOVÁNÍ OBRAZU... 89 OBR...: JEDNODUCHÁ KLASIFIKANÍ ÚLOHA NŽKY KLEŠT... 89 OBR..3.: PÍPRAVA BINÁRNÍHO OBRAZU PRO POPIS... 9 OBR..4.: PÍPRAVA OBECNÉHO OBRAZU PRO POPIS... 9 OBR..5. VÝPOET PÍZNAKOVÉHO VEKTORU X... 9 OBR..6. PÍZNAKOVÝ PROSTOR X DIM(X)=3... 9 OBR..7. ÍSELNÉ INDEXOVÁNÍ OBJEKT... 93 OBR..8. MASKA TY A OSMI OKOLÍ PRO IDENTIFIKACI OBLASTÍ... 93 OBR..9. KONFLIKT INDEX PI ZNAENÍ OBLASTÍ... 94 OBR... PÍZNAK VELIKOST DVOU RZNÝCH OBJEKT... 94 OBR... PÍZNAK OBVOD DVOU RZNÝCH OBJEKT... 95 OBR... PÍZNAK NEKOMPAKTNOST DVOU RZNÝCH OBJEKT... 95 OBR..3. PÍZNAK KONVEXNOST DVOU RZNÝCH OBJEKT... 95 OBR..4. PÍZNAK HLAVNÍ OSA DVOU RZNÝCH OBJEKT... 96 OBR..5. PÍZNAK VEDLEJŠÍ OSA DVOU RZNÝCH OBJEKT... 96
8 FEKT Vysokého uení technického v Brn OBR..6. PÍZNAK ORIENTACE DVOU RZNÝCH OBJEKT...96 OBR..7. PÍZNAK VÝSTEDNOST DVOU RZNÝCH OBJEKT...97 OBR..8. PÍZNAK PRAVOÚHLOST DVOU RZNÝCH OBJEKT...97 OBR..9. PÍZNAK GENUS DVOU RZNÝCH OBJEKT...97 OBR... HRANICE OBJEKT POPSANÁ ETZOVÝM KÓDEM VE TY OKOLÍ...98 OBR...: HRANICE OBJEKTU POPSANÁ ETZOVÝM KÓDEM V OSMI OKOLÍ...98 OBR. 4.. MECHANISMUS ROZPOZNÁVÁNÍ Z HLEDISKA KLASIFIKACE...3 OBR. 4.. METODY REALIZACE KLASIFIKANÍCH MECHANISM...3 OBR. 4.3. BIOLOGICKÁ NEURONOVÁ SÍ...4 OBR. 4.4. HIERARCHICKÉ ROZDLENÍ SÍTÍ...4 OBR. 4.5. TRANSFORMANÍ FUNKCE UNS...5 OBR. 4.6. MODEL NEURONU...5 OBR. 4.7. TYPY ZÁKLADNÍCH PENOSOVÝCH FUNKCÍ...6 OBR. 4.8. PRINCIP UENÍ ZNALOSTÍ KLASIFIKÁTORU...6 OBR. 4.9. TOPOLOGIE PÍKLADU APROXIMANÍHO KLASIFIKÁTORU...7 OBR. 4.. TOPOLOGIE HOPFIELDOVY SÍT...8 OBR. 4.. REPREZENTACE OBRAZOVÉ INFORMACE V SÍTI...9 OBR. 4.. TRÉNOVACÍ MNOŽINA RUN PSANÝCH ZNAK...9 OBR. 4.3. ZOBECNNÍ OBRAZOVÉHO VZORU... OBR. 4.4. ROZDLENÍ KLASIFIKANÍCH TÍD S OSTRÝMI A PRAVDPODOBNOSTNÍMI PECHODY... OBR. 4.5. REPREZENTACE IDEÁLN (VLEVO) A REÁLN (VPRAVO) SNÍMANÉHO ZNAKU A... OBR. 4.7. ARCHITEKTURA SÍT... OBR. 4.8. ROZPOZNÁVÁNÍ ZNAK BEZ A SE ŠUMEM...3 OBR. 4.9. REKONSTRUKCE ZAŠUMNÉHO OBRAZU ZNAKU...3 OBR. 5.. ZOBRAZENÍ PROSTORU NA POHYBOVÉ POLE...4 OBR. 5.. JEDNOZNANÉ ZOBRAZENÍ POHYBU SEGMENT NEMNÍ VZDÁLENOST OD OBJEKTIVU...4 OBR. 5.3. NEJEDNOZNANÉ ZOBRAZENÍ POHYBU SEGMENT SE PIBLIŽUJE K OBJEKTIVU...5 OBR. 5.4.: ZJEDNODUŠUJÍCÍ PEDPOKLADY ANALÝZY POHYBU...5 OBR. 5.5.: OBRAZOVÁ SEKVENCE JAKO TROJROZMRNÝ SIGNÁL...6 OBR. 5.6.: SEKVENCE SNÍMK S EKVIDISTANTNÍM ASOVÁNÍM A KAMEROU V KLIDU...7 OBR. 5.7.: ROZDÍLOVÁ METODA NEURUJE SMR POHYBU...9 OBR. 5.8.: JEDNOSMRNÉ ROZDÍLOVÉ OBRAZY PO SOB JDOUCÍCH SNÍMK...9 OBR. 5.9.: OBOUSMRNÉ ROZDÍLOVÉ OBRAZY PO SOB JDOUCÍCH SNÍMK... OBR. 5.. SNÍMKY SEKVENCE... OBR. 5.. KUMULATIVNÍ ROZDÍLOVÝ SNÍMEK... OBR. 5.. DETEKCE POHYBU POMOCÍ JEDNOSMRNÝCH ROZDÍLOVÝCH OBRAZ... OBR. 5.3. PRMRNÝ OBRAZ PROSTEDÍ PRÁZDNÉ SCÉNY (VLEVO) A ZMNA SCÉNY (VPRAVO)... OBR. 5.4. OBJEKTY V POHYBU NALEZENÉ ROZDÍLEM OPROTI MODELU PROSTEDÍ...3 OBR. 5.5. OPTICKÝ TOK VYPOÍTANÝ ZE DVOU SNÍMK OBRAZOVÉ SEKVENCE...3 OBR. 5.6. TYP POHYBU V DYNAMICKÉM OBRAZE...4 OBR. 5.7. VÝPOET OPTICKÉHO TOKU PRO HORIZONTÁLNÍ POHYB KAMERY...4 OBR. 5.8. STRUKTURA (DE)KÓDOVÁNÍ VIDEA VYUŽÍVAJÍCÍ METODU KOMPENZACE POHYBU OBJEKT...5 OBR. 5.9. SROVNÁNÍ RANSAC A METODY NEJMENŠÍCH TVERC...8 OBR. 5.. DETEKCE PÁROVÝCH VÝZNAMNÝCH BOD NA STEREO-SNÍMCÍCH...8 OBR. 5.. NALEZENÉ KORESPONDENCE (ERVENÁ) A VYLOUENÉ KORESPONDENCE (ZELENÁ)...8
Poítaové vidní 9 Seznam tabulek TABULKA 3.. STANDARDNÍ ODCHYLKA PRO ZNÁMOU ROVINU POHYBU BODU... 8 TABULKA 3.. STANDARDNÍ ODCHYLKA PRO ZNÁMOU ROVINU A TOLERANCI 5 CM... 8 TABULKA 3.3. STANDARDNÍ ODCHYLKA URENÍ RYCHLOSTI PRO STEREO-FOTOGRAMMETRII... 8 TABULKA 8.. ETNOSTI VÝSKYT SYMBOL... 54 TABULKA 8.. VÝSTUPNÍ ETZCE PRO VSTUPNÍ SYMBOLY... 55 TABULKA 8.3. ÚROVN KOMPRESE STANDARDU MPEG-... 59 TABULKA 4.. TRÉNOVACÍ MNOŽINA SYSTÉMU ROZPOZNÁVÁNÍ VAD...
FEKT Vysokého uení technického v Brn Úvod Tento elektronický text je uren poslucha m kurzu Poítaové vidní vypisovaného Skupinou poítaového vidní na Ústavu automatizace a micí techniky VUT v Brn. Text tvoí základní literaturu kurzu a slouží jako elektronický podklad k pravidelným pednáškám. Na jednotlivých kapitolách elektronického textu se podíleli r zní autoi ze Skupiny poítaového vidní UAMT FEKT VUT Brno podle své odborné p sobnosti. Z toho d vodu je vždy v rámci nadpisu kapitoly uvedeno v závorce i jméno autora píslušné pasáže. Editaci a ormální úpravu textu zajišuje: Karel Horák +4544 3647 horakk@eec.vutbr.cz
Poítaové vidní Zaazení pedmtu ve studijním programu (Horák) Pedmt Poítaové vidní je uren poslucha m prvního roníku navazujícího magisterského studia oboru Elektrotechnika elektronika komunikaní a ídicí technika. Má statut volitelného oborového pedmtu hodnoceného šesti kredity. Vhodnou nikoliv však povinnou pre-rekvizitou jsou pedmty Systémy procesy a signály I. (UAMT) Praktické programování v jazyce C/C++ (UAMT) a všechny pedmty vypisované Skupinou poítaového vidní na UAMT. Pokraováním pedmtu je navazující kurz Aplikace poítaového vidní vypisovaný v letním semestru prvního roníku magisterského studia.. Úvod do pedmtu Kurz Poítaové vidní si klade za cíl seznámit studenty s teoretickými základy a vzhledem k zamení Skupiny poítaového vidní i ásten s praktickým ešením nkterých d ležitých úloh poítaového vidní. Pedevším jde o rozvinutí schopností úlohu poítaového vidní správn interpretovat pochopit a následn eektivn ešit za použití vhodného programovacího jazyka. Pro základní pochopení princip se na pednáškách a v poítaových cvieních kurzu pracuje v interpretu Matlab který je vzhledem ke své vektorové a maticové orientaci vhodný jako názorný didaktický prostedek a je vhodný i jako prostedek pro optimalizaci výsledného unkního kódu. Pro práci s obrazovou inormací se využívá Image Processing Toolbox a Image Acquisition Toolbox. Pednášky kurzu Poítaové vidní nejsou nutnou podmínkou pro splnní podmínek úspšného zakonení kurzu nicmén jsou z hlediska jasného pochopení látky výrazn doporueny. Rozdlení kapitol elektronického textu odpovídá chronologickému sledu pednášek v semestru studenti tedy mohou text používat k pr bžnému doplování poznámek až ke zkoušce. Na konci elektronického textu jsou krom dodatk a výsledk vstupního testu uvedeny také základní i doplující literární a internetové prameny. Nápl kurzu tvoí základní teoretické znalosti o principech a aplikacích poítaového vidní reprezentaci obrazových dat pedzpracování obrazu a jeho následné segmentace. Nechybí kapitoly vnované integrálním transormacím obrazu Fouriérova deininí i rychlá transormace diskrétní kosinová Waveletová Walshova a Hadamardova transormace. V druhé ásti textu jsou studenti seznámeni s morologickými operacemi s obrazem možnostmi detekce a parametrizace geometrických tvar v obrazu popisem objekt v píznakovém prostoru korespondenním problémem klasiikací a automatickým tídním a v neposlední ad jsou seznámeni i s prvky strojového uení statistickým rozpoznáváním a analýzou dynamických obraz.
FEKT Vysokého uení technického v Brn. Vstupní test Vstupní test je uren k vyhodnocení samotným studentem a jeho úelem je ovení pedchozích znalostí studenta potebných k úspšnému zvládnutí pedkládaného výukového textu. Výsledky vstupního testu jsou uvedeny v dodatku v závru tohoto textu.. Jak lze charakterizovat dvourozmrný diskrétní obraz z hlediska teorie signálu?. Co o diskrétním signálu vypovídá charakteristika nazývaná etnost pop. histogram? 3. Co se rozumí iltrací obrazového signálu v prostorové a co ve rekvenní oblasti? 4. K emu se používá Fouriérova transormace? 5. Co je to topologie objektu?
Poítaové vidní 3 3 Aplikace poítaového vidní (Richter) V této kapitole je uveden výet píklad realizace úloh poítaového vidní spolu s nejd ležitjšími inormacemi týkajícími se dané úlohy. 3. Motivace Poítaové vidní (z anglického Computer Vision) pedstavuje akademickou záležitost která eší problematiku pochopení vícerozmrných dat obrazu jako nap. šedo-tónový obraz barevný 3D obraz sekvence ultrazvukový nebo tomograický obraz v nepravých barvách. Rozvoj oboru je pímo spojen s rozvojem poítaových zaízení jejichž výpoetní výkon vždy využívá v maximální možné míe. Základní terminologie oboru: Poítaové vidní: Image Processing: Machine Vision: Obor zabývající se realizací inteligentního lidského vidní poítaovými prostedky. Zpracování dvourozmrného signálu. Aplikace poítaového vidní v pr myslu I/O zaízení optické prvky osvtlovací zaízení snímae atd. Obr. 3.. Projekce trojrozmrných dat ultrazvuku jasová složka pedstavuje hustotu Obr. 3.. Obraz rozložení teploty v pseudo-barvách
4 FEKT Vysokého uení technického v Brn 3. Systém poítaového vidní Každý systém poítaového vidní obsahuje znalosti z r zných domén: a) Fyzikální principy geometrie svtlo. b) Hardware poízení dat diskretizace digitalizace. c) Algoritmy zpracování signálu. d) Interpretace výsledk. e) Velké množství kombinací pro výbr ešení. Základními problémy poítaového vidní je velké množství dat vysoká variabilita obrazových dat ztráta inormace tetího rozmru vlivem projekce šum a zmna vzhledu objektu se zmnou svtla. Obr. 3.3. Zmna vzhledu objektu se zmnou svtla vlivem pohybu odrazu K ešení reálných aplikací inženýrským zp sobem je nutná komplexní znalost problému a znalost možností ešení. Mezi základní sesterské oblasti patí geometrie (transormace lineární a nelineární) optika (jasová a geometrická zkreslení projekce r zné typy odraz ) teorie signálu strojové uení aj. Pi realizaci scény je teba ešit: hardware jako souást algoritm a mícího etzce osvtlení objekt zájmu sníma + objektiv vzájemné umístní. Získání íslicové reprezentace obrazových dat je ovlivnno adou proces : snímání scény optika detektor (diskretizace) digitalizace (kvantizace) rušení (šum). Zpracování obrazových dat je zpravidla založeno na extrakci píznak na nž jsou pi klasiikaci aplikovány metody založené na uení. Zpracováním dat se rozumí pedzpracování vyhledání objekt (entit markant) porozumní obsahu obrazu (OCR 3D rekonstrukce) atd. Obr. 3.4. Snímaný obraz (vlevo) a zvýraznní rys pomocí hranového detektoru (vpravo)
Poítaové vidní 5 Obr. 3.5. Houghova transormace obrazu (vlevo) a hrany vybrané pomoci maxim HT Upravená obrazová data je teba správn interpretovat a zpracovat výsledky mení: kalibrace pevody mezi mením a kalibrací uení srovnání se vzorem urení potu urení polohy rychlosti urení tvaru úprava signálu pro lovka apod. 3.3 Pehled úloh poítaového vidní Základní tídu úloh poítaového vidní tvoí rozpoznávání objekt : - podle velikosti tvaru - binární snímek (prahování) - dotýkající se nebo pekrývající objekty Obr. 3.6. Nejednoznanost úlohy rozpoznávání Z dalších typ úloh lze rámcov jmenovat alespo sledování objekt v sekvenci snímk interpretaci obraz (co vidíme) zjišování pozice objekt pop. kamery (poloha v obraze). 3.4 Zkreslení kamer Snímací soustava vykazuje stejn jako jakýkoliv jiný micí systém chyby. Mezi základní chyby které se projevují negativn pi zpracování obrazu patí zkreslení které je nutné korigovat.
6 FEKT Vysokého uení technického v Brn Obr. 3.7. Geometrické zkreslení snímací soustavy Pi korekci zkreslení je teba uvažovat: - detekce kivosti pímek - detekce kížení ar pr seíky pímek rohy pravidelná struktura - testování objektivu píprava pro korekce pi mení - D pedloha nkteré parametry zkreslení - 3D pedloha všechny parametry zkreslení Obr. 3.8. Kivky zkreslení posunu o jeden pixel v x a y Výsledky korekce zkreslení jsou reprezentovány pomocí hodnoty jasu která uruje velikost korekce. Model korekce pak m že vypadat jak ukazují následující obrázky. Obr. 3.9. Rozložení velikosti chyb ve smru x v ploše pro 6 parametr a pro mítko
Poítaové vidní 7 3.5 Motivaní pehled aplikací Destiky z tvrdokovu - stanovení potu - ízení stroje pro popis - variabilita rozmr destiek - detekce stínu - variabilita optických vlastností destiek (-% odrazivost) - doplnní chybjící inormace - destiky a kalibraní vzor pro pevod ze souadnic zapisovae a kamery - 4x4cm destika -7mm - nalezení hran pomocí stínu hranový iltr - doplnní chybjící inormace Kalman v iltr - transormace mezi kalibraním vzorem a strojem Obr. 3.. azení destiek z tvrdovkovu Tahová zkouška - ocelová tyka - zjištní minimálního pr mru a parametr jeho okolí - ízení stroje na konstantní úbytek polomru zastavení v okamžiku maximálního naptí - matnice pro diúzní svtlo - sub-pixelové vyhodnocení na základ vtšího okolí a pr bhu jasu v okolí hrany 5x5cm Obr. 3.. Snímek ocelové tyky pi tahové zkoušce
8 FEKT Vysokého uení technického v Brn Mení rychlosti vozidel - velká zmna svtelných podmínek - detekce pítomnosti auta hledá se rozdíl oproti pozadí hrany - zjištní pohybu - zjištní reálné polohy ve scén - série snímk rychlost Obr. 3.. Snímek vozidla pro kontrolu rychlosti Tabulka 3.. Standardní odchylka pro známou rovinu pohybu bodu v [km/h] t [s] [m/s] [km/h] 5 44 5 9 5 5 54 9 Tabulka 3.. Standardní odchylka pro známou rovinu a toleranci 5 cm v [km/h] T [s] [m/s] [km/h] 5 36 49 7 98 5 5 6 6 Tabulka 3.3. Standardní odchylka urení rychlosti pro stereo-otogrammetrii v [km/h] t [s] [m/s] [km/h] 5 5 8 36 5 5 79 Svary - zmna hodnot jasy v závislosti na kvalit a smru osvtlení - iltrace vyhledání jasových pechod v obraze - eliminace vlivu jasu okolí - vyhledání pesné pozice eliminace stín na kraji
Poítaové vidní 9 Obr. 3.3. Snímek svar z pr myslové kamery Vady lahví - transparentní materiál - šíka materiálu ovlivuje optické vlastnosti - nkteré vady jsou výrobní - nastavení velikosti a typ vad - shluková analýza s generováním píznak - podle píznak rozpoznání vady Obr. 3.4. Snímek hrdla (vlevo) a dna láhve (vpravo) Mení proilu laserového svaru - 3D tvar bez výrazných bod - aktivní nasvícení vzorem - možné typy vzor rastr bílý šum jednoznaný vzor pruhy - kvalita odrazu podle typu povrchu (olej) a úhlu dopadu - ešení výpadku pruhu predikce polohy spojování pruh - lokální prahování hranování ztenování predikce zptné dohledání - vyhledávání r zného typu vad rozhoduje velikost Obr. 3.5. Výez snímku pro detekci proilu (vlevo) a snímací hlava (vpravo)
FEKT Vysokého uení technického v Brn Stereootogrammetrie - vyhledání spolených bod - výpoet prostorových umístní bod - tvorba 3D drátového modelu Obr. 3.6. Snímek ze stereo-páru (vlevo) a drátový model rekonstruované scény (vpravo) Mení prhybu vrat vodního díla Gabíkovo - vyhledání spolených bod a tvorba 3D posuv - epipolární linie - testovací a mící body - nasvícení rovinných ploch bílým šumem - reprezentace výsledných dat jas v závislosti na výšce - vyhledání shodné plošné kombinace bod na více snímcích zkreslení úhlem pohledu Obr. 3.7. Rekonstruovaný model vrat Kapky - kalibrace - detekce ar s predikcí na základ pedpokládané polohy - výsledkem výšková mapa proilu - 3x3 a 5x5 mm
Poítaové vidní Obr. 3.8. Mená kapka s nasvíceným vzorem (vlevo) a princip mení (vpravo) Moire - intererenní metoda - výsledkem jsou záznje - iltrace nežádoucích složek (rozmazání) - detekce vrchol - mapa vzdáleností vrchol a jejich smru (plošn) - testování objektivu stanovení velikosti a parametr zkreslení mení deormací Obr. 3.9. Intererenní obrazec Moire metody Youngovy proužky - bez použití optiky - operace ve Fouriérov oblasti - stanovení drsnosti povrchu - výsledkem Youngovy proužky hledání maxim minim a dekrementu (pokles obálky) Obr. 3.. Vstupní snímek spekly (vlevo) Youngovy proužky ped a po iltraci (uprosted) a ezy pro detekci parametr drsnosti povrchu (vpravo)
FEKT Vysokého uení technického v Brn 4 Reprezentace a vlastnosti obrazových dat (Petyovský) 4. Reprezentace obrazových dat Obraz (obrazová data) lze reprezentovat jako spojité rozložení jasu (intenzity optické hustoty) v rovin. Rozložení hodnot jasu je deinováno obrazovou unkcí: ( x y) pro statický obraz ( x y t) pro dynamický obraz (promnný v ase). Kde je reálná spojitá (nebo po ástech spojitá) unkce s reálným argumenty (xy deinují bod v rovin a t pedstavuje hodnotu v ase). Po dalším zpracování je obraz prakticky vždy diskretizován v ase a lze si ho tedy pedstavit jako nespojitou sekvenci obrazových unkcí (xy). Deininí obor D hodnot obrazové unkce: Obor hodnot H obrazové unkce: x x x ) y( y y ). ( min max min max ( x y). Takto deinovaná obrazová unkce je schopná reprezentovat pouze šedo-tónový (monochromatický) obraz (obraz s promnnou intenzitou jedné barvy). Barevný obraz lze deinovat jako soubor nkolika obrazových unkcí: max R ( x y); G ( x y); B ( x y). Kde jednotlivé unkce reprezentují intenzitu jasu pro danou barevnou složku ve zvoleném barevném modelu (RGB HSV YUV atd.). Pozn.: V pípad že deininí obor hodnot obrazové unkce je deinován jako diskrétní s pouze dvmi možnými hodnotami hovoíme o tzv. binárním obraze. 4. Reprezentace dvourozmrného systému Dvourozmrný systém lze chápat jako zobrazení : signálu (xy) na signál g(xy): g( x y) ( x y). Deininí obor hodnot systému (zobrazení ): Obor hodnot systému: { y ( x y) ( x y)... n ( x )}.
Poítaové vidní 3 { y g ( x y) g ( x y)... gn ( x )}. Lineární systém je takový systém pro který platí princip superpozice který lze pro D systém zapsat jako: a n n () multiplikativní konstanta a n n( x y) an n( x y). n n vstupní D signál (obrazová unkce) zobrazení (dvourozmrný systém) 4.3 D Diracova unkce a rozptylová unkce (PSF) D Diracova unkce je zobecnním jednorozmrného pípadu této unkce do více rozmr. A pro D pípad je deinována takto: ( x y ) pro ( x y jindy ) Základní vlastnosti unkce: Translace: Filtraní schopnost: ( x y) dxdy ( x y ) Podoba ve D rekvenní rovin (uv): ( x y) ( x y ) dxdy ( ) ( x y) 4 e Za pedpokladu linearity zobrazení lze psát: Dosazením lze získat vztah: j ( uxvy) dudv ( x y) ( ) ( x y ) dd g( x y) ( x y) g ( x y) ( ) ( x y ) dd Zavedeme substituci pro h a nazveme ji rozptylovou unkcí (PSF):
4 FEKT Vysokého uení technického v Brn h ( x y ) ( x y ) PSF (point spread unction) pedstavuje impulsní charakteristiku D systému a je analogií impulsní charakteristiky u jednorozmrných systém kde slouží identiikaci systému. Odezvu systému pi znalosti jeho PSF na obraz lze zapsat superpoziním integrálem: g ( x y) ( ) h( x y ) dd Ze superpoziního integrálu lze vysledovat význam souadnic u PSF (tj. ce. h ). Dvojici souadnic xy lze chápat jako polohu výsledku a dvojici souadnic jako polohu (jednoho z mnoha) píspvku. Pokud má systém v každém bod obrazu g identickou odezvu na identický obraz hovoíme o izoplanárním systému (tj. o systému s polohov nezávislou impulsní charakteristikou na vstupní obraz bodu). U PSF již není teba speciikovat inormaci o poloze výsledku a její deinice se zmní takto: h ( x y ) h( x y ). Odezvu systému na vstupní obraz je možné vyjádit jako konvoluní integrál: g ( x y) ( ) h( x y ) dd 4.4 Podmínky digitalizace D obrazové unkce Digitalizace spoívá ve vzorkování obrazové unkce do matice o rozmrech MxN a ve kvantování spojité jasové úrovn každého vzorku do jednoho z K interval ímž nabývá obrazová unkce pouze celoíselných hodnot. ím vtší rozlišení (tj. MxN) a vtší poet kvantovacích úrovní (tj. K) tím lépe je p vodní spojitý obraz aproximován. 4.4. Interval vzorkování Deinován Shannonovým teorémem zobecnným pro vícerozmrné signály. Fyzikální interpretace: Interval vzorkování je nutné volit tak aby byl vždy menší (nebo roven) polovin rozmru nejmenších detail v obraze. 4.4. Volba vzorkovací mížky Výbr plošného uspoádání bod pi vzorkování. Výhodné je využít pravidelnou mížku. Existují pouze ti pravidelné mnohoúhelníky jejichž sí úpln pokrývá rovinu. Obr. 4.. Typy vzorkovacích mížek
Poítaové vidní 5 4.4.3 Kvantování hodnot obrazové unkce Pro digitální zpracování se nejastji využívá kvantování do K stejn velkých interval. V pípad poítaového zpracování obrazu je poet interval dán druhou mocninou tedy: b K. Kde b je poet bit do kterých je hodnota kvantována (nejastji 8). Pi malém potu kvantovacích hodnot dochází v obraze ke vzniku rušivých arteakt. Tento jev je pro lidské oko patrný pokud je poet kvantovacích úrovní v monochromatickém obraze menší než cca. 64 proto je nkdy vhodnjší využívat nelineární kvantování (tj. kvantování s promnnou délkou intervalu). 4.5 Reprezentace diskrétního obrazu jako D/D signálu Diskretizací obrazu získáváme soubor dat který lze interpretovat jako D strukturu (matici): $!.. ( M ) ij.... # ( N).. ( N)( M ) nebo jako D strukturu (vektor po sloupcích): T.. ( N) ;.. ( N);...; ( M).. ( N)( M) Pevod mezi obma ormami (pomocí maticového potu pokud M=N): N n M n v n N n M n T v n T Kde M a v jsou pomocné matice a vektory. M n $!.. % n.. % # N v n $!.. % n.. % # N Celková velikost matice M je (NxN ). Velikost vektoru v je (N). Superpoziní integrál pro diskrétní systémy: (ij) g(kl) h(ijkl) g( k l) - Vstupní hodnota - Výstupní hodnota N M i j ( i j) h( i j k l) - PSF v maticové podob (ij adresa píspvku) (kl adresa cíle)
6 FEKT Vysokého uení technického v Brn Superpoziní integrál v maticové podob: g H $ &! $ MxN% & #& # MxN & & & & & & & & &! $ &! & % #& MxN K výpotu výstupního obrazu g je zapotebí (MxN) operací typu násobení a (MxN- )x(mxn) operací sítání. Pro tvercové obrazy o velikosti N je to N 4 násobení a (N -)xn sítání. asto matice H pedstavuje pouze operaci s ádky nebo jen se sloupci potom klesne poet operací na N 3 násobení a (N-)xN sítání. Tvar matice H pi sloupcových operacích: Tvar matice H pi ádkových operacích. Pokud tedy dokážeme matici H rozdlit na dv matice kde každá z nich pedstavuje pouze sloupcové resp. ádkové operace dokázali jsme snížit výpoetní náronost u násobení z N 4 na N 3! Systémy mající tyto vlastnosti nazýváme obecn separabilní. 4.6 Konvoluní integrál pro diskrétní systémy Pokud je systém izoplanární (tj. jeho PSF je ve všech bodech obrazu identická) je možné pejít z superpoziního integrálu na konvoluní integrál zavedením substituce. h( i j k l) h( i k j l) Výsledný tvar pro odezvu izoplanárního diskrétního systému pro PSF (h) lze konvoluním integrálem zapsat jako: g( k l) N M i j ( i j) h( i k j l)
Poítaové vidní 7 Pokud je navíc velikost PSF menší než velikost obrazu lze oznait PSF jako lokální a výpoet odezvy realizovat pomocí klouzavé masky o velikosti XY. Jelikož jsou rozmry lokální PSF (tj. XY) vždy výrazn menší než rozmry obrazu (tj. MN) dochází k výrazné úspoe výpoetního výkonu. g( k l) X X i Y Y j ( k i l j) h( i j) Pokud je navíc lokální PSF systému separabilní je možné náronost výpotu odezvy systému (tj. výpoet výstupního obrazu) dále snížit rozdlení PSF na sloupcovou a ádkovou ást. 4.7 Lineární iltrace obrazu v signálové oblasti 4.7. Vyhlazování šumu v obraze Nejsnadnjší je vyhlazování náhodného šumu v obraze v pípad kdy máme k dispozici nkolik obraz téže pedlohy (scény) lišící se práv jen šumem. V tomto pípad provedeme pr mrování hodnot pixelu o stejných souadnicích pes více obraz. Pokud ale máme k dispozici jen jediný obraz scény nezbývá než pedpokládat že hodnoty okolních pixel v obraze se liší hlavn díky šumu. Proto je možné provést pr mrování pes okolní pixely (pomocí konvoluní masky). Tento pedpoklad samozejm není možné splnit v celém obraze (pokud obraz neobsahuje jen jednu hodnotu jasové úrovn). Vyhlazení šumu pes jeden obraz tedy povede k degradaci obrazu mající charakter rozmazání tj. zvýraznní nižších prostorových rekvencí obrazu. 4.7. Realizace diskrétního operátoru pro prmrování Obyejné pr mrování kde nová hodnota každého pixelu je urena jako pr mr z hodnot pixel v okolí 3x3 lze provést pomocí konvoluní masky: $ /9 h /9 # /9 /9 /9 /9 /9! $ /9 9 /9 #! Obr. 4.. Filtrace obrazu (a) s šumem (b) maskou 3x3 (c) a maskou 5x5 (d) Další varianty pr mrovacích masek upravují váhu nkterých bod masky:
8 FEKT Vysokého uení technického v Brn! # $ h! # $ 4 6 3 h Maska h 3 je typickým píkladem separabilního iltru protože je možné ji rozložit na dva D iltry: )). ( ( 6 3 3 3 3 h h g h h ' '! # $ Pozn.: symbol * pedstavuje operátor konvoluce. 4.7.3 Detekce hran v obraze Každá hrana v obraze pedstavuje jasovou nespojitost v obrazové unkci. Z teorie signálu je známo že velké skokové zmny pedstavují místa s výskytem vysokých prostorových rekvencí. Proto jakékoli iltry zvýrazující hrany v obraze musí zvýrazovat vysoké rekvence. Oblast vysokých prostorových rekvencí pedstavuje krom inormací o hranách v obraze i šum proto pi jakékoliv operaci zvýrazující hrany dojde i k zvýraznní šumu v obraze. 4.7.3. Gradient jasové unkce K urení velikosti a smru zmny hodnoty jasové unkce se využívá operace gradientu (. Matematicky ji lze vyjádit jako unkci obsahující první parciální derivace obrazové unkce dle jednotlivých promnných. Výsledek operace gradientu ( je vektorová veliina mající absolutní hodnotu (udávající velikost zmny jasové unkce) a smr (udávající smr nejvtší zmny jasové unkce). ) ) * + -. / / / / ) ) * + -. / / ) * + -. / / ( / / / / ( y y x x y x y y x x y x y x j y y x i x y x y x ) ( ) ( arg ) ( ) ( ) ( ) ( ) ( ) ( Parciální derivace obrazové unkce jsou v diskrétních obrazech nahrazeny dierencemi.
Poítaové vidní 9 sin cos ) ( ) ( ) ( j i y j i x j i n j i j i j i y j n i j i j i x y x y y x x y x 3 / / 3 / / 3 / / Kde konstanta n je nejastji stanovena na hodnotu nebo. V praxi je samotný výpoet absolutní hodnoty gradientu pro zjednodušení nahrazován: ) max( ) ( ) ( j i y j i x j i y j i x j i j i 3 ( 3 ( Realizace diskrétního operátoru gradientu obrazové unkce! # $! # $! # $! # $ : : : : 45 j i j i y j i x Obr. 4.3. Filtrace operátorem dierence prvního ádu 4.7.3. Další konvoluní masky aproximující první derivaci obrazové unkce Roberts v operátor:...! # $! # $ h h. Operátor Prewittové:...! # $! # $! # $ h h h Sobel v operátor:
3 FEKT Vysokého uení technického v Brn...! # $! # $! # $ h h h Robinson v operátor:...! # $! # $! # $ h h h Kirsch v operátor:... 3 3 5 3 5 3 3 5 3 5 5 3 5 3 3 3 5 5 5 3 3 3 3 3! # $! # $! # $ h h h 4.7.3.3 Laplace v operátor jasové unkce Pro detekci hrany v obraze je výhodnjší využít operátor aproximující druhou derivaci obrazové unkci který je roven nule v oblasti inlexního bodu každé hrany. Detekce pr chodu nulou v obraze je vždy výpoetn výhodnjší než hledání lokálního maxima mající vždy jinou velikost. Pro tento úel lze využít Laplace v operátor ( (tzv. Laplacián) obsahující druhé parciální derivace: ) ( ) ( ) ( y y x x y x y x / / / / (. j i j i j i j i y j i y j i y j i j i j i j i x j i x j i x y y x x y x ) ( ) ( 3 / / 3 / / Výsledný Laplace v operátor pro diskrétní obraz: j i y j i x j i 4.7.3.4 Realizace diskrétního Laplaceova operátoru obrazové unkce! # $! # $! # $! # $ 8 4 4 : : : y x
Poítaové vidní 3 Obr. 4.4. Aplikace Laplaceova operátoru 4.7.4 Operace ostení obrazu Ostení obrazu pedstavuje zvýraznní hran v obraze. K operaci ostení lze využít nkterého z operátor aproximující derivaci obrazové unkce. S výhodou se využívá zostující úinek Laplaceova operátoru (. Pi použití vztahu: ) ( ) ( ) ( y x y x y x g (. Obr. 4.5. Aplikace Laplaceova operátoru pro ostení Další možností je využít místo Laplaciánu napíklad (LoG Laplacián o Gaussian) jenž pesnji detekuje hrany. Jeho konvoluní maska pro velikost 5x5 má tvar:! # $ 6 h Obr. 4.6. Aplikace Laplaceova a LoG operátoru
3 FEKT Vysokého uení technického v Brn 5 Barvy v poítaové graice (Petyovský) 5. Barevné modely Maximální rozsah viditelného záení pro lidské oko: 38nm 78nm. Obr. 5.. Barevné spektrum 5. Aditivní modely RGB RGBA Barevné lenitele: Red (63 nm) Green (53 nm) Blue (45 nm) Obr. 5.. RGB krychle tvrtý lenitel ( - kanál) unkce pr hlednosti pixelu pi skládání nkolika objekt v obraze. Pojem RGBA tedy neznamená zmnu barevného modelu ale pouze pidání další inormace. Složka A se nejastji ukládá do rozsahu jednoho bajtu. Koeicient pr hlednosti m žeme chápat ve dvou významech: & pixel je zcela pokryt barvou RGB která má pr hlednost & pixel je z procent pokryt nepr hlednou barvou RGB (využíváno pro vyhlazování hran objekt ). 5.3 Substraktivní modely CMY CMYK Cyan Magenta Yellow barevné pigmenty.
Poítaové vidní 33 Obr. 5.3. CMY krychle Podmínka že tiskové barvy nesmí být dokonale krycí vedla v d sledku k nutnosti zavedení dodatkové BLACK barvy. Hodnota této dodatkové barvy (K) a následn upravené hodnoty C M Y se urují dle vztah : 5.4 Barevný model HSV Barevný tón Hue Sytost Saturation Jasová hodnota - Value. Obr. 5.4. Barevný model HSV Nkdy je nevýhodný pro sv j jehlanovitý tvar který zp sobuje že ve vodorovném ezu se musí bod o konstantní hodnot S pohybovat pi zmn H po dráze ve tvaru šestiúhelníku a nikoliv po kružnici jak by bylo pirozené. Dalším záporným jevem je nesymetrie modelu z hlediska jasu. 5.5 Barevný model HLS Barevný tón Hue Svtlost - Lightness Sytost Saturation.
34 FEKT Vysokého uení technického v Brn Obr. 5.5. Barevný model HLS Tvar modelu HLS pln odpovídá skutenosti že nejvíce r zných barev vnímáme pi stedním svtlosti. Schopnost rozlišovat barvy klesá jak pi velkém ztmavení tak pi pesvtlení (oblast obou vrchol kužel ). Další dobrá vlastnost modelu HLS spoívá v analogii míchání barev pidáváním erných a bílých pigment k základním spektrálním barvám. Zvýšení svtlosti pi nezmnné sytosti si lze pedstavit jako pidání jistého množství bílých a ubrání stejného množství erných pigment. Samotné zvýšení sytosti odpovídá odebrání stejného množství bílých a erných pigment. 5.6 Modely pro televizní a video techniku YUV Model YUV je nkdy také oznaován jako (Y B-Y R-Y). Využíván pi penosech TV signál v norm PAL. Z modelu RGB získáme hodnoty YUV takto: Další televizní modely: YIQ (pro NTSC) YC B C R (pro SECAM JPEG MPEG) aj. 5.7 Chromatický diagram XYZ-CIE CIE = Mezinárodní komise pro osvtlování. 93 Mezinárodní standart základních barev. Jeho souástí je i Chromatický diagram. Každá skutená barva je podle tohoto standartu vytvoena z barev A B C které zapisujeme v normalizovaném tvaru: Protože platí že:
Poítaové vidní 35 Staí nám k vyjádení pouze dv složky. Vybereme xy a m žeme reprezentovat všechny barvy dvojrozmrným diagramem. Pozor - barvy xyz jsou pouze imaginární (mají sytost vtší než 4). Obr. 5.6. Chromatický diagram 5.7. Pravidla pro tvorbu barev v chromatickém diagramu. Pro libovolný barevný bod C v obrázku deinujeme sytost barvy jako relativní vzdálenost barevného bodu od standardního bílého svtla C. Barva C na obrázku je sytá asi z 54 protože leží pibližn v jedné tvrtin orientované úseky mezi C a C.. Dominantní vlnová délka jakékoliv barvy je deinována jako vlnová délka na spektrální kivce protínající úseku spojující C a C. Dominantní vlnová délka je tedy na obrázku oznaena jako C. 3. Doplkové barvy leží na spojnici která prochází bodem C. Pokud mají dv doplkové barvy stejnou sytost (relativní vzdálenost od C) vznikne jejich složením bílé svtlo. Obr. 5.7. Doplkové barvy v chromatickém diagramu 4. Pi slouení dvou barev leží výsledná barva vždy na spojnici dvou vstupních barev. 5. Pi slouení tí barev leží výsledná barva vždy uvnit trojúhelníka vyznaeného temi vstupními barvami (tzv. barevný rozsah color gamut). 5.7. Dsledky plynoucí z chromatického diagramu. Není možné nalézt takové ti barvy které by urovali trojúhelník pokrývající celý diagram. To odpovídá skutenosti že z koneného potu základních barev nelze vytvoit
36 FEKT Vysokého uení technického v Brn všechny existující barvy. Poítaem generované obrazy proto obsahují vždy mén barev než skutený svt.. R zná technická zaízení mívají r zné základní barvy emuž odpovídají r zné polohy a velikosti trojúhelník barevných rozsah. Z uvedeného je tedy zejmé že obraz popsaný v modelu RGB nemusí být stejn vytištn na tiskárn CMYK. Barevné rozsahy tchto zaízení jsou odlišné a i pes výpoetní korekce dochází ke ztrátám i posuv m barev. I lidský zrak má sv j omezený barevný rozsah nebo barvy detekuje pouze nkolika druhy receptor. Obr. 5.8. Omezení barevného gamutu technických zaízení
Poítaové vidní 37 6 Pedzpracování obrazu a segmentace (Kalová) etzec zpracování obrazové inormace lze vyjádit následujícím obrázkem: Obr. 6.. Sekvence úkon zpracování obrazu 6. Snímání obrazu Osvtlení Typ zdroje slunení svtlo žárovka záivka výbojka LED dioda laser. Provedení orientace bodové plošné kruhové svtelný pruh vzor pímé smrové rovnobžné diusní boní zadní. Vlnová délka IR viditelné UF vyzaovací charakteristika intenzita polarizace koherence. Objektiv Ohnisková vzdálenost zorný úhel zvtšení rozsah ostení hloubka ostrosti. Svtelné íslo (clona) svtlo které propustí na senzor pr mr clony svtelná ada. Vady objektiv. Senzor Typ ádkový (lineární) x plošný (maticový) barevná (jeden x ti ipy) ernobílá. Technologie CCD CMOS progresivní prokládaný (interlaced). Rozmr senzoru nejastji /3 / /3 rozmr pixelu rozlišení video standard. Spektrální citlivost data rate rekvence hodin expoziní doba závrka. Kontrolní a ídicí signály interace. A/D - digitalizaní (grabbovací) karta V závislosti na použité kamee Vzorkování a kvantování
38 FEKT Vysokého uení technického v Brn Programovatelná hradlová pole signálové procesory Mohou ešit i nkteré operace pedzpracování obrazu DFT prahování. 6. Pedzpracování obrazu Cíl pedzpracování: - potlait šum - odstranit zkreslení - potlait i zvýraznit rysy obrazu zvýraznní hran Vstupem i výstupem pedzpracování je obraz: g(ij) element vstupního obrazu (ij) element výstupního (transormovaného) obrazu Využívá se nadbytenosti údaj v obraze sousední pixely mají vtšinou podobnou hodnotu jasu. Pedzpracování musíme vztahovat k tomu co chceme z obrazu získat co s ním chceme dále dlat. Šum Zkreslení & & & & & & Vzniká pi digitalizaci a pi penosu obrazu. & Bílý = idealizovaný používá se pro simulace nejhorších degradací obrazu ve výkonovém spektru má rovnomrn zastoupeny všechny rekvence. & Gauss v = aproximace degradace obrazu. & Aditivní = vzniká pi penosu obrazu nebo snímání. & Pep a s l = u binárních obraz impulsní šum u obraz s více jasovými úrovnmi = zrnní. & Multiplikativní = šum TV rastru má charakter vodorovných pruh. & Kvantizaní = není použit dostatený poet jasových úrovní. turbulence atmoséry vzájemný pohyb snímae a pedmtu nevhodné zaostení vada optické soustavy (špatná oka ) nelinearita opticko-elektrického senzoru nelinearita nebo zrnitost ilmového (záznamového) materiálu Obr. 6.. Radiální zkreslení a) soudek b) poduška c) natoení detektoru
Poítaové vidní 39 6.. Bodové jasové transormace Jas v bod výstupního obrazu závisí pouze na jasu bodu ve vstupním obraze = pro úpravu konkrétního jednoho pixelu použijeme jen tento jeden pixel vstupního obrazu. 6... Jasová korekce Poruchy hardwaru jiná citlivost jednotlivých svtlo-citlivých prvk snímae (vadné pixely) nerovnomrné osvtlení jiná citlivost snímacího a digitalizaního zaízení = systematické chyby. (ij) = e(ij).g(ij) e(ij) degradaní unkce Urení degradaní unkce: pi stálých svtelných podmínkách poídíme obraz o známém g(ij) - nejlépe obraz o konstantním jase c => c (ij). e(ij) = c (ij)/c Nebo poídím obraz s objektem I obraz za stejných svtelných podmínek bez objektu I korekce osvtlení a obraz za tmy (zakrytý objektiv) I b korekce nelinearity snímae. I ( i j) Ib ( i j) I c ( i j) M kde konstantou M mníme kontrast výsledného obrazu I ( i j) I ( i j) b Obr. 6.3. P vodní snímek snímek pozadí snímek za tmy obraz po korekci 6... Transormace jasové stupnice Jen uritá hodnota jasu ve vstupním obraze je transormována na jinou hodnotu bez ohledu na pozici. Transormace T výchozí stupnice jasu p na novou stupnici q: q = T(p) Obr. 6.4. Transormace jasové stupnice
4 FEKT Vysokého uení technického v Brn Ekvalizace histogramu algoritmus který zmní rozložení intenzit v obraze tak aby se v nm vyskytovaly intenzity pibližn se stejnou etností snaha o zvýšení kontrastu. Má-li p vodní obraz interval jas <p p k > a histogram H(p) cílem je najít takovou monotónní transormaci q = T(p) aby výsledný histogram G(p) byl rovnomrný pro celý výstupní interval <q q k > q T. q q p k ( p) ) H ( i) q NxM i p - + * Obr. 6.5. P vodní a ekvalizovaný obrázek s histogramem 6.. Geometrické transormace K odstranní geometrických zkreslení zkosení v i snímané ploše širokoúhlé snímae. Dva kroky plošná + jasová transormace p.: družicové snímky Zem zakivení povrchu. Obr. 6.6. Geometrické transormace 6... Plošná transormace Najde k bodu (xy) ve vstupním obraze odpovídající bod ve výstupním obraze (x y ) T - známa pedem rotace translace zkosení zvtšení. Hledána na základ znalosti p vodního i transormovaného obrazu vlícovací body nap. aproximace polynomem n-tého ádu + metoda nejmenších tverc.
Poítaové vidní 4 6... Jasová transormace Nalezení jasu který bude ve výstupním obraze po geometrické transormaci odpovídat jednotlivým pixel m. Obr. 6.7. Jasová transormace Mezi geometrické transormace m žeme adit i nap. výez zmnu mítka posun rotaci. 6..3 Lokální operace pedzpracování Využívají pro výpoet jasu bodu ve výstupním obraze jen lokální okolí odpovídajícího bodu ve vstupním obraze. Podle unkního vztahu: - lineární jas v bod (ij) je dán lineární kombinací jas v okolí O (velikosti MxN) vstupního obrazu g s váhovými koeicienty h. Pro izoplanární (nezávislá na poloze) systémy = diskrétní konvoluce: ( i j) im / jn / mim / n jn / h( m i n j) g( m n) Obr. 6.8. Konvoluce obrázku s maskou - nelineární
4 FEKT Vysokého uení technického v Brn 6..3. Vyhlazování obrazu = iltrace Potlaení vyšších rekvencí = potlaení náhodného šumu ale i jiných náhlých zmn (ostré áry a hrany). ) prmrování - pes více (n) obraz : n ( i j) g k ( i j) n k - nerozmazává hrany - v jednom obraze: lokální aritmetický pr mr m žeme ešit konvolucí rozmazává hrany $! $! h 9 zvýšení váhy stedu: h nebo 4-soused: # # $! h 4 6 # 5) prmrování s omezením zmn Povolení jen menších zmn mezi p vodním jasem a výsledkem pr mrování. 6) iltr s Gaussovým rozložením - D Gaussovo (normální) rozložení: G x ( ) x e x y ( x y) e - D Gaussovo (normální) rozložení: G kde xy jsou souadnice obrazu a je smrodatná odchylka (udává velikost okolí na kterém iltr pracuje) Obr. 6.9. Gaussovo rozložení se stedem v () a = a odpovídající maska 5x5 ) vyhlazování rotující maskou Podle homogenity (nap. rozptylu) jasu hledá k iltrovanému bodu ást jeho okolí ke které pravdpodobn patí a tu pak použije pro výpoet = mírn ostící charakter.
Poítaové vidní 43 Obr. 6.. Rotující masky Algoritmus:. Pes všechny body (ij) obrazu. Pes všechny pozice masky (9 pozic) 3. Výpoet rozptylu jasu O okolí (MxN) n poet bod masky ) ) * + -. O N M O N M j i g n j i g n ) ( ) ( ) ( ) ( 4. Výbr pozice s nejmenším rozptylem 5. Piazení bodu (ij) výstupního obrazu hodnotu aritmetického pr mru jas vybrané masky. 7) medián Medián íselné posloupnosti je íslo které se po uspoádání podle velikosti nachází uprosted této posloupnosti. Výhoda: redukuje rozmazávání hran; nevýhoda: poškozuje tenké áry a oezává ostré rohy. 6..3. Detekce hran ostení = gradientní metody Zd raznní vyšších rekvencí = zvýraznní obrazových element kde se jasové unkce náhle mní (velký modul gradientu) ale bohužel i šumu. Hrana je urena velikostí a smrem velikost hrany je shodná s velikostí gradientu obrazové unkce. Smr hrany: ) * + -. / / ) * + -. / / ( y g x g g ) * + -. / / / / x g y g arctg / - parciální derivace v obrazech nahrazeny dierencemi: ) ( ) ( ) ( ) ( ) ( ) ( j i g j i g j i g j i g j i g j i g j i - ostení = úprava obrazu tak aby v nm byly strmjší hrany: (ij) = g(ij) C.S(ij) kde C koeicient udávající sílu ostení S(ij) strmost zmny v uritém bod nap. gradient nebo Laplacián ) operátory aproximující derivace obrazové ce pomocí dierencí = diskrétní konvoluce - operátory invariantní v i rotaci = jedna maska: Laplace v
44 FEKT Vysokého uení technického v Brn Laplacev h h y g x g g! # $! # $ 8 / / / / ( 8 4 8 4 - operátory neinvariantní = nkolik masek (rotace jedné): Roberts v Sobel v Prewitt v Kirsch v Sobelv Robertsv h h h h...! # $! # $! # $! # $ Kirschv ewitv h h h h Pr... 3 5 5 3 5 3 3 3 5 5 5 3 3 3 3 3...! # $! # $! # $! # $ 5) hledání hran v místech kde druhá derivace prochází nulou - operátory Marra a Hildretové Cannyho hranový detektor - druhá derivace hledána pomocí iltru s Gaussovým rozložením G a Laplaceova operátoru: ) * ( ) * ( ( ( g G g G - derivace Gaussova iltru G ( lze spoítat pedem analyticky (nezávisí na konkrétním obraze). 6..4 Restaurace obrazu Snaha o potlaení porušení obrazu na základ znalosti charakteru poruchy nebo jejího odhadu. ím lepší je znalost degradace tím lepší jsou výsledky proto se degradace modelují. Modely poruch se dlí: - apriorní parametry poruchy jsou známy nebo je lze získat ped obnovením (nap. ohodnocení vlastností snímacího zaízení rozmazání modelujeme smr a rychlost pohybu ) - aposteriorní znalosti o poruše jsou získávány až analýzou degradovaného obrazu (urování charakteru poruch vyhledáváním osamlých bod nebo pímek v obraze a nalezením odpovídající penosové unkce po degradaci odhadování spektrálních vlastností šumu v oblastech obrazu o kterých víme že jsou pomrn stejnorodé ) Píklady iltr : & inverzní iltr & Wiener v iltr & Kalman v iltr