Techniky pořízení obrazu, kamery Václav Hlaváč České vysoké učení technické v Praze Centrum strojového vnímání (přemosťuje skupiny z) Český institut informatiky, robotiky a kybernetiky Fakulta elektrotechnická, katedra kybernetiky http://people.ciirc.cvut.cz/hlavac, hlavac@ciirc.cvut.cz Poděkování: Vladimír Smutný. Osnova přednášky: Zobrazovací řetěz. Osvětlovače. Objektivy, jejich parametry. Fotokonverze, CCD, CMOS. Kamery, pohled uživatele. Různé.
Zobrazovací systémy 2/39 Pohled na celek: od pozorované vlastnosti přes záři (radiance) L a ozáření (irradiance) E k elektrickému signálu a nakonec k digitálnímu obrazu. Dvě možnosti pořízení obrazu: Přímé zobrazování existuje jednoznačná korespondence mezi bodem ve 3D scéně a jeho 2D obrazem (např. paprsek v projektivní transformaci). Nepřímé zobrazování také poskytují prostorově závislou zář, ale bez jednoznačné korespondence mezi 3D a 2D (např. radar, tomografie, techniky spektrálního zobrazení, magnetická rezonance).
Polarizace světla (1) 3/39 V teorii elektromagnetického pole je záření vyjadřeno jako oscilující elektrické a magnetické pole. Vektorová pole popisující intenzitu elektrického pole E a intenzitu magnetického pole B jsou řešením systému Maxwellových lineárních diferenciálních rovnic. V obecném případě se 3D směr vektoru E mění. Např. Slunce díky krátkým emisním jevům a žhnoucí žárovky jsou zdrojem převážně náhodné směsí vln E všech orientací, tzv. nepolarizované světlo. Polarizačním filtrem lze ze směsi vybrat jen vlny v jedné rovině, tzv. lineárně polarizované světlo.
Polarizace světla (2) 4/39 Harmonická rovinná vlna je zvláštním řešením Maxwellových rovnic ve volném prostoru (bez elektrických potenciálů a proudů). Nepolarizované světlo, např. ze slunce, je polarizováno po průchodu světla polarizačním filtrem. Přírodním polarizačním filtrem je např. dvojlomý vápenec. Prakticky používané polarizační filtry se skládají z rovnoběžných vláken dlouhých molekul orientovaných v jednom směru. Příklad použití: polarizované brýle pro rybáře. Polarizovaný filtr na objektiv fotoaparátu.
Zdroje světla podle emise (1) 5/39 Denní osvětlení nebliká, časově i barevně nestálé, velmi dobré podání barev. Žárovka nebliká, hřeje, velký příkon a náběhový proud, časté výměny, dobré barevné podání. Halogenová žárovka nebliká, hřeje, velký příkon a náběhový proud, časté výměny, dobré barevné podání (lepší než žárovka), menší než žárovka. Zářivka bliká (lze budit vysokou frekvencí nebo synchronizovat), spec. napájení, doba mezi výměnami dlouhá, špatné barevné podání, blízká plošnému zdroji.
Zdroje světla podle emise (2) 6/39 LED modulovatelné osvětlení, nehřeje, malé rozměry, nízká spotřeba, nízká intenzita, monochromatické (interferenční jevy možné) i bílé, dlouhá životnost. Laser (akronym: Light Amplification by Stimulated Emission of Radiation). Zařízení pro vytváření paprsku silného světla o jedné velmi čisté barvě. Modulovatelný, monochromatický,koherentní, velmi malá divergence svazku (mm na 1km), problémy s interferencí, malý příkon, dlouhá životnost (u polovodičových laserů) Výbojky např. xenonové, pro zábleskové aplikace s velkým výkonem, velmi drahé.
Zdroje světla podle rozložení (1) 7/39 Bodové například halogenová žárovka, LED, laser. Zdůrazňují drsnost povrchu. Silné odlesky. Plošné, difuzní například odraz od bílých stěn, papíru, světlo s velkými matnicemi, zářivky. Potlačují drsnost povrchu. Zadní difúzní výhodné tam, kde nás zajímá jen obrys předmětu a pozorovaný předmět je tenký (snímání tvaru plechu, kůže,... ). Velmi používané v aplikacích, protože maximálně zjednodušuje segmentaci na objekty a pozadí. Vhodné pro měření rozměrů.
Zdroje světla podle rozložení (2) 8/39 Zadní telecentrické osvětlovače s kolimátory. Použitelné jen pro malé předměty (do průměru vstupního členu objektivu), kombinovat s telecentrickými objektivy. Výhodné tam, kde nás zajímají jen obrysy objektů, jejichž tloušťka je nezanedbatelná. Temné pole šikmé osvětlení, kdy paprsky přímo nemíří do objektivu, na předmětu se odráží do objektivu.
Optické triky 9/39 Monochromatický filtr může potlačit okolní osvětlení, sníží vliv barevných vad. Polarizační filtr odstraní nebo vybere polarizovaný obraz (například odlesk krycího skla přístroje).
Vliv polarizačního filtru 10/39 Před kameru bylo svisle umístěno čiré sklo skloněné k optické ose o zhruba 45. V obou obrazech je vidět dvojitý lom na skle. Svislá polarizace. Odraz okna ve skle. Vodorovná polarizace. Odraz ve skle zmenšen. Je vidět skrz.
Směrové osvětlení 11/39 Jas matného (ideální případ: lambertovského) povrchu závisí na směru. Proto lze určovat sklon povrchu (shape from shading). Jednou z prvních aplikací bylo zjišťování tvaru kosmických těles. Hrany mezi stěnami objektu mohou způsobovat stíny. Ty se mohou plést s hranicemi objektů. Zrcadlová složka odrazivosti povrchu způsobuje odlesky. Pro ně se většinou směrové osvětlení nehodí.
Rozptýlené (difúzní) osvětlení 12/39 Přirozené denní světlo při zatažené obloze, mlha. Technická realizace: prstenec LED, polokoule z LED. Hodí se i na povrchy s významnou zrcadlovou složkou odrazivosti. Velké hrany mezi stěnami způsobují částečně ztmavlé oblasti = polostíny (angl. penumbra).
Zadní osvětlení 13/39 Zvláště vhodné, hledá-li se obrys plochého neprůhledného objektu. Zjednodušuje segmentaci. Zajímavé pro poloprůhledné objekty, kde lze pozorovat škálu interakcí světla s hmotou (lom, pohlcení, rozptyl světla). Jsou vidět místní nehomogenity hmoty. Příklady: rentgen. Též spektrální analýza u spektrálně závislé pohltivosti.
Osvětlení ve světlém poli 14/39 Osvětlovač svítí přímo do kamery. Objekty mezi osvětlovačem a kamerou jsou vidět tmavěji díky lomu, pohlcení, rozptylu. Objekty jsou tmavé na světlém pozadí. Používá se pro pozorování malých částic.
Osvětlení v temném poli 15/39 Paprsky osvětlovače kamera přímo nevidí. Vidět je odraz, rozptyl, lom světla, který dopadne do kamery. Objekty jsou světlé na tmavém pozadí. Používá se pro vizualizaci malých částic, kovové povrchy v mikroskopii (hliníkové vodiče v mikroelektronice).
Telecentrické osvětlení 16/39 Kolimátor zajistí rovnoběžné paprsky. Použití čoček o velkém průměru (často Fresnelovy čočky = stupňovitá čočka ze soustředných prvků). Měření rozměrů invariantní ke vzdálenosti od kamery telecentrickým objektivem.
Obvyklý objektiv 17/39 Vzdálenost objektu ohnisková vzdálenost. Normální, širokoúhlý, teleobjektiv. Objekt F Èip Objektiv
Ostrost obrazu 18/39 odclonìno zaclonìno objektiv chip F
Mikroskopický objektiv 19/39 Obraz zvětšen, typicky krátká pracovní vzdálenost (cca 1 mm), ale může být i velká (cca 100 mm). Typicky je úhel pozorování velký a malá hloubka ostrosti. Pøedmìt F Objektiv Èip
Telecentrický objektiv 20/39 Použity jen hlavní paprsky, tj. rovnoběžné s optickou osou. Vstupní čočka musí mít větší průměr než měřený objekt. Výhodné tam, kde se mění poloha objektu na optické ose nebo objekt je tlustý Kolimátor Zdroj svìtla F Pøedmìt Objektiv Clona Èip
Parametry objektivů (1) 21/39 Ohnisková vzdálenost pevná, transfokátor (zoom), nastavitelná motorem či ručně. Světelnost nejmenší a nejvetší nastavitelná clona. Clona pevná, ručně nebo motoricky nastavitelná. Připojení objektivu C vzdálenost zadního čela objektivu od čipu cca 17 mm. CS cca 12 mm, ostatní parametry stejné. Objektiv pro C kameru lze přizpůsobit k CS kameře mezikroužkem tloušťky 5 mm, opačně nelze.
Parametry objektivů (2) 22/39 Ostření Pevně nastavené zaostření (např. web kamery), ruční nebo motorické ostření. Vzdálenosti, na které ostří lze za cenu zhoršení optických vlastností měnit mezikroužky. Formát jaký největší čip lze použít. 1, 2/3, 1/2, 1/3, 1/4. Závit na filtr čirý filtr se používá na ochranu objektivu. Radiální zkreslení neuvádí v katalogu, ale je důležité pro měřicí aplikace. Objektivy s krátkou ohniskovou vzdáleností typicky větší zkreslení (několik pixelů).
Princip fotopřeměny v polovodičích 23/39 Příchozí záření (fotony) se v hmotě polovodiče mění na nábojové páry elektron-díra. Polovodič je ve statickém elektrickém poli, což nábojové páry přemění na krátký proudový impuls. Proudový impuls se musí zesílit a zpracovat. Např. v CCD se použije k nabití kondenzátoru.
Fotodioda a MOS struktura 24/39 Průřez dvěma hlavními principy pro generování proudu a uschování náboje.
Architektury CCD 25/39
CCD čip, vlastnosti technologie 26/39 + Linearita: CCD senzory pracují na principu přeměny fotonu na pár elektron-díra a integrování získaného náboje. + Nízký šum: je dán integrační povahou měření. Nechlazený čip při televizním vyčítání má SNR asi 60 db. + Účinnost: Současné senzory mají vysokou účinnost asi 40%, tj. pár elektron-díra je generován zhruba každým třetím fotonem. Vyčítání: jen celého čipu najednou. Omezený rozsah intenzit: je dán maximální kapacitou jednotlivého kondenzátoru.
CMOS čip, vlastnosti technologie 27/39 http://www.ims-chips.de/products/vision/hdrc alt/hdrc ima.html http://www.imec.be/bo http://www.vector-international.be/c-cam/cmosccd.html + Logaritmická citlivost: CMOS senzory pracují na principu fotodiody. Měří se protékající proud v okamžiku vyčítání. + Vyčítání: lze v jakémkoliv pořadí, např. můžeme číst oblast zájmu. + Kamera i procesor na 1 čipu: CMOS technologie je dobře zvládnutá (procesory, paměti). Chytrá kamera (smart camera). Vyšší šum:
Kamery, hledisko uživatele (1) 28/39 Prostorové rozlišení: počet pixelů ve sloupci a řádku. TV CCIR/PAL 768 576. TV RS170/NTSC 640 484. Netelevizní kamery až 2000x2000, stále se zvyšuje, velmi drahé. Rozlišení v jasu: pro digitální se udává počet bitů, výstup typicky 8 bitů. Pro analogové SNR, obvykle >50 db. Citlivost: v luxech. Nutno přepočítat podle uváděné clony a AGC. AGC: automatická regulace zesílení, ano, ne, vypínatelná, ručně řízené zesílení. Závěrka: běžně od 1/50 s do 1/10000 s.
Kamery, hledisko uživatele (2) 29/39 Formát: velikost čipu, udává se jednak v palcích ekvivalentního průměru vidiconu, jednak v milimetrech. 1/2 odpovídá 4.8x6.5 mm. Rozměr pixelu: čtvercový i nečtvercový. Výstup pro automatickou clonu: AWB: Automatic White Balance. Automatické vyrovnání bílé. Mění poměr R a B vůči G. Gama korekce: vypínatelná/pevná. Přímý signál γ = 1. Typicky γ = 0, 45 (zdůrazňuje černou). Kompenzuje charakteristiku obrazovky a citlivost lidského oka. Závit: C mount / CS mount.
Prokládané/neprokládané řádkování 30/39 1 768 1 768 1 2 3 4 1 2 3 4 574 575 576 574 575 576 Prokládané řádkování. Neprokládané řádkování.
Signál, prokládané/neprokládané řádkování 31/39 field frame frame odd even odd even odd even odd even ~ 1 3 5 575 2 4 6 576 1 2 3 576 Prokládané řádkování. Neprokládané řádkování.
Elektronická závěrka 32/39 Zkrácená expozice se používá buď, když je mnoho světla nebo pro snímání rychlých dějů (podobně jako u fotoaparátu). I exposition frame (noninterlaced) field (interlaced) t
Blesk a potlačení okolního světla 33/39 I Závěrka kamery se zkrátí. I I ambient light intensity flash intensity t t Záblesk se nastaví do doby otevření závěrky. Poměr integrálu jasu okolního osvětlení po dobu otevření závěrky a integrálu jasu záblesku po dobu otevření závěrky nám udává vliv okolního osvětlení v obraze. exposition Jako zábleskové zařízení se často používá LED dioda. I t flash contribution ambient light contribution t
Typy kamer 34/39 Řádkové V B/W i barevném provedení se používají v průmyslových aplikacích, skenerech, faxech a kopírkách. TDI Varianta řádkové určená k synchronnímu snímání pohyblivé scény více řádky. Zvýšená citlivost. Televizní černobílé CCIR 50 Hz, 625 řádků, 768x576; RS-170 (EIA) 60 Hz, 525 řádků, 648x484. Televizní barevné PAL, SECAM 50 Hz; NTSC 60 Hz. Progressive scan neprokládané řádkování. Digitální obsahují přímo A/D převodník, kvalitní a drahé pro průmysl, nekvalitní a levné pro multimedia.
Uspořádání barevných kamer 35/39 Ruční výměna barevných filtrů před objektivem ručně. Tříčipové optické oddělení pomocí filtrů a (polopropustných) zrcadel. Jednočipová s filtry na čipu. Barevné rozlišení je menší než odpovídá počtu pixelů.
Rozložení barevných filtrů u jednočipové kamery 36/39 R G R G C Y C Y G B G B M G M G R G R G C Y C Y G B G B M G M G Aditivní barevný model. Subtraktivní barevný model.
Barevný skener 37/39 pøedloha sklo osvìtlení zrcadlo optika èip smìr pohybu
Fire wire (i.link u Sony) 38/39 Rychlá sériová sběrnice. IEEE 1394. 2 typy přenosu: 1. isochronní, např. pro obrázky; 2. asynchronní, např. předávání parametrů zařízením. Disky, kamery, propojení dílů spotřební elektroniky navzájem (audio věž Sony). Netelevizní kamery. Příklad: barevná kamera 1200 1024, 15 snímků/s, 40 tis. Kč. Dva typy konektorů. 4 kolíkový. 6 kolíkový i s napájením. Kabel max. 4,5 m. Opakovače. Mladším konkurentem IEEE 1394 je USB 2.
Novější sběrnice 1394b 39/39 Podstatná inovace. Rychlosti až do 3,2 Gb/s. Vzdálenost až 100 metrů po metalických kabelech. Po optických kabelech libovolně daleko. Plně zpětně kompatibilní s nyní používanými specifikacemi 1394-1995 and 1394a.