Optoelektrické senzory, obrazové senzory CMOS pro vestavné systémy

Optoelektrické senzory, obrazové senzory CMOS pro vestavné systémy Materiál je určen pouze jako pomocný materiál pro studenty zapsané v předmětu: A4M38AVS ČVUT- FEL, katedra měření, přednášející Jan Fischer Jan Fischer, 2015 1

Přechod PN Polovodič P a N Difůze elektronů z oblasti N do oblasti P, děr z P do N, rekombinace Vznik chuzené oblasti - bez volných nosičů - elektronů, nebo děr, oblast prostorového náboje (OPN) vyprázdněná oblast, (depletion region) - oblast PN přechodu Po odešlých děrách a elektronech zůstávají ionizované atomy donorů a akceptorů, představují místa fixovaných záporných a kladných nábojů, elektrická dvouvrstva PN přechod - uspořádání i P + na N, nebo N + na P čím vyšší koncentrace dopantů - tím kratší dif. délka, menší OPN difuze el. a děr ochuzená oblast P N P N elektrická dvouvrstva 2

Vytvoření OPN v oblasti přechodu PN elektrická dvouvrstva difundující díry difundující elektrony Q P OPN N P N E x Jaká je velikost OPN, kde je umístěna, jak závisí na koncentraci dopantů? 3

Fotodioda s přechodem PN Dopad fotonu s dostatečnou energiípředání energie, uvolnění elektronu z obalu, vznik páru elektron díra. Působení el. pole v oblasti přechodu PN, pohyb elk. k oblasti N, pohyb díry k obl. P ( fotoproud ) N N + P + antireflexní vrstva kontakt izolační vrstva OPN kontakt W g křemíku při pokoj. teplotě 1,12 ev W W = hν= g f hc λ [ J] W W hc g f = λ e [ ev] λ 124, µ m,ev absorpční hrana, max. vlnová délka záření, W g [ ] které může být absorbováno, pro křemík přibl. λ max = 1,1 um! 4

Fotodioda a její OPN Tenká, silně dotovaná oblast P +, OPN především v oblasti N Záření průchod tenkou oblastí P + Místo absorpce fotonu v závislosti na vlnové délce křemík Si- činitel absorpce klesá s rostoucí vlnovou délkou, nad absorpční hranou -. (λ max = 1,1 um) je Si pro záření propustný P + N Q OPN P + λ 1 λ 2 λ 3 E x N OPN a) b) 5

VA charakteristiky fotodiody Soustava V A charakteristik, posun s rostoucí E e záření (zjednodušená konstrukce parametrický posun ve směru I, ve zjednodušeném ideálním případě i 1 (u) I 2 (u) = konst výklad. proud v závěrném směru, příčina, závislost, důsledky I I U RP a U U E e c b 6

Zapojení fotodiody do obvodu Fotodioda provoz ve 4. kvadrantu jako zdroj (fotovoltaické elektárny) fotodioda provoz ve 3. kvadrantu (senzory) fotodioda navenek působí jako prvek, jehož proud (proudový odběr) lineárně závisí na osvětlení Zjednodušení: dopad fotonů při vygenerování N párů el- díra představuje průtok proudového množství - integrál proudu dle času tedy rovný celkovému náboji vygenerovaných elektronů daný počet M fotonů, které dopadnou na fotoelement vygeneruje N elektronů, kde N= kp M k< 1, ( pro CMOS senzor typ. 0,2-0,3, působená malý fill factor, odrazivost povrchu, omezená kvantová účinnost, ) + I Z I Z U RP - U P R Z R Z 7

Příklad fotodiody Fotodioda lineární převodní charakteristika přes několik dekád, menší citlivost oproti fototranzistoru, vyšší rychlost, Příklad PIN fotodioda BPW34 (široce dostupná v obch.) Oodezva (BPW 34 V R = 10 V, R L = 1 kω, λ = 820 nm) náb, šest.hrana t r, t f, (provoz ve 3. kvadrantu se závěrným předpětím Citlivost 75 ua / 1 klux osvětlení, světlo 50 ua / 1mW /mm 2 intenzita ozáření, λ = 950 nm infračervené záření 8

Fotodioda ve vest. systému Snímání osvětlení, intenzity ozáření fotodiodou (bez zesilovače) Jednoduchá aplikace pro vest. systém, napojení přímo na ADC Fotodioda s předpětím v závěrném směru, volba R Z podle požadovaného rozsahu C b blokování kvůli odběru vzorku převodníkem ADC, využít pokud možno dlouhou dobu odběru vzorku, časová konstanta R z. C b Potřeba nabití vzorkovacího kondenzátoru ADC, volba Cb např. 1n F, C B volit tak, aby byla podstatně menší, než perioda změn intenzity záření, které je třeba sledovat Opačná volba potřeba měřit střední hodnotu osvětlení (zářivky) volba čas. konst větší než perioda změn (perioda blikání 10 ms), Rz = 20 kohmů, pro rozsah 1 klux, U = 1,5 V + U = 3V ADC I fot R Z C b GND 9

Fototranzistor Dioda přechod báze kolektor působí jako fotodioda Absorpce záření v oblasti OPN přechodu báze kolektor, fotoproud, jeho zesílení tranzistorem, zesilovací činitel, h 21E, dále viz zesilovací stupeň s tranzistorem Možná zapojení SE (společný emitor), SK (společný kolektor) viz materiály ke cvičením U fototranzistoru s vyvedenou bází - možnost využití samotné fotodiody Fototranzistor, podstatně pomalejší!!! než fotodioda PIN, spínací časy 10- ky až 100us (podle zapojení) fototranzistory- relativně levné, pro méně náročné aplikace, menší linearita přev. char. záření proud oproti fotodiodám dle materiálů firmy Vishay 10

Příklad fotoranzistor PT204-6C PT204-6C fototranzistor, firma Everlight Nemá vyvedenu bázi, pouze vývody C, E, pouzdro jako LED Mezní parametry: U EC0 max = 5 V pozor na přepólování, C na GND, E na + Ucc, hrozí průraz přechodu BE (např. při případném pokusu o použití antiparalelně zapojených fototranzistorů pro ovládání střídaného proudu) 11

Příklad fototranzistor PT204-6C I CE0 klidový proud (za tmy), t r doba náběžné hrany t f doba spádové hrany I C(ON) proud ozářeného fot. Různá citlivost působení různého zesil. činitele h 21E, třídění G, H, J, K 12

Příklad fotoranzistor PT204-6C Omezení linearity převodní charakteristiky záření proud podobně, jako nelinearita přev. char. I CE = f (I B ) u tranzistoru zde I CE nahrazen intenzitou ozáření E e spektrální charakteristika citlivosti denní světlo, i blízká infračervená oblast 13

Fototranzistor ve vest. systému Použití pro snímání přítomnosti světla, příp. infračerveného záření Pro lineární aplikaci analogový vstup ADC, zapojení se snímacím rezistorem v emitoru, napětí úměrné fotoproudu a osvětelní Zapojení pro snímání světla ON OFF (rozsvíceno, zhasnuto), (zapojení fototranzistoru podobně, jako tlačítko), Volba R C tak, aby okolní světlo uvedlo fototranzistor do saturace, I FOT větší, něž U CC / R C, Pro menší osvětlení doplnění T 2, funkce jednoduchého komparátoru, pro I Fot menší než U BE /R 1, T 2 nevede. U2 = IFOT. RE, pro překročení FT R E + U cc U 2 ADC FT RC + U cc U 2 I/O pin FT R 1 + U cc T 2 I/O pin R E U 2 14

Fototranzistor ve vest. systému Úprava snímacího obvodu pro menší osvětlení Doplnění T 2, funkce jednoduchého komparátoru, pro I Fot menší než U BE /R 1, T 2 nevede. U 2 = I FOT. R E, pro překročení Při I Fot větším než U BE /R 1 další nárůst I Fot, nárůst proudu především do báze T 2 prudký nárůst napětí U 2, U 2 = IFot h21e RE Pozor na omezení velikosti napětí U 2, úbytkem napětí na tranzistorech FT R 1 + U cc T 2 I/O pin R E U 2 15

Jednoduché snímače typu optická závora Jednoduché snímače typu optická závora, IRED (infra dioda) + fototranzistor vyhodnocení přítomnosti clonky Lineární aplikace, snímač polohy clonky, využití lineární části. převodní charakteristiky měření fotoproudu (viz. předchozí slide). Použití snímání a regulace polohy 16

Fotodioda s MOS tranz. pro obrazové senzory Zvětšení (ideově) PN přechodu Source Substrát - možná funkce jako fotodioda, řešení N +, P, využití v obr. senzoru CMOS Pokud bude na fotodiodě napětí v závěrném směru po rozpojení spínače Sp se působením dopadajícího světla bude generovat fotoproud, kterým se bude paraziní kapacita fotodiody vybíjet akumulační princip (příměr výklad auto, nádrž) S fotodioda G D N + - Si U G G D - drain N + - Si SUB Sp substrát P - Si 17

Fotodioda v obrazových snímačích CMOS Fotodioda funkce ve 3. kvadrantu přednabití reset akumulace náboje vybíjení fotodioda Sp čtení stavu vybití ( napětí na fot.) i FOT u C U D nové přednabití reset ~ C FD akumulace náboje vybíjení Doba akumulace expozice = perioda čtení (pasivní fotoelem. - v CMOS se již nepoužívá) I El. náboj Q, který se během expozice ztratil musí dodat při opětovném nabití, je úměrný dávce optického záření U D U e e = T exp. E v e e expozice, E v osvětlení, T exp doba expozice Q = k. e e E e c 18

Fotodioda v aktivním elementu - APS Aktivní fotoelement doplněn zesilovač sledovač napětí Sledovač s tranzistorem MOS - čtení nedestruktivní oddělena fáze reset a fáze nedestruktivního čtení čtení po řádcích výběr jednotlivých sloupců reset po řádcích možnost globálního resetu (současný reset všech buněk) reset i FOT FD T 1 T 2 U D U DD C FD u výst reset reset řádku U dd T 1 T 2 FD výběr čtení řádku T 3 sloupcový čtecí vodič U SS 19

Struktura CMOS s APS Samostatná adresace řádku pro čtení a pro reset Interní ADC sloupcové čtecí vodiče matice fotoelementů Konfigurace IIC čítač adresy -pro reset řádku dekodér adresy -reset řádku dekodér adresy - čtení řádku čítač adresy čtení řádku Programovatelný obvod (technologie LSI CMOS obdobná jako pro paměti DRAM a FLASH) clk IIC Bus čítač, adresace, výběr sloupce + zesilovače řídicí logika přednastavení. čít. gener.říd.impulsů výstupní obvod převodník A/D H sync, V sync,... data clk_o 20

Barevné obrazové snímače Barevné obrazové snímače, obvykle Filtr RGB podle Bayera (Bryce E. Bayer, Eastman Kodak Comp,. US patent. R.1976) Na struktuře senzoru je doplněn barevný filtr snímač s 8 Mpixely, ½ zelených, ¼ červených ¼ modrých fotoelemntů (pozn. kamera 3 CCD 3 monochromatické senzory, optická dělicí soustava a 3 filtry (R, G, B), pro každý senzor celý jeden filtr) (existují i senzory s jinou kombinací barev) 21

Obrazové senzory CMOS, paralelní rozhraní Řídicí signály (paralelní rozhraní) CLK in (řádu 10-tek MHz) CLK out Interní ADC paralelní výstup dat signály Hsyn, Vsyn (line valid, frame valid) nastavení IICBus Paralelní rozhraní - obdobné, jako má videocodec digitalizace videosignálu PAL, generování videosignálu PAL (analogový výstup digitálního fotoaparátu na televizi) TV standard - PAL přenos dat s taktovacím hodinovým signálem 27 MHz) STM32F207, STM32F407 rozhraní DCMI rychlý paralelní vstup s návazností na DMA, přímé čtení obrazových dat až frekvencí 40 50 MHz signálové procesory ( např. Analog Devices ADSP BF5xx Blackfin) - obvykle též rozhraní PP pro vstup obrazu Připojení videocodecu a obr. senzoru CMOS k ARM, DSP - sobě podobné 22

Obrazové senzory CMOS, paralelní rozhraní Paralelní rozhraní MT9M001 TWI IIC Bus, konfigurace senzoru, programovatelný senzor, nastavení registrů ( flip obrazu vertikalní, horizontální, zesílení, doba. el. závěrky, korekce, u bar. senzorů vyvážení bílen, korekce, ) 23

Příklady signálů par. rozhraní obr. senzoru CMOS. 24

Příklady registrů obrazového senzoru CMOS. 25

Obrazové senzory CMOS sériové rozhraní Obrazové senzory pro mobilní telefony, hračky,.. Sériové rozhraní MIPI MIPI Mobile Industry Processor Interface CSI Camera Interface (DSI- Display Interface) Vyšší procesory s jádrem ARM podporují rozhraní MIPI MIPI sériové rozhraní, (využívá LVDS low voltage differential signaling) (viz. Raspberry PI počítač) Jednoduché obrazové senzory CMOS - technologie CMOS, obdobná jako pro dyn. paměti, pam. FLASH, horší kvalita obrazu, než z kvalitních senzorů CCD Rozvoj technologie obr.senzorů CMOS nyní i kvalitní senzory, BSI (Back Side illuminated- Sony). CANON lepší fotoaparáty - senzory CMOS Napájení 3,3 V, 2,5 V, rozhraní napěťově kompatibilní s procesory 26

El. závěrka typu rolling shutter Standardní, snímače CMOS s třítranzistorovým fotoelementem jsou typu tzv. Rolling Shutter Analogie funkce pohybující se štěrbinové závěrky ve fotoaparátu (film) dolní lamela ~ reset, začátek akumulace horní lamela ~ konec akumulace čtení Doba akumulace = interval mezi reset čtení snímací okénko horní lameta dolní lameta 27

Vlastnosti el. závěrky rolling shutter Vlastnosti, možnosti a nevýhody závěrky rolling. shutter regulace doby expozice velikostí časového okénka jednoduché řešení (web kamery, mobilní telefony, ) nevýhoda různé části snímku exponovány v jiném časovém intervalu Důsledky závěrky rolling shutter: kácení pohybujících se předmětů blikání v rámci snímku při intenzivním proměnném osvětlení snímací okénko horní lamela dolní lamela 28

Vymezení oblasti zájmu - ROI Funkce ROI region of interest v senzoru CMOS: vymezení oblasti zájmu vybraného pole (u senzoru CCD není možné) možnost volby pouze jedné oblasti (zatím?) zvýšení snímkové frekvence snížení datového toku virtuální zmenšení plochy snímacího čipu X x 1 x 2 Y y 1 y 2 aktivní čtené pole 29

Snížení rozlišení senzoru CMOS Snímač CMOS programovatelné chování modifikace činnosti čítačů řádku a sloupce přeskakování vždy jednoho sloupce a jednoho řádku virtuální zmenšení počtu elementů na stejné ploše zvýšení rychlosti vyšší snímková frekvence virtuální zvětšení pixelu součet signálu sousedních pixelů Snímač 1280 x 960 režimy 640 x 480, 320 x 240, 160 x120 30

Snímače CMOS typu Global shutter Nevýhoda snímačů typu Rolling Shutter deformace obrazu pohybujícího objektu Výhoda jednoduchost konstrukce zcela kompatibilní s technologií CMOS pro výrobu pamětí Řešení snímač s pomocnou pamětí kapacitorem u každého fotoelementu naráz uložení informace a pak postupné čtení. náročnější technologie ( podoba, jako u CCD interline sensor viz další.) Označení typ Global shutter 31

Postup akumulace v senzoru CMOS rolling shutter Maximální doba akumulace senzoru CMOS určena periodou čtení Y interval akumulace řádek n poloha řádku řádek 0 perioda čtení čas t 32

Funkce el. závěrky typu rolling shutter - čtení čtení Y reset čas t exp reset a) b) Zkrácení doby akumulace- menší expozice reset čtení reset čas čtení čtení reset t exp a) t exp b) t exp c) 33

Zkrácení doby expozice ve snímači rolling shutter Zkrácení doby akumulace (doby expozice) pro přizpůsobení světelným podmínkám Y reset + start stop + čtení interval akumulace reset + start stop + čtení perioda čtení t různý časový úsek expozice jednotlivých řádků limitně např. doba 0,1 ms, perioda 20 ms posun okamžiku expozice horní a dolní části snímku o 20 ms 34

Působení proměnného osvětlení na senzor CMOS Zvlnění časového průběhu intenzity ozáření umělého osvětlení periody typ. 10 ms ( 100 Hz) žárovka, u zářivek i menší složka 50 Hz expozice r y2 E e expozice r y1 E emax E emin 10 ms t expozice r y1 expozice r y2 E e krátká doba akumulace odlišná expozice jednotlivých řádek E emax E emin 10 ms t 35

Degradace obrazu proměnným osvětlením Optimální volit dobu expozice násobek periody zvlnění nedodržení u snímače CCD a CMOS typu global shutter kolísání expozice jednotlivých snímků, zachování jasových proporcí ve snímku Rolling- shutter možné ovlivnění proporce snímku, Zkreslení obrazu - (typ roleta nebo žaluzie přes obraz), horizontálně orientované světlé a tmavé části snímku!!! 36

Degradace obrazu objektu v pohybu (rolling. shut.) Horizontální pohyb snímaného objektu při dlouhé době akumulace rozmazání krátká doba akumulace- změna tvaru předloha obraz předloha obraz pohyb pohyb a) b) a), b) pohyb konstantní rychlostí, b) zrychlení kmitavý pohyb c) Degradace obrazu pruhové struktury, Je možno určit smět pohybu (otáčení) předloha obraz pohyb doprava a) b) c) obraz pohyb doleva 37

Snímání pohybu optického rozhraní Horizontální pohyb vertikálně orientovaného černo bílého rozhraní (tmavý papír na světlém pozadí) ve směru doprava předloha obraz, v = konst obraz, zrychlení obraz, zákmity pohyb a) b) c) d) a) objekt v klidu b) pohyb konstantní rychlostí c) zrychlení pohyb konstatntním zrychlením d) proměnná rychlost- zákmity 38

Rozměry obrazových senzorů CMOS Senzory CMOS základní provedení pro průmyslové kamery formát s poměrem stran 4:3, další formáty i s jiným poměrem stran (3:2,..) Fotoelementy senzoru CMOS obvykle umístěny ve čtvercovém rastru (to u senzorů CCD pro průmyslové kamery a CCTV nemusí platit) CCTV Closed Circuit Television kamerový systém. Průmyslové použití, zabezpečovací systém Rozměr senzorů CMOS (a CCD) uváděn v návaznosti na palcový snímač. Úhlopříčka palcového snímače není 1 ( 25,4 mm), jak by se očekávalo, ale pouze 16 mm. To je odvozeno z historického standardu palcového vidikonu (vakuového obrazového snímače). Palcový vidikon měl vnější průměr skleněné trubky 1, tedy 25,4 mm. Průměr (úhlopříčka obdélníku snímacího pole) využívané aktivní fotocitlivé snímací části byl přibližně 16 mm. Senzor CMOS SONY IMX174LQJ uvedeno Diagonal 13.4mm (Type 1/1.2) 16 mm /1,2 = 13,33 mm foto - vidikon 39

Formáty senzorů CMOS Používané formáty senzorů CMOS Poměr stran senzorů CMOS VGA 640 x480 (4:3), WVGA 720 x 480 (3:2) SXGA 1280 x 960 (4:3) XGA 1024 x 768 SXGA (1,280 x 1,024) (5:4) příklad MT9M001M úhlopříčka 8,523 mm (1/2 ) (HDTV (1280 x 720) 16 :9 (1,777 :1) 1920 x 1080 HDTV Full HD 16:9 (1,777 :1) (UXGA mode) 1600 x 1200 QXGA 2048 x 1536 MT9M001 1/2 půlpalcový snímač 40

Spolupráce procesoru s obrazovým senzorem Řada mikrořadičů (s jádrem ARM a jiných výkonných), výkonné signálové procesory - podpora vstupu obrazové informace Paralelní rozhraní DCMI (Digital CaMera Interface) Přenos dat do vnitřní SRAM, případně vnější paměti STM32F207, STM32F407 STM32F429 také přenos do vnější paměti SDRAM 41

Paralelní rozhraní DCMI Rozhraní DCMI navázáno na DMA DCMI připojení obr. sen. CMOS s par. rozhraním bez potřeby dalších obvodů Přenos obrazu do paměti bez zatížení CPU (program - pouze pro inicializaci DCMI pro přenos snímku) Omezená velikost paměti mikrořadičů (bez externí paměťové sběrnice) Přenos DCMI- hod. signál až k 50 MHz. DCMI - možno využít i pro přenos dat z rychlého externího převodníku ADC (digitální osciloskop) DCMI vstup dat přivedených na bránu synchronní přenos do paměti - funkce jako logický analyzátor ( časový analyzátor analogie osciloskop pro logické signály) 42