Metody zvýšení rozlišovací obrazů

Transkript

1 XXVI. ASR '21 Semnar, Instruments and Control, Ostrava, Aprl 26-27, 21 Paper 7 Metody zvýšení rozlšovací obrazů BRADÁČ, Frantšek Ing., Ústav výrobních strojů, systémů a robotky, Vysoké učení techncké v Brně, Fakulta strojního nženýrství, Techncká 2, Brno, bradac@fme.vutbr.cz Abstrakt: Šršího nasazení průmyslových CCD vdeokamer jako měřícího nástroje do výroby v současné době do jsté míry brání rozlšení používaných CCD elementů u těchto kamer, a v závslost na tomto také jejch cena. V rámc prací na našem ústavu jsme zpracoval metody jež umožňují matematcky zvýšt rozlšovací schopnost a následně cenu použtí v průmyslové výrobě. Klíčová slova: zvýšení rozlšovací schopnost,sub-pxelový posun,nterpolace obrazu 1. Úvod V mnoha výrobách ať už sérových, malosérových č kusových je často požadována až 1% kontrola všech částí výrobků, sestav a nakonec hotových výrobků jdoucích do expedce. Jedna z nejsložtějších úloh v kontrolním procesu je kontrola, jež by zachytla jak vady funkčnost tak, což je neméně důležté, vady kosmetcké. Díky tomuto nepochybně automatcká vzuální kontrola zvyšuje produktvtu a zlepšuje celkovou kvaltu výroby. Velm rychlý rozvoj počítačové technky a všeobecně elektronky, přnesl s sebou výrazné zlepšení a zlevnění průmyslových zařízení pro zpracování obrazu, což má za následek rozvoj věd zabývajících se zpracováním obrazu, rozeznáváním objektů a tvarů a všeobecně umělou ntelgencí. Automatcká kontrola pomocí obrazu ve výrobě je dnes šroce a rychle rozvíjející se oblast komerčních zájmů. Tuto vsuální kontrolu výroby nejčastěj využívá elektrotechncký průmysl pro kontrolu desek plošných spojů, ntegrovaných obvodů a fotografckých masek plošných spojů. Jná průmyslová odvětví, jako automoblové, dřevozpracující, textlní, sklárenské a výroba obalů, používají podobné systémy a procedury kontroly. Nejnovějším trendem je zavádění počítačového vdění do lnek třídění tuhého domovního odpadu. Ve většně případů se ještě v nedávné době používaly systémy jednoúčelové, tzn. systémy budované specálně pro ten č onen druh aplkace. V současné době je ovšem trend nasazování automatckých systémů víceúčelových, které by zvládly mnoho různých druhů kontroly. Jejch využtelnost a jednoduchost nasazení může přnést ekonomcký význam pro mnoho druhů průmyslových odvětví. 2. Defnce vzuální kontroly Automatcká vzuální nspekce provádí opakované pozorování známých objektů stejného typu a snaží se detekovat anomále. Na obr. 1 Základní schéma optcké kontroly je možno vdět její základní prncp. Dopravník, č jné manpulační zařízení, posunuje snímaný objekt do snímací stance, kde senzor snímá vzuální data nutná k popsu objektu a zasílá je do zpracovávající jednotky k analýze. Analýza spočívá v předzpracování obrazu (fltrace, vyhlazení hran atd.) pro zlepšení potřebných ukazatelů a vlastní analýze defektů. Poté je znám výsledek, je provedeno rozhodnutí a toto je posláno do řídící jednotky třídícího zařízení, jež odstraní neshodné výrobky

2 obr. 1: Základní schéma optcké kontroly 3. Typy vzuální kontroly Vlastní typy vzuální kontroly je možno rozdělt v zásadě do dvou nezávslých oblastí a to na typ, jež nám sce vrátí zda objekt vyhovuje č nevyhovuje určtým krtérím (kontrola na základě modelu), avšak nevrátí další upřesňující nformace jako je např. určtý rozměr. Druhý způsob nám umožňuje získat už přesné hodnoty určtých rozměrů kontrolovaného objektu a tyto hodnoty případně postoupt pro další, např. statstcké, zpracování Kontrola na základě modelu (model-based system) Tato metoda využívá v zásadě znalostní báz na základě modelu snímaného objektu. Zde se provádí porovnávání zkoumaného objektu s databází předdefnovaných objektů. Typckým postupem pro tuto kontrolu je příprava dané znalostní báze pro každý ze známých defektů. Poté je systém schopný vyhodnott s určtou pravděpodobností o jaký defekt se jedná. Druhým způsobem je možnost vytvoření modelu na základě shodného objektu s defncí maxmálních a mnmálních hodnot, kdy se dá ještě objekt přjmout. Tímto se dá omezt počet prohledávaných větví znalostního stromu, ovšem na druhou stranu výstupem je pouze výrok o přjmutí č zamítnutí dané hypotézy. Celkové schéma tohoto typu kontroly je možné vdět na obr.2 Komponenty model-based nspekčního systému obr. 2: Komponenty model-based nspekčního systému Z tohoto je patrno, že automatcká vzuální kontrola je rozdělena do dvou částí a to do část učení (modelování) a do část detekční. Celý systém se sestává z tří základních částí a to Nalezení charakterstk, Vytváření modelu a Detekce defektu Vytváření modelu Modelem se rozumí organzovaná reprezentace charakterstk získaných z součást s adekvátním popsem a nformacem pro kontrolu. Většna model; pro vzuální kontrolu je - 2 -

3 založena na geometrckých charakterstkách defnovaných obrysem kontrolovaného objektu. Model je poté dán bodem v n-rozměrném prostoru Model může obsahovat obrazové charakterstky (např. Šířka objektu, Výška objektu, Plocha a nebo třeba Invarantní momenty), geometrcké charakterstky (počet děr v objektu, jejch polohu vůč těžšt, jejch vzájemná poloha atd.) nebo pevně dané charakterstky, jež přchází spolu s objektem, jako jsou jeho rozměry, tolerance atd. Většna modelů je v těchto aplkacích vytvářena metodou tranng-by-showng, kdy užvatel využívá modelového objektu(etalonu) pro naučení systému na charakterstky, jejch relace a tolerance, které mají být kontrolovány. V moderních systémech je možno defnovat model pomocí jž v procesu návrhu součást pomocí systémů CAD a jeho uložení do databáze systému kontroly Detekce defektu Po vytvoření modelu systém obsahuje všechny potřebné nformace pro provedení kontroly. Nyní je možné přstoupt k vlastní detekc. K vlastní detekc je možno použít rozlčné druhy algortmů jako např. křížovou korelac daných obrazů, koefcenty některých matematckých transformací jako např. 2D Fourerova transformace, atd. V případě, že je model vytvořen jako jednoduchý obraz deálního objektu, nebo jeho transformovaného obrazu, je tuto detekc možno provést jednoducho komparací. Model nám zde představuje vlastně rozsah jednotlvých charakterstk, které jsou defnovány odpovídajícím deálním objektem. V grafcké prezentac je toto defnováno bodem v n-rozměrném prostoru z objektů. Pospojováním daných hodnot v grafu dostaneme obálku jež odpovídá danému objektu. 4. Programové vybavení V rámc prací na doktorském studu v součnnost s řešením grantových projektů bylo částečně vyvnuto programové vybavení pro nasazení vzuální kontroly do oblast automatzovaných výrobních systémů. Toto programové vybavení sestává ze dvou částí a to Správce projektů vz obr.3 Správce projektů, jež umožňuje vytvářet a edtovat projekty, a z ActveX objektu, jež ve funkc Runtme modulu umožňuje provádění těchto projektů v lbovolné aplkac, která požaduje použtí těchto objektů. Pojmem projekt je zde myšlena množna úkonů, jež Runtme knhovna provede se zpracovávanou obrazovou scénou. Pro praktckou realzac kontroly rozměrů v automatzovaných systémech uvedenou metodou bylo nutno navrhnout strukturu společné databáze, kde jest uložen daný vytvořený projekt a z něhož jsou čerpány nformace pozdější použtí v tzv. Runtme režmu, kdy na základě předání čísla výrobku a čísla projektu, jež se má provést, se provede defnované akce daného projektu automatcky a uloží získané hodnoty do databáze pro pozdější zpracování. Pro přpojení databáze bylo využto rozhraní ODBC, jež umožňuje tuto databáz umístt pod různé typy databázových programů, např. ORACLE, Mcrosoft SQL server nebo pro lokální použtí do systému MS Access

4 obr. 3: Správce projektů 5. Zvýšení rozlšovací schopnost V rámc prací bylo zjštěno následující problém, jež přímo souvsí s nasazováním tohoto typu kontroly do průmyslových oblastí. Tento problém je úzce svázán s přesností měření. Jelkož je fyzcké rozlšení užtého snímacího elementu, ať je použt buďto CCD senzor nebo senzor CMOS, konečné, tzn. je zde pouze omezený počet snímacích bodů, je fyzcké rozlšení sejmuté obrazové scény konečné. Pokud vezmeme v úvahu, že v současné době jsou vyráběny senzory jež obsahují max bodů tj. u čtvercových senzorů 496x496 bodů, je přesnost měření fyzcky lmtována právě tímto faktorem. V oblast řádkových senzorů je možno nalézt sce senzory vyšších rozlšení, a to řádově až 8192x1 bodů, ale zde je nutno vzít v úvahu nutnost polohovacího zařízení, jež nám umožní zavedení druhé osy. Tyto nevýhody ovšem můžou být do určté míry zlepšeny pomocí matematckých metod, jsou schopny získat jeden snímek s vyšším rozlšením, ze sére snímků s nízkým rozlšením, za využtí tzv.subpxelového posuvu. 6. Matematcké zvýšení rozlšovací schopnost V rámc výzkumu byla rozpracována metoda jež umožňuje vytvoření jednoho snímku s vysokým rozlšením na základě několka snímků a zavedení subpxelového posunu do těchto snímků. Podmínkou této metody je, že CCD čp by měl mít pokud možno lneární charakterstku, tzn. že odezva jednotlvého bodu odpovídá následujícímu výrazu: - 4 -

5 r λ h = e s λ l ( λ)( λ) dλ + n Lneární model Kde λ λ je ntenzta dopadajícího světla za časovou jednotku ve vlnové délce λ, e je doba expozce, λl a λ h jsou mez vlnové ctlvost snímače, n je náhodná proměnná odpovídající vlvu šumu. Poté se vlastní problém člení na dvě část a to nalezení objektového posuvu a vlastní nterpolace snímku. Pro vlastní rozeznání posuvu bylo využto prvních členů Taylorova rozvoje ve tvaru f f + x f + y f x y r je výstupní hodnota -tého bodu, s ( ) je spektrální ctlvost -tého bodu, ( ) Taylorův rozvoj prvního řádu kde f je první obraz v sér a fjsou následující snímky. Podle zkoušek je problémem této metody, že nejlepšího odhad posunu snímků oprot sobě dosahuje v případě velm malých posunů, řádově do,5 bodu. Pokud jsou posuny větší, je tato metoda velm nepřesná. Proto pro velké posuny bylo nutno použít jných metod.v našem případě bylo použto Křížové korelace s zero-paddng jako nterpolací ve frekvenčním spektru. Na obr.4 Posunuté objekty a obr.5 Výsledek křížové korelace je možno vdět výsledek výpočtu posunutí dvou stejných objektů. j( ux + vy ) ( u, v) F ( u, v) e F ( u, v) * F j + Křížová korelace = e ( ux vy ) Výsledkem po převodu z frekvenčního spektra je vdtelný vrchol, který nám udává posun obrazů v ose x a y. Vlastní nterpolace se provádí prokládáním bodů např. rovnou pomocí metody nejmenších čtverců. 7. Závěr V rámc prací bylo částečně zpracováno programové vybavení pro provádění optcké kontroly jakost pomocí CCD kamery a byly částečně zpracovány matematcké metody zvýšení rozlšovací schopnost CCD kamer na základě sejmutí sére posunutých snímků, programového rozeznání posunutí těchto snímků a jejch následné nterpolace a převedení do jednoho snímku s vysokým rozlšením

6 obr.4: Posunuté objekty obr.5: Výsledek křížové korelace 8. Lteratura 1. DRUCKMÜLLER, M.; HERIBAN, P.: Obrazový analyzátor; SOFO Brno; KLÍMA, M. A KOL.: Zpracování obrazové nformace; ČVUT Praha; B. SRINIVASA REDDY: An FFT-Based Technques for Translaton, Rotaton and Scale- Invarant Image Regstraton, IEEE Transacton on Image Processng, Vol.5, No.8, August POORVI L.VORA: Image capture: ynthess of sensor response from multspectral mages, Interní text f. HP 5. POORVI L.VORA: Dgtal color cameras 1 Response models, Interní text f. HP 6. POORVI L.VORA: Dgtal color cameras 2 Spectral response, Interní text f. HP 7. ROLAND T.CHIN: Algorthms and Technques for Automated Vsual Inspecton, Handbook of Pattern recognzaton and Image Processng, 1986 Academc Press - 6 -

7 8. RICHARD R.SCULZE: Extracton of Hgh-Resoluton Frames from Vdeo Sequences, IEEE Transacton on Image Processng, Vol.5, No.6, june BRADÁČ, FRANTIŠEK: Výzkumná zpráva č.111/1999, UVSSaR VUT FSI Brno 1. Výzkumná zpráva č. ÚVSSaR 247/99 Výrobní buňka jako součást CIM II, Brno Výzkumná zpráva č. ÚVSSaR 246/98 Výrobní buňka jako součást CIM I, Brno