Fakulta strojního inženýrství Ústav konstruování / Odbor metodiky konstruování

Transkript

1 Vysoké učení technické v Brně Brno University of Technology Fakulta strojního inženýrství Ústav konstruování / Odbor metodiky konstruování Faculty of Mechanical Engineering Institute of Machine and Industrial Design / Department of Design Theory Metodika vyhodnocování tvarových odchylek výkovků pomocí analýzy obrazu [Pojednání ke státní doktorské zkoušce] [Discourse on the Dissertation] Autor práce: Ing. Aneta Zatočilová Author Brno 2012

2

3 Vysoké učení technické v Brně Brno University of Technology Fakulta strojního inženýrství Ústav konstruování / Odbor metodiky konstruování Faculty of Mechanical Engineering Institute of Machine and Industrial Design / Department of Design Theory Metodika vyhodnocování tvarových odchylek výkovků pomocí analýzy obrazu [Pojednání ke státní doktorské zkoušce] [Discourse on the Dissertation] Autor práce: Ing. Aneta Zatočilová Author Vedoucí práce: doc. Ing. Jan Brandejs, CSc. Supervisor Brno 2012

4

5 TATO PRÁCE JE SPOLUFINANCOVÁNA EVROPSKÝM SOCIÁLNÍM FONDEM A STÁTNÍM ROZPOČTEM ČESKÉ REPUBLIKY.

6

7 OBSAH 1 ÚVOD VYMEZENÍ ŘEŠENÉ PROBLEMATIKY A PŘEDBĚŽNÉ CÍLE DISERTAČNÍ PRÁCE SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Metody měření a vyhodnocování tvaru objektů vysoké teploty Aktivní systémy založené na laserovém skenování povrchu Aktivní optické systémy s xenonovým světlem Pasivní systémy založené fotogrammetrii a analýze obrazu Průmyslové aplikace blízké fotogrammetrie Rozdělení fotogrammetrických systémů Měření polohy více cílových bodů současně Sledování pozice a orientace dotykové sondy Měření ploch Dílčí kroky fotogrammetrického měření Rozpoznání klíčových primitiv Lokalizace polohy elips a výpočet jejich parametrů Vnitřní kalibrace fotoaparátu Vnější kalibrace fotoaparátu ANALÝZA A INTERPRETACE A ZHODNOCENÍ POZNATKŮ ZÍSKANÝCH NA ZÁKLADĚ KRITICKÉ REŠERŠE VYMEZENÍ CÍLE DISERTAČNÍ PRÁCE A NÁVRH ZPŮSOBU JEJÍHO ŘEŠENÍ SOUČASNÝ STAV ŘEŠENÍ Předběžné měření v reálných podmínkách provozu Metodika Návrh a realizace kalibrace Návrh a realizace detekce hran ZÁVĚR SEZNAM LITERATURY SEZNAM OBRÁZKŮ A GRAFŮ SEZNAM TABULEK

8 4

9 ÚVOD 1 ÚVOD 1 Základním prvkem fotogrammetrických systémů je obrazový snímač. Vývoj CCD 1 čipu, společně se zdokonalováním počítačů, elektro-optických komponent, laseru a dalších optických zdrojů umožnil úspěšné zavedení optických metod měření a vyhodnocování v mnoha vědních oborech. V posledních patnácti letech došlo ke značnému pokroku ve vývoji technologií měření tvaru prostorových objektů a to zejména díky sjednocení poznatků z oblastí počítačového vidění a počítačové grafiky. Důsledkem vývoje CCD čipu bylo masivní rozšíření digitální fotografie v druhé polovině 90. let. Souběžně s vývojem digitální fotografie byly vyvíjeny metody jejího zpracování pomocí počítače. Měření tvaru prostorových objektů zpravidla vyžaduje implementaci matematických metod, které zajistí zpracování dat z jednotlivých snímků v jednotném souřadném systému [1]. Obr.1-1:Vztah mezi dosahovanou přesností měření a velikostí měřeného objektu u různých bezdotykových měřicích metod [2] 2. V současné době existuje množství metod měření trojrozměrných objektů (obr. 1-1). Metody se liší kromě principu funkce, zejména dosahovanou přesností a pracovní vzdáleností, z čehož vyplývá také oblast jejich aplikace. Optické metody měření jsou často rozdělovány na metody pasivní, aktivní a kombinované (obr.1-2). 1 CCD (charge-coupled device) - snímač obrazové informace. 2 Interferometry interferometrie; industrial metrology průmyslová metrologie; industrial photogrammetry průmyslová fotogrammetrie; teodolite teodolit; laser scanning laserové skenování; architectural and engineering photogrammetry fotogrammetrie aplikovaná na architektonické památky a na speciální technické oblasti v inženýrské geodesii); tachymetric surveying tachymetrický průzkum (rychlé měření délek a vodorovných a svislých úhlů); DGPS (differential global positioning system) - diferenciální GPS; aerial photogrammetry letecká fotogrammetrie; remote sensing - dálkový průzkum Země. 5

10 ÚVOD Obr. 1-2: Rozdělení optických metod 3D měření, podle [3, 4]. Pasivní metody nevyžadují interakci mezi měřeným objektem nebo scénou. Aktivní optické systémy pracují na principu interakce mezi objektem či jeho okolím a nějakým snímačem. Interakce se snímaným objektem může nastat[3]: fyzickým kontaktem mezi snímačem a objektem (kontaktní 3D skenery), emisí světla (strukturovaného nebo bílého) a následným snímáním světelné stopy vzniklé na objektu optickým systémem, emisí elektromagnetické vlny[3]. Obr. 1-3: Dosahované rozlišení a pracovní vzdálenost tří metod vyhodnocování třetího rozměru 3 [5] 3 Time-of-flight (TOF) - měření doby letu vysílaného impulzu; triangulation triangulace; interferometry interferometre. 6

11 ÚVOD Bezdotykové optické metody (tj. aktivní i pasivní) se dále dělí podle principu získávání třetího rozměru (tj. vzdálenosti měřeného bodu od obrazové roviny snímače). Třetí rozměr je vyhodnocován jednou z následujících metod: triangulace, měření doby letu vysílaného impulzu (TOF time-of-flight ) a interferometrie [5]. Metody využívající el. magnetické záření (tj. pasivní i aktivní) můžeme rozdělit podle vlnové délky, která je snímačem vyhodnocována [1.1], jak ukazuje obr Obr. 1-4: Rozdělení bezkontaktních optických metod měření dle vyhodnocované vlnové délky 4 [2]. Je tedy zřejmé, že fotogrammetrie patří mezi pasivní metody vyhodnocování elektromagnetického záření metodou triangulace. Nabídka trhu dokazuje, že mezi pasivními systémy využívanými v průmyslu jednoznačně převládají právě systémy fotogrammetrické. Americká fotogrammetrická společnost (ASPRS) definovala v roce 1980 pojem fotogrammetrie: Fotogrammetrie je umění, věda a technika, která se zabývá získáváním informací o fyzických objektech a prostředí na základě procesu zaznamenávání, měření a interpretace fotografických snímků, vzorů elektromagnetického záření a dalších jevů [6]. Systémy se dělí na do dvou skupin podle vzdálenosti fotoaparátu od měřeného subjektu: fotogrammetrie letecká (aerial) - vzdálenost > 300 m, fotogrammetrie pozemní (close range nebo terrestrial) - vzdálenost < 300 m) [6]. Aktivní optické metody měření se začaly v průmyslu využívat koncem 20. století. Technologie využívající tyto metody (kontaktní i bezkontaktní) získaly označení 3D skenery. Podle doslovné citace je 3D skener zařízení, které analyzuje reálné objekty nebo prostředí za účelem sběru dat o jejich tvaru, případně i vzhledu (např. barvě). Data mohou být využita k vytvoření digitálních trojrozměrných modelů [3]. 4 Laser tracking stanovení polohy cílových bodů metodu interferometrie paprsku koherentního světla. 7

12 ÚVOD 3D skenování je založeno na vyhodnocování kontrastního světelného vzoru promítaného na povrch objektu [3]. Podle použitého typu světleného zdroje se dělí bezdotykové 3D skenery na dvě základní kategorie: laserové 3D skenery (laser scanner), optické 3D skenery (optical 3D scanner, structured-light 3D scanner, fringe projection scanner) V průmyslu našly uplatnění především bezkontaktní laserové a optické 3D skenery a kontaktní souřadné měřící stroje CMM 5 (viz kap ). V současné době umožňují 3D skenery získat kompletní informace o povrchu trojrozměrného objektu ve formě mračna bodů s přesností na desetiny až setiny milimetrů. Rozsah měřených objektů je od několika centimetrů až metrů dle typu zařízení. Omezení těchto metod jsou především dána pracovním prostředím a typem měřeného objektu. Přehled optických metod používaných pro měření prostorových objektů publikoval v roce 2000 Chen at al. [7]. Technologie trojrozměrné digitalizace nejsou zcela univerzální. Ačkoli je v současné době na trhu široký výběr bezdotykových optických systémů, stále existují aplikace, které vyžadují vývoj specifického systému. Takovou aplikací je také měření tvarových odchylek výkovků. Fotogrammetrické on-line systémy umožňují automatizované měření rozměrných objektů s odchylkou v řádech mm. Nicméně schopnost měřit pomocí fotogrammetrie také objekty vysoké teploty není příliš dobře popsána. Této oblasti je však v posledních letech věnována pozornost, což dokazuje potenciál metody. 5 CMM (Coordinate measuring machine) - kontaktní souřadný měřící stroj. Poloha bodů na součásti se měří formou souřadnicových rozměrů v osách X, Y, Z vůči definovanému souřadnému systému. 8

13 VYMEZENÍ ŘEŠENÉ PROBLEMATIKY A PŘEDBĚŽNÉ CÍLE DISERTAČNÍ PRÁCE 2 VYMEZENÍ ŘEŠENÉ PROBLEMATIKY A PŘEDBĚŽNÉ CÍLE DISERTAČNÍ PRÁCE 2 V úvodu pojednání byly představeny metody bezdotykového měření tvaru objektů. Kapitola Shrnutí současného stavu poznaní je zaměřena na metody měření tvaru výkovků o vysoké teplotě. Dále se pojednání zabývá metodami a aplikacemi průmyslové fotogrammetrie, neboť základní principy fotogrammetrie budou využity při návrhu systému. Výsledkem práce by měl být jednoduchý avšak robustní systém, který umožní vyhodnocování přímosti osy rozměrných výkovků on-line (tzn. za provozu výrobní linky). Motivace k vývoji systému vyplývá z reálných problémů, které řeší např. společnost Žďas a.s. Řešený problém: Vývoj systému pro měření přímosti osy válcových výkovků za tepla i za studena. Uvažované reálné podmínky pro měření: Při vývoji systému je nutné uvažovat reálné podmínky, ve kterých by měl pracovat. To jsou především omezené světelné podmínky, reálná velikost měřených dílů (válcové výkovky o délce max. 20 m a průměru max. 60 cm), nutnost on-line měření a real-time vyhodnocování a další. Modelový systém pro experimentální testování a vývoj Za účelem vývoje a optimalizace systému bude sestavena jednoduchá měřicí stanice. Měřeným vzorkem bude válcová tyč o délce 60 cm a průměru max. 6 cm. Měření bude prováděno pomocí dvou digitálních fotoaparátů s vysokým rozlišením. Testování bude probíhat za přesně vymezených a kontrolovaných podmínek s vyloučením dalších intervenujících proměnných. Při provádění laboratorních experimentů však budou uvažovány také podmínky reálné, k nimž celý experiment směřuje. Přesto se jedná pouze o model reálné situace, proto jsou při vyvozování obecných závěrů uvažována možná modelová zkreslení. Návrh metodiky vývoje systému: Hlavní část práce bude zaměřena na návrh softwaru a jeho optimalizaci pro dané pracovní podmínky. Optimalizace softwaru bude probíhat v laboratorních podmínkách experimentálním měřením pomocí navržené aparatury. Testovaný vzorek bude nejdříve měřen za běžné pokojové teploty. Výsledky budou porovnány s měřením pomocí certifikovaného optického 3D skeneru Atos III Triple Scan 6. Po odladění softwaru pro měření za studena, bude modifikován pro měření vzorku vysoké teploty. Vyplývající předběžné cíle: návrh měřicí stanice, vývoj měřicího softwaru, porovnání odchylky měření s měřením pomocí průmyslového 3D skeneru Atos, testování a optimalizace systému při měření žhavých výkovků. 6 Atos III Triple Scan nejvýkonnější průmyslový optický 3D skener od firmy GOM. Dosahuje hustoty naměřených bodů až 0,01 mm. Viz. 9

14 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ 3 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ 3.1 Metody měření a vyhodnocování tvaru objektů vysoké teploty Rozměrné výkovky jsou výchozími polotovary, které slouží k výrobě komponent zvláště pro lodní, jaderný nebo petrochemický průmysl. Polotovar se kove při teplotě 850 až 1300 C v otevřené formě pomocí hydraulických lisů s tlakem až tun. Jedná se o cenově velmi nákladnou, často malosériovou až kusovou produkci. S rostoucími nároky na efektivitu výroby, rostou také nároky na tvarovou a rozměrovou přesnost výkovků. Z toho vyplývají také nároky na přesné, rychlé a bezpečné měření tvaru a rozměrů. Měření musí být součástí výrobního cyklu, jednak z důvodu eliminace opakovaného ohřevu, ale také z důvodu bezprostřední opravy zjištěných nedostatků. Dosud se běžně řeší měření rozměrných výkovků vysoké teploty pomocí jednoduchých přípravků ručně. Obsluha se tak musí pohybovat v blízkosti žhavého výkovku, což může být příčinou úrazů. Navíc jsou získány pouze neúplná a nepřesná data. Kromě ručních dotykových měřidel bylo také vyvinuto několik automatizovaných dotykových měřících systémů. Např. Nye at al. [8] v roce 2001 publikoval studii, která popisuje specifický dotykový měřicí systém, který byl zabudován do manipulátoru. Systém však nebyl flexibilní a neumožňoval získat komplexní rozměry výkovku. Zajímavý dotykový měřicí systém prezentoval již v roce 1986 Siemer [9]. Jeho systém byl také závislý na otáčivém pohybu výkovku při kování, vykazoval dobré výsledky v laboratorních podmínkách, nicméně byl špatně implementovatelný do průmyslové výroby. Dotykové měření výkovků neposkytuje dostatečnou flexibilitu, přesnost ani rychlost měření. Na druhou stranu, běžné bezdotykové optické měřicí systémy, jsou pro tento účel stěží aplikovatelné, zejména z důvodu vysoké teploty a velkých rozměrů výkovku. Z toho vyplývá nutnost vývoje specifického bezdotykového systému. Pokud je autorce známo, dosud bylo publikováno pouze málo studií zabývajících se vlivem teploty na přesnost, efektivitu a funkčnost optických měřicích systémů nebo optických snímačů. Yamauchi [10] publikoval článek zaměřený na studium chyb měření tvaru objektu vysoké teploty optickou metodou. Porovnává velikost chyb stanovených pomocí matematického modelu s chybami zjištěnými experimentálním měřením. Základní informace o vlivu teploty na laserové měřiče vzdálenosti a profilometry uvádí firma Omron [11], která se specializuje na výrobu snímačů pro širokou škálu aplikací. Zmiňuje tři základní problémy, které mohou způsobit chybu měření. Z nich vyplývají omezení, která jsou obdobná pro optické snímače vzdálenosti, laserové profilometry a optické či laserové 3D skenery: Optický snímač, může vykazovat chybu způsobenou detekcí IR 7 paprsků, které emituje žhavý objekt. V případě skenerů s bílým světlem navíc dochází nedostatečnému kontrastu promítaného vzoru na povrchu žhavého objektu. Z toho důvodu je naprostá většina 3D skenerů určena k měření za stálých světlených i teplotních podmínek, které jsou omezeny minimem i maximem [11]. 7 IR (infra red) elektromagn. záření v infračervené části spektra o vlnové délce 760 nm až 1 mm. 10

15 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Vysoká teplota při měření může způsobit chyby měření vlivem dilatace komponent. Tento problém je však snadné eliminovat požitím skeneru s vyšší pracovní vzdáleností [11]. Dalším obtížně řešitelným problémem je chyba měření vlivem rozdílného lomu světla v oblasti kolem snímače a tepelně ovlivněném okolí žhavého objektu [11]. Ze zmíněných problémů a nároků na reálný provoz vyplývají kritéria, které by měl splňovat specifický bezdotykový měřící systém: Dostatečná vzdálenost optického snímače (eliminace vlivu IR emisí výkovku). Rychlé měření bez nutnosti zásahu do výrobního cyklu výkovku. Online systém automatické real-time vyhodnocování (viz také kap. 3.2). Dosud bylo publikováno několik studií, které se zabývají vývojem a implementací specifických bezdotykových optických systémů určených pro měření průmyslových polotovarů vysoké teploty. Z těchto studií je patrné, že pro tyto aplikace byly vyvíjeny především tři typy bezdotykových měřicích systémů: aktivní systémy založené na laserovém skenování povrchu, aktivní optické systémy s xenonovým světlem, pasivní systémy založené na fotogrammetrii, detekci entit a analýze obrazu Aktivní systémy založené na laserovém skenování povrchu Systémy založené vyhodnocování metodou TOF: Zhisong Tian, Feng Ga, Zhenlin Jin, Xianchao Zhao Dimension measurement of hot large forgings with a novel time-of-flight system[12]. Systém popsaný v tomto článku je založený na pulzním LADARU 8. LADAR je laserový dálkoměr, který pracuje na principu TOF, což znamená, že je vyhodnocována doba, za kterou urazí laserový pulzní paprsek od emitoru k cílovému bodu a zpět. Popsaný systém se skládá z vyhodnocovací stanice TOF, skenovacího zařízení se dvěma stupni volnosti a sféricko-paralelního mechanismu se dvěma motory (SPM), který muže být také považován za dva teodolity. Systém je určen k vyhodnocování průměru a délky rozměrných výkovků při maximální teplotě 1600 C ze vzdálenosti 20 m. Dva teodolity kontrolují naklápění skenovacího zařízení v ose X a Y. Tímto způsobem je získána 3D geometrie části výkovku (viz obr. 2-1). Obr. 2-1:3D model části povrchu výkovku, získaný měřením pomocí laserového TOF systému [12]. 8 LADAR (LaserDetection And Ranging) - laserový dálkoměr pracující na principu vyhodnocování doby letu impulzu. 11

16 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ V článku je popsána konstrukce a funkce systému, ale také princip vyhodnocování dat. Systém byl testován nejdříve v laboratorních podmínkách a následně v reálných podmínkách výrobního závodu. Zjištěná přesnost systému se pohybuje v řádech milimetrů. Článek však neuvádí nedostatky systému, nebo oblasti potencionálního vylepšení. Článek navazuje na studii publikovanou v roce 1993: Profiling of hot surfaces by pulsed time-of-flight laser range finder techniques. Kari Määtta, Juha Kostamovaara, and Risto Myllylä[13]. LaCam Forge od firmy Ferrotron a Menteq Technologies Inc.[14] Tento systém je rovněž určený přímo pro měření žhavých výkovků při otevřeném kování. Je založený na stejném principu jako systém, který publikoval Tian at al. - využívá skenování pomocí pulzního polovodičového laseru a vyhodnocování metodou TOF. Před kováním je možné kontrolovat rozložení teploty na povrchu výkovku pomocí teplotní mapy. Při kování je možné měřit průběžně délku výkovku bez nutnosti přerušení výrobního procesu a softwarově optimalizovat proces kování. Po kování je možné zobrazit finální rozměry, přímost osy a válcovitost. Standardní proces kování s využitím měření pomocí LaCam systému je zobrazen na obr Obr. 2-3 zobrazuje výstupní protokol měření. Obr. 2-2: Proces optimalizace tvaru výkovku pomocí laserového systému LaCam od firmy Ferrotron [14]. 12

17 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Obr. 2-3:Protokol z měření pomocí systémulacam. Z výsledků je patrné, že maximální průhyb překračuje povolenou odchylku 10 mm [14]. Systémy založené na vyhodnocování metodou triangulace: TopScan od firmy Tecnogamma [15]. Systém určený přímo pro měření výkovků vysoké teploty je založen na vyhodnocování laserového paprsku metodou triangulace. Je určen k měření výkovků o teplotě 350 až 1150 C a maximálních rozměrech 7 m. Přesnost dosahuje ± 5 mm, ve sférických souřadnicích ± 3 mm. Výstupem je obrys výkovku se základními rozměry. Obr. 2-4:Výstupní data získaná měřením žhavého výkovku laserovým systémem TopScan, který nabízí firma Tecnogamma [15]. 13

18 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Laserový systém vyvinutý ve spolupráci firem IMEGO, Mefos a SINTEF[16] Tento systém byl vyvíjen od roku 2005 díky spolupráci tří švédských ocelárenských společností. Skládá se z laserového projektoru a spektrálně - selektivní videokamery. Modrý laser promítá na povrch výkovku kontrastní pruhy, jejichž poloha je vyhodnocována metodou triangulace. Při měření manipulátor otáčí s výkovkem a kamera vytvoří několik překrývajících se snímků s vysokým rozlišením. Snímky slouží k sestavení 3D modelu (viz obr. 2-5). Systém umožňuje měření průměru v libovolné vzdálenosti, měření délky, křivosti osy a odchylek od požadovaného tvaru. Obr. 2-5:Výsledky měření pomocí systému od firemimego, Mefos a SINTEF. Vlevo: výsledný 3D model výkovku s odchylkami od požadovaného tvaru, vpravo řez výkovkem [16] Aktivní optické systémy s xenonovým světlem Zhenyuan Jia, Bangguo Wang, Wei Liu, Yuwen Sun An improved image acquiring method for machine vision measurement of hot formed parts [17]. Tento článek poprvé popisuje využití spektrálně selektivní metody pro účely měření žhavých výkovků. Celý výkovek je osvětlen pomocí xenonové lampy. Systém se skládá ze dvou monochromatických CCD snímačů s filtrem s dolní propustí, xenonové lampy a obslužného počítače (viz obr. 2-6). Obr. 2-6: Prvky optického systému s xenonovým světlem [17]. 14

19 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Obr. 2-7: Princip spektrálně-selektivní metody. Levá svislá osa udává rozsah citlivosti CCD snímače. Pravá osa udává sílu radiace dokonale černého tělesa. Vodorovná osa udává vlnovou délku. Šedá oblast znázorňuje spektrum, které bude snímačem detekováno [17]. Princip spočívá v selekci spektra, ve kterém nejsou CCD ovlivněny radiací výkovku a současně jsou citlivé na xenonové světlo (viz obr. 2-7). Na povrch výkovku je promítáno xenonové světlo, které se odráží k CCD snímačům, přičemž IR záření emitované výkovkem je odfiltrováno. Díky tomu mohou být na povrchu výkovku extrahovány body, které slouží ke složení výsledného 3D modelu ze stereosnímků (obr. 2-8). Obr. 2-8: Výsledek extrakce bodů na povrchu výkovku [17]. Tento článek poprvé uvedl metodu extrakce bodů na povrchu žhavého výkovku. Přesnost měření rozměrů výkovku pomocí tohoto systému však nebyla popsána. Studie z následujících let uvádí, že extrakce tak velkého množství bodů vede k nízké rychlosti systému, z důvodu výpočetní náročnosti. Na tento výzkum navazuje Liu [18], který prezentoval vývoj fringe projection 3D skeneru s xenonovým světlem založený na spektrálně selektivní metodě (viz další odstavec). 15

20 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Wei Liu, Xinghua Jia, Zhengyuan Jia, Shuangjun Liu, Bangguo Wang, Jian Du Fast dimensional measurement method and experiment of the forgings under high temperature[18]. Tento článek vychází ze studie Jia at al. [17]. Na rozdíl od metod publikovaných v [17] využívá tento systém vyhodnocování promítaného světelného vzoru. Systém se skládá ze dvou CCD kamer s IR filtry, projektoru a obslužného počítače, jak ukazuje následující obrázek. Obr 2-9: Vlevo: schéma optického stereo systému, vpravo jeho reálná podoba [18]. K detekci promítaných pruhů byl použit modifikovaný Gaussův model a spektrálně selektivní metoda popsaná již v roce 2009 [17]. Intenzita světelných pruhů v kolmém směru nemá na povrchu žhavého objektu typické Gaussovo rozložení. Oproti běžnému průběhu křivky, má křivka za podmínek vysoké teploty zploštělý tvar vrcholu, jak ukazuje obr vpravo. Z toho důvodu byl použit modifikovaný Gaussův model, který je blíže popsaný v článku. Obr.k 2-10: Modifikovaný Gausův model aplikovaný na světelné pruhy promítané na žhavý výkovek. Vlevo: světelné pruhy na výkovku, modifikovaný gausův model v místě pruhu [18]. Pomocí první derivace intenzity byla získána funkce, která je zobrazena na obr vpravo. Následně byla druhá derivace této funkce položena rovno nule. Výsledkem jsou kořeny funkce ( ridge points na obr. 2-11). Poloha středových pixelů promítaných pruhů ( bottom point na obr. 2-11) byla na závěr vypočítána Newtonovou iterativní metodou se subpixelovou přesností pomocí dvou kořenů funkce. 16

21 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Obr. 2-11: Aplikace první derivace na obraz výkovku. Vlevo: detail světelných pruhů po konvoluci, vpravo: výsledná funkce představující profil světelného pruhu [18]. Dále bylo nutné určit polohu hraničních bodů na výkovku. V článku jsou popsány dva algoritmy, které slouží k výpočtu polohy koncových bodů na povrchu výkovku. První algoritmus je založen na skutečnosti, že intenzita šedi je v pozadí výkovku značně odlišná, druhý ze skutečnosti, že na rozhraní výkovku a pozadí mají promítané pruhy významnou změnu křivosti. Aby mohly být extrahovány rozměry výkovku, musejí být pruhy promítány v horizontálním i vertikálním směru (viz obr. 2-12). Systém byl testován v laboratorních i reálných podmínkách. Přesnost rozměrů u čtyř měřených vzorků byla nižší než 1%. Obr. 2-12: Hraniční body detekované na ocelové desce. Vlevo: hraniční body v horizontálním směru, vpravo: hraniční body ve vertikálním směru [18] Pasivní systémy založené fotogrammetrii a analýze obrazu S. Chaudhuria, A. Mukherjeeb, P. K. Duttab, A. Patrab Automatic measurement of frontal area and volume of fluid ingots using image-based instrumentation [19]. Automatizovaný fotogrammetrický systém byl v provozu aplikován např. k predikci místa řezu ingotu dle požadované hmotnosti dílčích částí. Ingoty mají 12 hran v průřezu a kónický tvar. Vytvořený software automaticky snímkuje ingot, předzpracuje snímky a pomocí jejich analýzy počítá objem, hmotnost a délku. Článek uvádí možné řešení výpočtu obsahu čelní plochy: Výpočtem množství pixelů uvnitř hraniční oblasti. 17

22 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Integrací 0 až 2π radiálního vektoru, který vychází z těžiště hraničních bodů. Detekcí rohových bodů nebo vrcholů objektu a následnou derivací ze známé geometrie objektu. Poslední dvě metody jsou vhodné spíše pro objekty jednoduchého geometrického tvaru, z toho důvodu byla zvolena první metoda. Článek obsahuje popis použitého algoritmu, jehož hlavními částmi je prahování a afinitní transformace. Průměrná odchylka hmotnosti dosahuje ± 0.5%. Systém byl zaveden v průmyslovém závodě v Indii. S. B. Dworkin, T. J. Nye Image processing for machine vision measurement of hot formed parts [20]. Studie popisuje metodu měření základních rozměrů výkovku vysoké teploty pomocí adaptivního prahování a detekce hran. Přitom je testována přesnost měření u různých typů vstupních snímků: monochromatické snímky ve viditelném spektru, barevné snímky ve viditelném spektru, monochromatické snímky s IR filtrem 9. Z článku vyplývá, že nejlepší vlastnosti pro prahování a detekci hran mají monochromatické snímky s IR filtrem. Článek uvádí, že běžné CCD snímače bez filtru nejsou schopné vytvořit vhodné snímky pro detekci hran prahováním a přesné měření rozměrů výkovku. Na následujícím obrázku je monochromatický snímek výkovku o teplotě 900 až 1300 C, který byl pořízen s IR filtrem. Na obr jsou zobrazeny výsledky prahování. Obr. 2-13:Monochromatický snímek žhavého výkovku při použití IR filtru [20]. Obr. 2-14: Výsledné prahování snímků. Vlevo monochromatický bez IR filtru, vpravo s IR filtrem [20]. 9 IR filtr - propouští pouze IR paprsky o vlnové délce vyšší než specifikace daného filtru. 18

23 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Ch. Hu, B. Liu, X. Song A novel edge detection approach used for online dimensional measurement of heavy forging[21] Článek představuje novou metodu detekce hran, která překonává problémy ostatních detektorů při aplikaci na výkovky vysoké teploty. Jednotlivé kroky zpracování obrazu byly navrženy tak, aby byly co nejlépe splněny podmínky Cannyho algoritmu (viz kap ). U snímků výkovků o vysoké teplotě byly navíc aplikovány kroky pro předzpracování a finálního zpracování obrazu. Barevný 24 bitový obraz byl převeden na 8mi bitový. Intenzita pixelů byla rozšířena na celou oblast 0 až 255 a světlost obrazu byla zvýšena. Následně byl obraz upraven adaptivním prahováním, které poprvé publikoval Daxing Z. at al. V roce 2008 [22]. Výsledky předzpracování obrazu jsou na obr Některé segmenty pixelů v blízkosti objektu byly nesprávně označeny jako hrany, nicméně hranice okují byly eliminovány, zatímco většina hraničních pixelů bylo zachováno, beze změny polohy. Proces předzpracování vstupního obrazu není standardní krok detekce hran, ale slouží ke zvýšení její účinnosti při použití na žhavé objekty. Obr. 2-15:Snímky žhavého výkovku ve stupních šedi. Vlevo původní snímek, vpravo předzpracovaný snímek [21]. Na vstupní předzpracovaný obraz byla gradientní metoda detekce hran. Za účelem zlepšení výsledků detekce hran, byl nejdříve aplikován filtr s dolní propustí pro odstranění aditivního šumu. V první fázi tedy byla provedena konvoluce obrazu ve dvou směrech pomocí jádra s Gaussovým rozložením. Ve druhé fázi byl aplikován filtr s horní propustí diferenciální operátor slouží k nalezení hran v obraze. V poslední fázi byla provedena validace hran, za účelem zachování skutečných hrana eliminace redundantních informací. Obr. 2-16:Výsledky experimentu s různými metodami. Vlevo: detekce pomocí Cannyho hranového detektoru, vpravo: detekce pomocí prezentované metody bez předzpracování snímku [21]. 19

24 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Provedený experiment dokazuje, že předzpracování a finální úprava obrazu jsou nepostradatelnými kroky při detekci hran výkovků vysoké teploty. Výsledky experimentu a porovnání s výsledky detekce hran pomocí Cannyho detektoru jsou na obr a Obr. 2-17:Výsledky experimentu s různými metodami. Vlevo: detekce pomocí prezentované metody bez finálního zpracování snímku, vpravo: detekce pomocí prezentované metody [21]. 20

25 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ 3.2 Průmyslové aplikace blízké fotogrammetrie Rozdělení fotogrammetrických systémů Pozemní fotogrammetrické systémy používané v průmyslu se zpravidla dělí na dvě kategorie off-line a on-line systémy [23]. Obr.2-18: Proces on-line a off-line fotogrammetrického měření v průmyslu[8]. Nejvýraznějším rozdílem je schopnost měření a vyhodnocení real-time nebo téměř real-time, což je výsadou on-line systémů. Typický on-line systém se skládá ze dvou nebo více kalibrovaných fotoaparátů s danou polohou a orientací. Tyto systémy jsou určeny k automatizovanému měření v konkrétním prostoru. Bývají například součástí výrobní linky, kde slouží ke kontrole kvality. Přesnost on-line systémů bývá obvykle nižší než přesnost off-line systémů, neboť jsou omezeny počtem snímků [23, 24]. Off-line systémy jsou určeny pro univerzální měření mnoha různých průmyslových aplikací. Jejich univerzalita spočívá zejména v možnosti použití fotoaparátu a objektivu dle požadované přesnosti a velikosti objektu. Fáze měření a vyhodnocování je oddělená. Off-line systémy dosahují vyšší přesnosti, podle [23] okolo 0,05 mm. Na rozdíl do on-line systémů mohou být použity také analogové fotoaparáty a klasické fotografie. Již studie z roku 1988 [24] uvádí rozdělení průmyslových fotogrammetrických systémů podle použitých technologií. 21

26 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Obr. 2-19: Rozdělení průmyslových fotogrammetrických systémů [24]. Nejběžnějšími aplikacemi fotogrammetrie jsou: měření polohy většího množství cílových bodů, sledování pozice a orientace dotykové sondy, měření tvaru plochy [23, 24]. Firmy AICON [27] a Nikon Metrology [28] nabízí kompletní sortiment fotogrammetrických systémů, které pokrývají všechny tři skupiny průmyslových aplikací Měření polohy více cílových bodů současně Přesná lokalizace a digitalizace diskrétních bodů je patrně nejběžnější aplikací fotogrammetrie v průmyslu. Obvykle se jedná o systémy off-line měření využívající jeden fotoaparát s vysokým rozlišením, speciální značky a algoritmus bundle adjustment (viz kap ). Na povrch měřeného objektu se aplikují dva typy značek kódované a nekódované. Oba typy značek mívají obvykle kruhový tvar s bílým středem a černým okrajovým pásem. Kódované značky slouží přímo k digitalizaci diskrétních bodů na povrchu objektu. Nekódované značky mají navíc po obvodě umístěný unikátní znak, který umožňuje automatické rozpoznání každého bodu softwarem. Tyto značky slouží k nalezení geometrických vztahů mezi jednotlivými obrazovými rovinami. Díky tomu je možné určit polohu detekovaných nekódovaných bodů ze všech snímků vůči jednomu souřadnému systému. V okolí objektu musí být umístěna také jedna až dvě měřítkové tyče, které slouží k transformaci obrazu do správného měřítka. Přenos dat do počítače bývá řešen buď paměťovou kartou, nebo bezdrátově. Naměřená data se zpracovávají pomocí specializovaného softwaru ihned po měření nebo s libovolným odstupem času [30]. Přesnost měření je možné ovlivnit hustotou rozmístění značek a počtem pořízených snímků. Digitalizace každé značky deseti až dvanácti snímky zajistí přesnost RMS 1-sigma 10 až 0,025 mm [23]. 10 RMS 1-sigma (root mean square nebo 1 standard deviation) střední kvadratická chyba s úrovní spolehlivosti 68%. 22

27 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Obr.2-20: Vlevo: fotogrammetrické měření pomocí tzv. kódovaných a nekódovaných značek, vpravo: příklad nekódovaných fotogrammetrických značek [29] Sledování pozice a orientace dotykové sondy Měření pomocí dotykové sondy se provádí ručním nebo strojním polohováním. Systémy se strojním polohováním se nazývají 3D souřadnicové měřicí stroje, podle anglického coordinate measurement machine (CMM). Tyto systémy se dále dělí na analogové a diskrétní. Diskrétní CMM měří jednotlivé body na povrchu objektu postupně přemisťováním sondy, přičemž je měřena poloha sondy mechanicky. Analogové CMM měří tvar objektu v celé ploše - sonda plynule kopíruje celý měřený povrch. Pohyb sondy je v tomto případě, stejně jako v případě ručního polohování sondou, snímán optickým systémem. Ten zaměřuje orientaci a polohu hrotu sondy a kontrolních bodů, které jsou umístěny na jejím těle. Fotogrammetrický systém může být složen pouze z jednoho optického snímače, ale i ze dvou nebo více snímačů. Obvykle platí, že čím více snímačů sleduje pohyb sondy, tím přesnějších výsledků měřicí systém dosahuje. Obr. 2-21: Dotykové sondy: vlevo ruční dotyková sonda od firmy Metronor [26], vpravo nahoře ruční dotyková sonda od firmy AICON [27], vpravo dole CMM od firmy Reinshaw [25]. 23

28 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Mezi největší firmy nabízející CMM patří Reinshaw [25], Metronor (dnes spojen s Nikon Metrology) [26, 28] a AICON [27]. Systémy s ručním polohováním nabízí firma Metronor [26], AICON [27] a GOM [29] Měření ploch Fotogrammetrické metody měření plochy vyžadují použití minimálně dvou snímků, které jsou složeny do jednoho souřadného systému pomocí detekovaných bodů na povrchu objektu. Měřená plocha musí být opatřena vhodnou texturou, která umožní detekci a skládání vlícovacích bodů. Textura na měřeném objektu může být přirozená nebo uměle vytvořená například přilepením kontrastních pásek nebo projekcí. Hlavní výhodou fotogrammetrického měření ploch je možnost měření dynamické scény. Příkladem je měření, při němž se pohybují snímače, nebo dochází k pohybu či deformaci měřené plochy, jak ukazuje např. obr Častými aplikacemi jsou např. měření deformací karoserie při crash testech nebo při měření funkce airbagů při nárazu. Dynamické změny tvaru plochy není možné měřit žádnou jinou optickou technologií včetně 3D skenování [23]. Fotogrammetrické systémy určené k měření dynamické scény nabízí např. firma GOM [29] nebo AICON [27]. Obr. 2-22: Vlevo: projekce vzoru a fotogrammetrické měření systémem PRO-SPOT [31], vpravo: fotogrammetrický systém určený k měření deformací od firmy GOM [29]. Obr. 2-23:Měření dynamické scény pomocí fotogrammetrického systému od firmy AICON[27]. 24

29 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ 3.3 Dílčí kroky fotogrammetrického měření Klíčové informace v digitální podobě jsou výsledkem řešení komplexního algoritmu. Přesnost výsledku a rychlost výpočtu závisí na mnoha parametrech. Nedílnou součástí návrhu algoritmu je jeho testování a ladění. Neustále se zvyšující se nároky na přesnost optických systémů, jsou důvodem stále aktivního výzkumu těchto dílčích algoritmů. Cílem výzkumu bývá především zpřesnění výsledné rekonstrukce, ale také snížení výpočetní náročnosti, nebo přizpůsobení algoritmů pro specifické podmínky měření. Kompletní rekonstrukce 3D informací založená na fotogrammetrii obvykle obsahuje tyto dílčí procesy: rozpoznání klíčových primitiv (značek), lokalizace polohy klíčových primitiv a výpočet jejich parametrů, kalibrace vnitřních parametrů fotoaparátu, kalibrace vnějších parametrů fotoaparátu - nalezení přesné orientace všech snímků vůči jednomu souřadnému systému Rozpoznání klíčových primitiv Metody zpracování digitálního obrazu byly vyvíjeny již v 60. letech 20. století, zejména pro účely satelitního a lékařského snímkování, ale také za účelem zlepšování vizuálních vlastností digitální fotografie. Do 70. lech bránila vývoji těchto metod špatná dostupnost počítačů i jejich výkonnost. Značná pozornost byla již od počátku věnována rozpoznávání objektů v digitálním obraze. První fází rozpoznávání objektů v obraze je detekce hran nebo segmentace obrazu. V oblasti průmyslové fotogrammetrie se využívá výhradně detekce hran [32]. Přehled metod detekce hran v digitálním obraze publikoval v roce 1975Davis [33], v roce 1982 Peli a Malah [34] a v roce 1986Zioua Tabbone [35]. Problematice detekce hran v digitálním obraze je stále věnována pozornost. Studie se v posledních letech zabývají především optimalizací algoritmů pro konkrétní úlohy detekce [36]. Mechanismy detekce je možné rozdělit podle technik, které používají: založené na první derivaci, založené na druhé derivaci, nepracující s derivací, nebo detektory pracující ve frekvenční oblasti. Velká skupina metod aproximuje derivaci pomocí konvoluce s vhodným jádrem. Mezi nejznámější operátory patří: Sobel, Prewitt, Roberts a Laplacian. V současné době je stále považováno za optimální řešení detekce hran Cannyho algoritmus [37], který nejlépe splňuje tři základní kritéria: Minimální chybovost - poměr mezi množstvím detekovaných hran a množstvím šumu musí být co nejmenší. Lokalizace poloha detekované hrany musí být co nejblíže její skutečné poloze v obraze. Jednoznačná odezva operátor musí detekovat pouze jednu odezvu na každou hranu. Optimalizacím Cannyho algoritmu se v posledních letech věnoval např. Ding a Goshtasby [38] nebo R. Medina-Carnicer at al. [39]. Detekce hran pomocí Cannyho detektoru dosahuje pouze pixelové přesnosti. V posledních letech jsou vyvíjeny metody, jejichž cílem je sub-pixelová detekce, např. [40]. 25

30 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Lokalizace polohy elips a výpočet jejich parametrů Fotogrammetrické systémy využívají detekci hran ke zjištění přesné polohy středů kruhových značek. Je zřejmé, že kruhové značky se v obrazové rovině perspektivní projekcí transformují do tvaru elipsy. Klíčovou oblastí fotogrammetrie je přesná lokalizace těchto geometrických primitiv na detekovaných hranách. Metody pro lokalizaci a výpočet parametrů elipsy je možné rozdělit do dvou hlavních skupin metody shlukovací ( voting/clustering ) a optimalizační. Studii zabývající srovnáním metod publikoval v roce 1994 Shortis at al. [41]. K metodám spadajícím do první skupiny patří algoritmy založené na Haughové transformaci [42-45], RANSAC [46, 47] a fuzzy shlukování [48, 49]. Tyto metody jsou odolné proti vlivu odlehlých pixelů, a umožňují detekci několika primitiv současně. Nevýhodou těchto metod je především výpočetní složitost a nižší rychlost. Druhá skupina metod je založena na optimalizaci cílové funkce. Počítá se optimální poloha elipsy vůči detekovaným hraničním bodům metodu nejmenších čtverců [50-57]. Hlavní výhodou těchto metod je jejich přesnost a rychlost. Nicméně citlivost k odlehlým pixelům je vyšší než v případě shlukovacích metod. V posledních letech je věnována pozornost výhradně této skupině metod. Jiandong at al. publikoval v roce 2009 studii popisující základní kroky algoritmu fotogrammetrické extrakce diskrétních bodů. Studie se hlouběji zabývá algoritmem přesné lokalizace fotogrammetrických značek [58] Vnitřní kalibrace fotoaparátu Vnitřní kalibrace slouží k nalezení vztahů mezi body 3D scény a jejich průměty do 2D souřadnic snímku. Vnitřní kalibraci fotoaparátu je možné rozdělit na lineární a nelineární. Lineární kalibrace se provádí za účelem určení parametrů zobrazovacího systému, což jsou [59]: konstanta kamery ohnisková vzdálenost ( principal distance ), střed zobrazení ( principal point ), formát snímku [59]. Pět lineárních parametrů kamery je vyjádřeno v horní trojúhelníkové matici 3x3: αα xx γγ uu 0 AA = 0 αα yy vv Parametry α x = f. m x a α y = f. m y reprezentují ohniskovou vzdálenost f v pixelech, kde m x a m y jsou konstanty měřítka mezi pixely a vzdáleností. γ představuje faktor úhlové vychýlení osy x a y ( skew factor ). A u 0, v 0 představují vzdálenost středu zobrazení od středu snímku [59]. Nelineárními vnitřními parametry fotoaparátu jsou parametry zkreslení objektivu: radiální zkreslení způsobené nedokonalou křivostí čoček (posun bodu na snímku o radiální vzdálenost), obsahuje složku zkreslení způsobeného excentricitou čoček ( decentring distorsion ), 26

31 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ tečné (tangenciální) zkreslení způsobené převážně asymetrií radiálního zkreslení u soustavy čoček (často se zanedbává), a thin prism zkreslení, které je způsobené naklopením čoček vůči obrazovému snímači [59]. Do dnes bylo vyvinuto a úspěšně implementováno mnoho metod, které teoreticky řeší všechny problémy vnitřní kalibrace. I když je lineární a nelineární kalibrace obvykle řešena současně, pozornost je v posledních dvaceti letech věnována výhradně studiu nelineárního zkreslení čoček, zejména za účelem zpřesnění a zjednodušení kalibrace. Důvodem je to, že najít přesný model nelineárního zkreslení čoček je mnohem komplikovanějším problémem, než hledání lineárních parametrů zobrazovací soustavy. Conrady v roce 1919 poprvé popsal zkreslení způsobené excentrickou polohou čoček. V roce 1966 byl představen model s názvem plumb line method, který dělí zkreslení na 3 základní typy (Brown-Conrady model [60, 61]). Tento model umožňoval určit konstantu fotoaparátu a střed zobrazení, nicméně eliminace zkreslení objektivu byla ošetřena pouze částečně. I přesto našel od té doby uplatnění v mnoha aplikacích. Do dnes bylo prezentováno několik modifikovaných metod, nicméně tyto modifikace se zaměřovaly zejména na matematickou interpretaci. Kalibrace čoček byla dosud převážně řešena jako součet zkreslení radiálního, tečného a thin prism takové metody jsou označovány jako konvenční. Studie [62] z roku 2008 prezentuje model, který řeší jednotlivé složky zkreslení a jejich fyzické příčiny odděleně a uvažuje jejich vzájemné působení. Tento model dosahuje stejného korekčního efektu jako konvenční modely, obsahuje však méně koeficientů a tak zjednodušuje kalibraci. Fotoaparát je považován za vnitřně kalibrovaný, je-li známá jeho ohnisková vzdálenost, střed obrazové roviny a zkreslení objektivu. Podle toho, zda kalibrace využívá kalibrační element, rozlišujeme: metrická kalibrace kalibrace založená na digitalizaci kalibračního pole. nemetrická kalibrace nebo také samokalibrace kalibrace bez použití kalibračního pole, je řešena přímo pomocí entit ve scéně. Metrická i nemetrická kalibrace je založena na srovnávání polohy daného typu prvků ve zkresleném obraze s jejich skutečnou polohou. Kontrastní prvky jsou ve scéně rozmístěny tak, že tvoří pole prvků. V případě metrické kalibrace je nejjednodušším kalibračním polem čtvercová mřížka (kalibrace pomocí bodů v průsečících), jeho obdobou jsou pravidelně rozmístěné kruhové značky. Používají se také kalibrační pole s trojúhelníkovými nebo čtvercovými značkami. Pole se snímkuje kamerou z různých úhlů ze vzdálenosti, která bude použita při měření. Během kalibrace nesmí být měněna ohnisková vzdálenost a zaostření. Zaostření musí být nastaveno na vzdálenost, ve které bude kamera následně pracovat [80]. Sun a Cooperstock prezentovali v roce 2006 studii zabývající se empirickým vyhodnocením faktorů, které mají vliv na přesnost kalibrace [63]. 3D skenery často využívají před samotným měřením kalibraci metrickou, která zajistí vyšší přesnost systému, než kalibrace nemetrická. Nicméně do průmyslových fotogrammetrických systémů byly úspěšně implementovány metody samoklaibrace pomocí značek rozmístěných na scéně [64-67]. 27

32 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Vnější kalibrace fotoaparátu Kalibrace vnějších parametrů fotoaparátu se provádí se za účelem: určení transformačních parametrů (tři rotace, tři posunutí, obecně až16 parametrů) - popisují polohu fotoaparátu v prostoru a vyjadřují vzájemný vztah světového souřadného systému a souřadného systému fotoaparátu, určení relativní orientace fotoaparátů, určení báze (vzdálenost středů zobrazení dvou fotoaparátů)[59]. Kalibrace vnějších parametrů je stejně jako kalibrace vnitřních parametrů založena na perspektivním promítání, které je zjednodušeno na model dírkového fotoaparátu. 2D pozice bodu v digitálním obraze je často vyjadřována vektorem [u v 1] T, zatímco pozice bodu ve 3D světových souřadnicích rozšířeným vektorem [x w y w z w 1] T. Díky tomu je možné zapsat průmět světových souřadnic do souřadnic digitálního obrazu následovně [59]: uu xx ww zz cc vv = AA[RR TT] yyww1 1 A je matice lineárních vnitřních parametrů fotoaparátu, a R, T jsou transformační matice vnějších parametrů kalibrace (rotační matice a translační vektor). Pro určení těchto transformačních parametrů se využívají dva základní modely lineální a nelineární model [59]. Lineární model Vzájemný vztah mezi fotografiemi je určen epipolární geometrií. Nejdříve se analyzuje vzájemná poloha konkrétních bodů v prostoru a jejich průmět do obrazové roviny. Tento vztah popisuje matice fotoaparátu P. Ta závisí jak na vnitřních, tak i na vnějších parametrech. Je více způsobů, jak získat průmět P a P,v závislosti na tom, jaká data jsou k dispozici. Nejpoužívanější je však metoda využívající tzv. esenciální matici E nebo metoda přímé lineární transformace ( direct linear transformation - DLT), kterou publikoval již v roce 1971 Abdel-Aziz & Karara [68]. Esenciální matice je speciální druh fundamentální matice, který vyžaduje znalost interních kalibračních dat. Esenciální i fundamentální matice byly poprvé popsány Longuet-Higginsem [69]. Jednoznačné řešení pro určení této matice zajišťuje průmět osmi bodů podle toho název normalizovaný osmibodový algoritmus. Existuje však mnoho dalších algoritmů, z nichž většina v některé fázi využívá osmi-bodový algoritmus [70, 71, 72]. V posledních letech byly prezentovány také metody, které řeší lineární kalibraci pouze pomocí sedmi nebo šesti bodů. Pokud je určena esenciální matice je možné vypočítat transformační parametry matice R a T metodou singulárního rozkladu. Studii, která se zabývá komplexním problémem určení orientace kamer pomocí algoritmů fundamentální a esenciální matice prezentoval v roce 1996 Luongaa Faugeras [73]. Výhodou lineárního modelu je možnost kalibrace s proměnnou ohniskovou vzdáleností. Kalibrace je poměrně rychlá a jednoduchá, nicméně vyžaduje znalost více bodů oproti kalibraci nelineární. 28

33 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Nelineární model V oblasti blízké fotogrammetrie je často využívána nelineární kalibrace pomocí algoritmu, který je známý jako Bundle Adjustment. Název vychází z představy paprsků světla ( bundle ), které se odrážejí od 3D struktury a konvergují v obrazovém středu každého fotoaparátu. Klasické bundle adjustment algoritmy jsou iteračními metodami, které se řeší jako nelineální problém nejmenších čtverců. K jednoznačnému řešení tohoto modelu stačí znalost minimálně pěti bodů [74, 75]. Cílem celého algoritmu je nalézt globálně konzistentní skupinu parametrů, které minimalizují chybu registrace mezi všemi páry snímků. Minimalizace se často řeší metodou Lavenberg-Marquardt [76] nebo Sampsonovou aproximací [74]. Obr.2-24: Orientace snímků pomocí algoritmu Bundle adjustment [79]. Algoritmus Bundle adjustment byl představen v 70. letech 20. století Brown, 1974 [77], Granshaw, 1980 [78]. Triggs publikoval v roce 2000 studii, která se zabývá přehledem algoritmů bundle adjustment a popisuje také nové přístupy založené na distribučních modelech [79]. Výhodou tohoto algoritmu je nutnost znalosti pouze pěti bodů. Bundle adjustment bývá navíc často kombinován se samokalibrací interních parametrů, a je tedy vhodný pro rychlé fotogrammetrické měření v průmyslu. Srovnání metod kalibrace prezentoval v roce 2006 Remondino a Fraser [80]. 29

34 ANALÝZA A INTERPRETACE A ZHODNOCENÍ POZNATKŮ ZÍSKANÝCH NA ZÁKLADĚ KRITICKÉ REŠERŠE 4 ANALÝZA A INTERPRETACE A ZHODNOCENÍ POZNATKŮ ZÍSKANÝCH NA ZÁKLADĚ KRITICKÉ REŠERŠE V současné době na trhu množství sofistikovaných automatizovaných systémů bezdotykového měření tvaru a rozměrů objektů. Přesto je výzkum v této oblasti stále velmi aktivní. Z rešerše bylo zjištěno, že se výzkum zaměřuje především na zvyšování přesnosti, spolehlivosti a rychlosti již zavedených systémů a jejich úpravou pro specifické pracovní podmínky. Podstata výzkumu stojí na vývoji nových matematických modelů a komplexních algoritmů, jejich testování, optimalizaci a implementaci. Na základě rešerše bylo také zjištěno, že v poslední dekádě je věnována pozornost vývoji specifických bezdotykových systémů určených pro účely měření objektů o vysoké teplotě. Zejména v těžkém ocelárenském průmyslu jsou stále rezervy v efektivitě výroby a to především z důvodu absence pokročilých technologií měření tvaru a rozměrů za tepla. Důvody nutnosti a potřebnosti řešení dané problematiky v daném čase jsou zmíněny v následujících bodech: S rostoucími nároky na efektivitu výroby, rostou také nároky na tvarovou a rozměrovou přesnost výkovků. Z toho vyplývají také nároky na přesné, rychlé a bezpečné měření tvaru a rozměrů. Výzkumný záměr koresponduje se současnými problémy efektivity výroby v ocelárenském průmyslu (např. společnost Žďas a.s., která se zabývá výrobou rozměrných výkovků). Dosud se běžně řeší měření rozměrných výkovků vysoké teploty pomocí etalonů či velkých posuvných měřidel ručně. Obsluha se tak musí pohybovat v blízkosti žhavého výkovku, což může být příčinou úrazů. Navíc jsou získány pouze neúplná a nepřesná data. Dotykové měření výkovků neposkytuje dostatečnou flexibilitu, přesnost ani rychlost měření. Běžné bezdotykové optické měřicí systémy, jsou pro účel měření výkovků stěží aplikovatelné, zejména z důvodu vysoké teploty a velkých rozměrů výkovků. Z toho vyplývá nutnost vývoje specifického bezdotykového systému. Možnosti měření žhavých objektů pomocí fotogrammetrie a analýzy obrazu jsou dosud málo prozkoumány a komerční systémy, pokud je autorce známo, zatím neexistují, na rozdíl od systémů laserových. Výhodami fotogrammetrického systému by měla být snadná instalace a implementace bez nutnosti zásahu do výrobního cyklu výkovku a v neposlední řadě také cena. Nároky na specifické systémy měření objektů vysoké teploty jsou především: dostatečná vzdálenost optického snímače (eliminace vlivu IR emisí výkovku), rychlé měření bez nutnosti zásahu do výrobního cyklu výkovku, online systém automatické real-time vyhodnocování (viz také kap. 4.2). Specifické systémy pro zmíněné aplikace jsou obvykle založeny: na laserovém skenování, na optickém skenování a promítání xenonového světla, nebo na principu fotogrammetrie a analýzy obrazu. 30

35 ANALÝZA A INTERPRETACE A ZHODNOCENÍ POZNATKŮ ZÍSKANÝCH NA ZÁKLADĚ KRITICKÉ REŠERŠE Laserové systémy dosahují vysoké přesnosti a komplexnosti měřených dat, jejich hlavní nevýhodou velmi vysoká cena. Možnosti měření žhavých objektů pomocí fotogrammetrie a analýzy obrazu jsou dosud málo prozkoumány a komerční systémy, pokud je autorce známo, zatím neexistují, na rozdíl od systémů aktivních. Pro řešení problému měření válcovitosti výkovku není třeba získat komplexní informace o jeho tvaru, což je jedním z důvodů vývoje systému založeném na principu fotogrammetrie a analýzy obrazu. Výhodami takového systému by měla být snadná instalace a implementace bez nutnosti zásahu do výrobního cyklu. 31

36 VYMEZENÍ CÍLE DISERTAČNÍ PRÁCE A NÁVRH ZPŮSOBU JEJÍHO ŘEŠENÍ 5 VYMEZENÍ CÍLE DISERTAČNÍ PRÁCE A NÁVRH ZPŮSOBU JEJÍHO ŘEŠENÍ Cílem doktorské disertační práce je navrhnout systém, který bude automaticky vyhodnocovat odchylky osy válcových výkovků od ideální přímé osy. Přitom musí být splněny nároky na dosahovanou přesnost maximální odchylka ±5mm při měření výkovku o délce do 10 m. Cílem práce je také experimentálně stanovit rozdíl dosahované přesnosti při měření vzorků pokojové a vysoké teploty. Pro účely experimentálního měření a ladění algoritmu bude zkonstruován jednoduchý měřící stůl. Na základě globálních cílů byly stanoveny dílčí cíle řešení: 1) Navrhnout experimentální měřící aparaturu. 2) Navrhnout a realizovat software pro automatizované měření odchylek výkovků pokojové teploty. 3) Porovnat odchylky měření systému s měřením pomocí certifikovaného optickým 3D skenerem Atos Triple Scan. 4) Modifikovat software pro měření odchylek výkovků vysoké teploty. 5) Ověřit přesnost systému při měření vzorku pokojové a vysoké teploty. 6) Popsat hlavní vlivy na dosahovanou přesnost. Na základě rešerše bude provedena změna názvu dizertační práce. Nový název: Vývoj metodiky vyhodnocování tvarových odchylek výkovků pomocí fotogrammetrie a analýzy obrazu. V průběhu řešení se předpokládá spolupráce s dalšími institucemi. Protože téma disertační práce je z části složitý matematický problém, autorka by chtěla využít spolupráci ve formě konzultací s ústavem matematiky naší fakulty. Spolupráce při řešení algoritmů a samotného programu se předpokládá s Ing. Radkem Poliščukem, Ph.D. 32

37 SOUČASNÝ STAV ŘEŠENÍ 6 SOUČASNÝ STAV ŘEŠENÍ Předběžné měření v reálných podmínkách provozu Před návrhem metodiky automatizovaného měření bylo provedeno testovací měření v reálných podmínkách provozu. Ve společnosti Ždas a.s. byly vytvořeny snímky žhavých i chladných výkovků o délce 3000 m a průměru 60 cm. Fotoaparáty byly umístěny na připraveném stativu se dvěma rameny (viz obr. 6-1). Obr. 6-1: Navržený stativ pro testovací měření v reálných podmínkách. Ve snímcích byly manuálně detekovány hrany výkovků (software Adobe Photoshop). Následně byly hrany extrahovány a přeneseny na bílý podklad. Binární obraz byl následně vektorizován. Vzniklé 2D vektorové křivky byly načteny do 3D modeláře. Díky známé orientaci kamer byly křivky z obou snímků složeny do jednoho souřadného systému. Ze čtyř hran výkovku byla vypočítána 3D křivka jeho osy. Ta byla srovnána s ideální osou vedoucí koncovými body 3D křivky. Na závěr bylo manuálně nalezeno místo maximálního průhybu, určena jeho velikost, poloha a orientace. Obr. 6-2: Měření výkovku, detekce hran v rovině A-A. Obr. 6-3: Měření výkovku, detekce hran v rovině B-B. 33

38 SOUČASNÝ STAV ŘEŠENÍ Obr. 6-3: Graf měření osy v rovině A-A. Maximální odchylka D= 9 mm, ve vzdálenosti z=1551 mm. Obr. 6-4: Graf měření osy v rovině B-B. Maximální odchylka D= 5,7 mm, ve vzdálenosti z=1726 mm. Obrazová rovina A-A Obrazová rovina B-B Obr. 6-5: Čelní pohled na měřené osy výkovku v obou rovinách. Fialová křivka je vypočtená 3D osa s maximálním průhybem 10,5 mm ve vzdálenosti z = 1711 mm pod úhlem α = Při testovacím měření byly ověřeny podmínky reálného provozu. Problémem při snímkování byl zejména nestabilní a nerovný povrch, na kterém byl stativ postaven. Další problémy vznikaly při rychlém manuálním vyhodnocení zejména nedostatečné informace o geometrii scény (nebyla provedena kalibrace), z toho vyplývající problémy při skládání snímků a vyrovnání perspektivy obrazů. Předběžné měření v reálných podmínkách potvrdilo, že fotogrammetrické měření a zpracování obrazu je možným řešením vyhodnocování tvarových odchylek výkovků za tepla i za studena. K dosažení přesných a správných výsledků je nutné dodržet několik základních předpokladů: 1) kontrastní pozadí výkovku ( v místě prizmat mohou metody detekce selhávat, proto je vhodné použít prizmata s malou šířkou), 2) zajistit dostatečně stabilní a tuhý stativ, pro uchycení kamer a nastavení jejich orientace, 3) provedení kalibrace systému přímo na místě. 34

39 SOUČASNÝ STAV ŘEŠENÍ Výsledky měření však nelze považovat za směrodatné, protože nebyly porovnány přesnějším měřením. Vývoj metodiky měření musí byt provedeno za přesně vymezených a kontrolovaných podmínek s vyloučením intervenujících proměnných. Proto bude vývoj měřicího systému probíhat v laboratorních podmínkách, kde bude systém testován a výsledky srovnávány s výsledky měření pomocí dalších bezdotykových metod. 6.2 Metodika Na základě rešerše byla navržena předběžná metodika řešení problému. Metodika se bude dále rozvíjet a modifikovat dle výsledků laboratorních experimentů. Hlavní část práce bude zaměřena na návrh algoritmu a jeho optimalizaci pro dané pracovní podmínky. Testovaný vzorek bude nejdříve měřen za běžné pokojové teploty. Po odladění algoritmu pro měření za studena, bude modifikován pro měření vzorku vysoké teploty. Obr. 6-6: Diagram navržené metodiky řešení. 35

40 SOUČASNÝ STAV ŘEŠENÍ 6.2 Návrh a realizace měřicí stanice K testování a optimalizaci metodiky v laboratorních podmínkách byla vytvořena měřicí stanice. Stanice se skládá ze tří základních částí pracovního stolu, ramen pro uchycení fotoaparátů a prizmat pro vymezení polohy měřených vzorků. Měření je prováděno pomocí dvou fotoaparátů s vysokým rozlišením. Poloha odnímatelných fotoaparátů bude pevně dána konstrukcí ramen na robustním stole, v jehož ose budou umístěna prizmata s měřeným vzorkem. Pracovní stůl musí mít v celé ploše pod měřeným vzorkem kontrastní barvu, tzn. bílou. Vyrobená měřicí stanice je zobrazena na obr y x z Obr. 6-7: Vyrobená měřicí stanice s naznačeným objektovým souřadným systémem. Konfigurace měřicího stolu a parametry měřených objektů: úhel mezi obrazovými rovinami fotoaparátu cca 90, poloha měřeného objektu ve středu obrazové roviny, zvolené fotoaparáty: Canon EOS 500D, použité ohnisko objektivu 18 mm, měřené vzorky válcové tyče o délce do 700 mm a průměru 50 až 100 mm, požadovaná velikost zorného pole v rovině měřeného objektu 700 mm. Parametry fotoaparátu Canon EOS 500D: rozlišení: 15,1 Mpix pixel 2 velikost čipu (h v): 22,3x14,9 mm 2 velikost pixelu: 4,69 4,70 μm 2 crop faktor: 1,6 Objektiv s proměnnou ohniskovou vzdáleností: 18 až 55 mm 36

41 SOUČASNÝ STAV ŘEŠENÍ Při návrhu měřicí stanice byly uvažovány nároky na její maximální velikost. Ta se řídí velikostí měřeného vzorku, vzdáleností fotoaparátů s daným zorným úhlem při zvolené ohniskové vzdálenosti. Z důvodu úspory prostoru byla volena nejkratší dostupná ohnisková vzdálenost daného objektivu f18 mm. Z velikosti měřeného vzorku byla určena požadovaná velikost zorného pole v horizontálním směru zx o_pož 720 mm a vypočtena minimální potřebná vzdálenost obrazové roviny D min : DD mmmmmm = zzzz oo_pppp ž FF FF = 18 = 563 mmmm ssss oo 22,3 kde: D min (mm) - minimální potřebná obrazové roviny od měřeného vzorku f (mm) - zvolené ohnisko sx o (mm) - velikost čipu v horizontálním směru z Xo_pož (mm) - požadovaná velikost zorného pole v horizontálním směru Měřicí stanice byla vyrobena s rameny o délce 400x400 mm, vzdálenost obrazové roviny od měřeného objektu D = 570 mm. Zorné pole je při F18 v této vzdálenosti 486x728 mm 2. Teoreticky dosažitelná přesnost pro skutečnou velikost zorného pole a rozlišení fotoaparátů bude porovnána se skutečně dosaženou přesností po kalibraci systému: PP vv_dddddddd = pppp oo zzzz oo 0, = = 0,1533 mmmm 0,15 mmmm ssss oo 14,9 PP h_dddddddd = pppp oo zzzz oo 0, = = 0,1531 mmmm 0,15 mmmm ssss oo 22,3 kde: py o_dexp (mm) - velikost pixelu ve vertikálním směru ve vzdálenosti D exp px o_dexp (mm) - velikost pixelu v horizontálním směru ve vzdálenosti D exp py o (μm) - velikost pixelu ve vertikálním směru p Xo (μm) - velikost pixelu v horizontálním směru sy o (mm) - velikost čipu ve vertikálním směru sx o (mm) - velikost čipu v horizontálním směru zy o (mm) -velikost zorného pole ve vertikálním směru zx o (mm) - velikost zorného pole v horizontálním směru Pro reálné podmínky musí být voleny průmyslové kamery, které jsou teplotně odolnější, robustnější konstrukce, monochromatické, bez zabudovaného IR filtru. Průmyslové kamery s vysokým rozlišením používají čipy Kodak KAI. V současné 37

42 SOUČASNÝ STAV ŘEŠENÍ době je čipem s nejvyšším rozlišením v této řadě čip KAI s 28,8 Mpix. Například průmyslové monochromatické kamery JAI AM-1600 GE 12, nebo Allied Vision Technology Pike F s čipem Kodak KAI mají rozlišení 16 Mpix (4872x3248 pixelů, velikost pixelu 7,4 7,4 µm). Mohou pracovat při teplotách -5 C až 45 C. Obr. 6-8: Průmyslová monochromatická kamera AM-1600 GE s rozlišením pixelů od společnosti JAI. Obr. 6-9: Průmyslová monochromatická kamera Pike F-1600 s rozlišením pixelů od společnosti Allied Vision Technology. 6.3 Návrh a realizace kalibrace Byla zvolena metrická kalibrace (viz kap ). Postup při kalibraci je možné rozdělit do dvou základních bodů: snímkování, zpracování. Snímkování Před samotným snímkováním je třeba zvolit vhodné kalibrační pole podle vzdálenosti snímkování a typu objektivu. Při měření výkovků v reálných podmínkách by musela být provedena kalibrace na vzdálenost 10 m. Je tedy nutné zvolit takové kalibrační pole, které je možné použít i pro velké rozměry zorného pole. Proto byl zvolen jako základní kalibrační prvek lanko s pravidelně rozloženými ryskami s roztečí 50 mm v horizontálním směru (osa x). Ve scéně byly také umístěny měrky ve zbývajících dvou směrech (v ose y a z). Orientace fotoaparátů byla zvolena tak, aby střed obrazové roviny ležel přibližně na značce ve středu scény. Scéna byla snímkována vždy jednou kamerou pouze z jednoho úhlu. Pole v ose x sloužilo k určení radiálního zkreslení obrazu (viz. kap ), měrky v ose y a z, sloužily k určení orientace obrazové roviny. 11 CCD čipy Kodak KAI, viz 12 monochromatická kamera JAI AM-1600 GE, viz 13 Allied Vision Technology Pike F-1600, viz 38

43 SOUČASNÝ STAV ŘEŠENÍ Obr. 6-10: Snímek pro kalibraci s kalibračními měrkami a obrazovým souřadným systémem. Zobrazená mřížka kopíruje deformaci obrazu způsobenou radiálním zkreslením. Zpracování Nejdříve byla určena deformace obrazu radiální zkreslením. Ostatní komponenty nelineárního zkreslení (tangential, thin prism) nebyly řešeny z důvodu jejich zanedbatelného vlivu na přesnost. Střed obrazové roviny byl přiřazen středové značce na lanku. Dále byl určen počet pixelů mezi jednotlivými značkami v horizontálním směru a srovnán s reálnou roztečí značek. Odchylky způsobené radiálním zkreslením jsou patrné z tabulky 1. - počet pixelů mezi jednotlivými značkami Δpx klesá s rostoucí vzdáleností od optické osy. Na obr. 6-5 je zobrazena mřížka odpovídající radiálnímu zkreslení obrazu. Z tabulky je také patrné, že v blízkosti optické osy odpovídá velikost pixelu teoretické vypočtené hodnotě. Tab. 1: Vyhodnocení odchylek způsobených radiálním zkreslením: mm skutečná poloha značek v (mm), Δpx počet pixelů mezi jednotlivými značkami, Δmm - skutečná rozteč značek v (mm), Δmm/Δpx velikost pixelu mezi jednotlivými značkami v (mm). Kalibrace kamera A Kalibrace kamera B Jednotky / značka px mm Δpx Δmm Δmm/Δpx px mm Δpx Δmm Δmm/Δpx Č , , Č , , , ,1534 Č , , , ,1567 Č , , , ,1572 Č , , , ,1582 Č , , , ,1634 Č , , , ,1634 Č , , , ,

44 SOUČASNÝ STAV ŘEŠENÍ Dalším krokem byla vnitřní kalibrace lineárních parametrů zobrazovacího systému, tj. výpočet polohy a orientace obrazové roviny. V obraze byla odečtena velikost některých prvků scény s kalibračním lankem - viz obr. 6-6 a tab. 2. Obr. 6-11: Schéma geometrie systému v rovině zx (z O x O ). Červeně je značen obrazový souřadný systém, modře objektový. Tab. 2: Velikost některých prvků scény odečtená ze snímků. kamera A kamera B L (mm) 55,3 53,5 Průmět středu stolu v optických rovinách M (mm) 87,0 82,0 Průmět středové značky kalibračního lanka na stole H (mm) 86,0 86,0 Výška lanka nad stolem v klidu Ze známých rozměrů ve scéně byl dopočítán úhel α natočení obrazové osy z o od objektové osy z a další pomocné úhly ve scéně: αα = aaaaaaaaaaaa HH 180 (LL ssssssss) 180 ββ = aaaaaaaaaaaa MM ππ (HH LL cccccccc) ππ αα AA = aaaaaaaaaaaa ππ 44,67 ββ (55,3 ssssss 44,67) 180 AA = 86,0 55,3 cccccc 44,67 ππ 39,79 αα BB = aaaaaaaaaaaa ππ 46,36 ββ (53,5 ssssss 46,36) 180 BB = 86,0 53,5 cccccc 46,36 ππ 38,27 γγ = 90 αα ββ γγ AA = 90 44,67 39,79 = 5,54 γγ BB = 90 39,79 38,27 = 5,37 40

45 SOUČASNÝ STAV ŘEŠENÍ Tab. 3: Výsledky výpočtů základních úhlů geometrie systému v rovině zx. Jednotky/ úhel Kamera A Kamera B (rad) (deg) (rad) (deg) popis α 0,78 44,67 0,81 46,36 sklon osy z o od osy z objektového souřadného systému β 0,69 39,79 0,67 38,27 sklon osy z o od osy y objektového souřadného systému γ 0,10 5,54 0,09 5,37 úhel mezi optickou osou z o a průmětem středu stolu Vzdálenost mezi průnikem optických os a obrazovými rovinami, byla vypočítána podle vzorce (viz obr. 6-11): DD = LL tttttt ππ 2 γγ DD AA = 55,3 tttttt ππ 5,54 570,38 mmmm 2 DD BB = 53,5 tttttt ππ 5,37 569,56 mmmm 2 Kontrolní měření Na závěr bylo provedeno měření k předběžnému stanovení dosahované přesnosti. Kalibrační lanko bylo zatíženo, přičemž průhyb změřený ve směru objektové osy y byl přibližně 7,5 mm. K nastavení průhybu lanka byla využita měrka s jemnou stupnicí (viz obr. 6-12). Nicméně umístění lanka na dané rysce bylo ověřeno pouhým okem. Z toho vyplývá, že z tohoto předběžného měření nelze vyvozovat obecné závěry o přesnosti, slouží tedy pouze orientačně. Obr. 6-12: Snímek scény se zatíženým lankem. Ze snímku se zatíženým lankem byla odečtena poloha jeho průmětu do optické osy y o (viz tab. 4). Pomocí následujících vztahů byla vypočtena poloha lanka v objektové ose y a odchylka ω vypočtené hodnoty od skutečné: 41

46 SOUČASNÝ STAV ŘEŠENÍ YY oo YY vv = cos αα 5,3 YY vvvv = 7,5 mmmm cos 44,67 5,1 YY vvvv = 7,4 mmmm cos 46,36 ωω = YY YY vv ωω AA = 7,5 ( 7,45) = 0,05 0 mmmm ωω BB = 7,5 ( 7,39) = 0,11 0,1 mmmm Tab. 4: Výsledky předběžné kontroly přesnosti po kalibraci systému. Jednotky/ označení Kamera A Kamera B (mm) (mm) popis Y -7,5-7,5 skutečný průhyb lanka Y o -5,3-5,1 průmět průhybu lanka do optické osy y Y v -7,45-7,39 vypočtený průhyb lanka v objektové ose y ω 0 0,1 odchylka měření zaokrouhlená na desetiny 6.3 Návrh a realizace detekce hran Pro automatizovanou detekci hran výkovků byla s ohledem na charakter analyzovaného obrazu navržena gradientní metoda, validující jasovou hodnotu každého bodu analyzovaného řezu příčným mediánovým filtrem. Motivací pro toto řešení byla snaha o snížení chybovosti, dané vlivem impulzního šumu v obraze. Ten je zde představován zejména přítomností různých kontrolních značek a povrchových nedokonalostí na zkoumaném objektu (rýhy, okuje) a v jeho okolí. Nastavení vhodné šířky plovoucího filtračního okna a prahovacích parametrů bude podrobně popsáno v disertační práci. V současné době probíhá testování metody na snímcích zdeformované tyče. V případě selhání automatického vyhledávání je možné chybně identifikované řezy v uživatelském rozhraní programu buď vyřadit, nebo opravit manuálně. Obr. 6-13: Snímek deformované válcové tyče po automatické detekci hran. 42

47 SOUČASNÝ STAV ŘEŠENÍ Výsledkem detekce hran je soubor hraničních bodů, z nichž je vypočítána 2D osa válcové tyče. Díky známé orientaci obou obrazových rovin bude proveden přepočet dvou 2D křivek na 3D křivku osy. Následně bude provedena manuální kontrola přesnosti výsledné 3D křivky porovnáním s výsledky měření pomocí systému Atos III triple scan. Výsledek rekonstrukce tvaru válcové tyče, která byla měřena pomocí zmíněného průmyslového skeneru je zobrazen na následujícím obrázku. Skutečná osa výkovku byla porovnána s ideální osou vedenou koncovými body skutečné osy. Obr. 6-14:Výsledek měření a softwarové rekonstrukce deformované tyče pomocí systému Atos s určeným místem maximálního průhybu. 43

48 ZÁVĚR 7 ZÁVĚR Pojednání ke státní doktorské zkoušce shrnuje současný stav poznání v oblasti bezdotykových optických metod měření se zaměřením na metody fotogrammetrie, jejich aplikace a základní kroky fotogrammetrického měření. Zaměřuje se blíže na možnosti měření tvaru rozměrných válcových výkovků za vysoké teploty. Z literatury vyplívá, že metody měření žhavých objektů jsou založeny na laserovém skenování, optickém skenování a promítání xenonového světla, nebo na principu fotogrammetrie a analýzy obrazu. Přitom v současné době se běžně provádí měření pomocí etalonů či velkých posuvných měřidel ručně. Problémem je vysoká cena a dostupnost specifických laserových systémů, které jsou v současné době jedinou komerčně vyráběnou technologií pro měření žhavých výkovků. Tyto systémy zajistí měření komplexního tvaru výkovku. Pro účely měření základních geometrických odchylek tvaru válcových výkovků (přímost osy, válcovitost) však není nutné znát komplexní informace o geometrii celého objektu. Měření založené na principech fotogrammetrie a analýzy obrazu je adekvátním řešením problému, což vyplývá také z rešerše. Výhodami fotogrammetrického systému by měla být snadná instalace a implementace bez nutnosti zásahu do výrobního cyklu výkovku a v neposlední řadě také cena. Vývoj a testování metodiky probíhá v laboratorních podmínkách z důvodů zajištění vymezených a kontrolovaných podmínek měření s vyloučením intervenujících proměnných. V současné době je řešení práce ve fázi testování algoritmu detekce hran u chladných válcových tyčí. V další fázi proběhne vyhodnocení přesnosti navrženého systému srovnáním výsledků s měřením pomocí průmyslového skeneru Atos III Triple Scan. Navržená metodika se bude dále rozvíjet a modifikovat dle výsledků laboratorních experimentů. Předpokládá se měření tyčí různých rozměrů s různými velikostmi deformací, dále bude testována opakovatelnost měření. Po odladění softwaru pro měření výkovků za studena bude probíhat jeho modifikace pro měření za tepla. Výsledky měření žhavých výkovků budou porovnány s výsledky měření pomocí laserového systému. 44

49 SEZNAM LITERATURY 8 SEZNAM LITERATURY 8 ÚVOD [1] GIROD, B., GREINER, G.ANDNIEMANN, H. Principles of 3D Image Analysis and Synthesis.USA: Kluwer Academic Publishers, p. 466, ISBN [2] LUHMANN, Thomas, et al. Close Range Photogrammetry: Principles, techniques and applications. Dunbeath, Caithness KW6 6EG, Scotland, UK: Whittles Publishing, Fundamental methods, p ISBN [3] BERNARD, A. Reverse engineering for rapid product development: a state of the art. In K. G. HARDING.Three-Dimensional Imaging, Optical Metrology, and Inspection V. 1999, vol. 3835, p [4] REMONDINO, F.; EL-HAKIM, S. Image-Based 3D Modeling: A review. The photogrammetric Record. September 2006, vol. 115, no. 21, p [5] VOJÁČEK, Antonín. PMD senzor & 3D měření vzdálenosti - 1. část "Princip" [online] [cit ]. < C3%AD+vzd%C3%A1lenosti>. [6] MATTHEWS, Neffra; NOBLE, Tom. Aerial and Close-Range Photogrammetric Technology: Providing Resource Documentation, Interpretation and Preservation. In [online]. Denver Federal Center: BLM, Technical Note 428, 2008 [cit ]. < [7] CHEN, F., BROWN, G.M. AND SONG, M. Overview of three-dimensional shape measurement using optical methods. Optical Engineering, 2000, vol. 39, no. 1, p METODY MĚŘENÍ ROZMĚRNÝCH VÝKOVKŮ [8] NYE, T.J., ELBADAN, A.M., BONE, G.M. Real-time process characterization of open die forging for adaptive control. ASME Journal of Engineering Materials andtechnology, 2001, vol. 123, no. 4, p [9] SIEMER, E., NEISCHWITZ, P., KOPP, R. Quality optimized process control in open die forging. Stahl und Eisen, Vol. 106, no. 8, p [10] YAMAUCHI, M. Errors in optical shape measurement caused by a hightemperature atmosphere.opt. Eng., Sep 02, 2009, vol. 48, no. 9. [11]OMRON. OMRON.[online]. c2011 [cit ]< [12] TIAN, Z. at al. Dimension measurement of hot large forgings with a novel timeof-flight system. The International Journal of Advanced Manufacturing Technology, 2009, vol. 44, no. 1, p [13] MÄTTA, K., KOSTAMOVAARA, J. AND MYLLYL, R. Profiling of hot surfaces by pulsed time-of-flight laser range finder techniques. Applied optics, 45

50 SEZNAM LITERATURY 1993, vol. 32, no. 27, p [14] MITEQ. FERROTRON A MINTEQ DIVISION [online]. c2011 [cit ]. LaCam Forge.< FE-30-PDF-Forge Jan2011_.pdf >. [15] MERMEC GROUP. MERMEC GROUP [online]. c2009 [cit ]. Open Die Forgings.< [16] SINTEF. SINTEF [online]. November [cit ]. Measuring 3D shape of steel shafts during forging. < >. [17] JIA, Z. at al. An improved image acquiring method for machine vision measurement of hot formed parts. Journal of Materials Processing Technology, 2010, vol. 210, no. 2, p [18] LIU, W. at al. Fast dimensional measurement method and experiment of the forgings under high temperature. Journal of Materials Processing Technology, vol. 211, Issue 2, p [19] CHAUDHURI, S. at al. Automatic measurement of frontal area and volume of fluted ingots using image-based instrumentation. Measurement, 2003, vol. 33, no. 4, p [20] DWORKIN, S.B. AND NYE, T.J. Image processing for machine vision measurement of hot formed parts. Journal of materials processing technology, 2006, vol. 174, no. 1-3, p [21] Ch. Hu, B. Liu, X. Song. A novel edge detection approach used for online dimensional measurement of heavy forging.2008 International Conference on Optical Instruments and Technology: Optoelectronic Measurement Technology and Applications, Proc. of SPIE,vol FOTOGRAMMETRIE APLIKACEV PRŮMYSLU [23] LUHMANN, T. Close range photogrammetry for industrial applications. ISPRS Journal of Photogrammetry and Remote Sensing, 2010, vol. 65, no. 6, p [24] FRASER, C.S. State of the art in industrial photogrammetry. IAPRS, Kyoto, 1988, vol. 27, p [25] Reinshow. Reinshow [online] [cit ]. Dostupné z WWW: < [26] Metronor. Metronor [online] [cit ]. Dostupné z WWW: < >. [27] AICON. AICON [online] [cit ]. Dostupné z WWW: < 46

51 SEZNAM LITERATURY [28] Nikon Metrology. Nikon Metrology NV [online] [cit ]. Dostupné z WWW: < [29] GOM. GOM: Optical Measurement Techniques [online] [cit ]. Dostupné z WWW: < [30] JIANDONG, Z., LIYAN, Z. AND XIAOYU, D. Accurate 3D Target Positioning in Close Range Photogrammetry with Implicit Image Correction. Chinese Journal of Aeronautics, 2009, vol. 22, no. 6, p [31] Géodésie Maintenance Services. Géodésie Maintenance Services [online] [cit ]. Dostupné z WWW: < DETEKCE HRAN [32] ROSENFELD, A. Picture processing by computer. ACM Computing Surveys (CSUR). 1969, vol. 1,no. 3, p [33] DAVIS, L. S. A survey of edge detection techniques. Computer Graphics and Image Processing, 1975, vol. 4, no. 3, p [34] PELI, T. AND MALAH, D. A study of edge detection algorithms* 1. Computer Graphics and Image Processing, 1982, vol. 20, no. 1, p [35] ZIOU, D. AND TABBONE, S. Edge detection techniques-an overview. International Journal of Pattern Recognition and Image Analysis, [36] PAPARI, G. AND PETKOV, N. Edge and line oriented contour detection: State of the art. Image andvision Computing, 2011, vol. 29, no. 2-3, p [37] CANNY J. A computational approach to edge detection. IEEE Transactions on Pattern Analysis and Machine intelligence. 1986; 8(6): [38] MEDINA-CARNICER, R. at al. A novel method to look for the hysteresis thresholds for the Canny edge detector. Pattern Recognition, Jun 2011, vol. 44, no. 6, p [39] DING, L. AND GOSHTASBY, A. On the Canny edge detector. Pattern Recognition, 2001, vol. 34, no. 3, p [40] DA, F.P. AND ZHANG, H. Sub-pixel edge detection based on an improved moment. Image and Vision Computing, Dec 2010, vol. 28, no. 12, p LOKALIZACE POLOHY ELIPS A VÝPOČET JEJÍCH PARAMETRŮ [41] SHORTIS, M.R., CLARKE, T.A. AND SHORT, T. A comparison of some techniques for the subpixel location of discrete target images. SPIE Videometrics, 1994, vol. 2350, no. III, p [42] YUEN, H.K., ILLINGWORTH, J. AND KITTLER, J. Detecting partially occluded ellipses using the Hough transform. Image and Vision Computing, 1989, vol. 7, no. 1, p [43] YIP, R.K.K., TAM, P.K.S. AND LEUNG, D.N.K. Modification of hough transform for circles and ellipses detection using a 2-dimensional array. Pattern Recognition, 1992, vol. 25, no. 9, p

52 SEZNAM LITERATURY [44] WU, W.-Y. AND WANG, M.-J.J. Elliptical object detection by using its geometric properties. Pattern Recognition, 1993, vol. 26, no. 10, p [45] NAIR, P.S. AND SAUNDERS, A.T. Hough transform based ellipse detection algorithm. Pattern Recognition Letters, 1996, vol. 17, no. 7, p [46] ROSIN, P.L. Ellipse fitting by accumulating five-point fits. Pattern Recognition Letters, 1993, vol. 14, no. 8, p [47] WERMAN, M. AND GEYZEL, Z. Fitting a second degree curve in the presence of error. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 1995, vol. 17, no. 2, p [48] DAVE, R.N. AND BHASWAN, K. Adaptive fuzzy shells clustering and detection of ellipses. Neural Networks, IEEE Transactions on, 1992, vol. 3, no. 5, p [49] GATH, I. AND HOORY, D. Fuzzy clustering of elliptic ring-shaped clusters. Pattern Recognition Letters, 1995, vol. 16, no. 7, p [50] GANDER, W., GOLUB, G.H. AND STREBEL, R. Least-squares fitting of circles and ellipses. BIT Numerical Mathematics,1994, vol. 34, no. 4, p [51] FITZGIBBON, A.W., PILU, M. AND FISHER, R.B. Direct least squares fitting of ellipses. Pattern Recognition, Proceedings of the 13th International Conference on, 1996, vol. 1, p [52] HAL R, R. AND FLUSSER, J. Numerically stable direct least squares fitting of ellipses. The Sixth International Conference in Central Europe on Computer Graphics and Visualization, 1998, p [53] ANDREW, F. Direct Least Square Fitting of Ellipses. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1999, vol. 21, p [54] MAINI, E.S. Enhanced direct least square fitting of ellipses. International Journal of Pattern Recognition & Artificial Intelligence, 2006, vol. 20, no. 6, p [55] RAY, A. AND SRIVASTAVA, D.C. Non-linear least squares ellipse fitting using the genetic algorithm with applications to strain analysis. Journal of Structural Geology, 2008, vol. 30, no. 12, p [56] CHAUDHURI, D. A simple least squares method for fitting of ellipses and circles depends on border points of a two-tone image and their 3-D extensions. Pattern Recognition Letters, 2010, vol. 31, no. 9, p [57] KANATANI, K. AND RANGARAJAN, P. Hyper least squares fitting of circles and ellipses. Computational Statistics & Data Analysis, 2011, vol. 55, no. 6, p [58] JIANDONG, Z., LIYAN, Z. AND XIAOYU, D. Accurate 3D Target Positioning in Close Range Photogrammetry with Implicit Image Correction. Chinese Journal of Aeronautics, 2009, vol. 22, no. 6, p

53 SEZNAM LITERATURY VNITŘNÍ KALIBRACE [59] HARTLEY, R. AND ZISSERMAN, A. Multiple view geometry in Computer Vision. Edtion ed.: Cambridge university press, ISBN [60] D. C. BROWN, Decentering distortion of lenses, Photogrammetric Engineering and Remote Sensing, 1966, no. 24, p [61] D. C. BROWN, Close-range camera calibration, Photogrammetric Engineering and Remote Sensing, 1971, no. 42, p [62] WANG, J. at al. A new calibration model of camera lens distortion. Pattern Recognition, 2008, vol. 41, no. 2, p [63] SUN, W. AND COOPERSTOCK, J. R. An empirical evaluation of factors influencing camera calibration accuracy using three publicly available techniques. Machine Vision and Applications, 2006, vol. 17, no. 1, p [64] Z. ZHANG, On the epipolar geometry between two images with lens distortion, Proceedings of International Conference on Computer Vision and Pattern Recognition, 1996, vol. 1, no. I, p [65] STEIN, G. P. Lens distortion calibration using point correspondences. Proceedings of the International Conference on Computer Vision and Pattern Recognition, 1997, p [66] FITZGIBBON, A. W. Simultaneous linear estimation of multiple view geometry and lens distortion. IEEE International Conference on Computer Vision and Pattern Recognition, 2001, vol. 1, p. I-125. [67] RICOLFE-VIALA, C. AND SÁNCHEZ-SALMERÓN, A.-J. Robust metric calibration of non-linear camera lens distortion. Pattern Recognition, 2010, vol. 43, no. 4, p VNĚJŠÍ KALIBRACE [68] ABDEL-AZIZ, Y. I. and KARARA, H. M., 1971: Direct linear transformation into object space coordinates in close-range photogrammetry. Proc. Symposium on Close-Range Photogrammetry, p [69] LONGUET-HIGGINS, H. C. A Computer Algorithm for Reconstructing a Scene from Two Projections, Nature, Septemebr 1981, vol. 293, p [70] HARTLEY, R.I. In defense of the eight-point algorithm. Ieee Transactions on Pattern Analysis and Machine Intelligence, Jun 1997, vol. 19, no. 6, p [71] CHOJNACKI, W. at al. Revisiting Hartley's normalized eight-point algorithm. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, p [72] NISTÉR, D. An efficient solution to the five-point relative pose problem. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2004, vol. 26, no. 6, p [73] LUONG, Q.T. AND FAUGERAS, O.D. The fundamental matrix: Theory, algorithms, and stability analysis. International Journal of Computer Vision, 1996, vol. 17, no. 1, p

54 SEZNAM LITERATURY [74] STEWÉNIUS, H. at al. A minimal solution for relative pose with unknown focal length. Computer Vision and Pattern Recognition, CVPR IEEE Computer Society Conference on, 2005, vol. 2, p [75] STEWENIUS, H., ENGELS, C. AND NISTER, D. Recent developments on direct relative orientation. Isprs Journal of Photogrammetry and Remote Sensing, Jun 2006, vol. 60, no. 4, p [76] LOURAKIS, M.I.A. AND ARGYROS, A.A. Is Levenberg-Marquardt the most efficient optimization algorithm for implementing bundle adjustment? [77] D. C. BROWN. The bundle adjustment-progress and prospects. Int. Archives Photogrammetry, vol. 21, no. 3, p [78] S. GRANSHAW. Bundle adjustment methods in engineering photogrammetry. Photogrammetric Record, 1980, vol. 10, no. 56, p [79] TRIGGS, B. at al. Bundle adjustment--a modern synthesis. Vision algorithms: theory and practice, 2000, p [80] REMONDINO, F. AND FRASER, C. Digital camera calibration methods: considerations and comparisons. IPRS International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2006, vol. 36, no. 5, p

55 SEZNAM OBRÁZKŮ A GRAFŮ 9 SEZNAM OBRÁZKŮ A GRAFŮ 9 Obr. 2-1 Vztah mezi dosahovanou přesností měření a velikostí měřeného objektu u různých bezdotykových měřicích metod [2] Obr. 1-2 Rozdělení optických metod 3D měření, podle [3, 4]. Obr. 1-3 Obr. 1-4 Obr. 2-1 Obr. 2-2 Obr. 2-3 Obr. 2-4 Obr. 2-5 Dosahované rozlišení a pracovní vzdálenost tří metod vyhodnocování třetího rozměru [5]. Rozdělení bezkontaktních optických metod měření dle vyhodnocované vlnové délky [2]. 3D model části povrchu výkovku, získaný měřením pomocí laserového TOF systému [12]. Proces optimalizace tvaru výkovku pomocí laserového systému LaCam od firmy Ferrotron [14]. Protokol z měření pomocí systému LaCam. Z výsledků je patrné, že maximální průhyb překračuje povolenou odchylku 10 mm[14]. Výstupní data získaná měřením žhavého výkovku laserovým systémem TopScan, který nabízí firma Tecnogamma [15]. Výsledky měření pomocí systému od firemimego, Mefos a SINTEF[16]. Obr. 2-6 Prvky optického systému s xenonovým světlem [17]. Obr. 2-7 Princip spektrálně-selektivní metody[17]. Obr. 2-8 Výsledek extrakce bodů na povrchu výkovku [17]. Obr. 2-9 Schéma optického stereo systému s xenonovou lampou a jeho reálná podoba [18]. Obr Modifikovaný Gausův model aplikovaný na světelné pruhy promítané na žhavý výkovek[18]. Obr Aplikace první derivace na obraz výkovku[18]. Obr Hraniční body detekované na ocelové desce[18]. Obr Monochromatický snímek žhavého výkovku při použití IR filtru [20]. Obr Výsledné prahování snímků, vlevo monochromatický bez IR filtru, vpravo s IR filtrem [20]. Obr Snímky žhavého výkovku ve stupních šedi[21]. Obr Výsledky experimentu s různými metodami[21]. Obr Výsledky experimentu s různými metodami[21]. Obr Proces on-line a off-line fotogrammetrického měření v průmyslu [8]. Obr Rozdělení průmyslových fotogrammetrických systémů [24]. Obr Fotogrammetrické měření pomocí tzv. kódovaných a nekódovaných značek [29]. 51

56 SEZNAM OBRÁZKŮ A GRAFŮ Obr Dotykové sondy: ruční dotyková sonda od firmy Metronor [26], ruční dotyková sonda od firmy AICON [27], CMM od firmy Reinshaw [25]. Obr Projekce vzoru a fotogrammetrické měření systémem PRO-SPOT [31], fotogrammetrický systém určený k měření deformací od firmy GOM [29]. Obr Měření dynamické scény pomocí fotogrammetrického systému od firmy AICON [27]. Obr Orientace snímků pomocí algoritmu Bundle adjustment [79]. Obr. 6-1 Navržený stativ pro testovací měření v reálných podmínkách. Obr. 6-2 Měření výkovku, detekce hran v rovině A-A. Obr. 6-3 Měření výkovku, detekce hran v rovině B-B. Obr. 6-3 Graf měření osy v rovině A-A. Obr. 6-4 Graf měření osy v rovině B-B. Obr. 6-5 Čelní pohled na měřené osy výkovku v obou rovinách. Obr. 6-6 Diagram navržené metodiky řešení. Obr. 6-7 Vyrobená měřicí stanice s naznačeným objektovým souřadným systémem. Obr. 6-8 Průmyslová monochromatická kameraam-1600 GE s rozlišením pixelů od společnosti JAI. Obr. 6-9 Průmyslová monochromatickákamera Pike F-1600 s rozlišením pixelů od společnosti Allied Vision Technology. Obr Snímek měřené scény pro kalibraci s kalibračními měrkami a obrazovým souřadným systémem. Obr Schéma geometrie systému v rovině zx (z o x o ). Obr Snímek scény se zatíženým lankem. Obr Snímek deformované válcové tyče, určený k testování navržené metody detekce hran. Obr Výsledek měření a softwarové rekonstrukcedeformované tyče pomocí systému Atos s určeným místem maximálního průhybu. 52

57 SEZNAM TABULEK 10 SEZNAM TABULEK 10 Tab. 1 Vyhodnocení odchylek způsobených radiálním zkreslením 39 Tab. 2 Velikost některých prvků scény odečtená ze snímků 40 Tab. 3 Výsledky výpočtů základních úhlů geometrie systému v rovině zx 41 Tab. 4 Výsledky předběžné kontroly přesnosti po kalibraci systému 42 53

58 OBSAH 1 ÚVOD VYMEZENÍ ŘEŠENÉ PROBLEMATIKY A PŘEDBĚŽNÉ CÍLE DISERTAČNÍ PRÁCE SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Metody měření a vyhodnocování tvaru objektů vysoké teploty Aktivní systémy založené na laserovém skenování povrchu Aktivní optické systémy s xenonovým světlem Pasivní systémy založené fotogrammetrii a analýze obrazu Průmyslové aplikace blízké fotogrammetrie Rozdělení fotogrammetrických systémů Měření polohy více cílových bodů současně Sledování pozice a orientace dotykové sondy Měření ploch Dílčí kroky fotogrammetrického měření Rozpoznání klíčových primitiv Lokalizace polohy elips a výpočet jejich parametrů Vnitřní kalibrace fotoaparátu Vnější kalibrace fotoaparátu ANALÝZA A INTERPRETACE A ZHODNOCENÍ POZNATKŮ ZÍSKANÝCH NA ZÁKLADĚ KRITICKÉ REŠERŠE VYMEZENÍ CÍLE DISERTAČNÍ PRÁCE A NÁVRH ZPŮSOBU JEJÍHO ŘEŠENÍ SOUČASNÝ STAV ŘEŠENÍ Předběžné měření v reálných podmínkách provozu Metodika Návrh a realizace kalibrace Návrh a realizace detekce hran ZÁVĚR SEZNAM LITERATURY SEZNAM OBRÁZKŮ A GRAFŮ SEZNAM TABULEK

59 4

60 ÚVOD 1 ÚVOD 1 Základním prvkem fotogrammetrických systémů je obrazový snímač. Vývoj CCD 1 čipu, společně se zdokonalováním počítačů, elektro-optických komponent, laseru a dalších optických zdrojů umožnil úspěšné zavedení optických metod měření a vyhodnocování v mnoha vědních oborech. V posledních patnácti letech došlo ke značnému pokroku ve vývoji technologií měření tvaru prostorových objektů a to zejména díky sjednocení poznatků z oblastí počítačového vidění a počítačové grafiky. Důsledkem vývoje CCD čipu bylo masivní rozšíření digitální fotografie v druhé polovině 90. let. Souběžně s vývojem digitální fotografie byly vyvíjeny metody jejího zpracování pomocí počítače. Měření tvaru prostorových objektů zpravidla vyžaduje implementaci matematických metod, které zajistí zpracování dat z jednotlivých snímků v jednotném souřadném systému [1]. Obr.1-1:Vztah mezi dosahovanou přesností měření a velikostí měřeného objektu u různých bezdotykových měřicích metod [2] 2. V současné době existuje množství metod měření trojrozměrných objektů (obr. 1-1). Metody se liší kromě principu funkce, zejména dosahovanou přesností a pracovní vzdáleností, z čehož vyplývá také oblast jejich aplikace. Optické metody měření jsou často rozdělovány na metody pasivní, aktivní a kombinované (obr.1-2). 1 CCD (charge-coupled device) - snímač obrazové informace. 2 Interferometry interferometrie; industrial metrology průmyslová metrologie; industrial photogrammetry průmyslová fotogrammetrie; teodolite teodolit; laser scanning laserové skenování; architectural and engineering photogrammetry fotogrammetrie aplikovaná na architektonické památky a na speciální technické oblasti v inženýrské geodesii); tachymetric surveying tachymetrický průzkum (rychlé měření délek a vodorovných a svislých úhlů); DGPS (differential global positioning system) - diferenciální GPS; aerial photogrammetry letecká fotogrammetrie; remote sensing - dálkový průzkum Země. 5

61 ÚVOD Obr. 1-2: Rozdělení optických metod 3D měření, podle [3, 4]. Pasivní metody nevyžadují interakci mezi měřeným objektem nebo scénou. Aktivní optické systémy pracují na principu interakce mezi objektem či jeho okolím a nějakým snímačem. Interakce se snímaným objektem může nastat[3]: fyzickým kontaktem mezi snímačem a objektem (kontaktní 3D skenery), emisí světla (strukturovaného nebo bílého) a následným snímáním světelné stopy vzniklé na objektu optickým systémem, emisí elektromagnetické vlny[3]. Obr. 1-3: Dosahované rozlišení a pracovní vzdálenost tří metod vyhodnocování třetího rozměru 3 [5] 3 Time-of-flight (TOF) - měření doby letu vysílaného impulzu; triangulation triangulace; interferometry interferometre. 6

62 ÚVOD Bezdotykové optické metody (tj. aktivní i pasivní) se dále dělí podle principu získávání třetího rozměru (tj. vzdálenosti měřeného bodu od obrazové roviny snímače). Třetí rozměr je vyhodnocován jednou z následujících metod: triangulace, měření doby letu vysílaného impulzu (TOF time-of-flight ) a interferometrie [5]. Metody využívající el. magnetické záření (tj. pasivní i aktivní) můžeme rozdělit podle vlnové délky, která je snímačem vyhodnocována [1.1], jak ukazuje obr Obr. 1-4: Rozdělení bezkontaktních optických metod měření dle vyhodnocované vlnové délky 4 [2]. Je tedy zřejmé, že fotogrammetrie patří mezi pasivní metody vyhodnocování elektromagnetického záření metodou triangulace. Nabídka trhu dokazuje, že mezi pasivními systémy využívanými v průmyslu jednoznačně převládají právě systémy fotogrammetrické. Americká fotogrammetrická společnost (ASPRS) definovala v roce 1980 pojem fotogrammetrie: Fotogrammetrie je umění, věda a technika, která se zabývá získáváním informací o fyzických objektech a prostředí na základě procesu zaznamenávání, měření a interpretace fotografických snímků, vzorů elektromagnetického záření a dalších jevů [6]. Systémy se dělí na do dvou skupin podle vzdálenosti fotoaparátu od měřeného subjektu: fotogrammetrie letecká (aerial) - vzdálenost > 300 m, fotogrammetrie pozemní (close range nebo terrestrial) - vzdálenost < 300 m) [6]. Aktivní optické metody měření se začaly v průmyslu využívat koncem 20. století. Technologie využívající tyto metody (kontaktní i bezkontaktní) získaly označení 3D skenery. Podle doslovné citace je 3D skener zařízení, které analyzuje reálné objekty nebo prostředí za účelem sběru dat o jejich tvaru, případně i vzhledu (např. barvě). Data mohou být využita k vytvoření digitálních trojrozměrných modelů [3]. 4 Laser tracking stanovení polohy cílových bodů metodu interferometrie paprsku koherentního světla. 7

63 ÚVOD 3D skenování je založeno na vyhodnocování kontrastního světelného vzoru promítaného na povrch objektu [3]. Podle použitého typu světleného zdroje se dělí bezdotykové 3D skenery na dvě základní kategorie: laserové 3D skenery (laser scanner), optické 3D skenery (optical 3D scanner, structured-light 3D scanner, fringe projection scanner) V průmyslu našly uplatnění především bezkontaktní laserové a optické 3D skenery a kontaktní souřadné měřící stroje CMM 5 (viz kap ). V současné době umožňují 3D skenery získat kompletní informace o povrchu trojrozměrného objektu ve formě mračna bodů s přesností na desetiny až setiny milimetrů. Rozsah měřených objektů je od několika centimetrů až metrů dle typu zařízení. Omezení těchto metod jsou především dána pracovním prostředím a typem měřeného objektu. Přehled optických metod používaných pro měření prostorových objektů publikoval v roce 2000 Chen at al. [7]. Technologie trojrozměrné digitalizace nejsou zcela univerzální. Ačkoli je v současné době na trhu široký výběr bezdotykových optických systémů, stále existují aplikace, které vyžadují vývoj specifického systému. Takovou aplikací je také měření tvarových odchylek výkovků. Fotogrammetrické on-line systémy umožňují automatizované měření rozměrných objektů s odchylkou v řádech mm. Nicméně schopnost měřit pomocí fotogrammetrie také objekty vysoké teploty není příliš dobře popsána. Této oblasti je však v posledních letech věnována pozornost, což dokazuje potenciál metody. 5 CMM (Coordinate measuring machine) - kontaktní souřadný měřící stroj. Poloha bodů na součásti se měří formou souřadnicových rozměrů v osách X, Y, Z vůči definovanému souřadnému systému. 8

64 VYMEZENÍ ŘEŠENÉ PROBLEMATIKY A PŘEDBĚŽNÉ CÍLE DISERTAČNÍ PRÁCE 2 VYMEZENÍ ŘEŠENÉ PROBLEMATIKY A PŘEDBĚŽNÉ CÍLE DISERTAČNÍ PRÁCE 2 V úvodu pojednání byly představeny metody bezdotykového měření tvaru objektů. Kapitola Shrnutí současného stavu poznaní je zaměřena na metody měření tvaru výkovků o vysoké teplotě. Dále se pojednání zabývá metodami a aplikacemi průmyslové fotogrammetrie, neboť základní principy fotogrammetrie budou využity při návrhu systému. Výsledkem práce by měl být jednoduchý avšak robustní systém, který umožní vyhodnocování přímosti osy rozměrných výkovků on-line (tzn. za provozu výrobní linky). Motivace k vývoji systému vyplývá z reálných problémů, které řeší např. společnost Žďas a.s. Řešený problém: Vývoj systému pro měření přímosti osy válcových výkovků za tepla i za studena. Uvažované reálné podmínky pro měření: Při vývoji systému je nutné uvažovat reálné podmínky, ve kterých by měl pracovat. To jsou především omezené světelné podmínky, reálná velikost měřených dílů (válcové výkovky o délce max. 20 m a průměru max. 60 cm), nutnost on-line měření a real-time vyhodnocování a další. Modelový systém pro experimentální testování a vývoj Za účelem vývoje a optimalizace systému bude sestavena jednoduchá měřicí stanice. Měřeným vzorkem bude válcová tyč o délce 60 cm a průměru max. 6 cm. Měření bude prováděno pomocí dvou digitálních fotoaparátů s vysokým rozlišením. Testování bude probíhat za přesně vymezených a kontrolovaných podmínek s vyloučením dalších intervenujících proměnných. Při provádění laboratorních experimentů však budou uvažovány také podmínky reálné, k nimž celý experiment směřuje. Přesto se jedná pouze o model reálné situace, proto jsou při vyvozování obecných závěrů uvažována možná modelová zkreslení. Návrh metodiky vývoje systému: Hlavní část práce bude zaměřena na návrh softwaru a jeho optimalizaci pro dané pracovní podmínky. Optimalizace softwaru bude probíhat v laboratorních podmínkách experimentálním měřením pomocí navržené aparatury. Testovaný vzorek bude nejdříve měřen za běžné pokojové teploty. Výsledky budou porovnány s měřením pomocí certifikovaného optického 3D skeneru Atos III Triple Scan 6. Po odladění softwaru pro měření za studena, bude modifikován pro měření vzorku vysoké teploty. Vyplývající předběžné cíle: návrh měřicí stanice, vývoj měřicího softwaru, porovnání odchylky měření s měřením pomocí průmyslového 3D skeneru Atos, testování a optimalizace systému při měření žhavých výkovků. 6 Atos III Triple Scan nejvýkonnější průmyslový optický 3D skener od firmy GOM. Dosahuje hustoty naměřených bodů až 0,01 mm. Viz. 9

65 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ 3 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ 3.1 Metody měření a vyhodnocování tvaru objektů vysoké teploty Rozměrné výkovky jsou výchozími polotovary, které slouží k výrobě komponent zvláště pro lodní, jaderný nebo petrochemický průmysl. Polotovar se kove při teplotě 850 až 1300 C v otevřené formě pomocí hydraulických lisů s tlakem až tun. Jedná se o cenově velmi nákladnou, často malosériovou až kusovou produkci. S rostoucími nároky na efektivitu výroby, rostou také nároky na tvarovou a rozměrovou přesnost výkovků. Z toho vyplývají také nároky na přesné, rychlé a bezpečné měření tvaru a rozměrů. Měření musí být součástí výrobního cyklu, jednak z důvodu eliminace opakovaného ohřevu, ale také z důvodu bezprostřední opravy zjištěných nedostatků. Dosud se běžně řeší měření rozměrných výkovků vysoké teploty pomocí jednoduchých přípravků ručně. Obsluha se tak musí pohybovat v blízkosti žhavého výkovku, což může být příčinou úrazů. Navíc jsou získány pouze neúplná a nepřesná data. Kromě ručních dotykových měřidel bylo také vyvinuto několik automatizovaných dotykových měřících systémů. Např. Nye at al. [8] v roce 2001 publikoval studii, která popisuje specifický dotykový měřicí systém, který byl zabudován do manipulátoru. Systém však nebyl flexibilní a neumožňoval získat komplexní rozměry výkovku. Zajímavý dotykový měřicí systém prezentoval již v roce 1986 Siemer [9]. Jeho systém byl také závislý na otáčivém pohybu výkovku při kování, vykazoval dobré výsledky v laboratorních podmínkách, nicméně byl špatně implementovatelný do průmyslové výroby. Dotykové měření výkovků neposkytuje dostatečnou flexibilitu, přesnost ani rychlost měření. Na druhou stranu, běžné bezdotykové optické měřicí systémy, jsou pro tento účel stěží aplikovatelné, zejména z důvodu vysoké teploty a velkých rozměrů výkovku. Z toho vyplývá nutnost vývoje specifického bezdotykového systému. Pokud je autorce známo, dosud bylo publikováno pouze málo studií zabývajících se vlivem teploty na přesnost, efektivitu a funkčnost optických měřicích systémů nebo optických snímačů. Yamauchi [10] publikoval článek zaměřený na studium chyb měření tvaru objektu vysoké teploty optickou metodou. Porovnává velikost chyb stanovených pomocí matematického modelu s chybami zjištěnými experimentálním měřením. Základní informace o vlivu teploty na laserové měřiče vzdálenosti a profilometry uvádí firma Omron [11], která se specializuje na výrobu snímačů pro širokou škálu aplikací. Zmiňuje tři základní problémy, které mohou způsobit chybu měření. Z nich vyplývají omezení, která jsou obdobná pro optické snímače vzdálenosti, laserové profilometry a optické či laserové 3D skenery: Optický snímač, může vykazovat chybu způsobenou detekcí IR 7 paprsků, které emituje žhavý objekt. V případě skenerů s bílým světlem navíc dochází nedostatečnému kontrastu promítaného vzoru na povrchu žhavého objektu. Z toho důvodu je naprostá většina 3D skenerů určena k měření za stálých světlených i teplotních podmínek, které jsou omezeny minimem i maximem [11]. 7 IR (infra red) elektromagn. záření v infračervené části spektra o vlnové délce 760 nm až 1 mm. 10

66 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Vysoká teplota při měření může způsobit chyby měření vlivem dilatace komponent. Tento problém je však snadné eliminovat požitím skeneru s vyšší pracovní vzdáleností [11]. Dalším obtížně řešitelným problémem je chyba měření vlivem rozdílného lomu světla v oblasti kolem snímače a tepelně ovlivněném okolí žhavého objektu [11]. Ze zmíněných problémů a nároků na reálný provoz vyplývají kritéria, které by měl splňovat specifický bezdotykový měřící systém: Dostatečná vzdálenost optického snímače (eliminace vlivu IR emisí výkovku). Rychlé měření bez nutnosti zásahu do výrobního cyklu výkovku. Online systém automatické real-time vyhodnocování (viz také kap. 3.2). Dosud bylo publikováno několik studií, které se zabývají vývojem a implementací specifických bezdotykových optických systémů určených pro měření průmyslových polotovarů vysoké teploty. Z těchto studií je patrné, že pro tyto aplikace byly vyvíjeny především tři typy bezdotykových měřicích systémů: aktivní systémy založené na laserovém skenování povrchu, aktivní optické systémy s xenonovým světlem, pasivní systémy založené na fotogrammetrii, detekci entit a analýze obrazu Aktivní systémy založené na laserovém skenování povrchu Systémy založené vyhodnocování metodou TOF: Zhisong Tian, Feng Ga, Zhenlin Jin, Xianchao Zhao Dimension measurement of hot large forgings with a novel time-of-flight system[12]. Systém popsaný v tomto článku je založený na pulzním LADARU 8. LADAR je laserový dálkoměr, který pracuje na principu TOF, což znamená, že je vyhodnocována doba, za kterou urazí laserový pulzní paprsek od emitoru k cílovému bodu a zpět. Popsaný systém se skládá z vyhodnocovací stanice TOF, skenovacího zařízení se dvěma stupni volnosti a sféricko-paralelního mechanismu se dvěma motory (SPM), který muže být také považován za dva teodolity. Systém je určen k vyhodnocování průměru a délky rozměrných výkovků při maximální teplotě 1600 C ze vzdálenosti 20 m. Dva teodolity kontrolují naklápění skenovacího zařízení v ose X a Y. Tímto způsobem je získána 3D geometrie části výkovku (viz obr. 2-1). Obr. 2-1:3D model části povrchu výkovku, získaný měřením pomocí laserového TOF systému [12]. 8 LADAR (LaserDetection And Ranging) - laserový dálkoměr pracující na principu vyhodnocování doby letu impulzu. 11

67 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ V článku je popsána konstrukce a funkce systému, ale také princip vyhodnocování dat. Systém byl testován nejdříve v laboratorních podmínkách a následně v reálných podmínkách výrobního závodu. Zjištěná přesnost systému se pohybuje v řádech milimetrů. Článek však neuvádí nedostatky systému, nebo oblasti potencionálního vylepšení. Článek navazuje na studii publikovanou v roce 1993: Profiling of hot surfaces by pulsed time-of-flight laser range finder techniques. Kari Määtta, Juha Kostamovaara, and Risto Myllylä[13]. LaCam Forge od firmy Ferrotron a Menteq Technologies Inc.[14] Tento systém je rovněž určený přímo pro měření žhavých výkovků při otevřeném kování. Je založený na stejném principu jako systém, který publikoval Tian at al. - využívá skenování pomocí pulzního polovodičového laseru a vyhodnocování metodou TOF. Před kováním je možné kontrolovat rozložení teploty na povrchu výkovku pomocí teplotní mapy. Při kování je možné měřit průběžně délku výkovku bez nutnosti přerušení výrobního procesu a softwarově optimalizovat proces kování. Po kování je možné zobrazit finální rozměry, přímost osy a válcovitost. Standardní proces kování s využitím měření pomocí LaCam systému je zobrazen na obr Obr. 2-3 zobrazuje výstupní protokol měření. Obr. 2-2: Proces optimalizace tvaru výkovku pomocí laserového systému LaCam od firmy Ferrotron [14]. 12

68 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Obr. 2-3:Protokol z měření pomocí systémulacam. Z výsledků je patrné, že maximální průhyb překračuje povolenou odchylku 10 mm [14]. Systémy založené na vyhodnocování metodou triangulace: TopScan od firmy Tecnogamma [15]. Systém určený přímo pro měření výkovků vysoké teploty je založen na vyhodnocování laserového paprsku metodou triangulace. Je určen k měření výkovků o teplotě 350 až 1150 C a maximálních rozměrech 7 m. Přesnost dosahuje ± 5 mm, ve sférických souřadnicích ± 3 mm. Výstupem je obrys výkovku se základními rozměry. Obr. 2-4:Výstupní data získaná měřením žhavého výkovku laserovým systémem TopScan, který nabízí firma Tecnogamma [15]. 13

69 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Laserový systém vyvinutý ve spolupráci firem IMEGO, Mefos a SINTEF[16] Tento systém byl vyvíjen od roku 2005 díky spolupráci tří švédských ocelárenských společností. Skládá se z laserového projektoru a spektrálně - selektivní videokamery. Modrý laser promítá na povrch výkovku kontrastní pruhy, jejichž poloha je vyhodnocována metodou triangulace. Při měření manipulátor otáčí s výkovkem a kamera vytvoří několik překrývajících se snímků s vysokým rozlišením. Snímky slouží k sestavení 3D modelu (viz obr. 2-5). Systém umožňuje měření průměru v libovolné vzdálenosti, měření délky, křivosti osy a odchylek od požadovaného tvaru. Obr. 2-5:Výsledky měření pomocí systému od firemimego, Mefos a SINTEF. Vlevo: výsledný 3D model výkovku s odchylkami od požadovaného tvaru, vpravo řez výkovkem [16] Aktivní optické systémy s xenonovým světlem Zhenyuan Jia, Bangguo Wang, Wei Liu, Yuwen Sun An improved image acquiring method for machine vision measurement of hot formed parts [17]. Tento článek poprvé popisuje využití spektrálně selektivní metody pro účely měření žhavých výkovků. Celý výkovek je osvětlen pomocí xenonové lampy. Systém se skládá ze dvou monochromatických CCD snímačů s filtrem s dolní propustí, xenonové lampy a obslužného počítače (viz obr. 2-6). Obr. 2-6: Prvky optického systému s xenonovým světlem [17]. 14

70 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Obr. 2-7: Princip spektrálně-selektivní metody. Levá svislá osa udává rozsah citlivosti CCD snímače. Pravá osa udává sílu radiace dokonale černého tělesa. Vodorovná osa udává vlnovou délku. Šedá oblast znázorňuje spektrum, které bude snímačem detekováno [17]. Princip spočívá v selekci spektra, ve kterém nejsou CCD ovlivněny radiací výkovku a současně jsou citlivé na xenonové světlo (viz obr. 2-7). Na povrch výkovku je promítáno xenonové světlo, které se odráží k CCD snímačům, přičemž IR záření emitované výkovkem je odfiltrováno. Díky tomu mohou být na povrchu výkovku extrahovány body, které slouží ke složení výsledného 3D modelu ze stereosnímků (obr. 2-8). Obr. 2-8: Výsledek extrakce bodů na povrchu výkovku [17]. Tento článek poprvé uvedl metodu extrakce bodů na povrchu žhavého výkovku. Přesnost měření rozměrů výkovku pomocí tohoto systému však nebyla popsána. Studie z následujících let uvádí, že extrakce tak velkého množství bodů vede k nízké rychlosti systému, z důvodu výpočetní náročnosti. Na tento výzkum navazuje Liu [18], který prezentoval vývoj fringe projection 3D skeneru s xenonovým světlem založený na spektrálně selektivní metodě (viz další odstavec). 15

71 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Wei Liu, Xinghua Jia, Zhengyuan Jia, Shuangjun Liu, Bangguo Wang, Jian Du Fast dimensional measurement method and experiment of the forgings under high temperature[18]. Tento článek vychází ze studie Jia at al. [17]. Na rozdíl od metod publikovaných v [17] využívá tento systém vyhodnocování promítaného světelného vzoru. Systém se skládá ze dvou CCD kamer s IR filtry, projektoru a obslužného počítače, jak ukazuje následující obrázek. Obr 2-9: Vlevo: schéma optického stereo systému, vpravo jeho reálná podoba [18]. K detekci promítaných pruhů byl použit modifikovaný Gaussův model a spektrálně selektivní metoda popsaná již v roce 2009 [17]. Intenzita světelných pruhů v kolmém směru nemá na povrchu žhavého objektu typické Gaussovo rozložení. Oproti běžnému průběhu křivky, má křivka za podmínek vysoké teploty zploštělý tvar vrcholu, jak ukazuje obr vpravo. Z toho důvodu byl použit modifikovaný Gaussův model, který je blíže popsaný v článku. Obr.k 2-10: Modifikovaný Gausův model aplikovaný na světelné pruhy promítané na žhavý výkovek. Vlevo: světelné pruhy na výkovku, modifikovaný gausův model v místě pruhu [18]. Pomocí první derivace intenzity byla získána funkce, která je zobrazena na obr vpravo. Následně byla druhá derivace této funkce položena rovno nule. Výsledkem jsou kořeny funkce ( ridge points na obr. 2-11). Poloha středových pixelů promítaných pruhů ( bottom point na obr. 2-11) byla na závěr vypočítána Newtonovou iterativní metodou se subpixelovou přesností pomocí dvou kořenů funkce. 16

72 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Obr. 2-11: Aplikace první derivace na obraz výkovku. Vlevo: detail světelných pruhů po konvoluci, vpravo: výsledná funkce představující profil světelného pruhu [18]. Dále bylo nutné určit polohu hraničních bodů na výkovku. V článku jsou popsány dva algoritmy, které slouží k výpočtu polohy koncových bodů na povrchu výkovku. První algoritmus je založen na skutečnosti, že intenzita šedi je v pozadí výkovku značně odlišná, druhý ze skutečnosti, že na rozhraní výkovku a pozadí mají promítané pruhy významnou změnu křivosti. Aby mohly být extrahovány rozměry výkovku, musejí být pruhy promítány v horizontálním i vertikálním směru (viz obr. 2-12). Systém byl testován v laboratorních i reálných podmínkách. Přesnost rozměrů u čtyř měřených vzorků byla nižší než 1%. Obr. 2-12: Hraniční body detekované na ocelové desce. Vlevo: hraniční body v horizontálním směru, vpravo: hraniční body ve vertikálním směru [18] Pasivní systémy založené fotogrammetrii a analýze obrazu S. Chaudhuria, A. Mukherjeeb, P. K. Duttab, A. Patrab Automatic measurement of frontal area and volume of fluid ingots using image-based instrumentation [19]. Automatizovaný fotogrammetrický systém byl v provozu aplikován např. k predikci místa řezu ingotu dle požadované hmotnosti dílčích částí. Ingoty mají 12 hran v průřezu a kónický tvar. Vytvořený software automaticky snímkuje ingot, předzpracuje snímky a pomocí jejich analýzy počítá objem, hmotnost a délku. Článek uvádí možné řešení výpočtu obsahu čelní plochy: Výpočtem množství pixelů uvnitř hraniční oblasti. 17

73 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Integrací 0 až 2π radiálního vektoru, který vychází z těžiště hraničních bodů. Detekcí rohových bodů nebo vrcholů objektu a následnou derivací ze známé geometrie objektu. Poslední dvě metody jsou vhodné spíše pro objekty jednoduchého geometrického tvaru, z toho důvodu byla zvolena první metoda. Článek obsahuje popis použitého algoritmu, jehož hlavními částmi je prahování a afinitní transformace. Průměrná odchylka hmotnosti dosahuje ± 0.5%. Systém byl zaveden v průmyslovém závodě v Indii. S. B. Dworkin, T. J. Nye Image processing for machine vision measurement of hot formed parts [20]. Studie popisuje metodu měření základních rozměrů výkovku vysoké teploty pomocí adaptivního prahování a detekce hran. Přitom je testována přesnost měření u různých typů vstupních snímků: monochromatické snímky ve viditelném spektru, barevné snímky ve viditelném spektru, monochromatické snímky s IR filtrem 9. Z článku vyplývá, že nejlepší vlastnosti pro prahování a detekci hran mají monochromatické snímky s IR filtrem. Článek uvádí, že běžné CCD snímače bez filtru nejsou schopné vytvořit vhodné snímky pro detekci hran prahováním a přesné měření rozměrů výkovku. Na následujícím obrázku je monochromatický snímek výkovku o teplotě 900 až 1300 C, který byl pořízen s IR filtrem. Na obr jsou zobrazeny výsledky prahování. Obr. 2-13:Monochromatický snímek žhavého výkovku při použití IR filtru [20]. Obr. 2-14: Výsledné prahování snímků. Vlevo monochromatický bez IR filtru, vpravo s IR filtrem [20]. 9 IR filtr - propouští pouze IR paprsky o vlnové délce vyšší než specifikace daného filtru. 18

74 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Ch. Hu, B. Liu, X. Song A novel edge detection approach used for online dimensional measurement of heavy forging[21] Článek představuje novou metodu detekce hran, která překonává problémy ostatních detektorů při aplikaci na výkovky vysoké teploty. Jednotlivé kroky zpracování obrazu byly navrženy tak, aby byly co nejlépe splněny podmínky Cannyho algoritmu (viz kap ). U snímků výkovků o vysoké teplotě byly navíc aplikovány kroky pro předzpracování a finálního zpracování obrazu. Barevný 24 bitový obraz byl převeden na 8mi bitový. Intenzita pixelů byla rozšířena na celou oblast 0 až 255 a světlost obrazu byla zvýšena. Následně byl obraz upraven adaptivním prahováním, které poprvé publikoval Daxing Z. at al. V roce 2008 [22]. Výsledky předzpracování obrazu jsou na obr Některé segmenty pixelů v blízkosti objektu byly nesprávně označeny jako hrany, nicméně hranice okují byly eliminovány, zatímco většina hraničních pixelů bylo zachováno, beze změny polohy. Proces předzpracování vstupního obrazu není standardní krok detekce hran, ale slouží ke zvýšení její účinnosti při použití na žhavé objekty. Obr. 2-15:Snímky žhavého výkovku ve stupních šedi. Vlevo původní snímek, vpravo předzpracovaný snímek [21]. Na vstupní předzpracovaný obraz byla gradientní metoda detekce hran. Za účelem zlepšení výsledků detekce hran, byl nejdříve aplikován filtr s dolní propustí pro odstranění aditivního šumu. V první fázi tedy byla provedena konvoluce obrazu ve dvou směrech pomocí jádra s Gaussovým rozložením. Ve druhé fázi byl aplikován filtr s horní propustí diferenciální operátor slouží k nalezení hran v obraze. V poslední fázi byla provedena validace hran, za účelem zachování skutečných hrana eliminace redundantních informací. Obr. 2-16:Výsledky experimentu s různými metodami. Vlevo: detekce pomocí Cannyho hranového detektoru, vpravo: detekce pomocí prezentované metody bez předzpracování snímku [21]. 19

75 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Provedený experiment dokazuje, že předzpracování a finální úprava obrazu jsou nepostradatelnými kroky při detekci hran výkovků vysoké teploty. Výsledky experimentu a porovnání s výsledky detekce hran pomocí Cannyho detektoru jsou na obr a Obr. 2-17:Výsledky experimentu s různými metodami. Vlevo: detekce pomocí prezentované metody bez finálního zpracování snímku, vpravo: detekce pomocí prezentované metody [21]. 20

76 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ 3.2 Průmyslové aplikace blízké fotogrammetrie Rozdělení fotogrammetrických systémů Pozemní fotogrammetrické systémy používané v průmyslu se zpravidla dělí na dvě kategorie off-line a on-line systémy [23]. Obr.2-18: Proces on-line a off-line fotogrammetrického měření v průmyslu[8]. Nejvýraznějším rozdílem je schopnost měření a vyhodnocení real-time nebo téměř real-time, což je výsadou on-line systémů. Typický on-line systém se skládá ze dvou nebo více kalibrovaných fotoaparátů s danou polohou a orientací. Tyto systémy jsou určeny k automatizovanému měření v konkrétním prostoru. Bývají například součástí výrobní linky, kde slouží ke kontrole kvality. Přesnost on-line systémů bývá obvykle nižší než přesnost off-line systémů, neboť jsou omezeny počtem snímků [23, 24]. Off-line systémy jsou určeny pro univerzální měření mnoha různých průmyslových aplikací. Jejich univerzalita spočívá zejména v možnosti použití fotoaparátu a objektivu dle požadované přesnosti a velikosti objektu. Fáze měření a vyhodnocování je oddělená. Off-line systémy dosahují vyšší přesnosti, podle [23] okolo 0,05 mm. Na rozdíl do on-line systémů mohou být použity také analogové fotoaparáty a klasické fotografie. Již studie z roku 1988 [24] uvádí rozdělení průmyslových fotogrammetrických systémů podle použitých technologií. 21

77 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Obr. 2-19: Rozdělení průmyslových fotogrammetrických systémů [24]. Nejběžnějšími aplikacemi fotogrammetrie jsou: měření polohy většího množství cílových bodů, sledování pozice a orientace dotykové sondy, měření tvaru plochy [23, 24]. Firmy AICON [27] a Nikon Metrology [28] nabízí kompletní sortiment fotogrammetrických systémů, které pokrývají všechny tři skupiny průmyslových aplikací Měření polohy více cílových bodů současně Přesná lokalizace a digitalizace diskrétních bodů je patrně nejběžnější aplikací fotogrammetrie v průmyslu. Obvykle se jedná o systémy off-line měření využívající jeden fotoaparát s vysokým rozlišením, speciální značky a algoritmus bundle adjustment (viz kap ). Na povrch měřeného objektu se aplikují dva typy značek kódované a nekódované. Oba typy značek mívají obvykle kruhový tvar s bílým středem a černým okrajovým pásem. Kódované značky slouží přímo k digitalizaci diskrétních bodů na povrchu objektu. Nekódované značky mají navíc po obvodě umístěný unikátní znak, který umožňuje automatické rozpoznání každého bodu softwarem. Tyto značky slouží k nalezení geometrických vztahů mezi jednotlivými obrazovými rovinami. Díky tomu je možné určit polohu detekovaných nekódovaných bodů ze všech snímků vůči jednomu souřadnému systému. V okolí objektu musí být umístěna také jedna až dvě měřítkové tyče, které slouží k transformaci obrazu do správného měřítka. Přenos dat do počítače bývá řešen buď paměťovou kartou, nebo bezdrátově. Naměřená data se zpracovávají pomocí specializovaného softwaru ihned po měření nebo s libovolným odstupem času [30]. Přesnost měření je možné ovlivnit hustotou rozmístění značek a počtem pořízených snímků. Digitalizace každé značky deseti až dvanácti snímky zajistí přesnost RMS 1-sigma 10 až 0,025 mm [23]. 10 RMS 1-sigma (root mean square nebo 1 standard deviation) střední kvadratická chyba s úrovní spolehlivosti 68%. 22

78 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Obr.2-20: Vlevo: fotogrammetrické měření pomocí tzv. kódovaných a nekódovaných značek, vpravo: příklad nekódovaných fotogrammetrických značek [29] Sledování pozice a orientace dotykové sondy Měření pomocí dotykové sondy se provádí ručním nebo strojním polohováním. Systémy se strojním polohováním se nazývají 3D souřadnicové měřicí stroje, podle anglického coordinate measurement machine (CMM). Tyto systémy se dále dělí na analogové a diskrétní. Diskrétní CMM měří jednotlivé body na povrchu objektu postupně přemisťováním sondy, přičemž je měřena poloha sondy mechanicky. Analogové CMM měří tvar objektu v celé ploše - sonda plynule kopíruje celý měřený povrch. Pohyb sondy je v tomto případě, stejně jako v případě ručního polohování sondou, snímán optickým systémem. Ten zaměřuje orientaci a polohu hrotu sondy a kontrolních bodů, které jsou umístěny na jejím těle. Fotogrammetrický systém může být složen pouze z jednoho optického snímače, ale i ze dvou nebo více snímačů. Obvykle platí, že čím více snímačů sleduje pohyb sondy, tím přesnějších výsledků měřicí systém dosahuje. Obr. 2-21: Dotykové sondy: vlevo ruční dotyková sonda od firmy Metronor [26], vpravo nahoře ruční dotyková sonda od firmy AICON [27], vpravo dole CMM od firmy Reinshaw [25]. 23

79 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Mezi největší firmy nabízející CMM patří Reinshaw [25], Metronor (dnes spojen s Nikon Metrology) [26, 28] a AICON [27]. Systémy s ručním polohováním nabízí firma Metronor [26], AICON [27] a GOM [29] Měření ploch Fotogrammetrické metody měření plochy vyžadují použití minimálně dvou snímků, které jsou složeny do jednoho souřadného systému pomocí detekovaných bodů na povrchu objektu. Měřená plocha musí být opatřena vhodnou texturou, která umožní detekci a skládání vlícovacích bodů. Textura na měřeném objektu může být přirozená nebo uměle vytvořená například přilepením kontrastních pásek nebo projekcí. Hlavní výhodou fotogrammetrického měření ploch je možnost měření dynamické scény. Příkladem je měření, při němž se pohybují snímače, nebo dochází k pohybu či deformaci měřené plochy, jak ukazuje např. obr Častými aplikacemi jsou např. měření deformací karoserie při crash testech nebo při měření funkce airbagů při nárazu. Dynamické změny tvaru plochy není možné měřit žádnou jinou optickou technologií včetně 3D skenování [23]. Fotogrammetrické systémy určené k měření dynamické scény nabízí např. firma GOM [29] nebo AICON [27]. Obr. 2-22: Vlevo: projekce vzoru a fotogrammetrické měření systémem PRO-SPOT [31], vpravo: fotogrammetrický systém určený k měření deformací od firmy GOM [29]. Obr. 2-23:Měření dynamické scény pomocí fotogrammetrického systému od firmy AICON[27]. 24

80 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ 3.3 Dílčí kroky fotogrammetrického měření 3.3 Klíčové informace v digitální podobě jsou výsledkem řešení komplexního algoritmu. Přesnost výsledku a rychlost výpočtu závisí na mnoha parametrech. Nedílnou součástí návrhu algoritmu je jeho testování a ladění. Neustále se zvyšující se nároky na přesnost optických systémů, jsou důvodem stále aktivního výzkumu těchto dílčích algoritmů. Cílem výzkumu bývá především zpřesnění výsledné rekonstrukce, ale také snížení výpočetní náročnosti, nebo přizpůsobení algoritmů pro specifické podmínky měření. Kompletní rekonstrukce 3D informací založená na fotogrammetrii obvykle obsahuje tyto dílčí procesy: rozpoznání klíčových primitiv (značek), lokalizace polohy klíčových primitiv a výpočet jejich parametrů, kalibrace vnitřních parametrů fotoaparátu, kalibrace vnějších parametrů fotoaparátu - nalezení přesné orientace všech snímků vůči jednomu souřadnému systému Rozpoznání klíčových primitiv Metody zpracování digitálního obrazu byly vyvíjeny již v 60. letech 20. století, zejména pro účely satelitního a lékařského snímkování, ale také za účelem zlepšování vizuálních vlastností digitální fotografie. Do 70. lech bránila vývoji těchto metod špatná dostupnost počítačů i jejich výkonnost. Značná pozornost byla již od počátku věnována rozpoznávání objektů v digitálním obraze. První fází rozpoznávání objektů v obraze je detekce hran nebo segmentace obrazu. V oblasti průmyslové fotogrammetrie se využívá výhradně detekce hran [32]. Přehled metod detekce hran v digitálním obraze publikoval v roce 1975Davis [33], v roce 1982 Peli a Malah [34] a v roce 1986Zioua Tabbone [35]. Problematice detekce hran v digitálním obraze je stále věnována pozornost. Studie se v posledních letech zabývají především optimalizací algoritmů pro konkrétní úlohy detekce [36]. Mechanismy detekce je možné rozdělit podle technik, které používají: založené na první derivaci, založené na druhé derivaci, nepracující s derivací, nebo detektory pracující ve frekvenční oblasti. Velká skupina metod aproximuje derivaci pomocí konvoluce s vhodným jádrem. Mezi nejznámější operátory patří: Sobel, Prewitt, Roberts a Laplacian. V současné době je stále považováno za optimální řešení detekce hran Cannyho algoritmus [37], který nejlépe splňuje tři základní kritéria: Minimální chybovost - poměr mezi množstvím detekovaných hran a množstvím šumu musí být co nejmenší. Lokalizace poloha detekované hrany musí být co nejblíže její skutečné poloze v obraze. Jednoznačná odezva operátor musí detekovat pouze jednu odezvu na každou hranu. Optimalizacím Cannyho algoritmu se v posledních letech věnoval např. Ding a Goshtasby [38] nebo R. Medina-Carnicer at al. [39]. Detekce hran pomocí Cannyho detektoru dosahuje pouze pixelové přesnosti. V posledních letech jsou vyvíjeny metody, jejichž cílem je sub-pixelová detekce, např. [40]. 25

81 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Lokalizace polohy elips a výpočet jejich parametrů Fotogrammetrické systémy využívají detekci hran ke zjištění přesné polohy středů kruhových značek. Je zřejmé, že kruhové značky se v obrazové rovině perspektivní projekcí transformují do tvaru elipsy. Klíčovou oblastí fotogrammetrie je přesná lokalizace těchto geometrických primitiv na detekovaných hranách. Metody pro lokalizaci a výpočet parametrů elipsy je možné rozdělit do dvou hlavních skupin metody shlukovací ( voting/clustering ) a optimalizační. Studii zabývající srovnáním metod publikoval v roce 1994 Shortis at al. [41]. K metodám spadajícím do první skupiny patří algoritmy založené na Haughové transformaci [42-45], RANSAC [46, 47] a fuzzy shlukování [48, 49]. Tyto metody jsou odolné proti vlivu odlehlých pixelů, a umožňují detekci několika primitiv současně. Nevýhodou těchto metod je především výpočetní složitost a nižší rychlost. Druhá skupina metod je založena na optimalizaci cílové funkce. Počítá se optimální poloha elipsy vůči detekovaným hraničním bodům metodu nejmenších čtverců [50-57]. Hlavní výhodou těchto metod je jejich přesnost a rychlost. Nicméně citlivost k odlehlým pixelům je vyšší než v případě shlukovacích metod. V posledních letech je věnována pozornost výhradně této skupině metod. Jiandong at al. publikoval v roce 2009 studii popisující základní kroky algoritmu fotogrammetrické extrakce diskrétních bodů. Studie se hlouběji zabývá algoritmem přesné lokalizace fotogrammetrických značek [58] Vnitřní kalibrace fotoaparátu Vnitřní kalibrace slouží k nalezení vztahů mezi body 3D scény a jejich průměty do 2D souřadnic snímku. Vnitřní kalibraci fotoaparátu je možné rozdělit na lineární a nelineární. Lineární kalibrace se provádí za účelem určení parametrů zobrazovacího systému, což jsou [59]: konstanta kamery ohnisková vzdálenost ( principal distance ), střed zobrazení ( principal point ), formát snímku [59]. Pět lineárních parametrů kamery je vyjádřeno v horní trojúhelníkové matici 3x3: αα xx γγ uu 0 AA = 0 αα yy vv Parametry α x = f. m x a α y = f. m y reprezentují ohniskovou vzdálenost f v pixelech, kde m x a m y jsou konstanty měřítka mezi pixely a vzdáleností. γ představuje faktor úhlové vychýlení osy x a y ( skew factor ). A u 0, v 0 představují vzdálenost středu zobrazení od středu snímku [59]. Nelineárními vnitřními parametry fotoaparátu jsou parametry zkreslení objektivu: radiální zkreslení způsobené nedokonalou křivostí čoček (posun bodu na snímku o radiální vzdálenost), obsahuje složku zkreslení způsobeného excentricitou čoček ( decentring distorsion ), 26

82 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ tečné (tangenciální) zkreslení způsobené převážně asymetrií radiálního zkreslení u soustavy čoček (často se zanedbává), a thin prism zkreslení, které je způsobené naklopením čoček vůči obrazovému snímači [59]. Do dnes bylo vyvinuto a úspěšně implementováno mnoho metod, které teoreticky řeší všechny problémy vnitřní kalibrace. I když je lineární a nelineární kalibrace obvykle řešena současně, pozornost je v posledních dvaceti letech věnována výhradně studiu nelineárního zkreslení čoček, zejména za účelem zpřesnění a zjednodušení kalibrace. Důvodem je to, že najít přesný model nelineárního zkreslení čoček je mnohem komplikovanějším problémem, než hledání lineárních parametrů zobrazovací soustavy. Conrady v roce 1919 poprvé popsal zkreslení způsobené excentrickou polohou čoček. V roce 1966 byl představen model s názvem plumb line method, který dělí zkreslení na 3 základní typy (Brown-Conrady model [60, 61]). Tento model umožňoval určit konstantu fotoaparátu a střed zobrazení, nicméně eliminace zkreslení objektivu byla ošetřena pouze částečně. I přesto našel od té doby uplatnění v mnoha aplikacích. Do dnes bylo prezentováno několik modifikovaných metod, nicméně tyto modifikace se zaměřovaly zejména na matematickou interpretaci. Kalibrace čoček byla dosud převážně řešena jako součet zkreslení radiálního, tečného a thin prism takové metody jsou označovány jako konvenční. Studie [62] z roku 2008 prezentuje model, který řeší jednotlivé složky zkreslení a jejich fyzické příčiny odděleně a uvažuje jejich vzájemné působení. Tento model dosahuje stejného korekčního efektu jako konvenční modely, obsahuje však méně koeficientů a tak zjednodušuje kalibraci. Fotoaparát je považován za vnitřně kalibrovaný, je-li známá jeho ohnisková vzdálenost, střed obrazové roviny a zkreslení objektivu. Podle toho, zda kalibrace využívá kalibrační element, rozlišujeme: metrická kalibrace kalibrace založená na digitalizaci kalibračního pole. nemetrická kalibrace nebo také samokalibrace kalibrace bez použití kalibračního pole, je řešena přímo pomocí entit ve scéně. Metrická i nemetrická kalibrace je založena na srovnávání polohy daného typu prvků ve zkresleném obraze s jejich skutečnou polohou. Kontrastní prvky jsou ve scéně rozmístěny tak, že tvoří pole prvků. V případě metrické kalibrace je nejjednodušším kalibračním polem čtvercová mřížka (kalibrace pomocí bodů v průsečících), jeho obdobou jsou pravidelně rozmístěné kruhové značky. Používají se také kalibrační pole s trojúhelníkovými nebo čtvercovými značkami. Pole se snímkuje kamerou z různých úhlů ze vzdálenosti, která bude použita při měření. Během kalibrace nesmí být měněna ohnisková vzdálenost a zaostření. Zaostření musí být nastaveno na vzdálenost, ve které bude kamera následně pracovat [80]. Sun a Cooperstock prezentovali v roce 2006 studii zabývající se empirickým vyhodnocením faktorů, které mají vliv na přesnost kalibrace [63]. 3D skenery často využívají před samotným měřením kalibraci metrickou, která zajistí vyšší přesnost systému, než kalibrace nemetrická. Nicméně do průmyslových fotogrammetrických systémů byly úspěšně implementovány metody samoklaibrace pomocí značek rozmístěných na scéně [64-67]. 27

83 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Vnější kalibrace fotoaparátu Kalibrace vnějších parametrů fotoaparátu se provádí se za účelem: určení transformačních parametrů (tři rotace, tři posunutí, obecně až16 parametrů) - popisují polohu fotoaparátu v prostoru a vyjadřují vzájemný vztah světového souřadného systému a souřadného systému fotoaparátu, určení relativní orientace fotoaparátů, určení báze (vzdálenost středů zobrazení dvou fotoaparátů)[59]. Kalibrace vnějších parametrů je stejně jako kalibrace vnitřních parametrů založena na perspektivním promítání, které je zjednodušeno na model dírkového fotoaparátu. 2D pozice bodu v digitálním obraze je často vyjadřována vektorem [u v 1] T, zatímco pozice bodu ve 3D světových souřadnicích rozšířeným vektorem [x w y w z w 1] T. Díky tomu je možné zapsat průmět světových souřadnic do souřadnic digitálního obrazu následovně [59]: uu xx ww zz cc vv = AA[RR TT] yyww1 1 A je matice lineárních vnitřních parametrů fotoaparátu, a R, T jsou transformační matice vnějších parametrů kalibrace (rotační matice a translační vektor). Pro určení těchto transformačních parametrů se využívají dva základní modely lineální a nelineární model [59]. Lineární model Vzájemný vztah mezi fotografiemi je určen epipolární geometrií. Nejdříve se analyzuje vzájemná poloha konkrétních bodů v prostoru a jejich průmět do obrazové roviny. Tento vztah popisuje matice fotoaparátu P. Ta závisí jak na vnitřních, tak i na vnějších parametrech. Je více způsobů, jak získat průmět P a P,v závislosti na tom, jaká data jsou k dispozici. Nejpoužívanější je však metoda využívající tzv. esenciální matici E nebo metoda přímé lineární transformace ( direct linear transformation - DLT), kterou publikoval již v roce 1971 Abdel-Aziz & Karara [68]. Esenciální matice je speciální druh fundamentální matice, který vyžaduje znalost interních kalibračních dat. Esenciální i fundamentální matice byly poprvé popsány Longuet-Higginsem [69]. Jednoznačné řešení pro určení této matice zajišťuje průmět osmi bodů podle toho název normalizovaný osmibodový algoritmus. Existuje však mnoho dalších algoritmů, z nichž většina v některé fázi využívá osmi-bodový algoritmus [70, 71, 72]. V posledních letech byly prezentovány také metody, které řeší lineární kalibraci pouze pomocí sedmi nebo šesti bodů. Pokud je určena esenciální matice je možné vypočítat transformační parametry matice R a T metodou singulárního rozkladu. Studii, která se zabývá komplexním problémem určení orientace kamer pomocí algoritmů fundamentální a esenciální matice prezentoval v roce 1996 Luongaa Faugeras [73]. Výhodou lineárního modelu je možnost kalibrace s proměnnou ohniskovou vzdáleností. Kalibrace je poměrně rychlá a jednoduchá, nicméně vyžaduje znalost více bodů oproti kalibraci nelineární. 28

84 SHRNUTÍ SOUČASNÉHO STAVU POZNÁNÍ Nelineární model V oblasti blízké fotogrammetrie je často využívána nelineární kalibrace pomocí algoritmu, který je známý jako Bundle Adjustment. Název vychází z představy paprsků světla ( bundle ), které se odrážejí od 3D struktury a konvergují v obrazovém středu každého fotoaparátu. Klasické bundle adjustment algoritmy jsou iteračními metodami, které se řeší jako nelineální problém nejmenších čtverců. K jednoznačnému řešení tohoto modelu stačí znalost minimálně pěti bodů [74, 75]. Cílem celého algoritmu je nalézt globálně konzistentní skupinu parametrů, které minimalizují chybu registrace mezi všemi páry snímků. Minimalizace se často řeší metodou Lavenberg-Marquardt [76] nebo Sampsonovou aproximací [74]. Obr.2-24: Orientace snímků pomocí algoritmu Bundle adjustment [79]. Algoritmus Bundle adjustment byl představen v 70. letech 20. století Brown, 1974 [77], Granshaw, 1980 [78]. Triggs publikoval v roce 2000 studii, která se zabývá přehledem algoritmů bundle adjustment a popisuje také nové přístupy založené na distribučních modelech [79]. Výhodou tohoto algoritmu je nutnost znalosti pouze pěti bodů. Bundle adjustment bývá navíc často kombinován se samokalibrací interních parametrů, a je tedy vhodný pro rychlé fotogrammetrické měření v průmyslu. Srovnání metod kalibrace prezentoval v roce 2006 Remondino a Fraser [80]. 29

85 ANALÝZA A INTERPRETACE A ZHODNOCENÍ POZNATKŮ ZÍSKANÝCH NA ZÁKLADĚ KRITICKÉ REŠERŠE 4 ANALÝZA A INTERPRETACE A ZHODNOCENÍ POZNATKŮ ZÍSKANÝCH NA ZÁKLADĚ KRITICKÉ REŠERŠE V současné době na trhu množství sofistikovaných automatizovaných systémů bezdotykového měření tvaru a rozměrů objektů. Přesto je výzkum v této oblasti stále velmi aktivní. Z rešerše bylo zjištěno, že se výzkum zaměřuje především na zvyšování přesnosti, spolehlivosti a rychlosti již zavedených systémů a jejich úpravou pro specifické pracovní podmínky. Podstata výzkumu stojí na vývoji nových matematických modelů a komplexních algoritmů, jejich testování, optimalizaci a implementaci. Na základě rešerše bylo také zjištěno, že v poslední dekádě je věnována pozornost vývoji specifických bezdotykových systémů určených pro účely měření objektů o vysoké teplotě. Zejména v těžkém ocelárenském průmyslu jsou stále rezervy v efektivitě výroby a to především z důvodu absence pokročilých technologií měření tvaru a rozměrů za tepla. Důvody nutnosti a potřebnosti řešení dané problematiky v daném čase jsou zmíněny v následujících bodech: S rostoucími nároky na efektivitu výroby, rostou také nároky na tvarovou a rozměrovou přesnost výkovků. Z toho vyplývají také nároky na přesné, rychlé a bezpečné měření tvaru a rozměrů. Výzkumný záměr koresponduje se současnými problémy efektivity výroby v ocelárenském průmyslu (např. společnost Žďas a.s., která se zabývá výrobou rozměrných výkovků). Dosud se běžně řeší měření rozměrných výkovků vysoké teploty pomocí etalonů či velkých posuvných měřidel ručně. Obsluha se tak musí pohybovat v blízkosti žhavého výkovku, což může být příčinou úrazů. Navíc jsou získány pouze neúplná a nepřesná data. Dotykové měření výkovků neposkytuje dostatečnou flexibilitu, přesnost ani rychlost měření. Běžné bezdotykové optické měřicí systémy, jsou pro účel měření výkovků stěží aplikovatelné, zejména z důvodu vysoké teploty a velkých rozměrů výkovků. Z toho vyplývá nutnost vývoje specifického bezdotykového systému. Možnosti měření žhavých objektů pomocí fotogrammetrie a analýzy obrazu jsou dosud málo prozkoumány a komerční systémy, pokud je autorce známo, zatím neexistují, na rozdíl od systémů laserových. Výhodami fotogrammetrického systému by měla být snadná instalace a implementace bez nutnosti zásahu do výrobního cyklu výkovku a v neposlední řadě také cena. Nároky na specifické systémy měření objektů vysoké teploty jsou především: dostatečná vzdálenost optického snímače (eliminace vlivu IR emisí výkovku), rychlé měření bez nutnosti zásahu do výrobního cyklu výkovku, online systém automatické real-time vyhodnocování (viz také kap. 4.2). Specifické systémy pro zmíněné aplikace jsou obvykle založeny: na laserovém skenování, na optickém skenování a promítání xenonového světla, nebo na principu fotogrammetrie a analýzy obrazu. 30

86 ANALÝZA A INTERPRETACE A ZHODNOCENÍ POZNATKŮ ZÍSKANÝCH NA ZÁKLADĚ KRITICKÉ REŠERŠE Laserové systémy dosahují vysoké přesnosti a komplexnosti měřených dat, jejich hlavní nevýhodou velmi vysoká cena. Možnosti měření žhavých objektů pomocí fotogrammetrie a analýzy obrazu jsou dosud málo prozkoumány a komerční systémy, pokud je autorce známo, zatím neexistují, na rozdíl od systémů aktivních. Pro řešení problému měření válcovitosti výkovku není třeba získat komplexní informace o jeho tvaru, což je jedním z důvodů vývoje systému založeném na principu fotogrammetrie a analýzy obrazu. Výhodami takového systému by měla být snadná instalace a implementace bez nutnosti zásahu do výrobního cyklu. 31

87 VYMEZENÍ CÍLE DISERTAČNÍ PRÁCE A NÁVRH ZPŮSOBU JEJÍHO ŘEŠENÍ 5 VYMEZENÍ CÍLE DISERTAČNÍ PRÁCE A NÁVRH ZPŮSOBU JEJÍHO ŘEŠENÍ Cílem doktorské disertační práce je navrhnout systém, který bude automaticky vyhodnocovat odchylky osy válcových výkovků od ideální přímé osy. Přitom musí být splněny nároky na dosahovanou přesnost maximální odchylka ±5mm při měření výkovku o délce do 10 m. Cílem práce je také experimentálně stanovit rozdíl dosahované přesnosti při měření vzorků pokojové a vysoké teploty. Pro účely experimentálního měření a ladění algoritmu bude zkonstruován jednoduchý měřící stůl. Na základě globálních cílů byly stanoveny dílčí cíle řešení: 1) Navrhnout experimentální měřící aparaturu. 2) Navrhnout a realizovat software pro automatizované měření odchylek výkovků pokojové teploty. 3) Porovnat odchylky měření systému s měřením pomocí certifikovaného optickým 3D skenerem Atos Triple Scan. 4) Modifikovat software pro měření odchylek výkovků vysoké teploty. 5) Ověřit přesnost systému při měření vzorku pokojové a vysoké teploty. 6) Popsat hlavní vlivy na dosahovanou přesnost. Na základě rešerše bude provedena změna názvu dizertační práce. Nový název: Vývoj metodiky vyhodnocování tvarových odchylek výkovků pomocí fotogrammetrie a analýzy obrazu. V průběhu řešení se předpokládá spolupráce s dalšími institucemi. Protože téma disertační práce je z části složitý matematický problém, autorka by chtěla využít spolupráci ve formě konzultací s ústavem matematiky naší fakulty. Spolupráce při řešení algoritmů a samotného programu se předpokládá s Ing. Radkem Poliščukem, Ph.D. 32

88 SOUČASNÝ STAV ŘEŠENÍ 6 SOUČASNÝ STAV ŘEŠENÍ Předběžné měření v reálných podmínkách provozu Před návrhem metodiky automatizovaného měření bylo provedeno testovací měření v reálných podmínkách provozu. Ve společnosti Ždas a.s. byly vytvořeny snímky žhavých i chladných výkovků o délce 3000 m a průměru 60 cm. Fotoaparáty byly umístěny na připraveném stativu se dvěma rameny (viz obr. 6-1). Obr. 6-1: Navržený stativ pro testovací měření v reálných podmínkách. Ve snímcích byly manuálně detekovány hrany výkovků (software Adobe Photoshop). Následně byly hrany extrahovány a přeneseny na bílý podklad. Binární obraz byl následně vektorizován. Vzniklé 2D vektorové křivky byly načteny do 3D modeláře. Díky známé orientaci kamer byly křivky z obou snímků složeny do jednoho souřadného systému. Ze čtyř hran výkovku byla vypočítána 3D křivka jeho osy. Ta byla srovnána s ideální osou vedoucí koncovými body 3D křivky. Na závěr bylo manuálně nalezeno místo maximálního průhybu, určena jeho velikost, poloha a orientace. Obr. 6-2: Měření výkovku, detekce hran v rovině A-A. Obr. 6-3: Měření výkovku, detekce hran v rovině B-B. 33

89 SOUČASNÝ STAV ŘEŠENÍ Obr. 6-3: Graf měření osy v rovině A-A. Maximální odchylka D= 9 mm, ve vzdálenosti z=1551 mm. Obr. 6-4: Graf měření osy v rovině B-B. Maximální odchylka D= 5,7 mm, ve vzdálenosti z=1726 mm. Obrazová rovina A-A Obrazová rovina B-B Obr. 6-5: Čelní pohled na měřené osy výkovku v obou rovinách. Fialová křivka je vypočtená 3D osa s maximálním průhybem 10,5 mm ve vzdálenosti z = 1711 mm pod úhlem α = Při testovacím měření byly ověřeny podmínky reálného provozu. Problémem při snímkování byl zejména nestabilní a nerovný povrch, na kterém byl stativ postaven. Další problémy vznikaly při rychlém manuálním vyhodnocení zejména nedostatečné informace o geometrii scény (nebyla provedena kalibrace), z toho vyplývající problémy při skládání snímků a vyrovnání perspektivy obrazů. Předběžné měření v reálných podmínkách potvrdilo, že fotogrammetrické měření a zpracování obrazu je možným řešením vyhodnocování tvarových odchylek výkovků za tepla i za studena. K dosažení přesných a správných výsledků je nutné dodržet několik základních předpokladů: 1) kontrastní pozadí výkovku ( v místě prizmat mohou metody detekce selhávat, proto je vhodné použít prizmata s malou šířkou), 2) zajistit dostatečně stabilní a tuhý stativ, pro uchycení kamer a nastavení jejich orientace, 3) provedení kalibrace systému přímo na místě. 34

90 SOUČASNÝ STAV ŘEŠENÍ Výsledky měření však nelze považovat za směrodatné, protože nebyly porovnány přesnějším měřením. Vývoj metodiky měření musí byt provedeno za přesně vymezených a kontrolovaných podmínek s vyloučením intervenujících proměnných. Proto bude vývoj měřicího systému probíhat v laboratorních podmínkách, kde bude systém testován a výsledky srovnávány s výsledky měření pomocí dalších bezdotykových metod. 6.2 Metodika Na základě rešerše byla navržena předběžná metodika řešení problému. Metodika se bude dále rozvíjet a modifikovat dle výsledků laboratorních experimentů. Hlavní část práce bude zaměřena na návrh algoritmu a jeho optimalizaci pro dané pracovní podmínky. Testovaný vzorek bude nejdříve měřen za běžné pokojové teploty. Po odladění algoritmu pro měření za studena, bude modifikován pro měření vzorku vysoké teploty. Obr. 6-6: Diagram navržené metodiky řešení. 35

91 SOUČASNÝ STAV ŘEŠENÍ 6.2 Návrh a realizace měřicí stanice K testování a optimalizaci metodiky v laboratorních podmínkách byla vytvořena měřicí stanice. Stanice se skládá ze tří základních částí pracovního stolu, ramen pro uchycení fotoaparátů a prizmat pro vymezení polohy měřených vzorků. Měření je prováděno pomocí dvou fotoaparátů s vysokým rozlišením. Poloha odnímatelných fotoaparátů bude pevně dána konstrukcí ramen na robustním stole, v jehož ose budou umístěna prizmata s měřeným vzorkem. Pracovní stůl musí mít v celé ploše pod měřeným vzorkem kontrastní barvu, tzn. bílou. Vyrobená měřicí stanice je zobrazena na obr y x z Obr. 6-7: Vyrobená měřicí stanice s naznačeným objektovým souřadným systémem. Konfigurace měřicího stolu a parametry měřených objektů: úhel mezi obrazovými rovinami fotoaparátu cca 90, poloha měřeného objektu ve středu obrazové roviny, zvolené fotoaparáty: Canon EOS 500D, použité ohnisko objektivu 18 mm, měřené vzorky válcové tyče o délce do 700 mm a průměru 50 až 100 mm, požadovaná velikost zorného pole v rovině měřeného objektu 700 mm. Parametry fotoaparátu Canon EOS 500D: rozlišení: 15,1 Mpix pixel 2 velikost čipu (h v): 22,3x14,9 mm 2 velikost pixelu: 4,69 4,70 μm 2 crop faktor: 1,6 Objektiv s proměnnou ohniskovou vzdáleností: 18 až 55 mm 36

92 SOUČASNÝ STAV ŘEŠENÍ Při návrhu měřicí stanice byly uvažovány nároky na její maximální velikost. Ta se řídí velikostí měřeného vzorku, vzdáleností fotoaparátů s daným zorným úhlem při zvolené ohniskové vzdálenosti. Z důvodu úspory prostoru byla volena nejkratší dostupná ohnisková vzdálenost daného objektivu f18 mm. Z velikosti měřeného vzorku byla určena požadovaná velikost zorného pole v horizontálním směru zx o_pož 720 mm a vypočtena minimální potřebná vzdálenost obrazové roviny D min : DD mmmmmm = zzzz oo_pppp ž FF FF = 18 = 563 mmmm ssss oo 22,3 kde: D min (mm) - minimální potřebná obrazové roviny od měřeného vzorku f (mm) - zvolené ohnisko sx o (mm) - velikost čipu v horizontálním směru z Xo_pož (mm) - požadovaná velikost zorného pole v horizontálním směru Měřicí stanice byla vyrobena s rameny o délce 400x400 mm, vzdálenost obrazové roviny od měřeného objektu D = 570 mm. Zorné pole je při F18 v této vzdálenosti 486x728 mm 2. Teoreticky dosažitelná přesnost pro skutečnou velikost zorného pole a rozlišení fotoaparátů bude porovnána se skutečně dosaženou přesností po kalibraci systému: PP vv_dddddddd = pppp oo zzzz oo 0, = = 0,1533 mmmm 0,15 mmmm ssss oo 14,9 PP h_dddddddd = pppp oo zzzz oo 0, = = 0,1531 mmmm 0,15 mmmm ssss oo 22,3 kde: py o_dexp (mm) - velikost pixelu ve vertikálním směru ve vzdálenosti D exp px o_dexp (mm) - velikost pixelu v horizontálním směru ve vzdálenosti D exp py o (μm) - velikost pixelu ve vertikálním směru p Xo (μm) - velikost pixelu v horizontálním směru sy o (mm) - velikost čipu ve vertikálním směru sx o (mm) - velikost čipu v horizontálním směru zy o (mm) -velikost zorného pole ve vertikálním směru zx o (mm) - velikost zorného pole v horizontálním směru Pro reálné podmínky musí být voleny průmyslové kamery, které jsou teplotně odolnější, robustnější konstrukce, monochromatické, bez zabudovaného IR filtru. Průmyslové kamery s vysokým rozlišením používají čipy Kodak KAI. V současné 37

93 SOUČASNÝ STAV ŘEŠENÍ době je čipem s nejvyšším rozlišením v této řadě čip KAI s 28,8 Mpix. Například průmyslové monochromatické kamery JAI AM-1600 GE 12, nebo Allied Vision Technology Pike F s čipem Kodak KAI mají rozlišení 16 Mpix (4872x3248 pixelů, velikost pixelu 7,4 7,4 µm). Mohou pracovat při teplotách -5 C až 45 C. Obr. 6-8: Průmyslová monochromatická kamera AM-1600 GE s rozlišením pixelů od společnosti JAI. Obr. 6-9: Průmyslová monochromatická kamera Pike F-1600 s rozlišením pixelů od společnosti Allied Vision Technology. 6.3 Návrh a realizace kalibrace Byla zvolena metrická kalibrace (viz kap ). Postup při kalibraci je možné rozdělit do dvou základních bodů: snímkování, zpracování. Snímkování Před samotným snímkováním je třeba zvolit vhodné kalibrační pole podle vzdálenosti snímkování a typu objektivu. Při měření výkovků v reálných podmínkách by musela být provedena kalibrace na vzdálenost 10 m. Je tedy nutné zvolit takové kalibrační pole, které je možné použít i pro velké rozměry zorného pole. Proto byl zvolen jako základní kalibrační prvek lanko s pravidelně rozloženými ryskami s roztečí 50 mm v horizontálním směru (osa x). Ve scéně byly také umístěny měrky ve zbývajících dvou směrech (v ose y a z). Orientace fotoaparátů byla zvolena tak, aby střed obrazové roviny ležel přibližně na značce ve středu scény. Scéna byla snímkována vždy jednou kamerou pouze z jednoho úhlu. Pole v ose x sloužilo k určení radiálního zkreslení obrazu (viz. kap ), měrky v ose y a z, sloužily k určení orientace obrazové roviny. 11 CCD čipy Kodak KAI, viz 12 monochromatická kamera JAI AM-1600 GE, viz 13 Allied Vision Technology Pike F-1600, viz 38

94 SOUČASNÝ STAV ŘEŠENÍ Obr. 6-10: Snímek pro kalibraci s kalibračními měrkami a obrazovým souřadným systémem. Zobrazená mřížka kopíruje deformaci obrazu způsobenou radiálním zkreslením. Zpracování Nejdříve byla určena deformace obrazu radiální zkreslením. Ostatní komponenty nelineárního zkreslení (tangential, thin prism) nebyly řešeny z důvodu jejich zanedbatelného vlivu na přesnost. Střed obrazové roviny byl přiřazen středové značce na lanku. Dále byl určen počet pixelů mezi jednotlivými značkami v horizontálním směru a srovnán s reálnou roztečí značek. Odchylky způsobené radiálním zkreslením jsou patrné z tabulky 1. - počet pixelů mezi jednotlivými značkami Δpx klesá s rostoucí vzdáleností od optické osy. Na obr. 6-5 je zobrazena mřížka odpovídající radiálnímu zkreslení obrazu. Z tabulky je také patrné, že v blízkosti optické osy odpovídá velikost pixelu teoretické vypočtené hodnotě. Tab. 1: Vyhodnocení odchylek způsobených radiálním zkreslením: mm skutečná poloha značek v (mm), Δpx počet pixelů mezi jednotlivými značkami, Δmm - skutečná rozteč značek v (mm), Δmm/Δpx velikost pixelu mezi jednotlivými značkami v (mm). Kalibrace kamera A Kalibrace kamera B Jednotky / značka px mm Δpx Δmm Δmm/Δpx px mm Δpx Δmm Δmm/Δpx Č , , Č , , , ,1534 Č , , , ,1567 Č , , , ,1572 Č , , , ,1582 Č , , , ,1634 Č , , , ,1634 Č , , , ,

95 SOUČASNÝ STAV ŘEŠENÍ Dalším krokem byla vnitřní kalibrace lineárních parametrů zobrazovacího systému, tj. výpočet polohy a orientace obrazové roviny. V obraze byla odečtena velikost některých prvků scény s kalibračním lankem - viz obr. 6-6 a tab. 2. Obr. 6-11: Schéma geometrie systému v rovině zx (z O x O ). Červeně je značen obrazový souřadný systém, modře objektový. Tab. 2: Velikost některých prvků scény odečtená ze snímků. kamera A kamera B L (mm) 55,3 53,5 Průmět středu stolu v optických rovinách M (mm) 87,0 82,0 Průmět středové značky kalibračního lanka na stole H (mm) 86,0 86,0 Výška lanka nad stolem v klidu Ze známých rozměrů ve scéně byl dopočítán úhel α natočení obrazové osy z o od objektové osy z a další pomocné úhly ve scéně: αα = aaaaaaaaaaaa HH 180 (LL ssssssss) 180 ββ = aaaaaaaaaaaa MM ππ (HH LL cccccccc) ππ αα AA = aaaaaaaaaaaa ππ 44,67 ββ (55,3 ssssss 44,67) 180 AA = 86,0 55,3 cccccc 44,67 ππ 39,79 αα BB = aaaaaaaaaaaa ππ 46,36 ββ (53,5 ssssss 46,36) 180 BB = 86,0 53,5 cccccc 46,36 ππ 38,27 γγ = 90 αα ββ γγ AA = 90 44,67 39,79 = 5,54 γγ BB = 90 39,79 38,27 = 5,37 40

96 SOUČASNÝ STAV ŘEŠENÍ Tab. 3: Výsledky výpočtů základních úhlů geometrie systému v rovině zx. Jednotky/ úhel Kamera A Kamera B (rad) (deg) (rad) (deg) popis α 0,78 44,67 0,81 46,36 sklon osy z o od osy z objektového souřadného systému β 0,69 39,79 0,67 38,27 sklon osy z o od osy y objektového souřadného systému γ 0,10 5,54 0,09 5,37 úhel mezi optickou osou z o a průmětem středu stolu Vzdálenost mezi průnikem optických os a obrazovými rovinami, byla vypočítána podle vzorce (viz obr. 6-11): DD = LL tttttt ππ 2 γγ DD AA = 55,3 tttttt ππ 5,54 570,38 mmmm 2 DD BB = 53,5 tttttt ππ 5,37 569,56 mmmm 2 Kontrolní měření Na závěr bylo provedeno měření k předběžnému stanovení dosahované přesnosti. Kalibrační lanko bylo zatíženo, přičemž průhyb změřený ve směru objektové osy y byl přibližně 7,5 mm. K nastavení průhybu lanka byla využita měrka s jemnou stupnicí (viz obr. 6-12). Nicméně umístění lanka na dané rysce bylo ověřeno pouhým okem. Z toho vyplývá, že z tohoto předběžného měření nelze vyvozovat obecné závěry o přesnosti, slouží tedy pouze orientačně. Obr. 6-12: Snímek scény se zatíženým lankem. Ze snímku se zatíženým lankem byla odečtena poloha jeho průmětu do optické osy y o (viz tab. 4). Pomocí následujících vztahů byla vypočtena poloha lanka v objektové ose y a odchylka ω vypočtené hodnoty od skutečné: 41

97 SOUČASNÝ STAV ŘEŠENÍ YY oo YY vv = cos αα 5,3 YY vvvv = 7,5 mmmm cos 44,67 5,1 YY vvvv = 7,4 mmmm cos 46,36 ωω = YY YY vv ωω AA = 7,5 ( 7,45) = 0,05 0 mmmm ωω BB = 7,5 ( 7,39) = 0,11 0,1 mmmm Tab. 4: Výsledky předběžné kontroly přesnosti po kalibraci systému. Jednotky/ označení Kamera A Kamera B (mm) (mm) popis Y -7,5-7,5 skutečný průhyb lanka Y o -5,3-5,1 průmět průhybu lanka do optické osy y Y v -7,45-7,39 vypočtený průhyb lanka v objektové ose y ω 0 0,1 odchylka měření zaokrouhlená na desetiny 6.3 Návrh a realizace detekce hran Pro automatizovanou detekci hran výkovků byla s ohledem na charakter analyzovaného obrazu navržena gradientní metoda, validující jasovou hodnotu každého bodu analyzovaného řezu příčným mediánovým filtrem. Motivací pro toto řešení byla snaha o snížení chybovosti, dané vlivem impulzního šumu v obraze. Ten je zde představován zejména přítomností různých kontrolních značek a povrchových nedokonalostí na zkoumaném objektu (rýhy, okuje) a v jeho okolí. Nastavení vhodné šířky plovoucího filtračního okna a prahovacích parametrů bude podrobně popsáno v disertační práci. V současné době probíhá testování metody na snímcích zdeformované tyče. V případě selhání automatického vyhledávání je možné chybně identifikované řezy v uživatelském rozhraní programu buď vyřadit, nebo opravit manuálně. Obr. 6-13: Snímek deformované válcové tyče po automatické detekci hran. 42