3D Rekonstrukce triangulační metodou pro stereomikroskop

České vysoké učení technické v Praze Fakulta elektrotechnická ČVUT FEL katedra počítačů Diplomová práce 3D Rekonstrukce triangulační metodou pro stereomikroskop Radek Matouch Vedoucí práce: Ing. Tomáš Pajdla, PhD Studijní program: Informatika a výpočetní technika květen 2006

Poděkování Na tomto místě bych rád poděkoval především vedoucímu mé diplomové práce Ing. Tomášovi Pajdlovi PhD., bez jehož rad a času, věnovaných mi při konzultacích, by tato práce nemohla vzniknout. Dále bych rád poděkoval svému nejbližšímu okolí, především pak rodině, za podporu při studiu. i

Obsah Prohlášení... v Abstrakt... vi Zadání... vii 1. Úvod... 8 2. Stereomikroskop... 9 2.1. Historie... 9 2.2. Konstrukce... 11 3. Získání rekonstrukce... 15 3.1. Zjištění parametrů mikroskopu... 15 3.2. Zjištění přesnosti zadání bodu... 18 3.2.1. Zadání bodu pomocí kliknutí... 19 3.2.2. Zadání bodu analýzou obrazu... 20 3.3. Výpočet epipolární geometrie... 23 3.3.1. Epipolární geometrie... 24 3.3.2. Fundamentální matice... 25 3.3.3. Výpočet pro model perspektivní kamery... 26 3.3.4. Výpočet pro model afinní kamery... 32 3.3.5. Porovnání... 37 3.4. Vytvoření triangulace... 38 3.4.1. Optimální řešení... 40 3.4.2. Aplikace... 42 3.4.3. Porovnání... 44 3.5. Vytvoření rekonstrukce... 47 3.5.1. Aplikace... 48 4. Kalibrace a měření... 53 4.1. Kalibrace... 53 4.2. Měření... 54 4.3. Přesnost... 55 4.3.1. Reálný vzorek... 58 5. Závěr... 62 A. Kalibrační vzorek... 63 B. Výpočet triangulace... 65 Bibliografie... 68 ii

Seznam obrázků 2.1. Patologický mikroskop podle návrhu Johna Ware Stephensona... 9 2.2. Stereomikroskop American Optical Cycloptic... 10 2.3. Porovnání Greenoughova a CMO stereomikroskopu... 12 2.4. Keystone (lichoběžníkový) efekt... 13 2.5. Perspektivní deformace... 13 3.1. Úhel, který svírá kamera se scénou... 16 3.2. Pohled na levý a pravý obraz s vyznačením místa měření disparity... 17 3.3. Disparita, Graf závislosti disparity na výšce vzorku... 18 3.4. Histogram vzdálenosti naklikaných bodů od testovacích... 19 3.5. Rozložení vzdáleností naklikaných bodů od testovacích... 20 3.6. Náhled vzorku pro analýzu vstupních bodů... 21 3.7. Závislost polohy těžiště na velikosti prahu... 22 3.8. Epipolární rovina, epipolární přímka... 24 3.9. Levý obraz se zakreslenými epipolárami a očíslovanými body... 30 3.10. Pravý obraz se zakreslenými epipolárami a očíslovanými body... 30 3.11. Predikční odchylka bodů získaných analýzou obrazu... 31 3.12. Predikční odchylka bodů získaných "naklikáním"... 31 3.13. Perspektivní fundamentální matice... 31 3.14. Pravý obraz se zakreslenými epipolárami a očíslovanými body... 36 3.15. Levý obraz se zakreslenými epipolárami a očíslovanými body... 36 3.16. Predikční odchylka bodů získaných analýzou obrazu... 37 3.17. Predikční odchylka bodů získaných "naklikáním"... 37 3.18. Afinní fundamentální matice... 38 3.19. Perspektivní fundamentální matice... 38 3.20. Triangulace z přesných dat... 39 3.21. Triangulace z nepřesných dat... 39 3.22. Korekce triangulovaného bodu při použití afinní kamery (vstupní body získané analýzou obrazu)... 45 3.23. Korekce triangulovaného bodu při použití afinní kamery (vstupní body získané "naklikáním" bodů )... 45 3.24. Korekce triangulovaného bodu při použití perspektivní kamery (vstupní body získané analýzou obrazu)... 46 3.25. Korekce triangulovaného bodu při použití afinní kamery (vstupní body získané "naklikáním" bodů )... 46 3.26. Perspektivní kamera: zrekonstruovaný model ze 40ti bodů. Pro mapování bylo použito 5 bodů. Zrekonstruované body jsou červené, řídící body modré, body použité pro výpočet homografie zelené.... 49 iii

3D Rekonstrukce triangulační metodou pro stereomikroskop 3.27. Perspektivní kamera: zrekonstruovaný model ze 40ti bodů. Pro mapování bylo použito všech 40 bodů. Zrekonstruované body jsou červené, řídící body modré. Pro výpočet homografie byla použita metoda nejmenších čtverců.... 49 3.28. Perspektivní kamera: odchylka zrekonstruovaných bodů od řídících. Zeleně je zobrazena odchylka pro výpočet homografie z pěti bodů, modře pro výpočet homografie metodou nejmenších čtverců.... 50 3.29. Afinní kamera: zrekonstruovaný model ze 40ti bodů. Pro mapování bylo použito 5 bodů. Zrekonstruované body jsou červené, řídící body modré, body použité pro výpočet homografie zelené.... 51 3.30. Afinní kamera: zrekonstruovaný model ze 40ti bodů. Pro mapování bylo použito všech 40 bodů. Zrekonstruované body jsou červené, řídící body modré. Pro výpočet homografie byla použita metoda nejmenších čtverců.... 51 3.31. Afinní kamera: odchylka zrekonstruovaných bodů od řídících. Zeleně je zobrazena odchylka pro výpočet homografie z pěti bodů, modře pro výpočet homografie metodou nejmenších čtverců.... 52 4.1. Nejistota při chybném zadání bodu v prostoru... 56 4.2. Rekonstrukce bodu s náhodnou odchylkou. Červené body jsou vygenerované, modrý bod je referenční.... 57 4.3. Odchylka náhodného zrekonstruovaného bodu od referenčního bodu. Modře je znázorněna odchylka v metrické rekonstrukci, zeleně odchylka bodu v obraze v pixelech.... 57 4.4. Testovací vzorek, kalibrační sklíčko se sklonem 45... 58 4.5. Značení na kalibračním sklíčku... 58 4.6. Metrická rekonstrukce testovacího vzorku... 59 4.7. Korekce bodů po triangulaci... 59 4.8. Odchylky vzdáleností mezi jednotlivými body... 60 4.9. Odchylky v jednotlivých osách... 61 4.10. Odchylka v rovině xy... 61 A.1. Nákres kalibračního vzorku s vyznačenými kalibračními body... 63 A.2. Náhled kalibračního vzorku při pohledu z levé kamery. Očíslované body odpovídají číslům bodů v grafech, pokud je tak uvedeno.... 64 iv

Prohlášení Prohlašuji, že jsem svou diplomovou práci vypracoval samostatně a použil jsem pouze podklady (literaturu, projekty, SW atd.) uvedené v přiloženém seznamu. Nemám závažný důvod proti užití tohoto školního díla ve smyslu 60 Zákona č.121/2000 Sb., o právu autorském, o právech souvisejících s právem autorským a o změně některých zákonů (autorský zákon). V Praze dne...... podpis v

Abstrakt Tato diplomová práce se zabývá problematikou měření hloubky v páru obrazů pořízených ze stereomikroskopu. První část se zabývá historií stereomikroskopů a hlubším seznámením s problematikou. Je zde podrobně popsána konstrukce stereomikroskopu a omezení z ní vyplývající. Druhá část popisuje postup kalibrace stereomikroskopických snímků a ukazuje implementaci daného postupu v programu MATLAB. V poslední části je navržen postup pro měření hloubky a je zde diskutována přesnost měření při použití daného postupu. Abstract This diploma thesis describes the procedure needed to measure depth in a pair of stereomicroscopic images. The first part concerns the history of stereomicroscopes and deeper analysis of the problem. A stereomicroscope construction and constraints rising from the structure are described here. In the second part the calibration of stereomicroscopic images is explained. In this part there is also included an implementation of the procedure in MATLAB programming language. The last part includes the procedure recommended for the measurement in a pair of stereomicrospic images and the closure with discussion about measurement precision. vi

Zadání 3D Rekonstrukce triangulační metodou pro stereomikroskop 1. Seznamte se s triangulační metodou rekonstrukce hloubky. 2. Navrhněte a demonstrujte metodu předzpracování mikroskopických snímků pro triangulační rekonstrukci. 3. Navrhněte kalibrační postup pro stereomikroskop a demonstrujte jeho funkci. 4. Demonstrujte funkci triangulační metody na kalibrovaných snímcích ze stereomikroskopu a vyhodnoťte přesnost měření. vii

Kapitola 1. Úvod Jedna z potřeb mikroskopie byla kromě zobrazení daného vzorku ve velikém zvětšení i zjištění jeho přesných rozměrů. Tento problém byl v době nedávno minulé řešitelný pouze pomocí různých průsvitových zobrazovacích zařízeních, případně pomocí pohyblivých stolků s přesným odečtem polohy. S nástupem digitální fotografie a společně s tím i vývojem kamer s digitálním záznamem obrazu se naskytla možnost použít propojení počítače s digitální kamerou připevněnou k mikroskopu. Měření na obrazovce počítače je v dnešní době již běžnou záležitostí a nachází uplatnění ve veliké šíři oborů. Problémem, kterým se zabývá tato diplomová práce, je měření v obraze ze stereomikroskopu, tedy z mikroskopu opatřeného dvěma optickými osami. Stereomikroskop díky své konstrukci umožňuje zobrazit do každého oka obraz vzorku pod jiným úhlem a tedy dokáže poskytnout přesnou představu o trojrozměrném vzhledu vzorku. Díky této vlastnosti se nabízí otázka, je-li možné zrekonstruovat trojrozměrnou strukturu v počítači a následně v ní měřit běžné veličiny. Měření pomocí běžného mikroskopu s jednou optickou osou se omezuje pouze na měření v rovině kolmé na optickou osu. Stereomikroskop přidává možnost měření hloubky, které je důležité při určování různých hloubek vrypů, děr apod. Přestože existuje mnoho aplikací pracujících s obrazem ze dvou kamer a následnou rekonstrukcí, nebyl v současné době na trhu produkt, který by pokrýval oblast měření v obraze ze stereomikroskopu. V následujících kapitole se budu věnovat přesnému vymezení problému a popisem konstrukce stereomikroskopu. Ve třetí kapitole popíšu řešení problému a v závěru shrnu dosažené výsledky. 8

Kapitola 2. Stereomikroskop Stereomikroskop je zařízení sloužící k pozorování vzorku s různým zvětšením v trojrozměrném pohledu. K tomu využívá dvě oddělené optické cesty, kdy každá cesta má svůj vlastní objektiv a okulár. Tyto dvě cesty spolu svírají úhel podobný úhlu mezi očima člověka při zaostření na předmět 25cm vzdálený. Mezi hlavní rysy stereomikroskopu patří vysoká pracovní vzdálenost a velká hloubka ostrosti. Tyto vlastnosti ale negativně ovlivňují možné zvětšení, které je ve srovnání s běžnými mikroskopy řádově desetkrát nižší. Platí, že čím vyšší zvětšení, tím nižší hloubka ostrosti. Stereomikroskopy jsou běžně používány ke studiu povrchů materiálů, k mikromanipulaci s přesnými vzorky apod. 2.1. Historie Podle [6] byl první mikroskop se dvěma okuláry vyroben ve Francii v roce 1671 otcem Cherubinem d'orleans. Nejednalo se však a pravý stereomikroskop, trojrozměrný efekt byl docílen pouze přidáním několika čoček. Hlavní nevýhodou tohoto designu bylo překřížené a obrácené promítaní obrazu, tedy obraz z levé strany byl promítán do pravého oka a obráceně. To způsobovalo, že obraz vystouplého předmětu vypadal dutě a naopak. Teprve o 150 let později sepsal Sir Charles Wheatstone (viz [7]) pojednání o binokulárním vidění a následně sestrojil i svůj vlastní stereomikroskop. Ukázal, že trojrozměrný dojem je vyvolán kombinací dvou oddělených obrazů jednoho objektu, které jsou zachyceny očima, v každém pod jiným úhlem. Tento výzkum vyvolal vlnu zájmu o stereomikroskopy a v polovině devatenáctého století Francis Herbert Wenham sestrojil první opravdový stereomikroskop. Použil konstrukci s jedním objektivem, na jehož konci byl obraz pomocí achromatického hranolu dělen do dvou okulárů. O několik let později sestrojil John Ware Stephenson podobný mikroskop.(viz obr.2.1). Obrázek 2.1. Patologický mikroskop podle návrhu Johna Ware Stephensona 9

Stereomikroskop Na konci devatenáctého století představil Horatio S. Greenough nový design, který se stal praotcem dnešních stereomikroskopů. Mikroskop podle tohoto návrhu poprvé vyrobila společnost Carl Zeiss Company ovšem s tím rozdílem, že místo použití soustavy čoček použili soustavu invertujících hranolů. Tento návrh byl natolik úspěšný, že jeho aplikace najdeme dodnes a stále má své příznivce. Stereomikroskopy vyrobené v první půlce dvacátého století měly podobné vlastnosti jako tehdejší běžné mikroskopy. Byly mosazné, pro trojrozměrný dojem používaly hranoly a pro zvětšení jednoduchý systém čoček. Pracovní vzdálenost byla nepřímo závislá na zvětšení a při velkých zvětšeních téměř nepoužitelná. Tyto mikroskopy byly většinou používány v patologii, protože v té době nebyla potřebná inspekce malých zařízení např. v průmyslové oblasti. Podle [5] byl první moderní stereomikroskop představen Americkou Optickou Společností ve Spojených státech v roce 1957. Byl pojmenován Cycloptic a představoval průlom v designu. Dosud používanou mosaz nahradil hliník, mikroskop měl konstantní pracovní vzdálenost a podporoval změnu zvětšení od 0.7x do 2,5x v pěti krocích. Bylo k němu dodáváno množství příslušenství včetně osvětlovačů, mikromanipulátorů, stolků apod. Jméno mikroskopu bylo navrženo podle širokého centrálního objektivu. (viz obr. 2.2). Obrázek 2.2. Stereomikroskop American Optical Cycloptic Tento design byl poté přejmenován na Společný Hlavní Objektiv (Common Main Objective - CMO) podle jediného velikého objektivu, který při zaostření na vzorek vytváří obraz v nekonečnu. Na rozdíl od tehdy běžných mikroskopů bylo použito rotačního bubnu, který obsahoval dva páry afokálních teleskopů Galileovského typu. Při otáčení bubnem byly čočky teleskopu použity v obou směrech (jak zvětšujícím, tak zmenšujícím) tak, aby dosáhly čtyřech různých zvětšení. Páté zvětšení vzniklo při prázdném průchodu bubnem, kdy žádná z čoček nebyla zapojena. Galileovské systémy 10

Stereomikroskop čoček mají výhodu v nízké ohniskové vzdálenosti, malém poloměru zorného pole a zřídka mívají zvětšení větší než 2x. V závislosti na orientaci poskytuje Galileovská čočka buď dvojnásobné nebo poloviční zvětšení (2x nebo ½x). Dále mikroskop obsahoval rozdělovací hranol a dva okuláry. Tento typ mikroskopu byl velice populární u prvních výrobců polovodičových součástek. Dnešní stereomikroskopy používají objektivy s vysokou numerickou aperturou, které vytvářejí vysoce kontrastní obrázky s minimem odrazů a geometrických deformací. Běžně používaná zvětšení se pohybují od 0.5x až 15x, takže rozsah celkových zvětšení je od 2x do 540x. Kvůli stále se zvětšující době strávené při práci s mikroskopem se při konstrukci dbá i na ergonomický aspekt. Lidské oko a mozek fungují dohromady a vytváří to, čemu se říká stereoskopické vidění, které poskytuje prostorové, trojrozměrné obrazy věcí okolo nás. Tento dojem vytváří mozek při zpracování dvou, lehce odlišných obrazů z obou sítnic. Průměrná vzdálenost lidských očí je přibližně 6.5cm a každé oko sleduje daný předmět pod lehce odlišným úhlem. Po přenesení do mozku jsou obrazy smíchány, ale stále si udržují vysoký stupeň možnosti vnímání hloubky. Toho využívá i stereomikroskop při vytváření dojmu hloubky, když přenáší obrazy odkloněné o malý úhel (10º až 12º). 2.2. Konstrukce V některých stereomikroskopických systémech jsou pro vytváření obrazu využívány dvě kompletně odlišné optické osy sestávající se z objektivu, systému čoček a okuláru. Jiné systémy používají společný objektiv sdílený dvěma optickými kanály. Dva rozdílné obrazy, odlišné pouze o malý úhel, jsou promítány na sítnici, odkud jsou přeneseny do mozku pro zpracování. Výsledek je jeden trojrozměrný obraz vzorku, jehož rozlišení je omezené pouze parametry optické soustavy a hustotou nervových zakončení v sítnici, podobně jako zrnitost filmu nebo počet pixelů CCD kamery. Stereomikroskopy mohou být rozděleny do dvou základních kategorií. Každá má své výhody a nevýhody. Nejstarší stereomikroskopický systém, pojmenovaný podle svého vynálezce Greenoughův, používá k vytvoření stereoefektu dvě oddělené optické cesty. Novější systém, nazvaný systém se společným hlavním objektivem (CMO), používá jeden veliký objektiv, který je sdílen dvěma okuláry. Obě dvě konstrukce mohou být vybaveny systémem čoček pro jak plynulou, tak krokovou změnu zvětšení. Následující odstavce porovnávají rozdíly mezi oběma typy mikroskopů. Greenoughův design, představený na přelomu století Carlem Zeissem, se skládá ze dvou identických a symetrických optických systémů obsahujících objektiv a okulár, které jsou dohromady uloženy v těle mikroskopu (viz obr. 2.3). Hlavní výhoda tohoto návrhu je možnost dosažení vysokých numerických apertur, protože objektivy zde použité jsou podobné objektivům používaným 11

Stereomikroskop v běžných stolních mikroskopech. Typicky je spodní část trubice obsahující objektiv zúžená. Horní část zobrazuje obrazy do pozorovatelova oka pomocí běžných okulárů. Velikost, zaostření, otočení i vystředění obou obrazů se nesmí lišit, protože jinak by byl trojrozměrný dojem nevnímatelný. Jediná vlastnost, která se u obou obrazů liší, je úhel pohledu pod kterým je scéna zobrazována na sítnici. Kvůli konvergenčnímu úhlu, v moderních mikroskopech 10º až 12º, vidí levé oko vzorek z levé strany, zatímco pravé oko jej vidí z pravé strany. Po průchodu objektivem je obraz zrcadlově obrácen a otočen o 180º. K tomu, aby se do pozorovatelova oka dostal správný obraz, takový jak předmět vypadá ve skutečnosti, slouží dvojice hranolů, které provádí inverzi (zpětné zrcadlení) a rotaci o 180º. U některých konstrukcí bývají zařazeny dodatečné hranoly, které umožňují nastavit vzdálenost pozorovatelových očí od sebe. Kvalita obrazu je symetrická kolem středu, protože podobně jako u stolních mikroskopů, procházejí paprsky středem systému čoček. Optická korekce je proveditelná snadněji než u modelů se společným objektivem především proto, že čočky jsou malé, axiálně symetrické a nezávisí na paprscích procházejících okrajem objektivu. Obrázek 2.3. Porovnání Greenoughova a CMO stereomikroskopu Greenoughův design přináší ovšem nechtěný artefakt, který je způsoben šikmým odkloněním každé trubice s optickými prvky od hlavní (vertikální) osy. Tomuto jevu se říká Keystone efekt (lichoběžníkový efekt, viz obr. 2.4). Projevuje se tím, že oblast v levé části pravého obrazu vypadá menší než stejná oblast v pravé části. To samé platí obráceně pro levý obraz. Tento efekt vzniká z toho důvodu, že oba vzniklé obrazy jsou nakloněny vzhledem k rovině vzorku a jeden k druhému. To znamená, že při stejném zvětšení je přesně ostrý pouze střed obrazu. Části obrazu blíže k hlavní ose jsou zaostřené výše, části dále od hlavní osy jsou zaostřené níže. Při pozorování prostým okem je tato vlastnost téměř neznatelná a může mít za následek zrychlení únavy očí. 12

Stereomikroskop Obrázek 2.4. Keystone (lichoběžníkový) efekt Malá změna rozlišení a ostrosti v zorném poli je však dobře pozorovatelná při pořízení fotografie nebo při digitálním záznamu pouze jednoho obrazu. Tento efekt je patrný obzvlášť, pokud je zkoumaný objekt rovný a pravoúhlý. V mikrofotografii se tato distorze řeší buď náklonem vzorku nebo optické osy tak, aby byla optická osa na rovinu vzorku kolmá (v praxi 5º až 6º). Design se společným hlavním objektivem (CMO) se zaměřuje na využití jednoho objektivu s velkým poloměrem. Oba optické kanály procházejí přes tento objektiv (viz obr. 2.3). Každý optický kanál funguje jako nezávislá optická cesta rovnoběžná s druhou (proto se těmto mikroskopům někdy říká paralelní stereomikroskopy) a světlo prochází rovnoběžně skrz objektiv a obě optické cesty (obraz je zobrazován do nekonečna, infinite optika). Tato konstrukce zajišťuje, že se obě optické osy protínají s rovinou vzorku přesně v ohnisku. Protože rovnoběžnost je zachována až do okulárů, je konvergence obou obrazů velice malá nebo vůbec žádná. Hlavní výhodou konstrukce se společným objektivem je, že optická osa objektivu je kolmá na rovinu vzorku a obraz není v ohniskové rovině nakloněn. Při použití tohoto designu ovšem dochází k deformaci způsobené absencí konvergence. Tato deformace je vyvolaná nezvyklostí mozku interpretovat trojrozměrné obrazy bez konvergence. Při pohledu přes tento typ mikroskopů se střední části vzorku zdají být vyvýšené tak, že rovný vzorek má vypuklý tvar (viz obr. 2.5). Například mince se zdá mít tvar čočky. Tento artefakt se nazývá perspektivní distorze. Pokud mikroskop není používán k určování rovnosti povrchu nebo výšky, tak nemá tento efekt výrazný vliv na pozorování. Vzorky, které mají složitější strukturu tímto efektem netrpí. Obrázek 2.5. Perspektivní deformace 13

Stereomikroskop Mezi další artefakty, které se vyskytují u designu se společným objektivem, patří astigmatismus, kóma a laterální chromatická aberace. Tyto artefakty jsou především důsledkem průchodu paprsků krajem objektivu místo jeho středem, kde jsou tyto deformace téměř nulové. Tyto efekty jsou lidským okem téměř nepozorovatelné, ale při použití digitální techniky je možné, že dojde ke změně geometrie scény. Největší praktickou výhodou tohoto designu je, stejně jako u moderních mikroskopů, použití tzv. infinite optiky. Ta způsobuje, že po celé cestě mezi objektivem a okulárem cestuje světlo pomocí rovnoběžných paprsků. To umožňuje zařazovat do této cesty další prvky jako jsou například děliče paprsků. Většinou se tyto prvky umísťují mezi ovládání zvětšení a okulár. Nejdůležitější je, že tyto přidané prvky neovlivňují posun nebo distorzi obrazu, právě díky infinite optice. Greenoughův design tuto vlastnost nemá. Je těžké určit, který z těchto dvou designů je lepší, protože ve stereomikroskopii neexistují daná kritéria určování kvality. Systémy se společným objektivem mají lepší světelnost kvůli velkému objektivu a většinou poskytují lepší opravu optické aberace. CMO systémy jsou především vhodné pro mikrofotografii, ale záleží na rozhodnutí každého, ke kterému designu se přikloní. Většinou záleží na konkrétní aplikaci, kde se bude stereomikroskop používat. Greenougovy mikroskopy se používají v aplikacích jako je pájení miniaturních elektronických součástek, pitvání biologických vzorků a podobné rutinní úlohy. Tyto mikroskopy jsou relativně levné, malé a lehké. Snadno se udržují a používají. Systémy se společným objektivem se používají v aplikacích, kdy je potřebné velké optické rozlišení a vysoká světelnost. Systém, na kterém jsou prováděny veškeré další experimenty je stereomikroskopický systém OLYMPUS SZX-7 (viz [4]) s binokulárem a rozbočovačem. Tento systém má konstrukci se společným hlavním objektivem a infinite optikou. V rozbočovači je každá optická cesta rozdělena na dvě, přičemž jedna ústí do okuláru a druhá do CCD kamery. Na stereomikroskopu je dále připevněn binokulár pro přímé sledování vzorku a dvě CCD kamery pro přenos do počítače. 14

Kapitola 3. Získání rekonstrukce K tomu, aby bylo možné měřit veličiny v obraze, je nejprve nutné nějakým způsobem převést data reprezentovaná pixely obrazu do formy trojrozměrného modelu. V tomto modelu je pak již možné běžnými postupy analytické geometrie měřit různé veličiny. Tato kapitola se zabývá všemi kroky potřebnými k vytvoření takového modelu. Předtím, než je možné přistoupit k výpočtu, je potřeba se zeptat, jakým způsobem vlastně kamera zobrazuje obraz z mikroskopu. Tato informace společně se znalostí konstrukce mikroskopu a jeho parametrů umožní rozhodnout, jak složitý výpočet zvolit. Dalším krokem k úspěšné rekonstrukci je převod obrazových dat (pixelů) do dat vztažených k scéně. To znamená určit odpovídající páry bodů v jednotlivých obrazech. Přesnost tohoto převodu je kritickým faktorem v následné rekonstrukci. Každý bod v jednom obraze má vztah k jinému bodu v druhém obraze. Tento vztah popisuje epipolární geometrie, která je definována tzv. fundamentální maticí. Principem výpočtu fundamentální matice a diskuzí o vhodnosti jednotlivých modelů se věnuje další část této kapitoly. Po vypočítání fundamentální matice je možné přistoupit k samotné rekonstrukci trojrozměrné scény. Tímto problémem se zabývají předposlední dvě části této kapitoly. Poslední část nabízí diskuzi k výsledkům a návrhy ke zlepšení jednotlivých postupů. Každá část je doplněna o výpis zajímavých částí implementace. K ověření jednotlivých algoritmů je použito prostředí MATLAB verze 7.0. K implementaci celého demonstračního programu pak Borland Delphi 7.0 s podporou knihovny MtxVec. 3.1. Zjištění parametrů mikroskopu Pro správné určení metody výpočtu rekonstrukce je potřeba se nejdřív pozastavit nad tím, jak parametry mikroskopu a použitých CCD kamer mohou ovlivnit zjednodušení výpočtu. Mezi nejdůležitější parametry mikroskopu patří jeho pracovní vzdálenost a hloubka ostrosti. Platí, že čím větší zvětšení mikroskopu, tím menší hloubka ostrosti. Pro účel rekonstrukce je žádoucí, aby tato hloubka byla co největší. Čím je větší zorné pole ve všech směrech, tím je větší přesnost určení výsledného bodu. Určení této hloubky bylo provedeno experimentálně, protože výrobce neposkytuje tento údaj ve svých specifikacích. Pro určení hloubky ostrosti jsem použil dvě kalibrační sklíčka v různých vzdálenostech nad sebou a zjišťoval jsem, při které vzdálenosti je údaj na obou sklíčkách čitelný. 15

Získání rekonstrukce Z tohoto experimentu vychází maximální použitelná hloubka ostrosti 5mm. Tato hodnota bude dále potřebná k návrhu a sestavení kalibračního vzorku. U toho bude nutné zajistit, aby pokrýval co největší část zorného pole ve všech směrech. Další parametr, vztahující se k mikroskopu je úhel, který svírají připojené kamery. Opět platí, že čím větší úhel, tím je rekonstrukce přesnější a naopak. V případě stereomikroskopu je úhel svíraný kamerami podobný úhlu, který svírají lidské oči. Ten je při zaostření na předmět vzdálený 40cm a průměrnou vzájemnou vzdáleností očí 6cm přibližně 8. Před experimentem byla tedy stanoven předpokládaný úhel mezi 6 až 12. Princip experimentu spočíval v nalezení velikosti posunu v obraze mezi dvěma polohami v ose kolmé na rovinu stolku mikroskopu. Pro přibližné určení tohoto posunu jsem sestrojil vzorek sestávající se ze dvou k sobě přichycených kalibračních sklíček ve vzdálenosti 5mm. Poté jsem zaostřil mikroskop na spodní sklíčko a odečetl jsem pracovní vzdálenost. Poté jsem pokračoval v ostření na vyšší hladiny vzorku při kroku 1mm. Z rozdílu šířky maximálního a minimálního zorného pole a z rozdílu výšky maximální a minimální vzdálenosti jsem pomocí podobnosti trojúhelníků zjistil, že úhel, pod kterým kamera sleduje scénu je přibližně 6. Tento úhel je však vzhledem k pozici kamery a k úhlu záběru úhlem maximálním (viz.3.1). A tedy úhel, který svírají kamery mezi sebou je také 6. α α = 6.16 α = 6 186,7mm 186,7mm 14mm α 20mm 1,5mm 20mm Obrázek 3.1. Úhel, který svírá kamera se scénou Z pořízených fotografií je také jasně patrné, že velikost zorného pole při rozlišení fotografií 1024 pixelů na šířku činí přibližně 22mm. 16

Získání rekonstrukce Poslední parametr, důležitý pro rozhodování o použité metodě a pro vytvoření přesnosti měření je disparita kamer. Tento parametr říká, jakou měrou se projeví posun ve směru kolmém na rovinu vzorku na posunu v obraze. Je definována jako rozdíl horizontálních složek vzdáleností obrazů na stínítku. Závisí na úhlu svíraném kamerami a na vzdálenosti pozorovaných objektů. Obrázek 3.2. Pohled na levý a pravý obraz s vyznačením místa měření disparity Princip experimentu spočívá v sestrojení vzorku o známé výšce, na kterém jsou dva jasně identifikovatelné body, případně linie, každý v rozdílné výšce. Tyto body, případně linie, jsou zobrazeny do obou snímků. Disparita je pak určena jako rozdíl horizontálních vzdáleností obou bodů, linií, v obou obrazech (viz obr. 3.2). Podíl disparity a rozdílu výšek obou bodů dává informaci, kolik pixelů reprezentuje jednotkovou vzdálenost v ose kolmé na rovinu vzorku. V našem případě vychází 5 px.mm -1 (viz graf 3.3). To znamená že odchylka způsobená nepřesností zadání o 1 pixel může vést k chybě určení polohy v ose kolmé na rovinu vzorku až jeden milimetr. 17

Získání rekonstrukce Obrázek 3.3. Disparita, Graf závislosti disparity na výšce vzorku Sledované parametry naznačily, že pro rekonstrukci bude pravděpodobně možné použít oba dva modely kamer. Tedy jak konečnou, perspektivní kameru, tak i nekonečnou, afinní kameru. Pro afinní kameru mluví vcelku vysoký poměr šířky zorného pole ku délce optické cesty, který činí asi 0,01 a hloubka ostrosti přibližně 5mm. To znamená, že paprsky jsou v hloubce ostrosti téměř rovnoběžné. Předpoklady o použití pouze jednoho typu kamery se tedy ukázaly špatné. Další postup je tedy třeba prozkoumat pro oba typy. O vhodnosti jednoho nebo druhého se rozhodne až podle výsledků z konečného porovnání rekonstrukce s původním vzorkem. Dá se však očekávat, že perspektivní kamera poskytne lepší výsledky nežli afinní, ovšem za cenu vyšší složitosti algoritmu počítání. Afinní kamera naopak může nabídnout jednoduchost implementace. 3.2. Zjištění přesnosti zadání bodu Faktor, který může velice ovlivnit celkovou přesnost rekonstrukce a následného měření v této rekonstrukci, je přesnost určení bodu jak pro vytvoření kalibrace, tak i pro samotné měření. Jak bylo již zjištěno dříve, tento faktor velice silně ovlivňuje měření především v ose kolmé na rovinu vzorku. Metody uživatelského vstupu a zadávání bodů lze rozdělit do dvou kategorií: 1. určení bodu kliknutím do obrazu 2. určení bodu analýzou obrazu První metoda vyniká jednoduchou implementací, ale neposkytuje přesné opakovatelné výsledky. Druhá metoda umožňuje určit v daném obraze podobné vzory a z nich jednoznačně a opakovatelně odvodit bod, ovšem za cenu náročnější implementace a času potřebného na zpracování. 18

Získání rekonstrukce 3.2.1. Zadání bodu pomocí kliknutí Pro určení přesnosti zadání pomocí kliknutí do obrázku jsem připravil experiment, při kterém je uživatel vyzván ke kliknutí do obrazu na daný bod. Následně je spočtena vzdálenost tohoto bodu od testovacího a ze všech bodů spočtena průměrná odchylka. Podle rozložení histogramu (viz obr. 3.4) a podle předpokladu lze určit, že přesnost kliknutí na bod se řídí normálním (Gausovým) rozložením (viz [3]), kdy směrodatná odchylka má tvar s = ( 1 n n - 1 i=1 (x i - x _ ) 2 ) kde x _ = 1 n n xi i=1 Potom platí, že lze určit bod s 99,6% pravděpodobností lépe než 3σ. V tomto případě má směrodatná odchylka hodnotu σ = 1,36 a tedy s 99,6% pravděpodobností lze určit bod s přesností 4,08 pixelu. Je vidět, že tato hodnota je pro přesné zadávání bodů velice neuspokojivá. Požadovaná přesnost by se měla pohybovat okolo hranice jednoho až dvou pixelu. Obrázek 3.4. Histogram vzdálenosti naklikaných bodů od testovacích 19

Získání rekonstrukce Obrázek 3.5. Rozložení vzdáleností naklikaných bodů od testovacích 3.2.2. Zadání bodu analýzou obrazu Protože hodnoty získané formou klikání do obrazu dávají velice nepřesné výsledky, je potřeba najít jiný způsob určení polohy nějakého jevu v obraze. Mezi nejjednodušší, a přitom velice efektivní metody určení polohy objektu je zjištění jeho těžiště. Jako nejlepší objekt pro určování těžiště se jeví kruh, protože pokud dojde k poškození kruhu díky jakékoliv vadě, má tato vada malý vliv na pozici těžiště. Pro tento případ jsem sestrojil testovací vzorek, který má po celé své ploše rozmístěny kruhy o poloměru kolem 0,5 mm. Pro analýzu jsem implementoval jednoduchý program, který z daného snímku vytvoří soubor bodů se souřadnicemi těžišť. Obraz tohoto vzorku (viz obr 3.6) je analyzován následovně: 1. uživatel zadá kliknutím do obrazu přibližnou polohu bodu, který chce analyzovat 2. okolo tohoto bodu se vytvoří okno o rozměrech 100x100 pixelů (maximální průměr kruhu je 40 pixelů) 3. tento výřez se převede do šedotónového obrazu s rozsahem barev od 0 (černá) do 255 (bílá) 4. na výřez je aplikován filtr práh, který nastaví hodnotu barvy v obrázku na 0, pokud je původní hodnota nižší než práh a na 1, pokud je vyšší než práh 20

Získání rekonstrukce Tento filtr způsobí, že se z obrazu vytratí šedé plochy a různé barevné přechody a zůstanou pouze opravdu černé pixely. Pokud by nebyl tento filtr aplikován, byl by výsledek velice odlišný. 5. v odfiltrovaném obraze se sečtou souřadnice všech bodů s hodnotou 0 a součet se vydělí počtem bodů. Tato hodnota je tedy průměr všech černých bodů v ose x i y. Výsledek je nakonec součet souřadnic nalezeného těžiště (průměru) výřezu a souřadnic středu výřezu, daného kliknutím. Parametr, který určuje přesnost nalezeného těžiště, je právě práh, podle kterého je obraz rozdělen na černé a bílé body. Abych určil nejlepší hodnotu prahu, provedl jsem následující experiment. Pro daný výřez jsem sledoval o kolik se změní těžiště bodu při změně prahu. Z této závislosti jsem určil hodnotu prahu tu, která leží ve středu intervalu s nejmenší změnou polohy těžiště (viz obr 3.7). Obrázek 3.6. Náhled vzorku pro analýzu vstupních bodů 21

Získání rekonstrukce Obrázek 3.7. Závislost polohy těžiště na velikosti prahu Tímto postupem lze určit polohu těžiště testovacího objektu v obrazech s přesností na desetinu pixelu. Tento postup získání souřadnic je vhodný pro kalibraci algoritmu rekonstrukce, ovšem měření v obraze příliš nevyhovuje kvůli svým nárokům na tvar a charakter vstupních dat. To znamená vysoký kontrast mezi pozadím (bílá) a měřeným objektem (černá) a vhodný homogenní tvar (kruh). Program, který implementuje tento algoritmus se skládá z několika jednoduchých funkcí, přičemž nejdůležitější použitá funkce je: function MassCentre(inBitmap: TBitmap; Threshold: byte):tmassrealpoint; var i,j: integer; bmpscan: PRGBArray; //ukazatel na pole rgb rgb:trgbcolor; //hodnota jednoho pixelu v rgb x, //součet "černých" x-ových souřadnic y, //součet "černých" y-ových souřadnic cnt:integer; //součet "černých" bodů //funkce pro zjištění intenzity z RGB složek //řídí se psychovizuálním modelem function Intensity(Value:TRGBColor):double; begin with Value do result:=0.3 * Red + 0.59 * Green + 0.11 * Blue; end; 22

Získání rekonstrukce begin inbitmap.pixelformat := pf24bit; x:=0; y:=0; cnt:=0; for i := 0 to inbitmap.height - 1 do begin bmpscan := inbitmap.scanline[i]; for j:=0 to inbitmap.width-1 do begin rgb:=bmpscan[j]; //pokud intenzita bodu je nižší než práh //tak přičte bod do těžiště a zvedne počet //započítaných bodů if Intensity(rgb)<Threshold then begin inc(x,j); inc(y,i); inc(cnt); end; end end; //vypočítá hodnotu těžiště jako průměr všech //souřadnic "černých" bodů if cnt<>0 then begin result.x:=x/cnt+0.5; result.y:=y/cnt+0.5; end else begin result.x:=0; result.y:=0; end end; 3.3. Výpočet epipolární geometrie Tato část se zabývá výpočtem epipolární geometrie, která je klíčovým faktorem ve výpočtu rekonstrukce. Definuje vztah mezi dvěma pohledy na scénu a mezi vlastnostmi kamer. Epipolární geometrie je vnitřní projektivní geometrie mezi dvěma pohledy. Je nezávislá na struktuře scény, závisí pouze na vnitřních parametrech kamer a jejich vzájemné pozici. Fundamentální matice vyjadřuje, podle [1], tuto vnitřní geometrii. Jedná se o matici o rozměrech 3 3 s hodností 2. Pokud bod v prostoru X se zobrazí do bodu x v prvním obraze a jako x' v druhém, potom platí 23

Získání rekonstrukce x T Fx = 0 (3.1) Pokud známe parametry jednotlivých kamer a jejich vzájemné umístění, lze z nich přímo určit matici F. Dalším způsobem, který je důležitý pro náš případ měření v obraze, je vypočítat F z množiny odpovídajících bodů v obou obrazech. 3.3.1. Epipolární geometrie Epipolární geometrie mezi dvěma obrazy je geometrie průsečíku roviny obrazu s množinou rovin, které mají za osu základnu (spojnici středů jednotlivých kamer). Užití této geometrie je především motivováno hledáním odpovídajících si bodů ve dvou obrazech. Předpokládejme, že máme bod X v trojrozměrném prostoru, který se promítne do dvou bodů v obrazech. Do bodu x v prvním obraze a do bodu x' v obraze druhém. Potom tyto 3 body definují rovinu π, ve které leží i středy obou kamer, viz obr. 3.8. Potom paprsky promítnuté přes x a x' zpět do X leží v rovině π. Tato vlastnost je velice důležitá u hledání odpovídajících bodů. X X X? X? epipolární rovina - π x x' x x' C C' C e l e' C' Obrázek 3.8. Epipolární rovina, epipolární přímka Rovina π je určena základnou (spojnice středů kamer) a paprskem procházejícím přes x. Pokud leží x i x' v rovině π, tak bod x' leží na průsečíku l' roviny π s rovinou druhého obrazu. Tento průsečík se nazývá epipolární přímka odpovídající bodu x, viz obr. 3.8. Potom se lze při hledání odpovídajících bodů omezit pouze na hledání bodu na této přímce. Body v obrázku 3.8 mají následující terminologii: Epipól. V obrázku označen e a e'. Je to průsečík spojnice středů kamer s rovinou obrazu. 24

Získání rekonstrukce Epipolární rovina. V obrázku označena π. Je to každá rovina, ve které se nalézá základna. Existuje tedy nekonečné množství takových rovin. Pro každý bod v prostoru scény jedna. Epipolární přímka. V obrázku označena l'. Je to průsečík epipolární roviny s rovinou obrazu. Všechny epipolární přímky procházejí epipólem. Epipolární rovina protíná roviny obrazu v epipolárních přímkách a definuje tak jejich souvislost. 3.3.2. Fundamentální matice Fundamentální matice je algebraickou reprezentací epipolární geometrie. Podle [1] každému bodu x v prvním obraze odpovídá epipolární přímka l' ve druhém obraze a opačně bodu x' ve druhém obraze odpovídá epipolární přímka l v obraze prvním. Proto pro odpovídající body platí, že bod x leží na l a bod x' leží na l'.epipolární přímka l' je projekcí paprsku z bodu x přes střed kamery C do druhého obrazu. Tedy existuje zobrazení x l ' (3.2) z bodu v jednom obraze na odpovídající epipolární přímku v druhém obraze. Toto zobrazení je singulární korelace, která je projektivním zobrazením z bodů na přímky. Toto zobrazení je reprezentováno fundamentální maticí. Definice: Předpokládejme, že máme dva obrazy pořízené dvěma kamerami s rozdílným umístěním středů, potom fundamentální matice F je unikátní homogenní matice o rozměrech 3 3 a hodnosti 2, která splňuje rovnost x T Fx = 0 (3.3) pro všechny odpovídající body x x'. 3.3.2.1. Vlastnosti Zde jsou základní vlastnosti fundamentální matice 1. Transpozice. Pokud F je fundamentální matice páru kamer (P, P'), potom matice F T je fundamentální matice páru kamer v opačném pořadí (P', P). 25

Získání rekonstrukce 2. Epipolární přímky. Pro každý bod x v prvním obraze existuje jedna epipolární přímka l' = Fx v obraze druhém. Podobně l = F T x' je fundamentální matice páru kamer v opačném pořadí (P', P). 3. Epipól. Pro každý bod x (jiný než e) protíná epipolární přímka l' = Fx epipól e'. Proto e' splňuje e' T (Fx) = (e' T F)x =0. Z toho plyne, že e' T F=0, tedy e' je levý nulový vektor matice F. Podobně Fe=0, tedy e je pravý nulový vektor matice F. 4. Stupně volnosti. F má sedm stupňů volnosti: homogenní matice 3 3 má osm nezávislých prvků, přičemž omezení na det F = 0 ubírá jeden stupeň volnosti. 5. Korelace. F je korelace, projektivní zobrazení, které zobrazuje bod na přímku. V tomto případě bod v prvním obraze x určuje přímku l'= Fx v druhém obraze, což je epipolární přímka pro x. Pokud l a l' jsou odpovídající epipolární přímky, potom jakýkoliv bod x ležící na l je zobrazen na stejnou přímku l'. To znamená, že neexistuje inverzní zobrazení a F nemá plnou hodnost. 3.3.3. Výpočet pro model perspektivní kamery Prvním krokem k výpočtu rekonstrukce a následnému měření je vypočítání fundamentální matice. Protože analýza problému nedala přesnou představu o výhodnosti použití afinního případně perspektivního modelu kamery, je potřeba provést výpočet pro oba dva modely a následně vzájemně porovnat jejich výsledky. 3.3.3.1. Určení F z odpovídajících bodů v obrazech Fundamentální matice je definovaná rovnicí x T Fx = 0 (3.4) pro každý pár odpovídajících bodů x a x' ve dvou obrazech. Pokud máme k dispozici 7 a více bodů, lze použít rovnici 3.1 k výpočtu fundamentální matice. Pokud tuto rovnici rozepíšeme na jednotlivé koeficienty a použijeme zápisu, kde x = (x, y, 1) T a x' = (x', y', 1) T, dostaneme pro každý pár bodů rovnici x'x f 11 + x'y f 12 + x' f 13 + y'x f 21 + y'y f 22 + y' f 23 + x f 31 + y f 32 + f 33 = 0 (3.5) 26

Získání rekonstrukce Pokud f je vektor vytvořený z koeficientů matice F po řádcích, potom lze tuto rovnici vyjádřit jako (x'x, x'y, x', y'x, y'y, y', x, y, 1) f = 0 (3.6) Při použití n bodů dostáváme soustavu lineárních rovnic ve formě [ x' 1x 1 x 1 'y 1 x' 1 y' 1 x 1 y' 1 y 1 y' 1 x 1 y 1 1] 1 A f = f = 0 x' n x n x' n y n x' n y' n x n y' n y n y' n x n y n (3.7) Aby tato soustava měla řešení, musí mít matice A hodnost maximálně 8. Pokud má přesně 8, dostaneme přesně jedno řešení. Pokud se ve vstupních datech vyskytuje šum, může mít matice A hodnost 9 (protože A má 9 sloupců). V tomto případě je třeba najít řešení pomocí metody nejmenších čtverců. Pro vektor f je řešením singulární vektor odpovídající nejmenší singulární hodnotě matice A, to je poslední sloupec matice V v SVD A = UDV T. Vektor f minimalizuje Af vzhledem k podmínce f = 1. Cílem algoritmu je minimalizace vzdálenosti odpovídajícího bodu x' od epipolární přímky l'. Výše uvedený algoritmus minimalizuje rozdíl F' - F, který sice podává dobré výsledky, ale geometrická vzdálenost je nahrazena vzdáleností algebraickou. Proto je potřeba před provedením algoritmu data normalizovat. Jako nejvhodnější normalizace se ukázalo posunutí počátku souřadného systému vstupních dat do jejich těžiště a změna měřítka tak, aby průměrná vzdálenost dat od počátku byla 2. Tato normalizace přináší výrazné zlepšení v podmíněnosti a tedy i vyšší stabilitu výsledku. Výslednou fundamentální matici je nutné po singularizaci denormalizovat. Algoritmus výpočtu je potom následující: 1. Normalizace. Transformujte vstupní data tak, že x î = Tx a x ' i = T'x' i, kde T a T' jsou normalizační transformace zahrnující posun a změnu měřítka. 2. Nalezení F. Najděte fundamentální matici F ' pro odpovídající body x î x ' i : a. Lineární řešení. Vypočítejte F ze singulárního vektoru odpovídající nejmenší singulární hodnotě Â, kde  je vytvořena z odpovídajících bodů x î x ' i. b. Omezení. Nahraďte (pomocí SVD) F za F ' tak, aby platilo det F ' = 0. 27

Získání rekonstrukce 3. Denormalizace. Výsledná fundamentální matice je pak F = T' T F 'T. 3.3.3.2. Aplikace Po vypočítání všech parametrů F pomocí předešlého algoritmu je zřejmé, že hodnoty jsou zajímavé z hlediska dalšího použití. Pro vypočítání fundamentální matice jsem nejdříve vyrobil vzorek, který má po svém povrchu rozmístěny body (viz příloha A) detekovatelné algoritmem popsaným v sekci 3.2.2. Pomocí programu využívajícího tento algoritmus jsem v obou obrazech určil 39 odpovídajících bodů. Tyto body jsem následně rozdělil do dvou množin po 18 a 21 bodech. První množinu bodů jsem použil jako zdrojová data pro výpočet koeficientů fundamentální matice. Druhá množina pak sloužila jako množina predikčních bodů, na které se ověřovala přesnost výpočtu F. Obě dvě množiny bodů byly vybrány s ohledem na pokrytí pokud možno celého zorného pole. Vhodně vybraná data pro výpočet fundamentální matice mohou výsledek velice zpřesnit. Následující část kódu je příklad výpočtu perspektivní fundamentální matice v programu MATLAB. %výpočet normalizačních transformací T = normalize(x); Tc = normalize(xc); %transformace bodů x=t*x; xc=tc*xc; %sestavení matice A pro výpočet F for i = 1:length(x) A(i,:)=reshape((xc(:,i)*x(:,i)')',[1 9]); end %vypočtení F ze singulárního vektoru A [U,S,V]=svd(A); F=reshape(V(:,end),3,3)'; %singularizace clear U S V; [U,S,V]=svd(F); S(3,3)=0; Fs=U*S*V'; %denormalizace Fs = Tc'*Fs*T; 28

Získání rekonstrukce Funkce normalize vrátí transformační matici takovou, aby vyhovovala normalizačním požadavkům. Tedy přesune vstupní data do jejich těžiště a změní měřítko tak, aby průměrná vzdálenost od počátku byla 2. Funkce vypadá následovně. function [T] = normalize(x); %výpočet těžiště center = sum(x,2)/length(x); %přesun dat do těžiště xt = [x(1,:)-center(1); x(2,:)-center(2)]; %výpočet vzdálenosti od počátku xtsq = xt.^2; d =sum(sqrt(xtsq(1,:)+xtsq(2,:)))/length(xtsq); %výpočet koeficientu změny měřítka Coef = sqrt(2)/d; %translační transformace Trans = [1 0 -center(1), 0 1 -center(2), 0 0 1 ]; %transformace změny měřítka Scale= [Coef 0 0, 0 Coef 0, 0 0 1 ]; %výsledek T= Scale*Trans; return Jak zdrojová, tak i predikční množina bodů je zakreslena v originálních obrazech. Zdrojová data mají modrou barvu, predikční červenou. Do jednotlivých obrazů jsou zakreslené i epipolární přímky odpovídající predikční skupině bodů. 29

Získání rekonstrukce Obrázek 3.9. Levý obraz se zakreslenými epipolárami a očíslovanými body Obrázek 3.10. Pravý obraz se zakreslenými epipolárami a očíslovanými body Při pohledu na obrazy se zakreslenými epipolárními přímkami je vidět, že odchylka mezi epipolárními přímkami a jejich odpovídajícími body (červené body) je velice malá. Tato vzdálenost je zakreslena v grafu 3.11 a 3.12. Z těchto vzdáleností je patrné, že body položené v nižší rovině mají daleko nižší odchylku od původního bodu, než body ležící v rovině vyšší. Čísla v grafech odpovídají číslu bodu v jeho obraze. Predikční body jsou vyznačeny červeně, data použitá pro výpočet jsou označena modře. 30

Získání rekonstrukce Obrázek 3.11. Predikční odchylka bodů získaných analýzou obrazu Obrázek 3.12. Predikční odchylka bodů získaných "naklikáním" Při použití zadávání pomocí klikání do obrazu se projevila odchylka σ = 0,624 px, zatímco při použití analýzy obrazu byla odchylka nižší a to σ = 0,123. To ukazuje, že šum způsobený nevhodným zadáním má veliký vliv na přesnost vytváření matice. [ -0.0000-0.0000-0.0003 ] F S = 0.0000-0.0000 0.0597-0.0010-0.0594 1.000 Obrázek 3.13. Perspektivní fundamentální matice Celkem překvapující je zjištění, že výsledná fundamentální matice (viz 3.13) má složení koeficientů velice podobné koeficientům afinní matice. Při hlubším prozkoumání však koeficienty v submatici (1,1) až (2,2) nemají hodnotu přesně 0 (jako afinní fundamentální matice). To znamená, 31

Získání rekonstrukce že model optické soustavy má z velké části afinní charakter, ovšem stále je patrné perspektivní zkreslení. 3.3.4. Výpočet pro model afinní kamery V mnoha ohledech je epipolární geometrie dvou afinních kamer identická s dvěma perspektivními kamerami, např. bod v jednom obraze definuje epipolární přímku v obraze druhém. Rozdíl je v tom, že u afinní kamery leží střed kamery v nekonečnu a projekce scény do obrazu je paralelní, tedy paprsky procházející scénou a obrazem jsou rovnoběžné. To vede k několika zjednodušením: Epipolární přímky. Vezmeme-li dva body x 1, x 2 v prvním obraze, tak se zpětně promítají do rovnoběžných paprsků v trojrozměrném prostoru. Epipolární přímka v druhém obraze je pak obrazem zpětně promítnutého paprsku. Obrazy těchto dvou paprsků v druhém obraze jsou také rovnoběžné, protože afinní kamera mapuje rovnoběžné přímky ve scéně do rovnoběžných přímek v obraze, tedy zachovává rovnoběžnost. Následně jsou tedy všechny epipolární přímky rovnoběžné. Epipóly. Protože jsou všechny epipolární přímky rovnoběžné a protínají se v epipólu, leží epipól v nekonečnu. Fundamentální matice afinní kamery má tvar ([1]) F A = [ 0 0 a 0 0 b c d e] (3.8) a její hodnost je 2. 3.3.4.1. Určení F A z odpovídajících bodů v obrazech Fundamentální matice je definována rovnicí x' T F A x = 0 pro jakýkoliv pár odpovídajících bodů x x'. Pokud je znám dostatečný počet takovýchto bodů, lze pomocí této rovnice vypočítat neznámou matici F A. Pokud tuto rovnici rozepíšeme na jednotlivé koeficienty a použijeme zápisu, kde x = (x, y, 1) T a x' = (x', y', 1) T, dostaneme pro každý pár bodů rovnici ax' i + by' i + cx i + dy i + e = 0 (3.9) kde {a, b, c, d, e} jsou neznámé z F A. 32

Získání rekonstrukce Optimální algoritmus nalezení F A Dostaneme-li množinu n odpovídajících párů {x i x' i }, hledáme tzv. Maximum Likehood odhad (odhad s maximální věrohodností) F A s tím, že šum vzniklý při zadávání dat má Gaussovo rozdělení. Tento odhad dostaneme minimalizací funkce (cost function), která reprezentuje geometrické vzdálenosti: min d(x {F A,x i,x ' i } i, x i) 2 + d(x' i, x ' i ) 2 i (3.10) kde x i x' i jsou naměřené odpovídající body se šumem a x î a x ' i jsou odhadnuté odpovídající body vyhovující rovnici x ' i T F A x î = 0 pro odhadovanou afinní fundamentální matici. Odhadnuté body jsou pomocné proměnné, které musí být vypočítány v průběhu algoritmu. Minimalizování cost function je ekvivalentní prokládání hyperplochy přes množinu bodů X i = (x' i, y' i, x i, y i ) T v R⁴. Odhadované body Xî = (x ' i, y ' i, x î, y î ) T splňují rovnici x ' i T F A x î = 0, která může být zapsaná jako (XîT, 1)f = 0, kde f = (a, b, c, d, e) T. To je rovnice bodu v R⁴ na rovině f. Hledáme rovinu f, která minimalizuje kvadratickou vzdálenost mezi naměřenými a odhadnutými body a následně minimalizuje součet kvadratických vzdáleností k bodům X i = (x' i, y' i, x i, y i ) T. Pravoúhlá vzdálenost bodu X i = (x' i, y' i, x i, y i ) T od roviny f je, obdobně jako ve 2D, rovna: d (X i, f ) = ax' i + by' i + cx i + dy i + e a 2 + b 2 + c 2 + d 2 (3.11) Potom je matice F A, která minimalizuje 3.10 určená minimalizací funkce C = d (X i, f ) 2 = 1 a 2 + b 2 + c 2 + d 2 i i (3.12) (ax' i + by' i + cx i + dy i + e) 2 přes 5 parametrů {a, b, c, d, e}. Pokud definujeme normálu k hyperploše N = (a, b, c, d) T, potom lze napsat 33

Získání rekonstrukce C = 1 N 2 i (3.13) (N T X i + e) 2 Tuto funkci lze minimalizovat jednoduchým lineárním algoritmem ekvivalentním klasickému problému ortogonální regrese k ploše. Obsahuje dva kroky. První krok je minimalizovat C přes parametr e, takže dostáváme C e = 1 N 2 (3.14) i 2 (N T X i + e) 2 a tedy e = 1 n (N T X i ) = N T X i (3.15) Takže řešení hyperplochy prochází skrz těžiště naměřených dat. Pokud substituujeme e v minimalizační funkci dostaneme C = 1 N 2 (N T X i ) 2 kde X i = X i - X je vektor relativní k těžišti. i (3.16) Druhý krok je minimalizovat tuto redukovanou funkci přes N. Pokud definujeme A jako matici s řádky X i T, pak je zřejmé, že platí C = A N 2 N 2 (3.17) Minimalizování této funkce je ekvivalentní minimalizování AN vzhledem k N = 1, což je homogenní minimalizační problém řešitelný pomocí SVD. 34

Získání rekonstrukce Algoritmus výpočtu je potom následující: 1. Nechť jsou odpovídající body reprezentovány vektorem X i = (x i ', y i ', x i, y i ) T 2. Spočítejte těžiště X = 1/n i X i a přesuňte body do souřadného systému se středem v těžišti tak, že X i = X i - X. 3. Sestavte matici A o rozměrech n 4 s řádky X T i. 4. Potom N = (a, b, c, d) T je singulární vektor odpovídající nejmenší singulární hodnotě A a e = -N T X. Matice F A má potom tvar 3.8. 3.3.4.2. Aplikace Následující část kódu je příklad výpočtu afinní fundamentální matice v programu MATLAB. %X i = (x i ', y i ', x i, y i ) T ; for i = 1:length(x) X(i,:)=[xc(1:2,i)' x(1:2,i)']'; end %X_ = 1/n* Σ X i X_=sum(X)'./length(X); %sestavení matice A for i=1:length(x) dx(:,i)= X(i,:)'-X_; end A=dX'; %výpočet singulárního vektoru [U, S, V] = svd(a); N = V(:,end); e=-n'*x_; %výsledná matice Fa = [ 0 0 N(1), 0 0 N(2), N(3) N(4) e ] Jak zdrojová, tak i predikční množina bodů je zakreslena v originálních obrazech. Zdrojová data mají modrou barvu, predikční červenou. Do jednotlivých obrazů jsou zakreslené i epipolární přímky odpovídající predikční skupině bodů. 35

Získání rekonstrukce Obrázek 3.14. Pravý obraz se zakreslenými epipolárami a očíslovanými body Obrázek 3.15. Levý obraz se zakreslenými epipolárami a očíslovanými body Při pohledu na obrazy se zakreslenými epipolárními přímkami je vidět, že odchylka mezi epipolárními přímkami a jejich odpovídajícími body (červené body) je velice malá. Tato vzdálenost je zakreslena v grafech 3.16 a 3.17. Z těchto vzdáleností je patrné, že body položené v nižší rovině mají daleko nižší odchylku od původního bodu, než body ležící v rovině vyšší. Čísla v grafech odpovídají číslu bodu v jeho obraze. Predikční body jsou vyznačeny červeně, data použitá pro výpočet jsou označena modře. 36

Získání rekonstrukce Obrázek 3.16. Predikční odchylka bodů získaných analýzou obrazu Obrázek 3.17. Predikční odchylka bodů získaných "naklikáním" Při použití zadávání pomocí klikání do obrazu se projevila odchylka σ = 1,46 px zatímco při použití analýzy obrazu byla odchylka nižší a to σ = 1,116. To ukazuje, že šum způsobený nevhodným zadáním má veliký vliv na přesnost vytváření matice. 3.3.5. Porovnání Pro výpočet fundamentálních matic obou modelů (perspektivního i afinního) byla použita totožná data. Lze tedy přímo porovnávat hodnoty zobrazené v jednotlivých grafech. Při pohledu na predikční odchylky je zřejmé, že perspektivní model kamery podává řádově desetkrát lepší výsledky. Tento výsledek byl očekáván a dává jasně najevo, že použití perspektivního modelu je vhodnou volbou. Na druhé straně pokud se podíváme na výsledky afinního modelu, 37

Získání rekonstrukce dojdeme k závěru, že výsledky, přestože jsou výrazně horší než u perspektivního modelu, stále mají potenciál vytvořit dobrou rekonstrukci. Pokud porovnáme výsledné fundamentální matice, je vidět, že perspektivní fundamentální matice má charakter velice podobný afinní fundamentální matici viz obr 3.18. To je způsobeno především charakterem optické soustavy. Optická soustava má veliký poměr šířky zorného pole k délce optické cesty. Proto jsou paprsky v oblasti zorného pole téměř rovnoběžné, ale jak je vidět ze čtyř levých horních koeficientů perspektivní fundamentální matice (obr. 3.19) není tato afinita úplná. [ 0.0000 0.0000-0.0001 F A = 0.0000 0.0000 0.0531-0.0007-0.0531 1.000] Obrázek 3.18. Afinní fundamentální matice [ -0.0000-0.0000-0.0003 ] F S = 0.0000-0.0000 0.0597-0.0010-0.0594 1.000 Obrázek 3.19. Perspektivní fundamentální matice 3.4. Vytvoření triangulace Tato část se zabývá tvorbou triangulace naměřených bodů pomocí fundamentální matice. Jedná se o převedení dat z reprezentace ve dvou obrazech do trojrozměrného prostoru. Pokud bychom měli naprosto přesná data a přesně vypočítanou fundamentální matici, bude potom platit pro všechny body v obou obrazech vztah x' T Fx = 0. Z těchto informací pak lze získat výsledný bod v prostoru průsečíkem zpětně promítnutých paprsků ze středů kamer přes odpovídající body v obraze, viz obr. 3.20. 38

Získání rekonstrukce X x x' C e e' C' l l' Obrázek 3.20. Triangulace z přesných dat Při měření na reálných datech však vždy dochází k jisté míře nepřesnosti, která se vyznačuje šumem v naměřených datech. Tento šum pak způsobuje, že body v obraze nesplňují vztah x' T Fx = 0. To znamená, že bod x' neleží na epipolární přímce l' a naopak bod x neleží na epipolární přímce l. Z toho vyplývá, že se zpětně promítnuté paprsky neprotnou v prostoru (viz obr. 3.20). x' C x e e' C' l Obrázek 3.21. Triangulace z nepřesných dat Cílem triangulace je najít takové body x a x ', které splňují podmínku x ' T Fx = 0 a zároveň je jejich vzdálenost od epipolárních přímek co nejmenší. Minimalizování této vzdálenosti je ekvivalentní minimalizování reprojekční chyby bodu X vzniklého triangulací z bodů x a x '. Tuto závislost definuje minimalizační funkce C následujícím způsobem: 39

Získání rekonstrukce C(x, x') = d( x, x ) 2 + d( x', x ' ) 2 (3.18) kde d je Euklidovská vzdálenost mezi body. Jakmile se podaří najít body x a x ', je zaručeno, že zpětně promítnuté paprsky se protnou v bodě X. 3.4.1. Optimální řešení Každý pár odpovídajících bodů vyhovující epipolárnímu omezení musí ležet na páru odpovídajících epipolárních přímek. Tedy, optimální bod x leží na epipolární přímce l a bod x ' leží na epipolární přímce l'. Na druhou stranu, jakýkoliv pár bodů ležících na l a l' bude odpovídat epipolárnímu omezení. To je důležité především pro bod x, což je nejbližší bod bodu x ležící na l a pro odpovídající bod x ' ležící na l'. Ze všech bodů ležících na l a l' jsou právě body x a x ' jediné body, které minimalizují rovnici 3.18. Z toho vyplývá, že x = x a x ' = x '. Následně lze psát d(x, x ) = d(x, l), kde d(x, l) vyjadřuje pravoúhlou vzdálenost od bodu x k přímce l. Obdobně pro x', d(x', x ') = d(x', l') viz [1]. Vzhledem k minulému odstavci lze přepsat minimalizační problém jako d(x, l) 2 + d(x', l ') 2 (3.19) kde l a l' jsou všechny přípustné epipolární přímky. Bod x je nejbližší bod bodu x na přímce l a bod x ' je nejbližší bod bodu x' na přímce l'. Strategie minimalizace je následující: 1. Parametrizace epipolárních přímek v prvním obraze pomocí parametru t. Potom lze zapsat epipolární přímku jako l(t). 2. Výpočet odpovídající epipolární přímky l'(t) pomocí fundamentální matice F. 3. Vyjádření minimalizační funkce pro parametr t: d(x, l(t))² + d(x', l'(t))². 4. Nalezení hodnoty t, která minimalizuje tuto funkci. Tímto se problém převádí na nalezení minima funkce jedné proměnné tzn. 40

Získání rekonstrukce min x C = d( x, x ) 2 + d( x', x ' ) 2 = min t C = d(x, l(t)) 2 + d(x', l '(t)) 2 (3.20) Pokud oba body v obraze leží v epipólech, potom bod v prostoru leží na spojnici středů kamer. V tomto případě je nemožné určit polohu bodu v prostoru. Proto můžeme vycházet z toho, že žádný z bodů x a x' neleží v epipólu. V tom případě je možné na každý obraz aplikovat transformaci tak, aby oba dva body x a x' ležely v počátku, tzn. (0, 0, 1) T v homogenních souřadnicích. Dále lze epipóly přesunout na osu x do bodů (1, 0, f) T respektive (1, 0, f') T. Pokud je hodnota f rovná 0, znamená to, že epipól leží v nekonečnu. Aplikování těchto transformací nemá žádný vliv na součet kvadratických vzdáleností a tedy nemění minimalizační problém. Dále tedy předpokládáme, že x = x' = (0, 0, 1) T a epipóly leží v bodech (1, 0, f) T respektive (1, 0, f') T. Potom platí, že F(1, 0, f) T = (1, 0, f')f=0, a fundamentální matice má následující tvar: ( f f 'd f 'c f 'd ) F = f b a b f d c d (3.21) Pokud vezmeme epipolární přímku l(t) procházející bodem (0, t, 1) T a epipólem (1, 0, f) T, je vektor reprezentující tuto přímku definován vektorovým součinem (0, t, 1) (1, 0, f) = (tf, 1, -t). Potom kvadratická vzdálenost přímky od počátku je d(x, l(t)) 2 = t 2 1 + (t f ) 2 (3.22) Epipolární přímku l(t) v druhém obraze najdeme pomocí fundamentální matice, takže l '(t) = F(0,t, 1) T = ( f '(ct + d), at + b, ct + d) T (3.23) Kvadratická vzdálenost epipolární přímky l(t) od počátku je 41

d(x', l '(t)) 2 = Potom celková kvadratická vzdálenost je s(t) = (ct + d) 2 (at + b) 2 + f ' 2 (ct + d) 2 (3.24) t 2 1 + f 2 t 2 + (ct + d) 2 (at + b) 2 + f ' 2 (ct + d) 2 (3.25) Abychom našli minimum této funkce, je nejdříve potřeba vypočítat první derivaci této funkce. Ta vypadá následovně s'(t) = 2t 2(ad bc)(at + b)(ct + d) (1 + f 2 t 2 2 ) ((at + b) 2 + f ' 2 (ct + d) 2 ) 2 (3.26) Minimum a maximum funkce lze zjistit, položíme-li první derivaci rovnou 0. Roznásobíme-li rovnici 3.26 dostaneme následující podmínku g(t) = t((at + b) 2 + f ' 2 (ct + d) 2 ) 2 (ad bc)(1 + f 2 t 2 ) 2 (at + b)(ct + d) = 0 (3.27) Minimum a maximum s(t) jsou definovány v kořenech tohoto polynomu. Protože se jedná o polynom šestého stupně, může mít až šest reálných kořenů. Absolutní minimum je nutné najít postupným vyhodnocováním funkce s(t) pro všechny kořeny. Pokud je kořen komplexní, vezme se jeho reálná část. Dále je nutné zjistit asymptotické hodnoty pro t, která odpovídá epipolární přímce fx = 1. 3.4.2. Aplikace Získání rekonstrukce Algoritmus triangulace je shodný jak pro afinní model kamery, tak i pro perspektivní. Pro afinní kameru však dochází k výraznému zjednodušení minimalizačního polynomu na polynom prvního stupně. Podle předchozího algoritmu vycházejí translační matice T a T' pro posun bodu x, resp. x' následovně viz [2] 42

Získání rekonstrukce ( 1 0 x T = 0 1 y 1) ( 1 0 x', T ' = 0 1 y' 0 0 (3.28) 0 0 1 ) Potom pro upravenou fundamentální matici pro posun bodu do počátku obecně platí F T = T' T FT -1 (3.29) Pro afinní model kamery, viz vztah (3.8), má fundamentální matice po translaci tvar F AT = ( 0 0 a' 0 0 b' c' d ' a'x' + b'y' + e') (3.30) Rotační matice pro otočení epipólů do bodu Re = (1,0,e 3 ) T a R'e' = (1,0,e' 3 ) T potom mají následující tvar R = ( e 1 e 2 0 e 2 e 1 0 1) ( e'1 e'2 0, R' = e' 2 e' 1 0 0 0 (3.31) Pro upravenou fundamentální matici po rotaci platí F R = R'FR T 0 0 1) (3.32) Afinní fundamentální matice má po všech transformacích tvar F AR = ( 0 0 a' 0 0 b' c d c'x + d 'y + a'x' + b'y' + e') (3.33) 43

Získání rekonstrukce Potom podle vztahu (3.21) nahradíme a = F 22 = 0, b = F 23 =b', c = F 32 = d', d = F 33, f = e 3 = 0, f' =e' 3 = 0. Proměnné f a f' nabývají hodnoty 0, protože pro afinní model kamery leží epipóly v nekonečnu. Potom se polynom (3.27), u kterého hledáme kořeny, zjednoduší na g(t) = (b 4 + b 2 c 2 )t + b 2 cd = 0 (3.34) Z toho lze potom přímo zjistit hodnotu parametru t, ve kterém se nachází požadovaný extrém t = cd b 2 + c (3.35) Tímto jsme nalezli parametr t, který po dosazení do rovnice (3.23) dává výslednou epipolární přímku. Poté lze snadno najít bod x s nejmenší vzdáleností od epipolární přímky. Pro libovolnou přímku (λ, μ, ν) je bod s nejmenší vzdáleností od počátku roven (-λν, -μν, λ² + μ²). Po nalezení bodů x a x ' je potřeba před získáním trojrozměrné triangulace body transformovat zpět do původních souřadnic tak, že x = T -1 R T x a x = T' -1 R' T x '. Ukázkové řešení pomocí programu Matlab se nachází v B. 3.4.3. Porovnání Protože samotná triangulace nepřináší výsledky v porovnatelné formě, je v této sekci hlubší rozbor vynechán. Triangulace je "předzpracováním" dat pro následnou metrickou rekonstrukci, která provádí mapování triangulovaných bodů podle zkalibrované homografie na výsledné body. Následují pouze dvě sady grafů, které ukazují chybu v určení odpovídajících bodů, respektive korekci bodu tak aby platila rovnice (3.1). Červená linka označuje korekci bodů v levém obraze, modrá korekci bodů v pravém obraze. 44

Získání rekonstrukce Obrázek 3.22. Korekce triangulovaného bodu při použití afinní kamery (vstupní body získané analýzou obrazu) Obrázek 3.23. Korekce triangulovaného bodu při použití afinní kamery (vstupní body získané "naklikáním" bodů ) 45

Získání rekonstrukce Obrázek 3.24. Korekce triangulovaného bodu při použití perspektivní kamery (vstupní body získané analýzou obrazu) Obrázek 3.25. Korekce triangulovaného bodu při použití afinní kamery (vstupní body získané "naklikáním" bodů ) Při pohledu na grafy (3.22) a (3.24) je zřejmé, že afinní model kamery přestává fungovat u bodů položených ve vyšší rovině (5mm nad základní rovinou). Pro tyto body (body s číslem větším než 12) dochází k větší korekci, než by mělo dojít. To se děje kvůli tomu, že afinní kamera počítá s rovnoběžnými paprsky, které pravděpodobně nedokážou věrně simulovat daný model. Naproti tomu korekce u perspektivní kamery podává velice dobré výsledky s odchylkami bodů do 0.3 pixelu s výjimkou bodu číslo 39, u kterého došlo pravděpodobně k chybnému určení pozice. Grafy ukazující hodnoty odchylek u "naklikaných" bodů jsou oproti analyzovaným bodům nepřesné. Je zajímavé, že u modelu afinní kamery se podařilo dostat korekci níže než u analyzovaných bodů. To si vysvětluji tím, že zadané body obsahují jistý vstupní šum, který to způsobuje. 46

Získání rekonstrukce 3.5. Vytvoření rekonstrukce Posledním problémem je vytvoření zobrazení mezi body v trojrozměrném prostoru vzniklými triangulací a body naměřenými nezávislým měřením. Důvod, proč nejsou body z triangulace rovnou v odpovídajících souřadnicích je to, že neznáme přesné parametry kamer, tedy jejich kalibrační matici K respektive matici kamery P. Při triangulaci jsou tyto kamery nahrazeny maticemi ([1]) P = [I 0] a P = [SF e'] (3.36), kde S je jakákoliv antisymetrická matice. Doporučení je zvolit S = [e']. Potom pro všechny odpovídající body x i x' i platí x i = PX i a x' i = P'X i (3.37) kde X i je výsledný triangulovaný bod. Potom lze napsat 0 = [x] PX a 0 = [x'] P'X (3.38) kde [x] a [x'] jsou antisymetrické matice takové, že platí [x'] x' = 0, respektive [x] x = 0. Výsledný bod X je pak řešením lineární soustavy ( [x] P [x'] P') X = 0 (3.39) Takto nalezený bod se nachází (v důsledku syntetických matic P) v jiném souřadném systému, než je požadovaný výstup v Euklidovském souřadném systému. Naším cílem je najít zobrazení, které bude mapovat body z projektivní rekonstrukce do metrické rekonstrukce. Protože máme k dispozici řídící body naměřené nezávislou metodou, je možné toto zobrazení vypočítat. Mezi projektivní rekonstrukcí a řídícími body existuje homografie daná rovnicí 47

Získání rekonstrukce λx E = H X (3.40) Protože každá korespondence bodů poskytuje 3 rovnice nezávislé na prvcích H a matice H má 15 stupňů volnosti, je k výpočtu H potřeba minimálně 5 odpovídajících bodů. Pokud definujeme h jako vektor vytvořený z koeficientů matice H po řádcích, potom mají tři rovnice lineární soustavy následující tvar (X T 0 0 X E1 X T 0 X T 0 X E2 X T T)h = 0 0 0 X T X E3 X (3.41) Jakmile je matice H jednou vypočítána pomocí kalibračních bodů, není ji třeba při měření dále počítat, ale stačí nově rekonstruované body touto maticí vynásobit. 3.5.1. Aplikace Matici homografie jsem počítal dvěma způsoby tak, aby bylo možné porovnat jejich výhody a nevýhody. První způsob je výpočet matice homografie pomocí pěti řídících bodů. Pět bodů je nejnižší možný počet, pomocí kterého lze matici homografie vypočítat. Těchto pět bodů nesmí ležet v jedné rovině a měly by pokrývat co největší prostor zorného pole. Zrekonstruovaná scéna je zobrazena na obr. 3.26. Řídící body, tedy body, které byly naměřeny nezávislou metodou, jsou zobrazeny modře, zrekonstruované body jsou zobrazeny červeně. Body, které byly použity pro výpočet homografie, jsou zobrazeny zeleně. Druhým způsobem je výpočet matice homografie pomocí metody nejmenších čtverců. Tato metoda využívá korespondence všech bodů a výsledná matice je vypočítána pomocí SVD, tedy nejmenšího singulární hodnoty matice (3.41). Zrekonstruovaná scéna je zobrazena na obr. 3.27, řídící body jsou zobrazeny modře, zrekonstruované červeně. Na grafu 3.28 jsou zobrazeny odchylky zrekonstruovaných bodů od řídících bodů pro oba případy výpočtu homografie. Z grafu je zřejmé, že výpočet matice homografie dává lepší výsledky než výpočet pomocí pěti bodů. Průměrná odchylka je v prvním případě rovna 0.0802 mm, v druhém případě 0.1474. 48

Získání rekonstrukce Obrázek 3.26. Perspektivní kamera: zrekonstruovaný model ze 40ti bodů. Pro mapování bylo použito 5 bodů. Zrekonstruované body jsou červené, řídící body modré, body použité pro výpočet homografie zelené. Obrázek 3.27. Perspektivní kamera: zrekonstruovaný model ze 40ti bodů. Pro mapování bylo použito všech 40 bodů. Zrekonstruované body jsou červené, řídící body modré. Pro výpočet homografie byla použita metoda nejmenších čtverců. 49

Získání rekonstrukce Obrázek 3.28. Perspektivní kamera: odchylka zrekonstruovaných bodů od řídících. Zeleně je zobrazena odchylka pro výpočet homografie z pěti bodů, modře pro výpočet homografie metodou nejmenších čtverců. Při vytvoření metrické rekonstrukce pro model afinní kamery již nejsou výsledky tak příznivé jako při použití modelu perspektivní kamery. Pro vytvoření metrické rekonstrukce byl použit stejný postup jako pro perspektivní kameru. Tedy vytvoření matice homografie bylo provedeno jednak pomocí pěti bodů, tak i metodou nejmenších čtverců. Při pohledu na obr. 3.29 a obr. 3.30 je vidět, že zrekonstruované body mají v "rozích" a v horní rovině větší odchylku ve vertikálním směru než body v základní rovině. Graf 3.31 ukazuje porovnání odchylky při výpočtu homografie pomocí pěti bodů a metodou nejmenších čtverců. Tento případ je velice zajímavý, protože vhodný výběr řídících bodů dokáže podat daleko lepší výsledky než při použití metody nejmenších čtverců. Toto chování si vysvětluji tím, že krajní body umístěné v horní rovině kalibračního vzorku mají větší odchylku od reálné polohy a zanášejí do výpočtu matice metodou nejmenších čtverců vyšší nepřesnost. 50

Získání rekonstrukce Obrázek 3.29. Afinní kamera: zrekonstruovaný model ze 40ti bodů. Pro mapování bylo použito 5 bodů. Zrekonstruované body jsou červené, řídící body modré, body použité pro výpočet homografie zelené. Obrázek 3.30. Afinní kamera: zrekonstruovaný model ze 40ti bodů. Pro mapování bylo použito všech 40 bodů. Zrekonstruované body jsou červené, řídící body modré. Pro výpočet homografie byla použita metoda nejmenších čtverců. 51

Získání rekonstrukce Obrázek 3.31. Afinní kamera: odchylka zrekonstruovaných bodů od řídících. Zeleně je zobrazena odchylka pro výpočet homografie z pěti bodů, modře pro výpočet homografie metodou nejmenších čtverců. 52

Kapitola 4. Kalibrace a měření Tato kapitola se zabývá shrnutím postupů a algoritmů prezentovaných v minulé kapitole. Dále je zde diskutována přesnost měření jednak na základě syntetického experimentu a dále podle výsledků testovacího vzorku. Předchozí kapitola nabídla podrobný rozbor rekonstrukce trojrozměrného modelu. Tento rozbor se zabýval jednak určením jakou metodou je vhodné pořizovat vstupní data pro algoritmus a dále určením vhodného modelu kamery. Rekonstrukce ukázala, že je výhodnější použít pro jako vstupní metodu analýzu obrazu (viz. sekce 3.2) a model kamery perspektivní, i za cenu vyšší výpočetní náročnosti. Cyklus použití celého systému se skládá ze dvou hlavních částí. První část je kalibrace systému, druhá část je vlastní měření. V následující sekci je shrnut postup pro kalibraci daného stereomikroskopického systému. 4.1. Kalibrace Kalibrace stereomikroskopického systému je prvním důležitým krokem k úspěšnému měření. Tato kalibrace se provádí pouze jednou, vlastní měření je již závislé pouze na výsledku této kalibrace a na zdrojových datech. Kalibrace je stálá pouze pro jedno nastavení stereomikroskopického systému. Jakmile dojde ke změně v konfiguraci je potřeba vytvořit kalibraci novou. Mezi tyto změny patří především změna zvětšení (zoom) - tato změna nastává při každé běžné práci se stereomikroskopem. Je proto vhodné vytvořit několik kalibrací, pro každou hodnotu zvětšení jednu a poté se mezi nimi před měřením přepínat. změna pozice kamer - tato změna nastane téměř pokaždé, kdy dojde k rozebrání a znovu sestavení stereomikroskopického systému. Je dána především kvalitou trinokulárních odboček, které mají jistou "vůli" při montáži, takže je nemožné docílit po instalaci přesně stejného nastavení. změna objektivu. změna použité kamery - tyto dvě změny nastávají zřídkakdy, mají však také vliv na kalibraci. Pro samotnou kalibraci je pak potřeba kalibrační vzorek popsaný v příloze A a přesně změřené souřadnice řídících bodů na kalibračním vzorku nejlépe nezávislou metodou na měřícím mikroskopu. Postup kalibrace je pak následující: 53

Kalibrace a měření Postup 4.1. Kalibrace stereomikroskopického systému 1. Nasnímání kalibračních snímků. Před samotným nasnímáním je důležité, aby v zorném poli obou kamer byl co největší počet řídících bodů. Vzorek by měl být zaostřen přibližně v polovině mezi spodní a horní rovinou. To je důležité, protože cíl je měřit v celé hloubce ostrosti, která představuje zhruba 5mm, přičemž vzorek má právě tuto výšku. Snímky by měli být dostatečně světlé, barevně vyvážené a s co nejmenšími stíny. 2. Pořízení řídících bodů. Z kalibračních snímků je třeba pořídit 2 množiny řídících bodů v homogenních souřadnicích. Jedna množina odpovídá levému snímku, druhá pravému snímku. Pořadí bodů musí být v množinách shodné, jinak algoritmus selže. Body doporučuji pořídit algoritmem, popsaným v sekci 3.2. 3. Výpočet fundamentální matice. Fundamentální matice F je první ze dvou hodnot, které jsou potřebné pro následné měření. Fundamentální matice se vypočítá pomocí algoritmu, který je popsán v sekci 3.3.3. 4. Výpočet triangulace. Triangulace je postup, při kterém se z bodů ve dvou obrazech vytvoří rekonstrukce bodu v trojrozměrném prostoru. Tento postup je popsán v sekci 3.4. 5. Výpočet metrické rekonstrukce. Protože body vytvořené triangulací leží v jiné souřadné soustavě než jsou hodnoty naměřené z kalibračního vzorku, je potřeba zjistit zobrazení, které mapuje souřadnice triangulovaných bodů na naměřené body. Opět je důležité, aby pořadí triangulovaných bodů a naměřených bodů odpovídalo. Toto zobrazení popisuje matice homografie H. Tato matice je druhou hodnotou potřebnou pro následné měření. Postup výpočtu matice homografie je popsán v sekci 3.5. Takto vytvořená kalibrace může být použita pro další měření. Hlavním výstupem z kalibračního procesu jsou dvě matice: fundamentální matice F a matice homografie H. 4.2. Měření Měření na stereomikroskopickém systému je požadovaný výstup celé této diplomové práce. Po úspěšné kalibraci lze provádět měření v metrické rekonstrukci. Algoritmy samotného měření zde nejsou rozebrány. Lze uplatnit běžně používané metody pro měření Euklidovských vzdáleností, úhlů, obsahů apod. K rekonstrukci jednoho bodu je potřeba pár stereomikroskopických snímků s párem odpovídajících bodů a kalibraci odpovídající dané konfiguraci systému, viz minulá sekce. Obecně je k rekonstrukci n bodů potřeba 2n odpovídajících si bodů v obrazech. 54

Kalibrace a měření Postup k získání metrické rekonstrukce několika bodů je následující: Postup 4.2. Měření na stereomikroskopickém systému 1. Nasnímání snímků pro měření. Snímky pro měření by měly obsahovat dostatečnou informaci pro určení měřených bodů. Vhodné jsou například tmavé oblasti s možností určení středu. Daná informace by se měla nacházet v obou snímcích. 2. Pořízení měřených bodů. Pořízení měřených bodů je možné provést různými technikami detekce v obraze nebo prostým určením hodnoty pomocí "klikání" do obrázku. Přesnost zadání měřených bodů je důležitá pro výslednou rekonstrukci. Ve speciálních případech, kdy lze zjistit těžiště oblasti, je možné použít i algoritmus popsaný v sekci 3.2. 3. Výpočet triangulace. Postup výpočtu triangulace je shodný s výpočtem triangulace při kalibraci, která je popsaná v minulé sekci. Jako další vstup kromě páru odpovídajících bodů se zde uplatní fundamentální matice F, vypočítaná při kalibraci. Tento postup je popsán v sekci 3.4. 4. Výpočet metrické rekonstrukce. Jakmile je znám triangulovaný bod, lze použít matici homografie H, vypočítanou při kalibraci, pro určení metrické rekonstrukce při dané kalibraci. Vztah pro výpočet výsledného bodu X je následující X = H X T, kde X T je triangulovaný bod a H matice homografie. Pomocí tohoto postupu lze vypočítat metrickou rekonstrukci, jejíž přesnost záleží především na přesnosti zadání měřených bodů. Tato přesnost je diskutována dále. 4.3. Přesnost Přesnost vytvořené rekonstrukce je klíčovým faktorem, který určuje, zda je daná metoda použitelná v praxi. Přesnost přímo závisí na několika faktorech. Některé z nich je možné ovlivnit, jiné nikoliv. Základním faktorem ovlivňujícím výslednou přesnost je pozice páru kamer vůči sobě, respektive úhel, pod kterým obě kamery sledují scénu. V případě stereomikroskopu OLYMPUS SZX-7, na kterém byly prováděny veškeré experimenty, je tento úhel roven 6. Jak je vidět na obrázku 4.1, malá odchylka v prostoru obrazu způsobí velikou odchylku v prostoru metrické rekonstrukce. Šedivá oblast ukazuje jak veliká může být odchylka (kam se může zobrazit 55

Kalibrace a měření triangulovaný bod) výsledné rekonstrukce od reálného bodu. Čím je úhel svíraný kamerami menší, tím je oblast nejistoty užší, ale delší. To má za následek sice přesnější rekonstrukci v rovině kolmé na osy (x,y), ale výrazné zhoršení přesnosti v rovině ubíhající (z). z y x X dx dx' C C' Obrázek 4.1. Nejistota při chybném zadání bodu v prostoru Následující experiment ukazuje, jaký je průběh odchylky při syntetické chybě zadání bodu x'. Chyba v zadání je simulována vygenerováním několika bodů, jejichž odchylka od původního bodu má Gaussovo rozdělení se směrodatnou odchylkou σ = 1, tzn. téměř všechny body mají maximální odchylku 3 pixely. Na obrázku 4.2 je zobrazena rekonstrukce 30ti náhodně vygenerovaných bodů, přičemž modrý bod je referenční. Z obrázku je zřejmé, že oblast nejistoty (viz obr. 4.1) má velice protáhlý tvar, přičemž odchylka bodu o 3 pixely způsobí odchylku v rekonstrukci až 0.5 mm v ose z, ale pouze 0.03 mm v ose x a y. Obrázek 4.3 ukazuje průběh odchylky pro jednotlivé body. Modře je zobrazena odchylka daného bodu od referenčního bodu v metrické rekonstrukci, zeleně je zobrazena odchylka bodu v obraze v mm. 56

Kalibrace a měření Obrázek 4.2. Rekonstrukce bodu s náhodnou odchylkou. Červené body jsou vygenerované, modrý bod je referenční. Obrázek 4.3. Odchylka náhodného zrekonstruovaného bodu od referenčního bodu. Modře je znázorněna odchylka v metrické rekonstrukci, zeleně odchylka bodu v obraze v pixelech. Dalším parametrem, který ovlivňuje přesnost měření je především rozlišení použité digitální kamery a s tím související přesnost určení vstupních bodů. Ve všech experimentech bylo použito rozlišení 1024 768. Toto rozlišení neumožňuje přesnější detekci bodů v obraze. Platí, že čím větší rozlišení kamery, tím menší odchylka na jeden pixel a tím větší přesnost určení "správného" bodu. 57

Kalibrace a měření 4.3.1. Reálný vzorek Pro ověření správnosti postupů uvedených výše a pro zjištění přesnosti měření v reálných podmínkách byl použit vzorek kalibračního sklíčka pro stereomikroskopy, který je umístěn v držáku se sklonem 45 (viz obr. 4.4 a 4.5). Na tomto vzorku bylo detekováno 7 odpovídajících bodů v obou obrazech. Následně pomocí těchto dat a po kalibraci podle předchozího postupu byla vytvořena metrická rekonstrukce. Na obrázku 4.6 je zobrazena výsledná rekonstrukce. Při porovnání s triangulací kalibračního vzorku je přesnost triangulace vzorku nižší. To může být způsobeno nepřesností zadání bodů. Jak je vidět z grafu 4.7, je korekce při triangulaci pro bod 3 daleko vyšší než pro ostatní, tomu také odpovídá i výsledná rekonstrukce. Obrázek 4.4. Testovací vzorek, kalibrační sklíčko se sklonem 45 2 4 6 8 10 12 Obrázek 4.5. Značení na kalibračním sklíčku 58

Kalibrace a měření Obrázek 4.6. Metrická rekonstrukce testovacího vzorku Obrázek 4.7. Korekce bodů po triangulaci Protože jsou známy rozměry kalibračního sklíčka a úhel, pod kterým je sklíčko zkoseno, je možné porovnat přesnost výsledné rekonstrukce s vypočtenými hodnotami. Jednotlivé body mají od sebe vzdálenost 2mm pod úhlem 45. Odchylku vzdáleností mezi jednotlivými body od skutečné vzdálenosti ukazuje graf 4.8. Opět je zde vidět, že pro bod číslo 3 dochází k vyšší odchylce kvůli špatnému zadání odpovídajících bodů. Poslední graf 4.9 zobrazuje odchylky bodů v jednotlivých osách. Protože všechny odchylky v ose x leží v záporných hodnotách, vysvětluji si to tak, že vzorek 59

Kalibrace a měření byl natočen a tím každý další bod má zápornou odchylku, tomu odpovídá i přímka, na které leží všechny body l = (0.3003, -9.8040, -10.9548). Pro porovnání přesnosti je zde důležitá především osa z. V této ose dochází k největším odchylkám od reálného modelu, což dokazuje i z-ová souřadnice přímky, která by měla mít hodnotu 9,9. To dává průměrnou odchylku v ose z 10%. Obrázek 4.10 ukazuje odchylku v rovině xy vztažené k přímce, na které mají body ležet. Tato odchylka je podle očekávání velice malá a poskytuje průměrnou odchylku menší než 0.01mm. Tato hodnota vyjadřuje možnou měřitelnou hranici, kterou daný stereomikroskopický sytém umožňuje. Obrázek 4.8. Odchylky vzdáleností mezi jednotlivými body 60

Kalibrace a měření Obrázek 4.9. Odchylky v jednotlivých osách Obrázek 4.10. Odchylka v rovině xy 61

Kapitola 5. Závěr Hlavní náplní této diplomové práce bylo ověření možnosti provádět měření na snímcích ze stereomikroskopického systému a určení přesnosti tohoto měření. V úvodní části jsou představeny dvě konstrukce stereomikroskopů, které jsou v praxi běžně používány. Jsou zde podrobněji rozebrány jejich výhody a nevýhody a na závěr je popsán stereomikroskopický systém, na který je soustředěna tato práce. Protože se práce zabývá měřením, věnuje se další část rozboru, jaké kroky jsou potřeba k získání měřitelných dat. Tato část je rozebrána podrobněji, než je nezbytné, ovšem obsahuje důležité pozadí, které může usnadnit orientaci a pochopení daného problému. U každé sekce jsou pak uvedeny části kódu buď v programovacím jazyce Delphi nebo v jazyce MATLAB. Tyto části mohou být s drobnými úpravami použity v libovolné aplikaci zabývající se měřením na stereomikroskopickém systému. Každá sekce navíc obsahuje zhodnocení problému, řešeného v dané sekci a praktickou ukázku použití. Poslední část je shrnutím části druhé. Je zde navržen postup pro kalibraci stereomikroskopického systému a postup, jak následně provádět měření pomocí takto vytvořené kalibrace. Společně s těmito algoritmy je zde diskutována i přesnost výsledného měření. Měření testovacího vzorku potvrdilo očekávaní, že přesnost v ose rovnoběžné s osou objektivu (osa z) je výrazně nižší nežli v rovině kolmé (rovina xy). Výsledky ukázaly, že při dostatečně přesném zadání jednotlivých bodů v obou obrazech je možné získat metrickou rekonstrukci, která dosahuje maximální přesnosti 0.2mm v ose z a 0.01mm v osách x a y. Kritickým faktorem, který výrazně ovlivňuje přesnost měření je prvotní zadání odpovídajících si bodů v jednotlivých obrazech. Při nepřesnosti zadání bodu v jednom obraze o 1 pixel dojde k odchylce v rekonstrukci o 0.15mm. Proto je při implementaci důležité použít vhodný algoritmus detekce odpovídajících bodů. Při použití algoritmu, který je popsán v sekci 3.2.2, je možné dosáhnout vysoké přesnosti zadání, ovšem nelze použít vždy. Druhý faktor, který by znamenal použití jiného stereomikroskopického systému je zvýšení úhlu kamer, pod kterým snímají scénu. Hodnota 6 je vhodná pro vizuální pozorování, ovšem pro měření je velice nízká. Lze však očekávat, že většina stereomikroskopických systémů je zaměřena především na vizuální pozorování a úhel jednotlivých optických os nebude výrazně vyšší. Měření ve 3D triangulační metodou na stereomikroskopickém systému OLYMPUS SZX-7 je tedy možné, pokud je požadovaná tolerance při měření v ose z vyšší než 10% a v osách x a y vyšší než 1%. 62

Příloha A. Kalibrační vzorek Základním požadavkem na kalibrační vzorek jsou jeho rozměry. Ty musejí být takové, aby kalibrační vzorek pokrýval celé zorné pole, a aby v tomto poli byly měřitelné body viditelné v obou obrazech. Kalibrační vzorek je tvořen kvádrem, na který jsou připevněny další čtyři kvádry stejné výšky. Ke konstrukci je použita balza a oboustranná lepící páska. Potisk je vytvořen na inkoustové tiskárně EPSON 950 pomocí fotorealistického tisku. Pro přehlednost je na horní rovinu použito jako vzoru čtverců o straně 0,35 mm a na spodní rovinu kruhů o poloměru 0,4 mm. Tyto body jsou pak snadno detekovatelné pomocí jednoduchého algoritmu viz 3.2.2. Rozměry vzorku jsou následující: šířka: 50 mm délka: 25 mm výška: spodní rovina: 5 mm, horní rovina: 10 mm strana kalibračního čtverce: 0,35 mm poloměr kalibrační kružnice: 0,4 mm Vzorek má tyto rozměry z důvodu použití pro mikroskop OLYMPUS SZX-7, který má šířku zorného pole přibližně 25 mm. Obrázek A.1. Nákres kalibračního vzorku s vyznačenými kalibračními body 63

Kalibrační vzorek Obrázek A.2. Náhled kalibračního vzorku při pohledu z levé kamery. Očíslované body odpovídají číslům bodů v grafech, pokud je tak uvedeno. 64