Toto zadání je podepsané děkanem a vedoucím katedry, musíte si ho vyzvednout na studiijním oddělení Katedry počítačů na Karlově náměstí,

Transkript

1 Na tomto místě bude oficiální zadání vaší práce Toto zadání je podepsané děkanem a vedoucím katedry, musíte si ho vyzvednout na studiijním oddělení Katedry počítačů na Karlově náměstí, v jedné odevzdané práci bude originál tohoto zadání (originál zůstává po obhajobě na katedře), ve druhé bude na stejném místě neověřená kopie tohoto dokumentu (tato se vám vrátí po obhajobě). i

2 České vysoké učení technické v Praze Fakulta elektrotechnická Katedra počítačů Bakalářská práce Kalibrace multi-kamerového systému Jiří Kula Vedoucí práce: Ing. Daniel Sýkora, Ph.D. Studijní program: Elektrotechnika a informatika, strukturovaný, Bakalářský Obor: Výpočetní technika 24. května 2012

3 iv Poděkování Rád bych poděkoval vedoucímu Ing. Danielu Sýkorovi, Ph.D. za cenné rady, které mi uděloval v průběhu řešení bakalářské práce.

4 v Prohlášení Prohlašuji, že jsem práci vypracoval samostatně a použil jsem pouze podklady uvedené v přiloženém seznamu. Nemám závažný důvod proti užití tohoto školního díla ve smyslu 60 Zákona č. 121/2000 Sb., o právu autorském, o právech souvisejících s právem autorským a o změně některých zákonů (autorský zákon). V Praze dne

5 Abstract The work is devoted to calibrating optical device that consists of six digital cameras. Cameras are located on a surface of a sphere and they posess nearly the same common center of projection so the field of view of the whole system covers all the surrounding environment. The unification of records from each camera can create a spherical panoramic images of the scene. Calibration in the context of this work is the identification of internal performance parameters of each camera and determine their relative positions. Practical camera calibration precedes theoretical analysis of selected relations from the algebraic description of the camera model and the necessary relationships in the field of projective geometry. Abstrakt Práce je věnována kalibraci optického zařízení, které je sestaveno z šesti digitálních kamer. Kamery jsou umístěny na povrchu koule a jsou orientovány směrem vně společného středu tak, aby zorné pole celé soustavy pokrývalo veškeré okolní prostředí. Sjednocením záznamů z jednotlivých kamer je možné vytvořit sférické panoramatické obrazy scény. Kalibrace v kontextu této práce znamená provedení identifikace vnitřních parametrů jednotlivých kamer a určení jejich vzájemné polohy. Praktické kalibraci kamer předchází teoretický rozbor vybraných vztahů z oblasti algebraického popisu modelu kamery a potřebné vztahy z oblasti projektivní geometrie. vi

6 Obsah 1 Úvod 1 2 Kamera Model kamery, projekce scény do roviny obrazu Radiální zkreslení Rotace kamery Kalibrace kamery Parametry vnitřní Parametry vnější Realizace Parametry vnitřní GML C++ Calibration Toolbox Camera Calibration Toolbox for Matlab Vlastní implementace s knihovnou OpenCV Parametry vnější Závěr 31 Literatura 33 A Homogenní souřadnice 35 B Hierarchie transformací v rovině 36 C Řešení soustavy homogenních rovnic 38 vii

7 Seznam obrázků 1.1 Multi-kamerové zařízení Středové promítání Počátek souřadnic v digitálním obraze Vnější parametry kamery Radiální zkreslení Dva obrazy s otočenou kamerou Panorama ze tří obrazů Zorná pole kamer Korespondence Sada obrazů kalibračního vzoru Uživatelské rozhraní GML C GML C++, výsledky kalibrace Odstranění radiálního zkreslení Vlastní aplikace pro kameru Contour HD Výchozí snímky pro kalibraci vnějších parametrů Radiální zkreslení snímků pro kalibraci vnějších parametrů zařízení Klíčové body, korespondence Postupné určení homografie mezi kamerami Nákres obrazů pořízených kamerami Panorama, rotace vlevo Panorama, rotace dolů viii

8 Seznam tabulek 3.1 Postupné zpřesnění kalibrace Vnější parametry kamer ix

9 Kapitola 1 Úvod Základem oboru počítačového vidění je studium principů, kterými jsou elementy prostorové scény promítány do roviny obrazu, a studium souvislostí mezi polohou těchto elementů v obrazech pořízených při různých úhlech pohledu na scénu. Úloha této práce spočívá ve vyřešení problému složení obrazů z většího množství kamer do jednoho společného panoramatického obrazu. Východiskem je existující přípravek s pracovním názvem BallCam. Jde o zařízení ve tvaru koule, do jejíhož objemu je zapuštěna šestice digitálních kamer. Kamery jsou rozmístěny a orientovány tak, aby celkové zorné pole přípravku zahrnovalo co možná největší část okolního prostředí. Podobu zařízení ilustruje obrázek 1.1. Úloha skládání obrazů je dobře prostudována [12] a panoramatické snímky nacházejí uplatnění v celé řadě aplikací, jako je například tvorba mapových podkladů z leteckých a družicových snímků. Řešení úlohy složení panoramatického snímku z většího počtu pohledů spočívá v určení tzv. vnějších parametrů kamer. Vnější parametry vyjadřují vzájemnou polohu kamer v okamžiku Obrázek 1.1: Multi-kamerové zařízení. pořízení obrazu. Jak vyplývá z teoretického rozboru úlohy, absolutní pozice kamer není z hlediska tvorby panoramatického obrazu tak důležitá. Klíčovou vlastností je relativní otočení kamer vůči sobě. Určení vnějších parametrů je možné provést pomocí korespondence mezi dvěma obrazy, které alespoň částečně zachycují tutéž scénu v různých polohách kamery a to na základě identifikace těch bodů scény, které se v takto pořízených obrazech promítají (vůči souřadnému systému každé z kamer) do různých souřadnic. Projekci bodů z prostorové scény, která je určena vzhledem k souřad- 1

10 KAPITOLA 1. ÚVOD 2 nému systému spojenému s touto scénu, do roviny obrazu, vyjadřují tzv. vnitřní parametry kamery. Princip, podle kterého je možné ze znalosti korespondence mezi obrazy a znalosti vnitřních parametrů kamery odhalit parametry vnější, je popsán v teoretické části práce. Běžně je možné setkat se s úlohou skládání panoramatického snímku v takové situaci, ve které nejsou vnější parametry kamery známé. V takovém případě je nutné z korespondence mezi snímky určit potřebný transformační vztah, podle kterého lze dílčí snímky do panoramatického obrazu složit. V této úloze je postup skládání panoramatického obrazu podobný s tím rozdílem, že poloha kamer je při snímání různých scén neměnná. Poloha kamer je dána pevně jejich zabudováním do přípravku. Pokud by byly vnější parametry kamer známé, nebylo by při tvorbě panoramatu libovolné scény nutné hledat korespondence mezi obrazy, neboť ty jsou dány konstantní polohou kamer. Určení vzájemných poloh kamer v přípravku z obrazů pořízených tímto přípravkem definuje primární cíl práce. Multi-kamerové zařízení označované BallCam je přípravek v podobě plastové koule se sloty do kterých je umístěno šest digitálních kamer Contour HD. Jde o kompaktní bateriově napájené kamery v mechanicky odolném pouzdru. Úložištěm obrazových dat je paměť typu flash. Rozměry pouzdra jsou mm (výška šířka délka). Zvláštním vybavením je objektiv otočný o 90, díky kterému je možné zachovat horizont obrazu při různých způsobech montáže těla kamery. Zajímavým doplňkem jsou dva zdroje červeného laserového paprsku, kterými kamera po zapnutí informuje o směru pohledu a otočení objektivu. Optický senzor zaznamenává obraz v rozlišení px a frekvenci 30 snímků za vteřinu. Obraz je komprimován a ukládán do formátu Apple QuickTime (*.mov). V kapitole 2 je popsána geometrie středového promítání a model projektivní kamery spolu s modelem kamery reálné. Dále je popsán vztah mezi dvěma obrazy, doplněný o předpoklady, které musí být splněny při pořizování snímků určených k sestavení panoramatického obrazu. Závěr teoretické části tvoří kapitola, která dává do souvislosti poznatky o geometrických vztazích s konkrétní úlohou kalibrace multi-kamerového systému. Praktickou část práce tvoří konkrétní postup kalibrace kamer. Uvedeny jsou postupy nalezení vnitřních parametrů kamery v reálných podmínkách. Při těch není v důsledku chyb měření možné přesné kalibrace dosáhnout a je nutné uvažovat řešení přibližná. Ke kalibraci kamery byly použity volně dostupné softwarové nástroje. Na základě nedeformovaných obrazů scény je provedena identifikace vztahu mezi jednotlivými kamerami. Předchozí práce Skládání panoramatických snímků zahrnuje nemalé množství dílčích úloh od kompenzace zkreslení obrazu, nalezení korespondujících bodů mezi jednotlivými snímky až po zobrazení do společné roviny. Přehledový článek [11] klasické postupy tvorby panoramatických snímků shrnuje a uvádí konkrétní vztahy pro případ rotace kamery kolem jejího optického středu. Článek pojednává o různých typech zobrazení výsledného obrazu na válcovou a sférickou plochu. Zahrnuty jsou rovněž metody spojování obrazů a řešení zobrazení překrývajících se oblastí snímků. Autoři též zmiňují problém s pohyblivou scénou a zpožděním mezi časy pořízení jednotlivých snímků při kterém se může část scény změnit. Odtud plyne výhoda multi-kamerovoého systému, který pořizuje obrazy ze všech směrů v jediném okamžiku. Problémem určení význačných bodů v obrazech s cílem nalezení korespondence mezi obrazy na

11 KAPITOLA 1. ÚVOD 3 základě invariantních charakteristik obrazu se zabývají autoři [1]. Uvádějí algoritmus SIFT a navrhují jeho použití pro prvotní identifikaci potenciálně klíčových bodů obrazu. Porovnáním dvou metod kalibrace kamery s použitím rovinné šablony se zabývají autoři [9], kteří uvažují metodu Tsai [13] a metodu Zhang [16]. Autoři provedli vlastní implementaci obou metod a podrobili je testům se simulovanými a reálnými daty. Metodu Tsai hodnotí jako přesnější při kalibraci s jediným obrazem kalibrační šablony. S větším množstvím pohledů rychleji konverguje metoda Zhang, která je rovněž implementována v knihovně pro zpracování obrazu OpneCV [2]. Úlohou kalibrace sady kamer umístěných do tvaru koule se v diplomové práci zabýval Pfeil [8]. Tak zvanou autokalibraci navrhuje Hartley [6]. Autokalibrací je myšlen postup identifikace vnitřních parametrů kamery z alespoň trojice záběrů reálné scény pořízených kamerou otočenou kolem středu bez změny polohy. Článek vystihuje vlastnost obrazů pořízených uvedeným způsobem, která je klíčová pro řešení úlohy definované v této práci.

12 Kapitola 2 Kamera Teoretická část práce uvádí princip středového promítání v relaci s geometrií projektivní kamery. Vztahy vyjádřené modelem projektivní kamery jsou lineární, zatímco v reálných kamerách dochází vlivem nedokonalého tvaru čoček v objektivu kamery a vlivem tolerancí při výrobě kamery ke zkreslením, která je možné aproximovat vztahy nelineárními. Výchozí vlastností multi-kamerového systému, který je předmětem kalibrace, je přibližně společný střed kamer. Za předpokladu společného středu kamer se obecný model projektivní kamery, představovaný maticí P o rozměrech 3 4, podstatným způsobem redukuje na jednodušší model reprezentovaný maticí KR o rozměrech 3 3. Vztah mezi obrazy ze dvou vzájemně pootočených kamer se společným středem je odvozen v závěru kapitoly. 2.1 Model kamery, projekce scény do roviny obrazu Vztahy platné při popisu projekce prostorové scény do roviny obrazu je možné odvodit z modelu dírkové kamery, neboli podle principu středového promítání. Situace je znázorněna na obrázku 2.1, kde střed promítání C je ztotožněn s počátkem souřadného systému kamery. Rovina obrazu je kolmá na osu z a nachází se ve vzdálenosti f od středu kamery. Vzdálenost f je označována jako vzdálenost ohnisková. Každý bod X v prostorové scéně vyjádřený trojicí souřadnic X = (X, Y, Z) T je v modelu dírkové kamery zobrazen do bodu na obrazové rovině x = (x, y, f) T vhledem k světovým souřadnicím. Bod x je průsečíkem obrazové roviny a spojnice středu kamery C s bodem v prostoru X. Souřadnice bodů obrazu je možné určit na základě podobnosti trojúhelníků. x = f X Z, y = f Y Z (2.1) Obrázek 2.1 znázorňuje další důležité pojmy. Střed promítání je možné ztotožnit s optickým středem kamery. Osa z je přímka kolmá k obrazové rovině a nazývá se hlavní osa kamery. Bod p je průsečíkem hlavní osy s rovinou obrazu, tzv. hlavní bod. Souřadnice bodu x = (f X Z, f Y Z, f)t v rovině obrazu a prostoru R 3 můžeme při zanedbání třetí souřadnice zapsat jako x = (f X Z, f Y Z )T. Taková reprezentace by odpovídala popisu souřadnic v rovině obrazu, tj. dvourozměrném prostoru R 2. V homogenních souřadnicích lze tentýž bod zapsat 4

13 KAPITOLA 2. KAMERA 5 y X x C f p z x Obrázek 2.1: Středové promítání. Bod X, který je bodem v prostoru R 3 je středově promítán do roviny obrazu R 2 tak, že jeho obraz x je dán průsečíkem spojnice středu kamery C a bodu X s rovinou obrazu. jako vektor x h = (fx, fy, Z) T. Homogenní souřadnice jsou popsány v příloze. Uvedené lineární zobrazení je v homogenních souřadnicích možné zapsat v podobě matice podle rovnice (2.2). Symbolicky je rovnice 2.2 zapsána jako X fx f fy = 0 f 0 0 Y Z (2.2) Z x = AX Reálné kamery jsou konstruovány tak, aby se hlavní bod nacházel přibližně ve středu optického senzoru. Digitální obraz je v podstatě matice diskrétních jasových úrovní, které reprezentují množství dopadajícího světla na optický senzor. Počátek souřadnic v digitálním obraze je zpravidla umístěn do levého horního rohu obrazu, přičemž vodorovná osa u směřuje směrem doprava, svislá osa v směrem dolů. Střed soustavy souřadnic kamery je v takovém případě posunutý vůči středu soustavy souřadnic obrazu, jak znázorňuje obrázek 2.2. Po úpravě platí x = f X Z + u (2.3) y = f Y Z + v

14 KAPITOLA 2. KAMERA 6 v u y c P x c Obrázek 2.2: Posunutí počátku souřadných os obrazu (u, v) vůči středu kamery označeném (x c, y c ). kde X fx + Zu f 0 u 0 fy + Zv = 0 f v 0 Y Z (2.4) Z x = K [I 0] X f 0 u K = 0 f v je matice vnitřních parametrů kamery, jejíž poloha je totožná se středem referenčních souřadnic. V digitálních kamerách má často obrazový bod tvar obdélníku, nikoli čtverce. Zároveň jsou však souřadnice v digitálním obraze vyjadřovány počtem obrazových bodů. Z tohoto důvodu je vhodné zavést parametry zvětšení ve vodorovném s x a svislém s y směru obrazu. Matici vnitřních parametrů K lze rozšířit na tvar kde α x = s x f, α y = s y f, x 0 = s x u, y 0 = s y v. α x 0 x 0 K = 0 α y y 0, (2.5) V některých případech se v reálných kamerách projevuje zkreslující faktor s, který se projevuje sešikmením obrazu. Parametr s bývá v CCD kamerách blízký nule. Úplná matice vnitřních parametrů kamery je pak ve tvaru α x s x 0 K = 0 α y y 0, (2.6) Poloha objektů ve scéně je určena vzhledem k referenčnímu souřadnému systému spojenému se scénou, někdy označovaným jako souřadnice světové. Rovnice (2.4) by byla platná

15 KAPITOLA 2. KAMERA 7 pouze v případě, že by se kamera nacházela v počátku těchto referenčních souřadnic. V obecném případě však kamera zaujímá ve scéně polohu, kterou lze vyjádřit jako posunutí a rotaci souřadného systému kamery vůči souřadnicím referenčním, viz obrázek 2.3. Z C x y z O Y X Obrázek 2.3: Vnější parametry kamery vyjadřují polohu kamery vůči referenčnímu souřadnému systému. Ať X značí nehomogenní vektor souřadnic bodu objektu v referenčním souřadném systému, ať X c značí souřadnice tohoto bodu v souřadném systému kamery. Pak platí X c = R X R C = R( X C), (2.7) kde R je matice otočení kamery, která vyjadřuje jak je referenční systém otočen vůči kameře a C je vektor polohy středu kamery ve vztahu k referenčnímu souřadnému systému, tj. jak je kamera posunuta vůči počátku referenčního systému. Užitím homogenní reprezentace je možné vztah přepsat v maticovém tvaru X c = [ ] X R RC Y 0 T 1 Z (2.8) 1 Spolu s vnitřními parametry kamery, rovnicí (2.4), je možné vyjádřit zobrazení z prostorových souřadnic scény do rovinných souřadnic obrazu vztahem 2.9 X α x s x 0 r 11 r 12 r C x x = 0 α y y 0 r 21 r 22 r C y Y Z = KR[I C]X (2.9) r 31 r 32 r C z 1

16 KAPITOLA 2. KAMERA 8 P = KR[I C] kde P vyjadřuje vnitřní parametry α x, α y, s, x 0, y 0 a vnější parametry R, C obecné projektivní kamery. 2.2 Radiální zkreslení Čistě lineární model kamery, vyjádřený vztahem (2.9), je aproximací skutečného procesu snímání obrazu reálnou kamerou a pro přesnou kalibraci není dostatečně výstižný. Model předpokládá, že spojnicí bodu v prostoru X, bodu na obrazové rovině x a středu kamery C, je přímka. Tento předpoklad ve skutečných kamerách obecně neplatí. Komplexnější popis z modelu perspektivní kamery vychází, doplňuje ho však o model nelineárně zkreslených souřadnic. Běžně aplikovanou je korekce radiálního zkreslení, které je příčinou posunu souřadnic v obraze ve směrech od středu obrazu k jeho okraji. Radiální zkreslení bývá nejvíce patrné na okrajích obrazu. Efekt se projevuje u levnějších kamer a zvláště patrný je u širokoúhlých objektivů s krátkou ohniskovou vzdáleností. Příčinou radiálního zkreslení je tvar čočky v objektivu kamery. Viditelně se projevuje tím, že přímky ve scéně se v obraze nekalibrované kamery zobrazují jako oblé křivky. Soudkovitost, naznačená na obrázku 2.4a, je vlastnost objektivu posouvat vnímané obrazové body směrem ke středu obrazu. Naopak tzv. poduškovitost, obrázek 2.4b, je tendence k posunu obrazů směrem k okrajům obrazu. Zkreslení z hlediska hierarchie pořízení obrazu vzniká již na počátku snímání, souřadnice jsou zkresleny ještě před zobrazením z prostorové scény na rovinu obrazu, vyjádřeným rovnicí (2.9). Původní bod X c v souřadnicích kamery je působením radiálního zkreslení posunut do bodu X d podle vztahu [ xd y d ] = Z(r) [ xc y c ], (2.10) kde (x c, y c ) T značí nezkreslené souřadnice, (x d, y d ) T souřadnice pozorované (zkreslené). Funkce Z v proměnné r = x 2 c + y 2 c vyjadřuje zkreslení závislé na vzdálenosti od středu radiálního zkreslení, které nemusí nutně ležet v hlavním bodě kamery. Funkce Z(r) bývá nejčastěji aproximována Taylorovým polynomem. Protože jde o funkci sudou, jsou v rozvoji zastoupeny pouze sudé mocniny r. Běžně stačí zvolit první tři členy rozvoje. Absolutní člen a 0 je v souladu s (2.10) roven jedné. Z(r) = a 0 + a 2 r 2 + a 3 r 4 = 1 + k 1 r 2 + k 2 r 4 (2.11) Obraz je možné opravit podle rovnic Stanovení koeficientů k i je součástí stanovení vnitřních parametrů kamery a lze jej provést pomocí identifikace odchylek zkreslených přímkových segmentů. Pokud kalibrační vzor obsahuje dostatečné množství bodů ležících na přímce, lze z odchylek těchto bodů od přímky procházející dvěma krajními body koeficienty radiálního zkreslení stanovit. x c = x d (1 + k 1 r 2 + k 2 r 4 ) y c = y d (1 + k 1 r 2 + k 2 r 4 ) (2.12)

17 KAPITOLA 2. KAMERA 9 (a) (b) Obrázek 2.4: Radiální zkreslení. Stěny čtverce jsou v důsledku nelineárního zkreslení zobrazeny jako oblé hrany. V případě (a) jde o tzv. poduškovitost, která může být výsledkem nevhodné kompenzace radiálního zkreslení objektivu. Případ na obrázku (b) naznačuje tendenci objektivu zkreslovat souřadnice směrem do středu obrazu (středu radiálního zkreslení). Tento typ zkreslení se vyskytuje často u širokoúhlých objektivů s krátkou ohniskovou vzdáleností. Parametry radiálního zkreslení se uvádějí jako vnitřní parametry kamery a v praxi se používají k odstranění nelineárního zkreslení obrazu ve fázi jeho předzpracování. Dalším nezanedbatelným zkreslením je zkreslení tangenciální. Jeho příčinu je možné hledat v tolerancích při výrobě kamery, kdy se optický senzor nepodaří v těle kamery umístit rovnoběžně s optickou rovinou objektivu. Vyjadřuje se dvěma parametry p 1, p 2 a korekce je provedena podle rovnic Zpravidla se tangenciální zkreslení neprojevuje v takové míře jako zkreslení radiální. x c = x d + [ 2p 1 y + p 2 ( r 2 + 2x 2)] y c = y d + [ p 1 ( r 2 + 2y 2) + 2p 2 x ] (2.13) 2.3 Rotace kamery Znázorněme situaci ve které dochází k promítání bodů z prostoru R 3 na roviny dvou různých obrazů. Roviny obrazů se vzájemně liší orientací kamery zatímco střed obou kamer je totožný. Alternativně lze situaci interpretovat tak, že obrazy pocházejí z kamery v původním neotočeném stavu a z téže kamery, která byla mezi snímkováním otočena. V souladu s rovnicí 2.9 je zobrazení bodu ze scény na rovinu prvního obrazu ρ dáno vztahem x = KR[I C]X Stejný bod X se promítá do roviny obrazu otočené kamery ρ x = KR [I C]X, kde R odpovídá orientaci druhé kamery, neboli orientaci druhého pohledu. Matice kamer K zůstává v tomto případě neměnná, stejně jako střed obou kamer C.

18 KAPITOLA 2. KAMERA 10 X i ρ ρ x i x j C X j Obrázek 2.5: Zobrazení vrcholů krychle do dvou obrazů, které pocházejí ze dvou různých natočení kamery. Poloha středu kamery je neměnná. Body v prostoru - vrcholy krychle umístěné nalevo, X i, X j, jsou promítány do rovin dvou obrazů ρ, ρ tak, že jejich souřadnice v obrazech x i, x j jsou určeny jako průsečíky spojnic středu kamery C s vrcholy krychle a rovinami obrazů. Pro konstrukci panoramatického snímku není znalost otočení kamery vůči světovým souřadnicím velmi podstatná. Stejně tak poloha středu kamery vůči světovým souřadnicím nehraje roli. Podstatnou vlastností je vzájemné, relativní otočení a posunutí kamer vůči sobě navzájem. Za uvedených podmínek je možné stanovit vnější parametry první (referenční) kamery libovolně a vnější parametry ostatních kamer (pohledů) vztahovat vůči této referenční kameře. S výhodou lze referenční kameru prohlásit za neotočenou a její polohu položit do počátku souřadnic. R = I, C = 0 Podle ilustrace na obrázku 2.5 předpokládáme, že kamery (pohledy) mají stejný střed a proto je relativní poloha vůči referenční kameře vyjádřena nulovým vektorem C = C = 0. Zobrazení bodu prostoru X do bodu v neotočeném obraze je nyní vyjádřeno vztahem Vektor X je homogenní reprezentace vektoru X = (X, Y, Z) T. x = KR[I 0]X = KR X = KI X = K X (2.14) Ten samý bod X se v pootočeném obraze promítne do souřadnic x = KR [I 0]X = KR X, (2.15) kde R značí rotaci druhé kamery vůči kameře referenční, a protože z rovnice 2.14 X = K 1 x, (2.16) platí mezi souřadnicemi bodů v obrazech vzájemně pootočených kamer lineární vztah x = KR K 1 x = Hx (2.17)

19 KAPITOLA 2. KAMERA 11 x 1 x 1 x 2 x 2 C Obrázek 2.6: Tři obrazy pořízené otáčející se kamerou. Oba krajní obrazy se při tvorbě panoramatické fotografie promítnou do roviny obrazu prostředního. Směrem k okrajům panoramatického obrazu dojde k patrné deformaci obrazu. Řešením je promítnout obraz na válcovou, nebo sférickou plochu. Rovnice 2.17 vyjadřuje skutečnost, že body v rovině obrazu otočené kamery ρ a body v rovině obrazu referenční kamery ρ, jsou svázány projektivní transformací H. Transformace se také označuje jako homografie nebo kolineace. Prostým otočením kamery kolem jejího optického středu nedochází k jevu zdánlivé změny polohy objektů ve scéně. Pokud dojde ke změně úhlu pohledu kamery na scénu (k posunu středu kamery), pak se objekty v různých obrazech rovněž jeví jako posunuté. Tento efekt se nazývá paralax a jde o zdánlivou změnu poloh objektů ve scéně při pořízení obrazu s různých pohledů (různou polohou kamery v prostoru). V úlohách rekonstrukce scény, určení polohy objektu v prostoru, jde o projev žádoucí. Pokud nejde o případ snímání rovinné scény, pak projekci bodů nelze planární homografií vyjádřit. 2.4 Kalibrace kamery Princip geometrické kalibrace kamery spočívá v nalezení parametrů, které vyjadřují zobrazení bodu v prostorové scéně do bodu v rovinném obraze. Parametry kamery lze rozdělit na parametry vnitřní a parametry vnější. Vnější parametry určují transformaci souřadnic z referenčního souřadného systému do souřadného systému kamery; vyjadřují tedy polohu optického středu kamery a její otočení vůči světovým souřadnicím. Vnitřní parametry jsou důležité z hlediska transformace souřadnic prostorových bodů do bodů v rovině obrazu.

20 KAPITOLA 2. KAMERA Parametry vnitřní V minulosti bylo navrženo několik metod kalibrace kamer, které se liší jak přesností, tak nároky na laboratorní vybavení a přesnost měření. Jednu z metod, která neklade velké nároky na technické vybavení, navrhl Zhang [16]. Jedná se o metodu, která využívá rovinnou kalibrační šablonu, nejčastěji v podobě šachovnice o známých rozměrech černých a bílých čtverců. Jedná se o dvoustupňovou kalibraci. V první fázi je určena homografie mezi body šablony a jejich obrazy přímou lineární transformací. Jsou vyžadovány alespoň tři různé polohy kamery při snímání obrazu šablony. V této fázi se předpokládají pouze lineární vztahy bez radiální distorze. Druhá fáze spočívá v optimalizaci odhadnutých parametrů kamery metodou maximální věrohodnosti. Metoda předpokládá, že kalibrační šablona leží v rovině Z = 0 vůči referenčním souřadnicím. Vztah (2.9) lze proto zjednodušit na tvar X x α y = K [ r 1 r 2 r 3 t ] Y 0 = K [ r 1 r 2 t ] X Y (2.18) V předchozí rovnici r i vyjadřují sloupcové vektory matice otočení R = [r 1 r 2 r 3 ]. Symbol α na levé straně rovnosti je libovolný nenulový faktor, který má význam zvětšení. Homografie mezi kalibrační šablonou a jejím obrazem je vždy určena až na tento faktor. Platí, že mezi obrazem bodu x a jeho vzorem v kalibrační šabloně X platí homografie H. αx = HX H = K [ r 1 r 2 t ] (2.19) Ať λ = 1/α. Protože sloupcové vektory matice otočení jsou ortonormální, tedy platí r i = r i T r i = 1 a r 1 T r 2 = 0, je možné odvodit podmínky kladené na vnitřní parametry kamery takto: h 11 h 12 h 13 α x s x 0 r 11 r 12 t 1 h 21 h 22 h 23 = λ 0 α y y 0 r 21 r 22 t 2 (2.20) h 31 h 32 h r 31 r 32 t 3 h 1 = Kr 1 r 1 = K 1 h 1 h 2 = Kr 2 r 2 = K 1 h 2 h 3 = Kt z podmínky r 1 T r 2 = 0 platí rovnice r i T = (K 1 h i ) T = h i T (K 1 ) T = h i T K T h 1 T K T K 1 h 2 = 0 (2.21)

21 KAPITOLA 2. KAMERA 13 kde K T značí transpozici inverzní matice K 1, a z podmínky r 1 T r 1 = r 2 T r 2 je možné psát h 1 T K T K 1 h 1 = h 2 T K T K 1 h 2 (2.22) Rovnice 2.21 a 2.22 představují dvě podmínky kladené jednou maticí homografie H na matici vnitřních parametrů K. V metodě je uvažována symetrická matice definována šesticí b = [B 11, B 12, B 22, B 13, B 23, B 33 ] T B 11 B 12 B 13 B = K T K 1 = B 12 B 22 B 23, B 13 B 23 B 33 označením i-tého sloupce matice H jako h i je možné psát kde z rovnice (2.21) je odvozen vztah z podmínky (2.22) h T i Bh j = v T ijb, (2.23) v ij = [h i1 h j1, h i1 h j2 + h i2 h j1, h i2 h j2, h i3 h j1 + h i1 h j3, h i3 h j2 + h i2 h j3, h i3 h j3 ] T h T 1 Bh 2 = v T 12b = 0 h T 1 Bh 1 h T 2 Bh 2 = (v 11 v 22 ) T b = 0 Tyto dvě rovnice, platné pro jednu homografii (jeden vztah mezi kalibrační šablonou a jejím obrazem odhadnutý alespoň čtveřicí bodů), tvoří homogenní soustavu rovnic [ v12 T ] (v 11 v 22 ) T b = 0 (2.24) Pořízením n snímků a sestavením soustavy Vb = 0, kde V má rozměr 2n 6, je možné určit pět vnitřních parametrů kamery z minimálně třech snímků. Řešení soustavy je popsáno v sekci Vektor b je po vyřešení soustavy zarovnán zpět do tvaru matice B, která určuje vnitřní parametry kamery takto y 0 = (B 12 B 13 B 11 B 23 )/(B 11 B 22 B 2 12) λ = B 33 [B v 0 (B 12 B 13 B 11 B 23 )]/B 11 α x = (λ/b 11 ) α y = (λb 11 /(B 11 B 22 B 2 12) s = B 12 α 2 β/λ x 0 = γv 0 /β B 13 α 2 /λ Součástí kalibrace vnitřních parametrů kamery jsou i vnější parametry v podobě matic rotací a translací kamery v jednotlivých snímcích kalibrační šablony. V následující sekci se o vnějších parametrech hovoří jako o pozici kamery při snímání okolní scény multi-kamerového zařízení, nikoli kalibračního vzoru.

22 KAPITOLA 2. KAMERA Parametry vnější Vnější parametry vyjadřují vzájemnou polohu kamer v okamžiku pořízení obrazu. Parametry jsou vyjádřeny maticí rotace kamery R a vektorem posunutí t. Matice otočení vyjadřuje otočení souřadného systému kamery vůči světovým souřadnicím. Vektor posunutí je poloha středu kamery ve světových souřadnicích. Konstrukce multi-kamerového zařízení stanovuje vektor posunutí t pro všechny kamery přibližně stejný. Podle odstavce 2.3 není znalost otočení kamery vůči světovým souřadnicím při skládání obrazů nutná. Pro danou úlohu stačí znát jaké jsou matice vzájemného otočení kamer. Jejich stanovení je předmětem kalibrace přípravku z hlediska vnějších parametrů. Zorné pole zařízení ilustruje obrázek 2.7a. V modelované situaci, která odráží geometrii multi-kamerového zařízení, jsou naznačena zorná pole všech šesti kamer. Je zřejmé, že se obrazy z jednotlivých kamer nepřekrývají. Částečným otočením celého zařízení se změní oblast scény pozorovaná danou kamerou. Opakovaným natočením zařízení je možné celou plochu pomyslené sféry pokrýt a homografii mezi obrazy z kamer určit postupně z překrývajících se obrazů, jak je naznačeno na obrázku 2.7b. (a) (b) Obrázek 2.7: Zorná pole kamer. Na obrázku (a) jsou tučnými obdélníky naznačena zorná pole jednotlivých kamer, ta se nepřekrývají. Postupným otáčením přípravku ve vodorovné rovině je pořízena sada snímků, které při kalibraci vnějších parametrů slouží jako přemostění mezi obrazy, které se nepřekrývají. Stejným způsobem je přípravek otáčen ve svislé rovině. Tak je určen vztah mezi horizontálním prstencem kamer a dvěma kamerami, které míří směrem dolů a směrem vzhůru. Vtahem mezi dvěma obrazy, které vznikly pouhým otočením kamery, je projektivita vyjádřená maticí o rozměrech 3 3. Tu lze určit z korespondence alespoň čtyř bodů v obou obrazech. Korespondenci čtyř bodů naznačuje obrázek 2.8 a princip je rovněž ilustrován na obrázku 2.5. Úloha nalezení korespondenčních bodů spočívá ve vyhledání význačných částí neotočeného obrazu, které odrážejí rysy určitého výrazného objektu ve scéně. Na obrázku 2.5 jde o průměty vrcholů krychle do roviny obrazu. Vyhledání těchto bodů v otočeném obraze vzniká pár x i, x i souřadnic průmětu objektu ve dvou různých obrazech, který je klíčem k stanovení konkrétní projektivní transformace mezi obrazy. Vyhledání dvojice x i, x i,

23 KAPITOLA 2. KAMERA 15 Obrázek 2.8: Korespondence čtveřice bodů ve dvou obrazech. Body odpovídají projekci bodů ve scéně. V obou obrazech se nacházejí na jiných souřadnicích. bodů v prvním a v druhém obraze je dvoustupňový proces, ve kterém jsou v obou obrazech nezávisle nalezeny význačné body, tj. body v jejichž okolí obraz vykazuje určité zajímavé rysy. Těmito body jsou například rohy na šachovnici. Jde o body v jejichž bezprostředním okolí obraz ostře přechází ze světlého odstínu na tmavý a vrcholy čtverců na šachovnici jsou proto jednoznačně identifikovatelné. K identifikaci bodů slouží např. hranové operátory - lineární filtry s vysokou odezvou na ostrých přechodech jasu obrazu. Druhou fází je přiřazení význačných bodů v jednom obraze odpovídajícím bodům v obraze druhém. Úlohu je možné řešit výpočtem korelace obrazů v okolí význačných bodů a vytvořením páru z těch bodů, ve kterých si vlastnosti lokálního obrazu nejvíce odpovídají. Pro obrazy obecných scén se uplatňuje metoda SIFT [3]. Metoda v obraze vyhledá potenciální klíčové body jako lokální extrémy druhé derivace obrazu v jeho různých rozlišeních. Dalším postupem je stanovení gradientu obrazové funkce v okolí bodů s cílem vytvoření tzv. deskriptoru obrazu v okolí těchto bodů. Deskriptor je invariantní vůči zvětšení a rotaci obrazu. Korespondence jsou nalezeny jako páry nejpodobnějších deskriptorů ve dvou obrazech. Mezi referenční kamerou a prvním otočením platí rovnice 2.17, na základě které je matice prvního otočení kamery dána vztahem 2.25 H 1,2 = KR 1,2 K 1 R 1,2 = K 1 H 1,2 K (2.25) kde dolní indexy značí, že se jedná o vztah mezi prvním a druhým obrazem. Homografii mezi dvěma obrazy z libovolně otočených kamer, je možné zapsat jako součin homografií obrazů ležících mezi těmito obrazy. Stejný vztah platí i mezi maticemi rotací kamery. Podmínkou je, aby mezi krajními obrazy, které se nemusejí překrývat, byl dostatečný počet částečně se překrývajících obrazů. j 1 H T i,j = H T k,k+1 (2.26) k=i Mějme k dispozici několik korespondencí bodů v rovině. Korespondence vyjadřuje pár odpovídajících souřadnic toho samého bodu před a po transformaci, viz obrázek 2.8.

24 KAPITOLA 2. KAMERA 16 Stanovení projektivní transformace mezi dvěma obrazy je podle [7] možné učinit za předpokladu že matice projektivní transformace má devět prvků, ale samotnou transformaci určuje pouze osm poměrů mezi těmito prvky. Matice je určena až na nenulový faktor. Při projektivní transformaci jsou souřadnice bodů určeny rovnicemi 2.28, ve kterých koeficienty h ij jsou prvky matice projektivní transformace. x = xh 11 + yh 12 + h 13 xh 31 + yh 32 + h 33 (2.27) Rovnice 2.28 je možné přepsat do tvaru y = xh 21 + yh 22 + h 23 xh 31 + yh 32 + h 33 h 11 h 12 h 13 H = h 21 h 22 h 23 h 31 h 32 h 33 xh 31 x + yh 32 x + x h 33 xh 11 + yh 12 + h 13 = 0 xh 31 y + yh 32 y + y h 33 xh 21 + yh 22 + h 23 = 0 (2.28) a z m korespondencí uspořádat soustavu ve které každá korespondence poskytuje dva řádky soustavy. x 1 y x 1 x 1 x 1 y 1 x x 1 y 1 1 y 1 x 1 y 1 y 1 y 1 x 2 y x 2 x 2 x 2 y 2 x h x 2 y 2 1 y 2 x 2 y 2 y 2 y 2 h = 0 (2.29) x m y m x mx m x my m x h 33 m x m y m 1 y mx m y my m y m Řešením je nulový prostor matice soustavy Ah = 0, koeficienty jsou určeny až na nenulový faktor, stejně tak jako matice projektivní transformace. Vektor h ij je nakonec seřazen do tvaru matice H. Při větším počtu korespondencí, které pocházejí z reálného měření obecně soustava není řešitelná. Je však možné najít řešení přibližné, například jako vlastní vektor matice A T A, který náleží nejmenšímu vlastnímu číslu této matice.

25 Kapitola 3 Realizace V této kapitole je uveden postup kalibrace zařízení obsahujícího šestici širokoúhlých kamer typu Contour HD. Kamery jsou zapuštěny do zařízení ve tvaru koule tak, že jejich orientace je vně zařízení. Čtyři kamery jsou umístěny do vodorovného prstence, dvě z kamer jsou orientovány směrem nahoru a dolů. Úloha spojení obrazů s cílem vytvořit obraz scény obklopující zařízení spočívá v nalezení projektivní transformace mezi obrazy z šestice kamer. K tomu je třeba znát matici kamery K a koeficienty radiálního zkreslení. Odstranění nelineárních zkreslení způsobené optikou kamer, viz kapitola 2.2, je důležité z toho důvodu, aby bylo možné aplikovat lineární vztahy z kapitoly 2.1. Znalost radiálního zkreslení a matice kamery je nezbytná pro stanovení vnějších parametrů kamer v zařízení. Její praktické realizaci je věnována první část kapitoly. V druhé části kapitoly následuje kalibrace celého zařízení, tj. určení homografií mezi obrazy z jednotlivých kamer. Kalibrace je provedena za předpokladu, že vztah mezi kamerami je vyjádřen otočením kamer kolem společného středu. Projektivní transformace je určena z korespondence bodů v různých pohledech na scénu, podobně jak je tomu při kalibraci kamery. Při kalibraci zařízení je ovšem snímána okolní scéna, nikoli kalibrační šablona. Určením alespoň čtyř korespondencí mezi obrazy z otočených kamer lze určit homografii mezi obrazy, viz kapitola Obrazy je možné promítnou do společné roviny. Jedna z kamer je prohlášena za referenční a rotace ostatních kamer jsou vztaženy k této kameře. Výsledkem kalibrace zařízení je pět homografií mezi šesticí kamer. 3.1 Parametry vnitřní Kalibrace vnitřních parametrů kamery je provedena třemi různými přístupy s využitím volně dostupných softwarových prostředků, jmenovitě GML C++ Camera Calibration Toolbox [14], Camera Calibration Toolbox for Matlab [15] a vlastní softwarové realizace kalibrace s využitím knihovny OpenCV [4]. Úloha spočívá v nalezení vnitřních parametrů kamery Contour HD, konkrétně matice kamery K, koeficientů radiálního zkreslení k 1, k 2, k 3 a koeficienty tangenciálního zkreslení p 1, p 2. Kamerou byla pořízena řada snímků kalibračního vzoru v různých pozicích vůči kameře tak, aby bylo ve snímcích znatelné radiální zkreslení objektivu kamery a také proto, aby soustava 2.24 byla dobře podmíněna. Příklady snímků jsou uvedeny na obrázku

26 KAPITOLA 3. REALIZACE 18 Kamera zaznamenává video sekvenci. Užité softwarové prostředky pracují se statickými obrazy. Postup kalibrace je následující Zaznamenat kalibrační šablonu v různých úhlech otočení vůči kameře. Ze záznamu vybrat místa kde nedochází ke změně polohy kamery vůči šabloně (ostatní snímky nejsou ostré). Provést kalibraci vnitřních parametrů kamery. Výstupem je matice kamery K a koeficienty nelineárního zkreslení. Obrázek 3.1: Sada obrazů kalibračního vzoru v podobě šachovnice pořízených kamerou Contour HD, umístěnou v různých polohách a vzdálenostech vůči kalibračnímu vzoru. Na snímcích je patrné výrazné radiální zkreslení kamery GML C++ Calibration Toolbox Z praktického hlediska je GML C++ Calibration Toolbox snadný, avšak méně flexibilní nástroj pro kalibraci kamery. Program obsahuje grafické uživatelské rozhraní. Uživatel zadává adresář obsahující snímky kalibračního vzoru v podobě šachovnice. Je požadováno, aby počet čtverců ve vodorovném směru byl lichý a počet čtverců ve svislém směru sudý, případně naopak. Podmínku stanovuje algoritmus pro rozpoznání vzoru obsažený v knihovně OpenCV, který je využit pro identifikaci rohů na šachovnici. Na webových stránkách autorů [14] je pečlivě zpracovaný návod na volbu správného kalibračního vzoru a postup pořizování snímků. Uživatel však nemá možnost do detekce šachovnice, ani do detekce vrcholů uvnitř kalibračního vzoru nijak zasáhnout. Bohužel za přítomnosti výrazného radiálního zkreslení objektivu automatická detekce vzoru často selhává. Autoři pro detekci i kalibraci používají vybrané funkce z knihovny OpenCV. Rozměr

27 KAPITOLA 3. REALIZACE 19 Obrázek 3.2: Ukázka uživatelského rozhraní GML C++ Camera Calibration. Seznam souborů s kalibračními obrazy je umístěn na levé straně, hlavní část okna je vyhrazena prezentaci aktuálně zpracovávaného pohledu na kalibrační šablonu. Barevně jsou vyznačeny detekované rohy šachovnice. Z modelu nedeformované šablony a pozice rohů detekovaných v obraze je určena homografie mezi modelem a obrazem šablony. Následuje stanovení vnitřních parametrů kamery včetně koeficientů k 1, k 2, p 1, p 2. koeficientů matice vnitřních parametrů kamery je v jednotkách obrazových bodů, tedy v pixelech. Aplikace nabízí modifikované algoritmy, které jsou původně součástí knihovny OpenCV a rozšiřuje kalibraci o možnost snímání více různých kalibračních vzorů v jediném snímku. V této práci je použita jediná šablona o rozměrech 7 10 čtverců. Ve verzi 0.7 aplikace GML je možné odstranit nelineární zkreslení všech obrazů ve zvoleném adresáři. Aplikaci je možné doporučit v případě, že automatické rozpoznání šablony pracuje s danou kamerou bez větších problémů Camera Calibration Toolbox for Matlab Camera Calibration Toolbox for Matlab je sada skriptů napsaných pro prostředí Matlab, dostupná volně spolu s kompletní dokumentací, která pokrývá teorii spojenou s kalibrací kamery a dává ji do přímé souvislosti s konkrétní implementací. Jistou nevýhodu by mohla představovat závislost na samotném prostředí Matlab, nicméně tato skutečnost je vyvážena otevřeností zdrojového kódu a dobrou vyjadřovací schopností jazyka Matlab. Ve srovnání s předchozí aplikací, GML C++, musí uživatel ručně zadat v každém obraze čtyři vnější rohy kalibrační šablony. Pozice vnitřních vrcholů je následně stanovena ze znalosti počtu čtverců ve vodorovném a svislém směru šablony. Výhodou je, že uživatel má možnost zadat odhad radiálního zkreslení. Díky tomu je možné zvýšit pravděpodobnost správné identifikace vrcholů v šabloně s podpixelovou přesností, která z počáteční aproximace souřadnic rohů vychází. Četnost vyřazených pohledů, to znamená těch, které jsou např. aplikací GML C++ považovány za nevhodné ke kalibraci, se tímto postupem výrazně sníží. Po extrakci vrcholů následuje analytické řešení pro parametry kamery bez ohledu na radiální zkreslení. Uvedeným krokem je nalezena počáteční aproximace parametrů projekční matice, ze které

28 KAPITOLA 3. REALIZACE 20 Obrázek 3.3: Okno s výsledky kalibrace v GML C++ Camera Calibration. Aplikace dovoluje správu kalibrace ve formě projektu, export vnějších a vnitřních parametrů kamery a také export souřadnic identifikovaných vrcholů kalibrační šablony do textového formátu. vychází nelineární optimalizace. Optimalizace hledá numerickém řešení ve smyslu minimalizace odchylky mezi předem určenými body a body získanými zpětnou projekcí z modelu šablony do roviny obrazu na základě aktuálních parametrů matice K. Výsledek kalibrace pro kterou bylo použito 127 snímků, je uveden tabulce 3.1. Při známých optimálních parametrech je k dispozici možnost opětovné identifikace vrcholů kalibračního vzoru, tentokrát již automaticky. Opakované vyhledání vrcholů šablony následované kalibrací s novými souřadnicemi vede zpravidla k přesnější kalibraci. Toolbox zobrazuje také diagram ve kterém jsou vytištěny chyby zpětné projekce ve všech obrazech. Pomocí diagramu je snadné odstranit obrazy ve kterých se vyskytují vybočující měření a postup opakovat s upravenou množinou bodů. Přestože je práce s Toolboxem v prostředí Matlab časově náročnější než použití GML Tabulka 3.1: Postupné zpřesnění kalibrace. Inicializace Nové vrcholy Bez vybočujících Ohnisková f x = ± ± ± vzdálenost f y = ± ± ± Hlavní bod x 0 = ± ± ± y 0 = ± ± ± Nelineární k 1 = ± ± ± zkreslení k 2 = ± ± ± k 3 = ± ± ± t 1 = ± ± ± t 2 = ± ± ±

29 KAPITOLA 3. REALIZACE 21 Obrázek 3.4: Porovnání snímků pořízených kamerou Contour HD s jejich protějšky ve kterých je radiální zkreslení potlačeno. C++, jde o velmi flexibilní nástroj s jednoduchým a účelovým uživatelským rozhraním. Otevřený zdrojový kód a bohatá dokumentace dostupná na webu autora je rovněž nespornou výhodou. Některé funkce Toolboxu jsou užitečné i v jiných úlohách než je kalibrace obrazu. V Toolboxu je možné, stejně jako v GML C++, aplikovat korekci obrazů nad celým adresářem souborů Vlastní implementace s knihovnou OpenCV Přestože autoři GML C++ deklarují možnost pracovat v jejich aplikaci se sekvencí snímků ve video souboru, jeho délka je omezena maximálním počtem sto snímků a formát do kterého ukládá videa kamera Contour HD není s GML C++ kompatibilní. Toolbox pro Matlab nenabízí práci s video záznamy vůbec. Před vlastní kalibrací za použití obou zmíněných nástrojů je proto zapotřebí vybrat z videa jednotlivé snímky a uložit je do některého z formátů pro ukládání digitálního obrazu. Za tímto účelem byl navržen skript, který porovnává rozdíly mezi dvěma po sobě následujícími snímky a na základě podobnosti, vyjádřené absolutní hodnotou rozdílu jasu obrazových bodů, vybírá části záznamu vhodné pro uložení jako statického obrazu. Pro kalibraci jsou vhodné stabilní snímky pořízené ve chvíli, kdy se kamera při záznamu nepohybuje a zároveň snímky takové, které si nejsou příliš podobné, tj. snímky různých scén. Následné zpracování se týká pouze vybraných snímků, které jsou z videa uloženy do obrazového formátu JPEG. Aby bylo možné pracovat přímo se soubory videa z kamer, byla navržena aplikace s grafickým uživatelským rozhraním, která využívá knihovnu OpenCV. Aplikace dovoluje vybrat soubor z úložiště, spustit detekci kalibrační šablony a zobrazit výsledek kalibrace, kterým je matice kamery K a koeficienty nelineárního zkreslení. Aplikace zpracovává video více vlákny bez vzájemné synchronizace. Každé vlákno po detekci zobrazí výsledek na obrazovku, a proto se záznam může jevit jakoby ztratil časovou souslednost. Efekt nemá na stanovení parametrů kamery vliv. Aplikace je vytvořena jako soustava ActiveX komponent. Zajímavá je například komponenta která zobrazuje obraz z matice cv::mat a představuje tak alternativu ke grafickému výstupu, který je navržen v knihovně OpenCV.

30 KAPITOLA 3. REALIZACE 22 Obrázek 3.5: Aplikace navržená pro kalibraci kamery Contour HD s podporou knihovny OpneCV. Vlevo dole zobrazeno okno s výsledky kalibrace. 3.2 Parametry vnější Vnější parametry jsou určeny na základě otáčení kamery umístěné ve středu místnosti obdélníkového půdorysu. Záznam je proveden s kamerou otočenou do šesti kolmých směrů a také z plynulého otáčení kamery o 360 v horizontální a svislé rovině. Postup kalibrace kamer v zařízení je uveden v následujícím výčtu. Otáčením kamery zaznamenat okolní scénu. Ta by měla obsahovat dostatečné množství objektů, které lze později použít k určení korespondence mezi obrazy. K otáčení dochází ve vodorovné a svislé rovině. Video uložit jako sérii obrazových souborů a vybrat obrazy z takových pozic kamer, aby byla pokryta celá scéna. Obrazy z kamery na základě známých vnitřních parametrů opravit z hlediska radiálního a tangenciálního zkreslení. Určit korespondence mezi body v překrývajících se obrazech a určit projektivní transformaci mezi těmito obrazy. Určit projektivní transformaci mezi obrazy, které byly pořízeny z šestice vzájemně kolmých orientací kamery. Výstupem je pět matic homografie mezi kamerami. Podobné konfigurace kamer, jaká se nachází ve skutečném multi-kamerovém zařízení, lze dosáhnout i s jedinou kamerou otočně upevněnou na stativu. S určitou tolerancí je možné střed kamer v zařízení považovat za totožný. Kalibrace byla provedena v uzavřené místnosti s kamerou umístěnou v jejím středu. Stěny místnosti byly opatřeny značkami tak, aby bylo

31 KAPITOLA 3. REALIZACE 23 Obrázek 3.6: Výchozí snímky pro kalibraci vnějších parametrů. Obraz z referenční kamery se nachází na prvním řádku vpravo a následné záběry jsou umístěny vlevo od tohoto pohledu. Stejně jsou seřazeny pohledy na druhém a třetím řádku. Snímek na druhém řádku vpravo navazuje na snímek vlevo v řádku prvním. Radiální zkreslení je v obrazech odstraněno. (a) (b) Obrázek 3.7: Dva snímky ze série snímků pořízených uvnitř místnosti s cílem kalibrace vnějších parametrů multi-kamerového zařízení. Obrázek vlevo (a) je přímo z kamery Contour HD, jejíž objektiv vykazuje silné radiální zkreslení; přímky ve scéně se zobrazují jako oblouky. Na snímku (b) je radiální zkreslení odstraněno s koeficienty uvedenými ve třetím sloupci tabulky 3.1.

32 KAPITOLA 3. REALIZACE 24 Obrázek 3.8: Klíčové body v obrazech a korespondence mezi nimi. V prvním řádku se nacházejí tři obrazy scény získané rotací kamery ve vodorovné rovině. Metodou SIFT jsou vyhledány klíčové body ve všech třech obrazech. Body jsou vyznačeny bílými značkami. Korespondence bodů mezi obrazem uprostřed, obrazem vlevo a obrazem vpravo je naznačena na druhém řádku barevnými úsečkami. možné nastavit kameru do šesti vzájemně kolmých směrů. Kamera je vybavena zdroji viditelného laserového paprsku díky kterým lze orientaci kamery jednoduše sledovat. Záběry z kamery rotující ve vodorovné rovině jsou uvedeny na obrázku 3.6. Prvním krokem kalibrace je výběr těch částí videa, která obsahují ostré snímky z kolmých směrů. Jde o ty polohy kamery, které odpovídají rozložení kamer v multi-kamerovém zařízení. Dále je třeba vybrat záběry z kamery v mezi-polohách. Vybrané záběry jsou uloženy do obrazového formátu JPEG, ze kterých je odstraněno radiálního zkreslení snímků. K tomu je možné použít GML C++ i Camera Calibration Toolbox. Pro vyhledání klíčových bodů a stanovení jejich korespondence byl použit program Autopano. Ten je pro nekomerční použití dostupný zdarma. Program má textové rozhraní a jeho úlohou je vyhledání korespondence mezi obrazy uloženými v určené složce souborů. Program vyhledává korespondence metodou SIFT a výsledek ukládá do textového souboru ve formátu *.oto. Kalibrace vnějších parametrů byla provedena v prostředí Matlab. Součástí přílohy této práce je mimo jiné i funkce pro čtení formátu *.oto do struktury v tomto prostředí. Vyhledání klíčových bodů je ilustrováno na obrázku 3.8. Korespondence mezi body v obrazech je naznačena barevnými úsečkami. Pro další popis je vhodné kamery symbolicky označit podle toho, do jakého směru jsou orientovány. Následující schéma zobrazuje pohled na multi-kamerového zařízení shora.

33 KAPITOLA 3. REALIZACE 25 L R D H P R L P Z H D referenční kamera kamera vlevo kamera vpravo kamera vzadu kamera směřující vzhůru kamera směřující dolů Z Kamera je z počáteční (referenční) polohy R otáčena proti směru pohybu hodinových ručiček nejprve do směru L a dále do směrů Z, P a zpět do původní polohy R. Nejprve je určena homografie mezi referenční kamerou R a kamerou vlevo L, H R,L. Obrazy z referenční kamery a kamery vlevo se nepřekrývají. Homografie je proto určena pomocí dalších dvou snímků, které leží mezi polohou R a polohou L. Tyto homografie jsou značeny číselnými indexy, kde např. homografie H 1,2 se nachází mezi prvním (referenčním) obrazem a obrazem druhým (prvním vlevo od referenčního). Homografie mezi kamerou R a L je určena jako součin dílčích homografií. Situaci ilustruje obrázek 3.9. H R,L = H 3,4 H 2,3 H 1,2 0, , , = 0, , , , , H 2,3 H 1,2 R H 3,4 H R,L D L H P Z Obrázek 3.9: Vztah mezi obrazy které se nepřekrývají. Protože obrazy z kamer L a R nepokrývají stejnou část scény, neobsahují žádné body mezi kterými by bylo možné korespondence najít. Homografii H R,L je přesto možné určit s pomocí dvou mezilehlých obrazů jako součin homografií H 1,2, H 2,3 a H 3,4. Stejným postupem jsou stanoveny homografie mezi levou a zadní kamerou H L,Z, kamerou vzadu a vpravo H Z,P a také mezi referenční kamerou a kamerami směřujícími dolů H R,D a nahoru H R,H.

34 KAPITOLA 3. REALIZACE 26 Obraz kamery vzadu je popsána homografií mezi obrazem této kamery, Z, a obrazem kamery vlevo, L. H L,Z = H 6,7 H 5,6 H 4,5 3, , , = 1, , , , , Obraz kamery vpravo je možné vyjádřit homografií vůči obrazu kamery která je vzadu H Z,P, ale také homografií mezi obrazem kamery referenční H R,P. Uvedeny jsou obě varianty. V druhém případě, ve kterém je určena pravá kamera vůči kameře referenční, jsou dílčí homografie invertovány neboť je nutné vyjádřit vztah mezi obrazem který je relativně vpravo vůči obrazu který je vlevo. V této práci každá homografie v horizontální rovině H i,j uvažuje obraz vpravo jako výchozí a obraz vlevo jako obraz transformovaný, což odpovídá rotaci kamery proti směru hodinových ručiček. Inverzní matice smysl obrací. H Z,P = H 9,10 H 8,9 H 7,8 2, , , = 1, , , , , H R,P = H 1 10,11 H 1 11,12 H 1,12 0, , , = 0, , , , , Obdobným způsobem, jako při rotaci kamery ve vodorovné rovině, je kamera sklopena z referenčního pohledu směru dolů. Rozměry obrazu kamery jsou v poměru 16:9, takže vertikální pozorovací úhel je menší, než pozorovací úhel ve vodorovném směru. Z tohoto důvodu je při sklápění kamery nutné pořídit větší počet snímků, které leží mezi referenčním pohledem a pohledem dolů. Obrazové soubory, ze kterých kalibrace vychází, tvoří samostatnou složku, a proto jsou dílčí homografie označeny stejnými indexy jako při kalibraci kamer ve vodorovné rovině. Homografie H 1,2 je v tomto případě vyjádřením vztahu mezi obrazem z referenční kamery a obrazem z kamery částečně skloněné směrem dolů, nikoli doleva. H R,D = H 4,5 H 3,4 H 2,3 H 1,2 8, , , = 0, , , , , Pátou homografií je homografie mezi referenční kamerou a kamerou směřující vzhůru. Obrazy kamery směřující vzhůru tvoří rovněž samostatnou sadu obrazů, z toho důvodu je

35 KAPITOLA 3. REALIZACE 27 označení stejné jako v předchozím případě. Jde však o homografie mezi jinými záběry. Zatímco k přechodu od pohledu z referenční kamery k pohledu kolmo dolů stačilo v předchozím případě pět pohledů, při pohledu vzhůru bylo nutné vytvořit korespondenci z pohledů sedmi. Důvodem je menší množství klíčových bodů v obrazech. H R,H = H 7,8 H 6,7 H 5,6 H 4,5 H 3,4 H 2,3 H 1,2 1, , , = 0, , , , , Matice H R,L, H R,P, H L,Z, H R,D, H R,H jsou vnějšími parametry zařízení. Homografie mezi referenční kamerou a kamerou směřující dozadu, H R,Z, nebyla uvedena přímo, nicméně jednou možností je stanovit homografii H R,Z jako součin H R,L s H L,Z, nebo opačnou cestou přes pravou kameru H R,Z = H R,L H L,Z H R,Z = H 1 P,Z H R,P Z homografií mezi obrazy není poloha kamer tak zřejmá, jako z matic otočení kamer. Relativní rotace kamer vůči referenční kameře je možné určit z homografie a na základě znalosti vnitřních parametrů kamer podle rovnice V důsledku chyb měření, ale i v důsledku numerických nepřesností matice R z uvedené rovnice vlastnosti matice otočení nesplňuje. V obecném případě rovnosti R T R = I, ani det(r) = 1 neplatí. Zhang [16] navrhuje odhadnout matici otočení R minimalizací Frobeniovy normy R Q 2 F vzhledem k R za podmínky R T R = I, kde Q je výsledek získaný z rovnice Singulárním rozkladem matice Q = UDV T, která je v rovnici 2.17 označena jako R, na dvě ortogonální matice U, V T a diagonální matici D, je minimální normy dosaženo pro D = I a odhad matice otočení je pak R = UV. Otočení referenční kamery je R = I. Rotace kamery vlevo, L, označená jako R R,L je pak dána rovnicí 3.2. Matice vnitřních parametrů K je výsledkem získaným v kapitole o kalibraci vnitřních parametrů kamery. Q R,L = K 1 H R,L K Q R,L = UDV T R R,L = UV (3.1) = Rotaci kamery je možné vyjádřit také jako úhel θ, o který je kamera otočena podle osy u. Matice otočení má stejná vlastní čísla jako matice homografie. Vlastní čísla matice otočení jsou

36 KAPITOLA 3. REALIZACE 28 Tabulka 3.2: Vnější parametry kamer kamera matice otočení osa úhel otočení [ ] L: R R,L = u L = θ L = Z: R L,Z = u Z = θ Z = P: R Z,P = u P = θ P = P : R R,P = u P = θ P = D: R Z,D = u D = θ D = H: R Z,H = u H = θ H = , 1e iθ, 1e iθ a úhel otočení kolem osy rotace je určen fází komplexních vlastních čísel. Osa rotace je dána takovým vektorem, který se při rotaci nezmění. Platí Ru = u, a proto je osa rotace určena vlastním vektorem matice otočení, který přísluší vlastnímu číslu 1. Ve vyjádření osa-úhel je kamera vlevo otočena o θ = podle osy u = (0.0136, , ) T, která téměř odpovídá otočení o pravý úhel kolem svislé osy rotace. Podobným způsobem je zjištěna poloha kamery vzadu, Z, vůči kameře vlevo. Matici otočení R L,Z R L,Z = odpovídá otočení vůči kameře vlevo o kolem osy u = (0.0214, , ) T. Vzájemné otočení všech kamer je uvedeno v tabulce 3.2. Postupné otáčení kamery podél svislé a vodorovné osy ilustruje obrázek Obrazy z šesti navzájem kolmých kamery jsou zvýrazněny tučnými obdélníky. Ostatní pohledy jsou vztaženy vzhledem ke kameře referenční, jejíž matice otočení je rovna matici jednotkové.

37 KAPITOLA 3. REALIZACE 29 H Z P R C L D Obrázek 3.10: Nákres obrazů pořízených při rotaci kamery kolem svislé a vodorovné osy. Směry odpovídají rotacím uvedeným v tabulce 3.2. Výrazné obdélníky vyjadřují obrazy pořízené kamerami v multi-kamerovém zařízení. Světlé obdélníky vyjadřují obrazy z kamer v mezilehlých polohách. Druhý obraz se nachází vlevo od referenční kamery (při pohledu vně ze středu C), třetí obraz je vlevo od obrazu druhého a pokud došlo k otočení kamery o celý kruh, měl by být poslední obraz přibližně stejný s obrazem prvním, jako je tomu na obrázku 2.7b. Příklad na obrázku 3.10 však vystihuje nepřesnosti, ke kterým při určování homografie mezi obrazy dochází. Chyby v určení projektivní transformace mají několik příčin. Jednou z nich je rotace kamery kolem bodu, který není zcela totožný s optickým středem kamery. V této práci je vysloven předpoklad shodného středu pro všechny kamery. Ve skutečnosti středy kamer nesplývají zcela přesně. Druhou příčinou ne zcela přesného určení homografie je možné najít ve fázi vyhledávání korespondence mezi body v obraze. Korespondence je stanovena mezi obrazy, u kterých je potlačeno radiální zkreslení na základě modelu, který skutečné zkreslení pouze aproximuje. Stejně tak určení matice kamery K je pouze odhadem skutečných parametrů vzhledem k minimalizaci chyby zpětné projekce bodů na kalibrační šablonu. Příčin nepřesného stanovení prvků h ij matice homografie H je celá řada a přítomná chyba se podle rovnice 2.26 šíří multiplikativně. První obrazy jsou v příkladu na obrázku 3.10 zarovnány relativně dobře, avšak s rostoucím úhlem otočení kamery a tedy rostoucím počtem násobených členů v rovnici 2.26 se přesnost podstatně snižuje. Celková chyba se projevuje výraznou odchylkou mezi prvním a posledním obrazem z kamery otočené o 360. Ideálně by měl poslední obraz splynout s obrazem prvním. Taková skutečnost není v homografiích mezi obrazy zachycena.

38 KAPITOLA 3. REALIZACE 30 Obrázek 3.11: Složený obraz ze tří snímků pořízených při rotaci kamery směrem vlevo od referenční polohy. Tendence rozšiřování obrazu směrem k levému a pravému okraji je při zobrazení na rovinu typická. Obrázek 3.12: Složený obraz ze tří snímků pořízených při rotaci kamery směrem dolů od referenční polohy.