Registrace obrazů buněk podle intenzit v obraze

MASARYKOVA UNIVERZITA Fakulta informatiky Registrace obrazů buněk podle intenzit v obraze diplomová práce Ondřej Daněk 20. prosince 2006

Prohlašuji, že tato práce je mým 'původním autorským dílem, které jsem vypracoval samostatně. Všechny zdroje, prameny a literaturu, které jsem při vypracování používal nebo z nich čerpal, v práci řádně cituji s uvedením úplného odkazu na příslušný zdroj. Rád bych poděkoval vedoucímu práce RNDr. Petru Matulovi, Ph.D. za jeho cenné rady a čas, který mi věnoval.

Shrnutí práce Práce se věnuje registraci obrazů buněk pouze na základě intenzit obsažených v obrazech, tedy bez využití uměle vytvořených, či jinak dodaných, registračních značek. Registrací se rozumí vyhledání geometrické transformace mezi dvěma obrazy umožňující maximální slícování objektů obsažených v obrazech. Je prezentováno několik podobnostních mír použitelných pro tento způsob registrace a tyto míry jsou podrobně zkoumány a porovnávány s ohledem na jejich využitelnost při registraci dat dodaných Centrem pro analýzu biomedicínských obrazů Fakulty informatiky Masarykovy univerzity v Brně. Dále jsou testovány algoritmy pro globální optimalizaci (nalezení minima nebo maxima) těchto funkcí, přičemž je kladen důraz na přesnost a rychlost zpracování. V závěrečné části práce jsou shrnuty dosažené výsledky a doporučen nejvhodnější postup registrace. Součástí práce je také vytvoření registrační knihovny implementující všechny výše uvedené algoritmy a její podrobná dokumentace. Klíčová slova registrace obrazů, podobnostní funkce, vzájemná informace, Fourierova transformace, optimalizace Keywords voxel-based image registration, similarity function, mutual information, Fourier transformation, optimization

Obsah 1 Úvod 1 1.1 Původ zkoumaných obrazů 1 1.2 Vznik odchylek v obrazech 2 1.2.1 Barevné vady mikroskopu 2 1.2.2 Opakované snímání (hybridizace) 3 1.2.3 Působení chemikálií 3 1.3 Cíle práce 3 2 Teoretická část 4 2.1 Registrace obrazů 4 2.1.1 Formální zápis 5 2.1.2 Metody registrace 5 2.2 Podobnostní míry 6 2.2.1 Kritérium stochastické změny znaménka (SSC) 6 2.2.2 Kritérium součtu absolutních hodnot rozdílů (SAVD) 7 2.2.3 Kritérium součtu čtverců rozdílů (SSD) 7 2.2.4 Korelační koeficient (CC) 7 2.2.5 Normalizovaný korelační koeficient (NCC) 7 2.2.6 Vzájemná informace (MI) 8 2.2.7 Zobecněná vzájemná informace (GMI) 8 2.2.8 Woodsův algoritmus 9 2.3 Prostor transformací 9 2.4 Stupeň interpolace 10 2.5 Integrální transformace 10 2.6 Optimalizační metody 10 2.6.1 Úplné vyhledávání 11 2.6.2 Rekurzivní vyhledávání 11 2.6.3 Genetický algoritmus (GA) 12 2.6.4 Simulované žíhání 13 2.6.5 Adaptivní simulované žíhání 13 2.6.6 Pyramidový algoritmus 13 3 Výběr podobnostní míry 14 3.1 Registrace 2D obrazů 14 3.1.1 Registrace uměle transformovaných dat 15 i

11 3.1.2 Registrace reálných dat 19 3.1.3 Vliv degradace 31 3.1.4 Citlivost na parametry 32 3.2 Registrace 3D obrazů 35 3.3 Doporučené podobnostní míry 37 4 Výběr optimalizační metody 38 4.1 Registrace posunů 38 4.1.1 Úplné prohledávání 38 4.1.2 Rekurzivní prohledávání 39 4.1.3 Genetický algoritmus 39 4.1.4 Simulované žíhání 40 4.1.5 Adaptivní simulované žíhání 40 4.1.6 Integrální transformace 40 4.2 Registrace změny měřítka 41 4.3 Registrace otočení 41 4.4 Registrace kombinací transformací 41 4.5 Další možnosti optimalizace 42 5 Závěr 43 5.1 Výsledky 43 5.2 Další rozšíření 44 A Obsah CD 47 B Registrační knihovna 48 B.l Podobnostní funkce 48 B.2 Optimalizační metody 50 B.3 Logovací třída 52 B.4 Export grafů 53 B.5 Hlášení chyb 53 B.6 Statické funkce 53 C Podklady pro subjektivní hodnocení 54 D Ukázky registrace dalších dat 55 D.l První pár 55 D.2 Druhý pár 56 D.3 Třetí pár 57

Seznam obrázků 1.1 Vznik autofocus projekce 2 1.2 Čočka s chromatickou vadou - zdroj Wikipedia 3 2.1 Příklad satelitních snímků k registraci 4 2.2 Postup rekurzivního vyhledávání 12 3.1 Obraz jádra buňky a tentýž obraz posunutý o 15 pixelu vpravo a 7 pixelu dolů 15 3.2 Průběh extrémů funkcí při registraci obrazů z obr. 3.1 [část 1] 16 3.3 Průběh extrémů funkcí při registraci obrazů z obr. 3.1 [část 2] 17 3.4 Tatáž buňka po opakovaném snímání 20 3.5 Histogram obrazu A z obr. 3.4 20 3.6 Histogram obrazu B z obr. 3.4 20 3.7 Průběh extrémů funkcí při registraci obrazů z obr. 3.4 [část 1] 21 3.8 Průběh extrémů funkcí při registraci obrazů z obr. 3.4 [část 2] 22 3.9 Průběh extrémů funkcí SSC a SAVD pro obrazy 3.4 bez vyrovnání histogramů 22 3.10 Obrazy buněk s objekty na okraji 25 3.11 Histogram obrazu B z obr. 3.10 25 3.12 Průběh extrémů funkcí při registraci obrazů z obr. 3.10 [část 1] 26 3.13 Průběh extrémů funkcí při registraci obrazů z obr. 3.10 [část 2] 27 3.14 Výsledek registrace obrazů z obr. 3.10 pomocí MI 29 3.15 Průběh extrému MI při registraci změny měřítka obrazů z obr. 3.10 30 3.16 Výsledek registrace změny měřítka u obrazů z obr. 3.10 pomocí MI 30 3.17 Registrace dat obsahujících nelineární transformaci intenzit 32 3.18 Registrace 3D obrazu pomocí F-NCC 36 C.l Srovnání registrace pomocí NCC, MI a PIU u obrazů z obr. 3.4 54 C.2 Srovnání registrace pomocí NCC a MI u obrazů z obr. 3.10 54 ni

Kapitola 1 Úvod Tato práce vznikla ve spolupráci s Centrem pro analýzu biomedicínských obrazů Fakulty informatiky Masarykovy univerzity v Brně 1 a zabývá se registrací obrazů buněk pořízených v tamních laboratořích. Registrace obrazů spadá do oblasti zpracování dat a představuje nalezení geometrické transformace umožňující maximální možné slícování objektů obsažených ve dvou registrovaných obrazech. Z několika možných metod registrace se práce zabývá registrací pouze na základě intenzit obsažených v obrazech, tedy bez využití dalších dodatečných informací (více v kapitole 2). V prvním kroku jsou představeny známé, dříve prezentované, podobnostní míry 2 umožňující právě tento způsob registrace a ty jsou srovnávány s důrazem na jejich použitelnost pro registraci dodaných dat. Důležitá je především přesnost výsledku a také doba zpracování. Dalším krokem nezbytným k nalezení optimální transformace je vyhledání globálního minima (maxima) podobnostní funkce. Prostor transformací je často velmi rozsáhlý a jeho úplné prohledávání není se současným technickým vybavením možné. V práci je proto uvedeno několik optimalizačních algoritmů pro redukci velikosti prostoru transformací a nalezení globálního optima v přiměřeném čase. Opět s přihlédnutím k přesnosti výsledku. 1.1 Původ zkoumaných obrazů Zkoumané obrazy obsahují snímky živočišných buněk. Buňka je základním stavebním kamenem živých organismů, její hlavní funkcí je dělení se a tvorba bílkovin (proteinů). V jádře buňky je obsažen soubor chromozómů (označovaný jako karyotyp). Jejich nejdůležitější částí je DNA (deoxyribonukleová kyselina). DNA je tvořena řetězem nukleotidů a jejich sekvence (geny) hrají důležitou roli při produkci proteinů. Pro jejich produkci je dále podstatná látka RNA (ribonukleová kyselina), která přenáší informaci zapsanou v DNA řetězci do místa v buňce (ribozóm), kde proběhne vlastní syntéza bílkoviny. Chceme-li tedy porozumět chování živých organismů, je třeba zkoumat prostorovou strukturu a uspořádání DNA a její vztah k vlastní funkci buňky (tj. kdy se bude produkovat jaká bílkovina). K tomu se v praxi používají 2 techniky označované jako FISH a immuno-fish. Tyto techniky umožňují fixování buňky ve zkoumaném stavu chemickým 1 http://www.fl.muni.cz/lom/ 2 Lze také použít termín podobnostní funkce. V následujícím textu budou používány oba dva výrazy. 1

KAPITOLA 1. ÚVOD m MAX Obrázek 1.1: Vznik autofocus projekce činidlem a vizualizaci (obarvení) zajímavých míst v řetězci DNA (technika FISH), respektive proteinů účastnících se přepisu informace z RNA a vzniku nového proteinu (technika immuno-fish). Obarvená místa v preparovaných buňkách je potom možné snímat mikroskopem. Pokud je třeba pozorovat více objektů, provádí se barvení po etapách. V každé etapě jsou obarveny pouze určité objekty, po snímání je provedeno odstranění barvy a obarvení dalších objektů. Výsledná data testovaná v této práci jsou pořízena fluorescenčním konfokálním mikroskopem 3, a jsou ve formě třírozměrných šedotonních obrazů. Z důvodu možnosti lepší vizualizace výsledků (ve formě 3D grafů) jsou pro některé výpočty a srovnání použity pouze dvourozměrné obrazy vzniklé maximalizací intenzity obrazu ve směru osy z. Tyto obrazy jsou v textu označovány jako autofocus projekce a jejich vznik ilustruje obrázek 1.1. 1.2 Vznik odchylek v obrazech Proč je vlastně třeba získaná data registrovat? Důvodů je hned několik. Z nich nejzásadnější jsou tyto: Barevné vady mikroskopu Opakované snímání Působení chemikálií 1.2.1 Barevné vady mikroskopu Barevné vady jsou někdy též nazývány jako chromatické aberace 4. Jedná se o vadu způsobenou závislostí ohniskové vzdálenosti čočky na vlnové délce světla. Čočky s touto vadou pak lámou světlo každé vlnové délky jinak (viz obrázek 1.2). Bohužel ani u velmi kvalitních čoček nelze tento typ vady vyloučit. Snímáme-li potom dvakrát ten stejný objekt, přičemž v každém případě ho máme obarvený barvivem vyzařujícím při nasvícení světlo různé vlnové délky, dostáváme ve výsledku dva obrázky téhož objektu, které ale mohou být vůči sobě mírně posunuty, zmenšeny, případně zvětšeny. 3 http:// www.fi.muni.cz/lom/pages/laboratory/hardware. shtml 4 littp://cs. wikipedia.org/wiki/cliromaticka_aberace

1.3. CÍLE PRACE 3 Obrázek 1.2: Čočka s chromatickou vadou - zdroj Wikipedia. 1.2.2 Opakované snímání (hybridizace) Zřejmě největší zdroj odchylek ve snímaných datech, která pro tuto práci byla k dispozici, byl způsoben opakovaným snímáním téhož (resp. v laboratoři upraveného) preparátu. Jakmile je nutné vyjmout sklíčko s preparátem z mikroskopu, nějakým způsobem s ním manipulovat a poté jej opět do mikroskopu vrátit, není již možné dosáhnout přesně stejné pozice snímaných objektů pod mikroskopem. Dochází tak k různým posunům, natočením a dalším odchylkám. 1.2.3 Působení chemikálií Jak již bylo výše uvedeno, zkoumané objekty se musí nejdříve zafixovat chemickým činidlem a poté dochází k jejich postupnému barvení a odbarvování. Všechny chemikálie aplikované na buňky způsobují větší či menší změny ve vnitřní struktuře, které se opět mohou ve výsledku projevit různými posuny a jinými změnami. Navíc pro přebarvení je nutné preparát z mikroskopu vyjmout a dochází tak k problémům uvedeným v předchozí sekci. 1.3 Cíle práce Pro účely této práce byla dodána data (vždy dvojice obrazů téhož objektu - buňky) vykazující menší či větší geometrické odchylky (posuny, natočení, změny měřítka). Na těchto datech byly postupně testovány podobnostní míry a optimalizační algoritmy uvedené v této práci. Výsledky byly porovnány s ohledem na přesnost, rychlost, citlivost na parametry a další faktory a byl doporučen optimální postup pro registraci těchto dat. Vzhledem k neexistenci ucelené programové knihovny využitelné pro registraci obrazů je součástí práce i implementace všech, v práci uvedených, podobnostních mír a optimalizačních algoritmů, s možností generování grafických průběhů a zaznamenávání informací o době registrace, nastavení parametrů, zkoumaném transformačním prostoru a dalších.

Kapitola 2 Teoretická část 2.1 Registrace obrazů Registrace (lícování) obrazů, je definována jako hledání geometrické transformace, která slícuje body a objekty jednoho obrazu s odpovídajícími body a objekty druhého obrazu. Oba obrazy přitom typicky představují pohled na stejný objekt, který ale mohl být pořízen různými pořizovacími metodami nebo v různých časech. Registrace obrazů je v současnosti nejvíce využívána pro následující účely: Lékařství Registrace dat pořízených kombinací několika pořizovacích senzorů. Tedy například morfologických dat pořízených počítačovou tomografií (CT), jadernou magnetickou rezonancí (MR) a funkčních dat pořízených jednofotonovou emisní tomografií (SPÉCT) či pozitronovou emisní tomografií (PET). Registrace dat z několika modalit je podmínkou jejich důkladnějšího vizuálního zkoumání. Hledání změn Porovnávání snímků pořízených v různých časech nebo za jiných podmínek. Například registrace satelitních snímků jak ukazuje obrázek 2.1. Porovnávání a rozpoznání objektů Například ověření podpisu, či segmentace (členění) objektů. Obrázek 2.1: Příklad satelitních snímků k registraci 4

2.1. REGISTRACE OBRAZŮ 5 2.1.1 Formální zápis Mějme dány dva obrazové soubory / a J a funkci S oceňující registraci obrazů, které jsou jí předány jako parametry. Předpokládejme dále, že optimální registrace je dosažena v minimu této funkce. Proces registrace poté můžeme definovat vztahem: r opt = argmm5(/,r(j)), (2.1) kde T vyjadřuje geometrickou transformaci, T je množina všech uvažovaných transformací (která je před výpočtem také určitým způsobem specifikována) a T cyp t je transformací v níž je dosaženo optimální registrace. Analogicky lze registraci definovat i pro funkce dosahující optimální registrace v maximu. 2.1.2 Metody registrace Podle způsobu jakým postupujeme můžeme vyčlenit 5 nejvýznamnějších metod registrace [1], [2]: Interaktivní metody Registrace pomocí korespondencí značek Korespondence hranic oblastí Maximalizace globální podobnosti Registrace využívající integrální transformace V následujícím textu budou jednotlivé metody stručně představeny. Tato práce se pak detailně zabývá posledními dvěmi jmenovanými. Interaktivní metody Interaktivní metody představují lícování obrazů pod vizuální kontrolou operátora. Uplatňují se především v případech kdy by bylo obtížné použití ostatních metod. Tedy především při silné deformaci zobrazených objektů, malé velikosti překrývající se oblastí, nízkém kontrastu apod. Registrace pomocí korespondencí značek Tento typ registrací se v anglické literatuře označuje jako point-based registrace. V duchu klasického členění registrací (např. devítidimenzionální schéma pro klasifikaci registrací v medicínském prostředí dle Maintze a Viergevera [2]) se typicky jedná o vnější registrace, kdy jsou do registrovaných dat zavedeny dodatečné informace, například ve formě značek (navrtáním dat laserem), které nám usnadní nalezení optimální transformace. Případně je rovněž možné využít jako registrační značky významná místa v obraze (rohy, křižovatky, apod.). Tyto metody lze dále rozdělit na metody interaktivní (značky jsou v obraze označeny operátorem) a neinteraktivní (vyhledání značek provádí sám stroj segmentací).

6 KAPITOLA 2. TEORETICKÁ CÁST Korespondence hranie oblastí Při těchto metodách je základním předpokladem segmentace objektů v obrazech a stanovení jejich hranic. Následně dochází k aplikaci algoritmů umožňujících, na základě nalezených hranic, určení hledané registrační transformace. Typickými představiteli těchto algoritmů je například Houghova transformace či metoda klobouk a hlava". Maximalizace globální podobnosti Tyto metody se v anglické literatuře označují jako voxel-based registrace. Registrace dat v tomto případě závisí na zvolení vhodné podobnostní míry a její globální optimalizaci (hledání globálního maxima nebo minima) na prostoru uvažovaných transformací. Vyhodnocování algoritmů tak probíhá pouze na základě intenzit voxelů či pixelů obsažených v obrazech, přičemž se využívá informace z celého datového souboru. Výhodou těchto metod je, že není vyžadována segmentace a většinou ani výrazné předzpracování obrazů. Registrace využívající integrální transformace I tyto metody lze zahrnout pod pojem voxel-based registrace. Využívají skutečnosti, že integrální transformace (například Fourierova) mají v případě translace, rotace a změny měřítka své transformanty ve frekvenční oblasti. Tedy na základě výpočtu transformace obrazů je možné efektivně určit optimální registraci. Jakým postupem toho dosáhnout je uvedeno dále v této kapitole. 2.2 Podobnostní míry Podobnostní míry (nebo též funkce) tvoří základ voxel-based registrací. Jak vyjadřuje rovnice 2.1 jedná se o binární funkce, které pro dané dva obrazy vrací míru jejich podobnosti. Optimální registrace je vždy dosaženo buď v globálním maximu funkce nebo v jejím minimu. Pro účely této práce se uvažuje pouze druhý případ, tedy funkce dosahující optimální registrace v maximu jsou násobeny hodnotou 1 a tím je jejich optimalizace převedena na minimalizační úlohu. Ze známých podobnostních funkcí budeme podrobně zkoumat těchto osm: kritérium stochastické změny znaménka, kritérium součtu absolutních hodnot rozdílů, kritérium součtu čtverců rozdílů, korelační koeficient, normalizovaný korelační koeficient, vzájemnou informaci, zobecněnou vzájemnou informaci a dvě míry jejichž autorem je R. P. Woods (jedná se o Ratio-Image uniformity a Partitioned Intensity Uniformity). 2.2.1 Kritérium stochastické změny znaménka (SSC) Podstatou tohoto kritéria [4] je sčítání počtu průchodů nulou při výpočtu rozdílů intenzit (hodnot jasu) korespondujících obrazových bodů. Kritérium je odvozeno z neparametrické statistické teorie a obrazy jsou registrované v případě maximálního počtu průchodů nulou. Metoda předpokládá, že slícované obrazy jsou identické až na nekorelovaný šum s nulovou střední hodnotou, který má symetrické rozložení hustoty pravděpodobnosti. Tedy tato metoda uvažuje přítomnost šumu v obrazech.

2.2. PODOBNOSTNÍ MIRY 7 2.2.2 Kritérium součtu absolutních hodnot rozdílů (SAVD) Toto kritérium [5] je definováno vztahem: SAVD(I, J,T) = ±J2 \W - T (Jm, (2-2) i kde I a J jsou registrované obrazy, T je zkoumaná transformace, I (i) představuje prvek na pozici i v obrazu I (i může být i vektor několika souřadnic pro vícedimenzionální obrazy) a T(J)(i) představuje prvek na pozici i v obrazu který vznikne aplikací transformace T na obraz J. N je celkový počet obrazových elementů v průniku obrazů. Funkce SAVD je relativně výpočetně nenáročná. Uvažujeme-li i normalizační faktor 1/N je obor funkčních hodnot nezávislý na velikosti registrovaných dat. Pro šedotónová (grey-scale) data nabývá hodnot v intervalu (0,255). Obrázky jsou registrovány pro minimum funkce. 2.2.3 Kritérium součtu čtverců rozdílů (SSD) Kritérium vychází z kritéria SAVD a je definováno vztahem: SSD(I, J,T) = J2 (I(i) - T{J){i)f. (2.3) i Předpokladem je, že k optimální registraci dochází jestliže obrazy / a T(J) jsou identické. Pro tyto obrazy dostáváme hodnotu SSD rovnou nule. Pokud obrazy nejsou slícovány vychází hodnota SSD > 0, tedy optima je dosaženo pro minimum funkce. 2.2.4 Korelační koeficient (CC) Vzájemná korelační funkce je definována vztahem: cc(i,j,t) = j2mnj)(i). (2.4) i Výhodou korelačního koeficientu je opět jeho nízká výpočetní náročnost, naopak jeho nevýhodou je menši robustnost v porovnání s některými ostatními funkcemi (viz kapitola 3), protože funkce není normalizovaná. Optimální registrace je dosaženo v maximu funkce. 2.2.5 Normalizovaný korelační koeficient (NCC) Normalizovaný korelační koeficient [6] eliminuje většinu nedostatků předchozí podobnostní míry, při zachování obdobné výpočetní složitosti. Je definován vztahem: VEÍ (/(«) - /*) EÍ (JM - J*) kde /* a J* jsou průměrné hodnoty v obrazech I a J. Funkce popisuje lineární závislost dvou souborů dat a nabývá hodnot v rozmezí ( 1,1). Čím více se hodnota blíží jedné tím lepší je registrace. Funkce vykazuje velmi dobré vlastnosti a proto je jednou z nejpoužívanějších pro měření podobnosti obrazů.

8 KAPITOLA 2. TEORETICKÁ CÁST 2.2.6 Vzájemná informace (MI) Vzájemná informace (Mutual information) [7] je netradičním způsobem měření podobnosti dat. Odhaduje obecnou (tj. i nelineární) závislost dvou souborů dat. Registrace pomocí vzájemné informace je tedy robustnější a je vhodná i pro registraci dat získaných z různých zobrazovacích modalit. Algoritmy pro její výpočet jsou velmi obecné a jsou použitelné pro široké spektrum dat. Výpočet vychází ze statistické teorie 2 náhodné veličiny x a y jsou statisticky nezávislé právě tehdy, když jejich simultánní hustota pravděpodobnosti je součinem jejich marginálních hustot. Tedy platí: p(x,y) = Px (x)p y (y) a maximálně statisticky závislé jestliže platí: p(x,y) =p x (x) =Py(y). Vzájemná informace náhodných veličin I a T(J) měří stupeň jejich závislosti Kullback- Leiblerovou vzdáleností mezi sdruženou hustotou pravděpodobnosti pu(i(i),j(i)) a součinem marginálních hustot pi(i(i))pj(j(i)). Vypočítá se vztahem (jednotkou jsou bity): MW,J,T> = ^WWW^^ffj;»,. (2-6) Optimální registrace je dosaženo pro maximum funkce. Jiný způsob vypočtu vzájemné informace využívá Shannonových entropií: MI(I, J, T) = H(I) + H(J(T)) - H(I, T(J)), (2.7) kde H(I) a H(T(J)) jsou Shannonovy entropie veličin I a T(J) a H(I,T(J)) jejich vzájemná entropie: H{I) = -$>/(/(*)) log 2 pj(/(i)), (2-8) i H{T{J)) = - Pj (T(J)(i))log 2 í>j(t(j)(i)), (2.9) i H(I,T(J)) = -J2'PiÁKý),T(J)(ý))^g 2 Pij(m,T(J)(i)). (2.10) i 2.2.7 Zobecněná vzájemná informace (GMI) Definice zobecněné vzájemné informace [8] je v mnohém podobná definici MI, pouze Shannonovy entropie ve vztahu 2.7 jsou nahrazeny zobecněnými Rényiho entropiemi druhého řádu: GMI(I,J,T) =H { - 2 \l) + H { - 2 \j{t))-h { - 2 \l,t{j)), (2.11) kde tf( 2 )(/) = -log 2 ][>?(/(*)), (2.12) i HW(T(J)) = -log^^czvx*)), (2.13)

2.3. PROSTOR TRANSFORMACI 9 H^\I,T{J)) = -log 2 J2pÍAm,T(J)(i)). (2.14) i Také GMI dosahuje optimální registrace pro maximum funkce a stejně jako MI vykazuje výborné vlastnosti i při registraci dat vykazujících nelineární závislosti. 2.2.8 Woodsův algoritmus Následující dva algoritmy byly navrženy Woodsem [9], [10] především pro registraci PET- PET a MR-PET objemových dat. Ukazuje se ale, že jsou využitelné i při řešení obecnějších problémů. Podobně jako vzájemná informace dokáží eliminovat nelineární transformace intenzit. Názvy algoritmů jsou uváděny v anglickém jazyce. Ratio-Image Uniformity (RIU) Algoritmus Ratio-Image Uniformity je používán především pro registraci obrazů pořízených stejnými modalitami. Jeho jádrem je následující postup výpočtu: R(l) = WŘ j R* = ^J2 R (^> *«= Jj^rrEW)-**) 2, (2-15 ) Registrace dat je dosaženo pro minimum funkce. Partitioned Intensity Uniformity RIU = g. (2.16) Algoritmus Partitioned Intensity Uniformity navíc umožňuje registraci dat pořízených různými modalitami, tedy například MR-PET registrace. Je založený na myšlence, že jsou-li obrazy registrované, pak pro danou hodnotu voxelu (objemového elementu) souboru / je rozsah intenzit odpovídajících voxelu v souboru J minimální. Výpočet podobnosti je následující: Eb bh{a, b), 1 J2 b h(a,b)(b-p*(a)) 2 p{a) = a{a) ňh^ř = mi ňh^j) ' (2-17) PIU = Y J W{a)^bhi^A) l (2.18) a kde h(a, b) je vzájemný histogram obrazů I a J. Registrace dat je dosaženo pro minimum funkce. 2.3 Prostor transformací Velikost prostoru prohledávaných transformací je klíčovým prvkem při registraci obrazů. Pokud je prostor příliš velký nemusí se podařit najít globální minimum podobnostní funkce nebo může jeho nalezení zabrat neúměrně dlouhou dobu. Převážná část této práce se bude věnovat registraci posunů (translací), tedy pro 2D obrazy dostáváme dvourozměrný prostor

10 KAPITOLA 2. TEORETICKÁ CÁST transformací a pro 3D obrazy třírozměrný. V závěrečných částech bude zmíněn i postup pro registraci anisotropní 1 změny měřítka (scale) a rotací. 2.4 Stupeň interpolace Dalším faktorem ovlivňujícím výsledek je stupeň interpolace používaný při transformaci obrazů. Interpolaci stupně 0 se také označuje termínem interpolace typu nejbližší soused. Dalším stupněm je interpolace lineární, kdy se pro určení hodnoty voxelu používá interpolace mezi dvěma sousedními voxely. Následují interpolace kvadratická (též bilineární), kubická, atd. Práce se zabývá nejen vlivem stupně interpolace na transformaci obrazů, ale také na důsledky použití vyšších stupňů interpolace při převzorkování dat. 2.5 Integrální transformace Klasický výpočet korelační funkce a normalizované korelační funkce se provádí v prostorové oblasti. Je však možné počítat je také s použitím korelačního teorému Fourierovy transformace ve frekvenční oblasti: CC(I, J, T) = F-\F(I)F*(T(J))), (2.19) kde F (I) je Fourierova transformace obrazu I, F*(J) je komplexně sdružená Fourierova transformace obrazu J a F~ l je inverzní Fourierova transformace. Obdobně NCCd J T) = F-\F(I-P)*F*(T(J)-J*)) l j ' ' y/f~^f(i - I*) * F(K))F-i(F(T(J) - J*) * F{K))' kde /* a J* jsou střední hodnoty obrazů / a J a K je obraz sestávajících ze samých intenzit s hodnotou 1. Z teorie Fourierových transformací vyplývá ještě jeden důležitý důsledek: posun v obrazové doméně se ve frekvenční oblasti projeví posunem fáze, přičemž amplitudy zůstanou zachovány. Můžeme tedy definovat funkci fázová korelace (PCC): PCCd JT)- F-iflVhí^rWL) (2 21) FCC(l,J,l)-r ( F(/)MF(T(J)) )- I 2-21 ) Výsledkem je delta funkce se středem v bodě určujícím posun registrovaných obrazů, tedy v místě optimální transformace. Velkou výhodou je, že při výpočtu výše uvedených funkcí integrální transformací automaticky získáme hodnoty podobnostní funkce pro celý obor transformací a není již třeba aplikovat žádné další optimalizační algoritmy. Nevýhodou je potom, že bez dalších úprav nedokážeme integrální transformací registrovat jiné transformace než posuny (translace). 2.6 Optimalizační metody Optimalizace lze definovat [11] například jako obor zabývající se určením nejlepšího řešení jistého matematicky definovaného problému. Pro naše účely budeme optimalizací rozumět 1 Změna ve směru jednotlivých os není stejná l '

2.6. OPTIMALIZAČNÍ METODY 11 nalezení globálního optima (minima či maxima) podobnostní funkce pro dané dva registrované obrazy na oboru uvažovaných transformací. Je zřejmé, že pro rozsáhlý prostor transformací se jedná o velmi netriviální úlohu. Existuje celá řada optimalizačních metod, z nichž se v této práci zaměříme na úplné vyhledávání, rekurzivní vyhledávání, genetické algoritmy, simulované žíhání, adaptivní simulované žíhání a pyramidový algoritmus. Z dalších významných metod jmenujme především metody největšího spádu založené na výpočtu gradientu, kterými se ale tato práce nezabývá. Je to jednak z důvodu nemožnosti analyticky vyjádřit optimalizované funkce a také z důvodu možného výskytu mnoha lokálních minim v těchto funkcích, znesnadňujících použití gradientních metod. Nicméně jejich použití bude diskutováno v závěru práce. 2.6.1 Úplné vyhledávání Nejjednodušším možným postupem je úplné prohledávání prostoru transformací. Výhodou tohoto postupu je to, že nám zaručuje nalezení globálního maxima podobnostní funkce. Tuto výhodu ovšem převažuje několik zásadních nedostatků: Výpočetní náročnost jak už bylo několikrát zmíněno, prostor transformací může mít, a také většinou má, mnoho dimenzí (registrace v této práci pracují s prostorem transformací až do dimenze 9). Už malý rozsah parametrů v jednotlivých dimenzích nám způsobí, že nebudeme schopni použít tento postup v rozumném čase. Jako příklad může uvažovat 3D obraz o rozměrech 200 x 200 x 40 voxelů a požadavek registrovat posuny v intervalu ( 50; 50) voxelů ve směru všech os. Jednoduchým výpočtem dostáváme, že podobnostní funkci bude třeba vyhodnotit 1000 000 x pokaždé pro obraz obsahující 1600 000 voxelů. Už takovéto, na první pohled jednoduché, zadání povede na současném běžně používaném hardwaru k výpočtům trvajícím několik desítek minut, spíše však hodin, což je neakceptovatelné. Spojité parametry z podstaty definice úplného vyhledávání je problémem registrace spojitých parametrů. Typickým příkladem je změna měřítka, protože ta představuje nekonečně mnoho testovatelných transformací. Pro takovéto parametry je třeba zavést předem definovanou velikost kroku, po které bude algoritmus postupovat. Tento trik" nám pomůže i v případě, kdy potřebujeme touto metodou registrovat například posuny se sub-voxelovou přesností. 2.6.2 Rekurzivní vyhledávání Rekurzivní (někdy též stupňové) vyhledávání eliminuje obě nevýhody úplného vyhledávání. Daní, kterou musíme zaplatit, je ztráta přesnosti výpočtu a možnost uváznutí vyhledávání v bodě lokálního minima podobnostní funkce. Postup algoritmu názorně ilustruje obrázek 2.2 V každém kroku je rozsah jednoho parametru transformace rozdělen na části a funkce se vyhodnocuje jen v předem stanoveném počtu bodů (v prvním kroku to jsou body označené 1). Je nalezen bod s nejnižší hodnotou podobnostní funkce a v jeho okolí se rekurzivně pokračuje ve vyhledávání (kroky 2 a 3). Algoritmus zastaví buď po daném počtu kroků nebo jakmile vzdálenosti testovaných bodů klesnou pod stanovenou hranici. Je zřejmé, že tímto postupem dosáhneme razantní redukce výpočetní náročnosti a není také třeba

12 KAPITOLA 2. TEORETICKÁ CÁST t ' T 1 --^.. T ^r '3Z_a 3--apňa_ -a.4-fjqub r- ^Xfzfí 3 3 3 T L 1 T "1 +" Obrázek 2.2: Postup rekurzivního vyhledávání řešit problém spojitých parametrů. Při správném nastavení může být rekurzivní vyhledávání velice efektivním postupem. Záleží ovšem zejména na tvaru podobnostní funkce, nad kterou algoritmus běží. 2.6.3 Genetický algoritmus (GA) Genetické algoritmy [3] jsou inspirovány evoluční biologií. Evoluce je ve své podstatě metodou, která hledá optimální řešení nad množinou velkého množství možností. Genetické algoritmy se snaží simulovat evoluční procesy ve snaze dosáhnout optima řešeného problému. Vlastní algoritmus má dvě fáze. V první fázi je náhodně vygenerován předem stanovený počet jedinců (prvků prostoru možných řešení), označovaný jako populace nebo též první generace. V dalších fázích se poté neustále opakuje proces tvorby další generace z generace předchozí, přičemž je snahou nalézt lepší řešení než v generaci předchozí. Celý proces končí po dosažení předem daného počtu generací nebo nalezení dostatečně dobrého řešení. Tvorba další generace sestává z několika opakujících se kroků. Nejprve jsou jedinci seřazeni podle hodnoty jejich ohodnocovací funkce (v terminologii GA označována jako fitness funkce, v našem případě se jedná o míru podobnosti). Následně jsou vybráni 2 jedinci (čím větší fitness, tím větší pravděpodobnost výběru), ti jsou s určitou pravděpodobností (obvykle více než 50%) zkříženi a s menší pravděpodobností (obvykle do 5%) je u nich provedena mutace. Výslední jedinci přechází do nové generace. Je také možné do nové generace přímo přenést jedince s velmi dobrou hodnotou fitness a zachovat je tak pro další evoluci (tzv. elitismus). Tyto kroky jsou opakovány tak dlouho dokud není v nové

2.6. OPTIMALIZAČNÍ METODY 13 populaci dostatečný počet jedinců. Jednotlivé prvky prostoru řešení (v našem případě prostoru transformací) jsou obvykle zakódovány do bitových řetězců, což nám usnadňuje proces křížení a mutace. Při křížení jsou bitové řetězce jedinců rozděleny v určitém místě a jejich části vyměněny. Při mutaci dochází k jednobitové změně na náhodném místě v bitovém řetězci. Testování dokazují, že genetické algoritmy jsou řešením velice robustním. Jejich velkou nevýhodou je však pomalá konvergence k vrcholu extrému funkce. Často tak nalézáme řešení, které se pouze značně blíží řešení optimálnímu. 2.6.4 Simulované žíhání Dalším algoritmem inspirovaným přírodou a přírodními ději, konkrétně chováním termodynamických systémů, kdy se změnou teploty látka mění skupenství, tj. např kov je žíhán a ochlazován je simulované žíhání [1, 19]. Je-li tavenina ochlazována pomalu, dochází k tvorbě krystalické struktury, která představuje minimální energetický stav systému. Metoda byla vyvinuta hlavně pro řešení třídy problémů, kdy je vyhledáván globální extrém v okolí mnoha extrémů lokálních. Je založena na tzv. Boltzmannově distribuci: P(E) ~e~*r, kde P(E) udává pravděpodobnost, že při teplotě T přejde systém do energetického stavu E a k je Boltzmannova konstanta. Tedy i při nízké teplotě je zde malá pravděpodobnost, že systém přejde do vyššího energetického stavu. V řeči našich funkcí to lze vyjádřit tak, že algoritmus je schopný přejít z lokálního minima přes místa s vyšší energií do míst s ještě menší energetickou hladinou. To jej zásadně odlišuje například od metody rekurzivní. 2.6.5 Adaptivní simulované žíhání Metoda adaptivního simulovaného žíhání dále vylepšuje algoritmus simulovaného žíhání. Její předností je jednak teplotní schéma s rychlejším ochlazování a také přizpůsobování žíhacího předpisu zvlášť pro každý parametr transformace podle jeho citlivosti. Protože se jedná o algoritmus poměrně značně komplikovaný a jelikož jeho zkoumání není předmětem této práce, odkazuji zde pouze na internetové stránky autora (viz [12]), kde je k nalezení podrobný popis. 2.6.6 Pyramidový algoritmus Jak uvádí Čapek [1], velmi progresivním způsobem urychlení nalezení globálního extrému je pyramidový algoritmus. Je vybudována pyramida (série) 2D nebo 3D obrazů s obrazem v originálním rozlišení na dně pyramidy a s obrazy se snižujícím se rozlišením na vyšších stupních. Nejprve se registrují obrazy na vrcholu pyramidy (s nejnižším rozlišením) a je nalezeno globální minum. V dalších patrech pyramidy se pozice globálního extrému už pouze zpřesňuje vyhledáváním v okolí extrému nalezeného v předchozím stupni. Nevýhodou této metody je opět riziko uváznutí v lokálním minimu, nejčastěji díky chybné registraci v některém z vyšších pater pyramidy. Tomu lze předejít vhodným nastavením algoritmu a použitím dostatečně velkého rozlišení na vrcholu pyramidy tak, aby byly zachovány důležité rysy obou registrovaných obrazů.

Kapitola 3 Výběr podobnostní míry V této kapitole se pokusíme srovnat jednotlivé podobnostní míry a doporučit ty nejvhodnější pro registraci dodaných obrazů buněk. Pokud nebude možné jednoznačné doporučení, pokusíme se alespoň formulovat podmínky, za kterých jsou funkce použitelné a dávají alespoň uspokojivá řešení. K tomu, abychom to mohli uskutečnit bylo třeba provést dostatečný počet testů na velkém množství dodaných obrazů. Pro každý testovaný obraz byly zkoumány vlastnosti podobnostní míry a faktory ovlivňující její průběh a pozici globálního extrému. Největší důraz byl samozřejmě kladen na schopnost podobnostní míry dosáhnout svého globálního extrému v místě optimální registrace obrazů a také na dobu výpočtu. Další vlastností na kterou je vhodné se zaměřit, je Čapkem [1] zavedená zóna atrakce funkce 1, která vyjadřuje velikost oblasti (vyjádřené v jednotkách voxelů), z jejíhož každého bodu se lze dostat k vrcholu globálního minima pomocí optimalizace založené na spádu gradientu, neboli oblasti vymezené hranicí, od které by se pomyslná kulička po ploše grafu průběhu funkce ještě skutálela k vrcholu minima. Čím větší má funkce svou ZAF, tím snadnější je lokalizace globálního extrému. Čapek ve své práci uvádí funkce pro Matlab 2, pomocí nichž je možné odhadnout velikost ZAF. My se však spokojíme pouze s vizuálním odhadem. Pro registraci větších obrazů pokročilými optimalizačními metodami (například pyramidovým algoritmem), bylo nutné přistoupit k určitému předzpracování registrovaných obrazů (převzorkování na menší rozměry, změna počtu kvantizačních úrovní 3,...). Proto se v této části práce zaměříme i na citlivost podobnostních funkcí a jejich zkoumaných vlastností na výše uvedené změny v registrovaných datech. 3.1 Registrace 2D obrazů Jak už bylo řečeno v úvodní kapitole, dodaná data jsou ve formě třírozměrných šedotonních obrazů. Pro prozkoumání vlastností podobnostních funkcí se však jeví jako vhodnější použít 2D obrazy, na kterých lze lépe vizualizovat průběh podobnostní funkce. Registrace byly proto primárně testovány na autofocus projekcích (viz úvodní kapitola) původních 1 V dalším textu označována jako ZAF. 2 http:// www. mathworks.com/ 3 Počet úrovní intenzity nebo též šedých úrovní obrazu. 14

3.1. REGISTRACE 2D OBRAZŮ 15 dat. Pro tvorbu grafů a nalezení globálního minima v této a následující podkapitole byly použity metody úplného vyhledávání a integrálních transformací. 3.1.1 Registrace uměle transformovaných dat Pro počáteční analýzu podobnostních funkcí použijeme uměle transformovaná data, u kterých budeme dopředu znát pozici registračního optima. To nám usnadní hodnocení funkcí. Jako registrovaný soubor byl vybrán jeden z obrazů buněčného jádra o rozměrech 149 x 149 pixelů, který byl v grafickém editoru posunut o 15 pixelů ve směru osy x a o 7 pixelů ve směru osy y, čímž vznikl druhý obraz. Navíc byl v malé míře přidán do obou obrazů Gaussův šum. Oba registrované obrazy s uměle vytvořeným posunem znázorňuje obrázek 3.1: Obrázek 3.1: Obraz jádra buňky a tentýž obraz posunutý o 15 pixelů vpravo a 7 pixelů dolů Tyto obrazy byly postupně registrovány s použitím všech podobnostních mír uvedených v teoretické části práce. Jako prostor transformací byly uvažovány posuny (translace) v intervalu ( 40, 40) pixelů a to jak pro osu x, tak pro osu y. Podobnostní míra byla vyhodnocena pro všechny transformace s přesností na 1 pixel, to znamená, že byla vyhodnocena celkem 6400 x. Korelační koeficient a normalizovaný korelační koeficient byly, kromě standardního postupu, vypočítány i pomocí integrální transformace. Jelikož integrální transformace v sobě implicitně zahrnuje předpoklad periodicity obrázku (tj. například pro obrázek o šířce 150 pixelů předpokládá na pozici 151 pixel se stejnou intenzitou jako je na pozici 1) mohou se výsledky lišit od funkcí počítaných standardním postupem. Pokud chceme počítat funkce bez periodicity je třeba doplnit obrazy nulovou intenzitou až do dvojnásobku jejich rozměrů. Důkladnější rozbor kdy uvažovat periodicitu a kdy ne, provedeme až po prostudování grafů průběhů podobnostních funkcí. Ty zobrazují obrázky 3.2 a 3.3. Je ještě třeba poukázat na to, že všechny podobnostní míry, s výjimkou těch počítaných přes Fourierovu transformaci, byly upraveny tak, aby dosahovaly registračního optima ve svém globálním minimu. Míry počítané přes integrální transformaci dosahují registračního optima ve svém globálním maximu.

16 KAPITOLA 3. VÝBĚR PODOBNOSTNÍ MÍRY -9421 pra TX [ptal] = -14. TY [ptali = = 4 37509 pra IX píhel = -15. TY [phel] = Sum of squared differences; extrem = 729S20 pro TÁ [pixel] = -15, TY [pixel] = -7 >Ä 524e-HII8 pro TX [pixel] = -15, TY [pixel] = -7 f Normalized cross correlation; extrem - -0.99414G pro TX [pixel] - -15, TY [pixel] - -7 Generalized mutual information; exlrem - -1.27354 pro TX [pixel] - -15. TY [pixel] - -7 Woods (Ratio-Image Uniformuj); extrem - Obrázek 3.2: Průběh extrémů funkcí při registraci obrazů z obr. 3.1 [část 1]

3.1. REGISTRACE 2D OBRAZŮ 17 Fourier NCC; extrem = 0.993331 pro TX [pixel] = -15. TY [pixel] = -7 Fourier PCC; extrem = 3.497792 pro TX [pixel] = -15, TY [pixel] = -7 TY [pixel] K [pixel] TY [pixel] TX [pixel] Obrázek 3.3: Průběh extrémů funkcí při registraci obrazů z obr. 3.1 [část 2] Na první pohled se ukazuje, že všechny funkce (s drobnou odchylkou u SSC) nalezly optimální registrační transformaci správně (druhý obraz je třeba posunout o 15 pixelů doleva a o 7 pixelů nahoru). Pro lepší porovnání si proto uveďme ještě dosažené výpočetní časy potřebné k registraci obrazů a nalezené pozice extrémů. Ty nám ukazuje tabulka 3.1. Výpočetní doby jsou samozřejmě velmi závislé na konkrétní implementaci, optimalizaci pro konkrétní typ obrazů a také na použitém hardware. Uvedné časy jsou měřeny za použití registrační knihovny, která vznikla v rámci této práce. Tato knihovna umožňuje registrovat 2D a 3D obrazy s jedním barevným kanálem. Z možných transformací lze registrovat posuny, změny měřítka, otočení a jejich kombinace. Umožňuje také nastavit stupeň interpolace použitý při transformacích obrazů a převzorkování obrazů. Knihovna je snadno rozšiřitelná o další podobnostní míry a optimalizační metody a jedná se tedy o implementaci poměrně robustní. Použitým hardware byl počítač osazený procesorem Athlon 64 3000+ (běžícím na frekvenci 1,8 GHz) s 1 GB operační paměti typu RAM a operačním systémem Microsoft Windows XP. Pro snazší orientaci si rozdělme použité podobnostní míry do 5 skupin: Skupina 1 (SSC, SAVD, SSD) - Míry založené na rozdílech intenzit. Vidíme, že SAVD a SSD se téměř neliší, doba výpočtu je u obou stejná, pouze SSD vykazuje o něco hladší průběh grafu. ZAF obou funkcí je tvořeno bezmála celou plochou grafu, tedy výsledek značně uspokojivý. SSC se nepatrně odlišuje. Na první pohled překvapí o sekundu delší doba výpočtu, která je však dána nutností testovat průchody nulou,

18 KAPITOLA 3. VÝBĚR PODOBNOSTNÍ MÍRY Tabulka 3.1: Doba výpočtu a pozice extrému podobnostních funkcí při registraci dat z obr. 3.1 Podobnostní míra Doba registrace Pozice extrému ssc 8 s (-14, -7) SAVD 7s (-15, -7) SSD 7s (-15, -7) CC 7s (-15, -7) NCC 9 s (-15, -7) MI 16 s (-15, -7) GMI 14 s (-15, -7) RIU 8 s (-15, -7) PIU 14 s (-15, -7) F-CC (s periodicitou) 0 s (-15, -7) F-NCC (s periodicitou) 0 s (-15, -7) F-PCC 0 s (-15, -7) což znesnadňuje moderním procesorům jejich výpočetní optimalizace. Nicméně rozdíl v době výpočtu v řádu sekund rozhodně není klíčovým. Problémem u kritéria SSC je, že jako jediné nedokázalo přesně určit optimální registraci (liší se v ose x o jeden pixel). Z grafu je patrné, že SSC vykazuje dva extrémy v těsné blízkosti. Příznivé však je, že i zde ZAF tvoří téměř celou plochu grafu. Skupina 2 (CC, NCC) - Míry založené na výpočtu korelačního koeficientu. Na první pohled je zřejmé, že pro tento typ obrazových dat vyjdou obě funkce, jak CC tak NCC, shodně. Výhodou normalizace je totiž zbavení se přímé úměry mezi množstvím bodů v obraze a maximální hodnotou podobnostní funkce a především možnost registrovat obrazy s neuniformním pozadím (většinou už nenulové pozadí představuje pro CC problém) a snížení vlivu objektů na hranici obrazu. K výhodám normalizace a problémům spojeným s existencí objektů na hranici obrazu se ještě jednou vrátíme u funkcí počítaných přes Fourierovu transformaci. V tomto případě, kde se nám žádný z uvedených jevů nevyskytuje, však poskytují obě funkce hladký průběh s velkou ZAF. Skupina 3 (MI, GMI) - Míry založené na vzájemné informaci. MI vykazuje velmi výrazný extrém v místě optimální registrace, zatímco v okolí působí graf na první pohled mírně plošším dojmem. Je to však pouze zdání způsobené měřítkem a při bližším prozkoumání je zřejmé, že ZAF tvoří většinu prostoru grafu, tedy nevyskytují se žádná lokální minima. Podobně je tomu u GMI, které však není tolik ploché v okrajových částech. Co je nepříjemné, jsou doby registrace a výpočtu podobnostní míry pro jednu transformaci, které jsou více než dvakrát větší než u ostatních funkcí. Je to dáno především nutností sestavení vzájemného histogramu obou obrazů, nutného pro výpočet Shannonovy či Rényiho vzájemné entropie. Pro urychlení výpočtu

3.1. REGISTRACE 2D OBRAZŮ 19 existuje několik postupů pro odhad vzájemné entropie, či hustoty pravděpodobnosti, které ve své práci uvádí Čapek [1]. Jejich nevýhodou je bohužel značné zhoršení vlastností průběhu obou funkcí. V mé práci bude diskutováno pouze urychlení založené na zmenšení velikosti vzájemného histogramu, tedy na snížení počtu kvantizačních úrovní. Skupina 4 (RIU, PIU) - Míry navržené Woodsem. Ve shodě s literaturou je patrná (v tomto případě zvláště u PIU) menší velikost ZAF, než u ostatních funkcí, což Woodsovy algoritmy mírně znevýhodňuje. Horší jsou také doby výpočtu, které se nachází někde mezi prvními dvěma skupinami a skupinou třetí. RIU je časově méně náročné než PIU a řadí se spíše k prvním dvěma skupinám. PIU, naproti tomu, se svým časem blíží mírám založeným na vzájemné informaci. Skupina 5 (F-CC, F-NCC, F-PCC) - Míry založené na integrální transformaci. Do této kategorie spadají míry počítající funkce ze skupiny 2 přes Fourierovu transformaci (tedy F-CC a F-NCC) a fázová korelace (F-PCC). Jak bylo uvedeno v úvodu kapitoly, v obrázku 3.3 jsou zachyceny grafy pro varianty F-CC a F-NCC implicitně uvažující periodicitu obrázků. Výsledky se tak mohou odlišovat od standardních funkcí CC a NCC. F-NCC bez periodicity (tedy počítaná na obrazu s doplněním nulových intenzit až do dvojnásobku rozměrů obrazu) není v grafech uvedena, protože její výstup by byl naprosto shodný s NCC počítanou klasickou cestou. F-CC bez periodicity není uvedena ze 2 důvodů. Ten první je, že podobně jako u NCC, by její výstup byl shodný s klasickou CC. Ten druhý, závažnější, je, že využitelnost CC bez periodicity je omezena na velmi malou skupinu obrazů (objekty obklopené uniformním, nejlépe nulovým, pozadím). Pro jiné typy obrazů je už z definice CC, jako takové, patrné, že globálního extrému bude dosaženo pro nulovou transformaci, neboť v průniku obrazů bude nejvíce bodů a tedy suma součinů vyjde největší. Zdání plochého průběhu funkcí F-CC a F-NCC je opět dáno měřítkem grafů a jeho natočením. Zcela jiným případem je F-PCC, která pro tyto registrované obrazy dává výborné výsledky: v místě registrace se skutečně objevuje delta funkce s výraznou amplitudou, zatímco pro všechny ostatní uvažované transformace je míra podobnosti téměř nulová. Skutečně výjimečné jsou pak doby výpočtu. Hodnota 0 v tabulce vyjadřuje dobu výpočtu (všechny testované transformace) výrazně nižší než 1 sekunda, a to pro všechny podobnostní míry z této skupiny. Shrneme-li výsledky, shledáme všechny podobnostní míry jako použitelné pro tento typ obrazových dat (výrazný objekt nebo objekty obklopené uniformním pozadím). Jednoznačným vítězem jsou potom míry počítané integrální transformací, díky bezkonkurenčně nízkým dobám registrace. O něco horší jsou potom funkce z první a druhé skupiny. Algoritmy ze třetí a čtvrté skupiny lze pak označit za méně vhodné. U skupiny 3 je limitujícím faktorem doba výpočtu. U skupiny 4 navíc relativně menší ZAF. Výhody těchto funkcí se však projeví při registraci obtížnějších" dat. 3.1.2 Registrace reálných dat Po otestování a srovnání základního chování podobnostních mír na uměle transformovaných datech se přesuneme už ke zcela reálným případům. Cílem nyní bude sledovat jak se

20 KAPITOLA 3. VÝBĚR PODOBNOSTNÍ MÍRY změna dat projeví na grafech funkcí. Jako registrovaný pár číslo 1, byly vybrány obrazy zobrazené na obrázku 3.4. Obrazy pocházejí ze dvou různých snímání téže buňky, která byla mezi prvním a druhým snímáním upravena v laboratoři. Obrázek 3.4: Tatáž buňka po opakovaném snímání Na první pohled je vidět, že oba dva obrazy znázorňují ten stejný objekt, nicméně tentokrát jsou zde již patrné faktory, které by mohly znesnadnit registraci. Jedná se o rozdíly v histogramech obou obrazových souborů. Jak ukazují obrázky 3.5 a 3.6, tak zatímco obraz vlevo (A) využívá téměř celého spektra intenzit z intervalu (0,255), spektrum obrazu napravo (B) je spíše v oblasti nižších hodnot jasu. Globální charakter histogramu je zachován a jeví se proto jako vhodné vyrovnání histogramů obou obrazů. Vyrovnání bylo provedeno lineární interpolací intenzit v obou obrazech tak, aby bylo využito celého spektra. n I Obrázek 3.5: Histogram obrazu A z obr. 3.4 n i Obrázek 3.6: Histogram obrazu B z obr. 3.4 Po vyrovnání histogramů byly na obrazech, stejně jako v předešlém případě, spočteny všechny podobnostní míry. Výsledné průběhy ukazují grafy na obrázcích 3.7 a 3.8:

3.1. REGISTRACE 2D OBRAZŮ 21 I, TY [pixel] = -4 Sum of absolute values of differ. = 17.4169 pro TX [pixel] = 6. TY [pixel] = -2 Sum of squared differ rem = 1 84179e^i07 pro TX [pixel] = 7. TY [pixel] = s correlation; extrem = -1.76981 e-hľios pro TX [pixel] = 7. TY [pixel] = : -0.926586 pro TX [pixel] = 7, TY [pixel] = -2 Generalized mutual information; extrem = -1.36035 pro TX [pixel] = 11, TY [pixel] = -B Woods ÍRatio-lmege Uniformity); extrem = 0.536535 pro TX [pixel] = 8, TY [pixel] = -5 Obrázek 3.7: Průběh extrémů funkcí při registraci obrazů z obr. 3.4 [část 1]

22 KAPITOLA 3. VÝBĚR PODOBNOSTNÍ MÍRY Woods (Partitioned Intensity Uniformity); extrem = 0 364211 pro TX [pixel] = 7, TY [r. í 0.2 4[ Fourier ľcc; extrem = 0.92905 pro TX [pixel] = 7, TY [pixel] = -2 ok pixel]=14,ty Obrázek 3.8: Průběh extrémů funkcí při registraci obrazů z obr. 3.4 [část 2] Lze položit otázku, zda bylo nutné před registrací provést vyrovnání histogramů. Odpověď je složitější - závisí na zvolené podobnostní funkci. Pro názornost byla vyzkoušena registrace bez vyrovnání histogramů. U většiny funkcí došlo pouze ke změnám zanedbatelného charakteru (změny pozice globálního extrému do 1 pixelu). Problémy se projevily nejvíce u podobnostních funkcí SSC a SAVD. Jak ukazuje obrázek 3.9, je pro ně v tomto případě vyrovnání histogramů zásadní. Nedojde-li k vyrovnání, můžeme vidět, že průběh SSC je pro registraci nepoužitelný a pozice globálního extrému se nalézá zcela mimo oblast, kde by měla být. U SAVD rovněž pozice extrému neodpovídá skutečnosti. Stochastic sign change; f n = -463 pra TX [pixel] = -27, TY [f Sum of absolute Obrázek 3.9: Průběh extrémů funkcí SSC a SAVD pro obrazy 3.4 bez vyrovnání histogramů

3.1. REGISTRACE 2D OBRAZŮ 23 Naměřené hodnoty a doby výpočtu shrnuje tabulka 3.2: Tabulka 3.2: Doba výpočtu a pozice extrému při registraci obrazů z obr. 3.4 Podobnostní míra Doba registrace Pozice extrému SSC 9 s (11, -4) SAVD 8 s (6, -2) SSD 8 s (7, -2) CC 8 s (7, -2) NCC 10 s (7, -2) MI 18 s (8, -4) GMI 15 s (11, -6) RIU 9 s (8, -5) PIU 16 s (7, -4) F-CC (s periodicitou) 0 s (7, -2) F-NCC (s periodicitou) 0 s (7, -2) F-NCC (bez periodicity) 0 s (7, -2) F-PCC 0 s (14, 13) SSC (bez vyrovnání histogramů) 8 s (-27, 6) SAVD (bez vyrovnání histogramů) 8 s (0,0) Tentokrát se už pozice globálního extrému jednotlivých funkcí od sebe odlišují. Pokud nebudeme uvažovat zjevně chybné hodnoty dostáváme rozpětí 5 pixelů ve směru osy x a 4 pixely ve směru osy y, což jsou poměrně vysoká čísla. Bohužel nelze objektivně určit, kde přesně by mělo registrační optimum ležet. Jedinou možností v tomto případě je subjektivní hodnocení. Na základě porovnání obrazu s registrovaným protějškem (viz příloha) se mi jeví jako nejlepší transformace navržená Woodsovým algoritmem Partitoned Intensity Uniformity (PIU), tedy posun obrazu B o vektor (7, -4). Registrace s použitím SSC (i přes vyrovnání histogramů) a poněkud překvapivě i GMI, lze na základě subjektivního porovnání jednoznačně označit za neuspokojivé. Rovněž výsledek PCC je zjevně chybný. Proč došlo k chybné registraci se pokusím rozebrat níže. Další hodnocení je rozděleno podle skupin, jako v případě uměle transformovaných obrazů: Skupina 1 (SSC, SAVD, SSD) - Míry založené na rozdílech intenzit. SSC ani přes vyrovnání histogramů nedokázalo registrovat obrazy správně. Tuto míru lze tedy již nyní označit za nevhodnou. Globální extrém funkcí SAVD i SSD naopak i nyní odpovídá realitě, přičemž o něco lepší vlastnosti a hladší průběh opět vykazuje SSD. Vzhledem k poměrně nízké výpočetní náročnosti lze tyto podobnostní míry pro obrazy podobného typu doporučit. Skupina 2 (CC, NCC) - Míry založené na výpočtu korelačního koeficientu. Mírně