ACTIVE SHAPE MODELS. Metody registrace objekt ů v obrázku. Václav Krajíček

Podobné dokumenty
Zpracování digitalizovaného obrazu (ZDO) - Popisy III

Jaroslav Tuma. 8. února 2010

Globální matice konstrukce

Zpracování digitalizovaného obrazu (ZDO) - Segmentace II

stránkách přednášejícího.

UNIVERZITA PARDUBICE. 4.4 Aproximace křivek a vyhlazování křivek

Metoda konečných prvků Charakteristika metody (výuková prezentace pro 1. ročník navazujícího studijního oboru Geotechnika)

VYBRANÉ PARTIE Z NUMERICKÉ MATEMATIKY

Kombinatorická minimalizace

Matematika pro geometrickou morfometrii

Nelineární optimalizace a numerické metody (MI NON)

Co je obsahem numerických metod?

Circular Harmonics. Tomáš Zámečník

2D transformací. červen Odvození transformačního klíče vybraných 2D transformací Metody vyrovnání... 2

ODR metody Runge-Kutta

Matematická morfologie

Úvod do optimalizace, metody hladké optimalizace

Co jsme udělali: Au = f, u D(A)

I. Diferenciální rovnice. 3. Rovnici y = x+y+1. převeďte vhodnou transformací na rovnici homogenní (vzniklou

Dnešní látka Opakování: normy vektorů a matic, podmíněnost matic Jacobiova iterační metoda Gaussova-Seidelova iterační metoda

Numerické metody a programování. Lekce 7

1. Vlastnosti diskretních a číslicových metod zpracování signálů... 15

Dobývání znalostí. Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze

Matematika pro geometrickou morfometrii (2)

Statistické modely tvaru a vzhledu

Požadavky k písemné přijímací zkoušce z matematiky do navazujícího magisterského studia pro neučitelské obory

Matematika I A ukázkový test 1 pro 2011/2012. x + y + 3z = 1 (2a 1)x + (a + 1)y + z = 1 a

Zadání a řešení testu z matematiky a zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia od jara 2016

Úvod do mobilní robotiky AIL028

Numerické řešení variačních úloh v Excelu

Matematika II, úroveň A ukázkový test č. 1 (2017) 1. a) Napište postačující podmínku pro diferencovatelnost funkce n-proměnných v otevřené

Faculty of Nuclear Sciences and Physical Engineering Czech Technical University in Prague

Numerické metody a programování. Lekce 8

Mgr. Ladislav Zemánek Maturitní okruhy Matematika Obor reálných čísel

Matematika II, úroveň A ukázkový test č. 1 (2018) 1. a) Napište postačující podmínku pro diferencovatelnost funkce n-proměnných v otevřené

Státnice odborné č. 20

Čebyševovy aproximace

Dnešní látka: Literatura: Kapitoly 3 a 4 ze skript Karel Rektorys: Matematika 43, ČVUT, Praha, Text přednášky na webové stránce přednášejícího.

Extrémy funkce dvou proměnných

Matematika II, úroveň A ukázkový test č. 1 (2016) 1. a) Napište postačující podmínku pro diferencovatelnost funkce n-proměnných v otevřené

Výpočet průsečíků paprsku se scénou

LOKALIZACE ZDROJŮ AE NEURONOVÝMI SÍTĚMI NEZÁVISLE NA ZMĚNÁCH MATERIÁLU A MĚŘÍTKA

Operace s obrazem II

Algoritmy a struktury neuropočítačů ASN - P11

Úloha - rozpoznávání číslic

Numerická matematika 1

Metamorfóza obrázků Josef Pelikán CGG MFF UK Praha

Řešení diferenciálních rovnic

Téma je podrobně zpracováno ve skriptech [1], kapitola 6, strany

1 0 0 u 22 u 23 l 31. l u11

Státní závěrečná zkouška z oboru Matematika a její použití v přírodních vědách

7 Transformace 2D. 7.1 Transformace objektů obecně. Studijní cíl. Doba nutná k nastudování. Průvodce studiem

III. MKP vlastní kmitání

Generování sítě konečných prvků

ÚSTAV MATEMATIKY A DESKRIPTIVNÍ GEOMETRIE. Matematika 0A1. Cvičení, zimní semestr. Samostatné výstupy. Jan Šafařík

MATEMATIKA V MEDICÍNĚ

8.3). S ohledem na jednoduchost a názornost je výhodné seznámit se s touto Základní pojmy a vztahy. Definice

Princip řešení soustavy rovnic

Nelineární analýza materiálů a konstrukcí (V-132YNAK) Přednáška 2 Princip metody konečných prvků

1 Modelování systémů 2. řádu

1 Projekce a projektory

Zpracování digitalizovaného obrazu (ZDO) - Analýza pohybu

1 Rozdělení mechaniky a její náplň

Gymnázium Česká a Olympijských nadějí, České Budějovice, Česká 64, 37021

Základní spádové metody

Soustavy lineárních rovnic

Projekt OPVK - CZ.1.07/1.1.00/ Matematika pro všechny. Univerzita Palackého v Olomouci

POŽADAVKY K SOUBORNÉ ZKOUŠCE Z MATEMATIKY

Algoritmy pro shlukování prostorových dat

Lineární klasifikátory

BROB Základy robotiky. Ing. František Burian, Ph.D. Jan Macháček VUT ID: Martin Pavelka VUT ID:

Rosenblattův perceptron

Pružnost a plasticita II CD03

Matematika I A ukázkový test 1 pro 2014/2015

Řešení. Označme po řadě F (z) Odtud plyne, že

Numerická matematika Písemky

Kapitola 10: Diferenciální rovnice 1/14

Algoritmus pro hledání nejkratší cesty orientovaným grafem

aneb jiný úhel pohledu na prvák

PRAVDĚPODOBNOST A STATISTIKA

Tematický plán Obor: Informační technologie. Vyučující: Ing. Joanna Paździorová

algoritmus»postup06«p e t r B y c z a n s k i Ú s t a v g e o n i k y A V

Rekonstrukce křivek a ploch metodou postupné evoluce

Geometrické transformace pomocí matic

Slajdy k přednášce Lineární algebra I

Aproximace funkcí. x je systém m 1 jednoduchých, LN a dostatečně hladkých funkcí. x c m. g 1. g m. a 1. x a 2. x 2 a k. x k b 1. x b 2.

FOURIEROVA ANAL YZA 2D TER ENN ICH DAT Karel Segeth

Jana Dannhoferová Ústav informatiky, PEF MZLU

Výpočet průsečíků paprsku se scénou

Lineární stabilita a teorie II. řádu

Zadání a řešení testu z matematiky a zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia od podzimu 2015

OPTIMALIZACE A MULTIKRITERIÁLNÍ HODNOCENÍ FUNKČNÍ ZPŮSOBILOSTI POZEMNÍCH STAVEB D24FZS

VYUŽITÍ PRAVDĚPODOBNOSTNÍ METODY MONTE CARLO V SOUDNÍM INŽENÝRSTVÍ

Obsah Obyčejné diferenciální rovnice

Evoluční algoritmy. Podmínka zastavení počet iterací kvalita nejlepšího jedince v populaci změna kvality nejlepšího jedince mezi iteracemi

Odhad stavu matematického modelu křižovatek

Projekční algoritmus. Urychlení evolučních algoritmů pomocí regresních stromů a jejich zobecnění. Jan Klíma

Numerické metody optimalizace - úvod

Úlohy nejmenších čtverců

Připomenutí co je to soustava lineárních rovnic

Transkript:

ACTIVE SHAPE MODELS Metody registrace objekt ů v obrázku Václav Krajíček

Oblasti počítačového vidění Segmentace Registrace Active Shape Models Klasifikace

Problémy počítačového vidění Šum Geometrické deformace Fotometrické deformace Ill-defined Problem regularizace Restaurace obrazu

Typy a metody registrace Registrace z různých pohledů na objekt z různých modalit v různém čase vzhledem k předloze globální/lokální metody metody podle typu deformace v obrazku statistické metody, metody mapovaní bodů, elastické modely

Model Matematický popis třídy reálných objektů aproximace pomocí rovnic, vektorů,... Umožňuje Srovnání s realitou Předpověd chování Generovat nové instance Parametry

Předchůdci Active Shape Models Klasické metody Registrace 'tuhých' objektů Citlivé na šum, globalní charakter Metody založené na elastických modelech Na míru konkrétní aplikaci, nebo příliž obecné Snakes 1987 Kass et all.

Snakes: Active Contour Models Silná nízkorúrovňová metoda registrace kontur Princip minimalizace energie Metody numerické matematiky Počítá se zásahem z vyšší vrstvy Uživatel Jiný algoritmus, software Snake Pit...

Ukázka: Tracking Video

Jak hadi pracují... Křivky uzavřené i otevřené Spline vnitřní síly, Vnější podmínky vnější síly Kroky: 1)Iniciální poloha křivky Důležita Vnější zásah, heuristiky, náhodný pokus 2)Minimalizace energie systému Určení energetických funkcionálů Řešení diferencialních rovnic Eulerova metoda

Minimalizace energie hadů 1 = 0 * E snake 1 = 0 E snake v s ds E int v s E image v s E con v s ds * E snake ' =0

Vnitřní & Vnější energie E int = s v s s 2 s v ss s 2 /2 E int i = i v i v i 1 2 /2h 2 i v i 1 2v i v i 1 2 /2h 4 =0 : Vnější podmínky: E ext =E image E con

Ukázka: Tracking + Ext. Síly

Aproximace * E snake n = i =0 E int i E ext i E int i v i v i 1 i 1 v i 1 v i i 1 [v i 2 2v i 1 v i ] 2 i [v i 1 2v i v i 1 ] i 1 [v i 2v i 1 v i 2 ] f x i, f y i =0 Maticový tvar Explicitní Eulerova metoda Nalezení inverzní matice E ext

Výpočet Maticový tvar Eulerova metoda Ax f x x, y =0 Ay f y x, y =0 Ax t f x x t 1, y t 1 = x t x t 1 Ay t f y x t 1, y t 1 = y t y t 1

Ukázka

Active Shape 'Smart Snakes' 1992 Cootes et all. Registrace 'měkkých' tvarů Modely založené na statistické analýze výskytu reálných objektů Využívá externí znalosti Transformace na parametry modelu

Point Distribution Model Reprezentace objektu pomocí očíslovaných (labeled) bodů Nejčasteji na hranici, význačná místa - rohy Vnitřní struktura, okolí Trénovací množina třídy objektů Body na všech členech množiny si musí odpovídat Časově náročné, manuální Obsahuje odbornou znalost

Příklad: Labelování rezistorů

Zarovnání trénovací množiny Nezáleží na poloze, orientaci a velikosti objektu v trénovacích datech Vytváříme model tvaru Tvar je důležity Otočíme, posuneme, naškálujeme každý prvek trénovací množiny minimalizujeme vážený součet vzdáleností odpovídajících bodů ze všech objektů trénovací množiny

Zarovnání dvou tvarů Vektor popisující tvar i x i = x i0, y i0, x i0, y i0,..., x ik, y ik,..., x i n 1, y i n 1 Pro dva tvary i a j E j = x i M j x j T W x i M j x j Váhy W postihují stabilitu bodů napříč trénovací množinou n 1 w k = I=0 V R kl 1

Zarovnání dvou tvarů Matice Mj provádí 'tuhé' transformace M j x jk y jk = s jcos x jk s j sin y jk t jx s j sin x jk s j cos y jk t jx Snadno vyřeší při substituci a x =scos a y =ssin

Algoritmus zarovnaní celé množiny 1) Zarovnej každý s prvním 2) Opakuj dokud nezkonverguje 1) Spočítej průměr ze všech tvarů 2) Normalizace - důležitá a) Přepočti průměr na standartní rozměry, směr a polohu b) Zarovnej průměr na první tvar 3) Zarovnej všechny tvary na průměr

Trénovací množina Model Průměr a odchylky od průměru x= 1 N s x N i dx i =x i x s i=1 Kovarianční matice odchylek S= 1 N s T dx N i dx i s i=1

PCT Karhunen-Loèveho transformace Provedeme PCT na odchylky tvarů od průmeru Výsledek PCT Vlastní vektory složky korelované informace, tzv. módy variace Vlastní čísla poměr zastoupení informace příslušném vektoru Sp i = i p i i i 1, p i T p i =1

Model Kolik módů variace použiju t stupnů volnosti Hlavní trik 2n = T i=1 i x= x Pb P= p 1 p 2... p t b= b 1 b 2... b t T Výpočet b protože platí P T P =I, pak b =P T x x

Příklad

Příklad

Příklad

Další krok Zkombinovat Snakes a náš model Snakes jsou řízeni pouze jednoduchými vnějšími podmínkamy vnější síly Nahradíme vnější síly naším modelem Lokální optimalizace Vyhneme se použití vnitřních sil Hledání vlastností v obrázku zůstává Získáme lokalizátor objektů vedený modelem naučeným z reálných dat Dokáže se lépe vyrovnat s chybamy v obraze

Algoritmus registrace 1) Počáteční odhad polohy modelu a bodů v obraze 2) Opakuj dokud nezkonverguje a) Nalezni lepší pozice pro body b) Přepočítej posunutí, orientaci a zvětšení modelu c) Spočítej změněné parametry modelu d) Spočítej novou polohu bodů v rámci parametrů modelu

Nalezení lepší pozice pro body Mnoha způsoby Body model si sebou mohou nest další informace Prohledávání obrázku Detekce hran Na normále k hranici modelu, podle tlouštky hrany Využití šedotonového spektra v okolí Ruzné typy okolí

Přepočet polohy modelu Hledáme (dxc, dyc), (1+ds) a d, aby součet vzdáleností bodů takto modifikového modelu a nalezených lepších pozic byl nejmenší Lze přesně, ale aproximace stačí

Výpočet nových parametrů modelu Hledám rezidua nových poloh bodů modelu a lepších poloh pro body v lokálním sytému souřadnic modelu M s 1 ds, d [ x d x ] X c dx c = X dx dx=m s 1 ds 1, d [M s, [x] dx dxc] x Nové pozice bodů nemusí být v limitu modelu! x d x x P b d b

Výpočet nových parametrů modelu Odečteme model od předchozí aproximace d x P d b d b =P T d x Kontrola a zabránění překročení limitů parametrů modelu t D 2 = m i =1 b 2 i i D max b i b D max i i =1..t D m

Ukázka: Rezistory

Ukázka: Ruka

Vyhledávání podle úrovně šedé Vylepšení postupu pro nalezení lepších pozic Spočítam průměrné okolí bodů v trénovací množině Okolí libovolného tvaru Pro jednoduchost usečka ve směru normály k hranici profil g ijk =I j y i k 1 I j y i k 1

Vyhledávání podle úrovně šedé Normalizace + derivace invariance k přičtení a vynásobení konstantou g ij ' = g ij N s n p g ijk ' g i = 1 k =1 N s j =1 g ij ' Vyhledávání minimalizace Mahalanobisovy vzdálenosti f prof = h d g T S g 1 h d g

Genetické algoritmy Řešení vyhledávacího problému Iterativní proces nad množinou možných řešení Výběr nejlepších kandidátu pro další generaci Fitness funkce Mutace, křížení Pro naší ulohu jedinec reprezentuje polohu a parametry modelu Úspěšně použito rychlejší vyhledávání

Genetické algoritmy Dva způsoby začlenění GA 1) Předzpracování nalezení startovní pozice pro ASM 2) Začlenění ASM do GA hledat optimum přímo pomocí GA

Příklad: Lékařské aplikace Většina organů v těle je deformovatelná, Exempláře se tvarem mohou podstatně lišit Přesto základní struktura a topologie je stejná Úloha registrace orgánů MR, CT Úloha trackování orgánů na záznamu Ultrazvuk Echokardiogram CAS Existuje mnoho trénovacích dat

Ukázka: Echokardiogram

Ukázka: Echokardiogram

Ukázka: Echokradiogram

Ukázka: Echokradiogram - tracking

Ukázka: MR - řezy mozkem

Rozšíření do 3D 1) 2D verze na řezy a pak spojit odpovídající body v sousedních řezech Zavádí se systematická chyba

Rozšíření do 3D 2) Plný 3D PDM Náročné vytvoření trénovací množiny Interaktivní software pro tvorbu PDM Náročnější na výpočet, více dat 2000+ bodů na model, 20-30 modů variace 30 sec ASM + 10 min GA na SUNsparc10 (1993) Člověku trvá segmentace v řádech hodin

Ukázka: Model mozku

Ukázka: Módy variace 3D PDM

Závěr Pohled na objekty přes minima jistých funkcionálů Tvorba modelů Hledání objektů v datech pomocí modelů Přímým výpočtem numerické metody Iteračním prohledávání lokální optimalizace Genetickými algoritmy Ukázky a příklady

Reference M.Kass A.Witkin and D.Terzopoulos Snakes: Active Contour Models Training Models of Shape from Sets of Examples T.F.Cootes, C.J.Taylor, D.H.Cooper, J.Graham Active Shape Models 'Smart Snakes' T.F.Cootes, C.J.Taylor Use of Image Shape Models For Locating in Medical Images T.F.Cootes, A.Hill, C.J.Taylor and J.Haslam Model-Based Interpretation of 3D Medical Images A.Hill, A. Thorman an C.J.Taylor http://www.robots.ox.ac.uk/~contours/ http://julien.jomier.com/courses/comp258/lecturesnakes/main.htm