Metody analýzy 3-D obrazů z magnetické rezonance v neurovědním výzkumu Daniel Schwarz Investice do rozvoje vzdělávání
Co nás čeká? Neurovědy co to je? Neuroimaging, registrace medicínských obrazů Registrace obrazů, podobnostní metriky, vzájemná informace Pružná registrace multimodálních dat ve stereotaktickém prostoru návrh algoritmů ů kvantitativní zhodnocení Aplikace na reálných medicínských obrazech morfometrie založená na pružné registraci ve výzkumu schizofrenie
Neurovědy Medicína Psychologie Informatika Statistikati tik Fyzika Bádání nad nervovým systémem organizmů: struktura, funkce, vývoj, genetika, biochemie, fyziologie, farmakologie a patologie
Neuroimaging MRI CT PET Strukturální fmri Funkční
Registrace medicínských obrazů DEFINICE: Registrace obrazů je proces, při němž je odhadnuta prostorová transformace mapující body jednoho obrazu na korespondující body jiného obrazu. KLASIFIKACE METOD: Základ registrace Transformace Parametry transformace Modality Subjekty voxel lineární globální výpočet monomodální jeden segmentace nelineární lokální optimalizace multimodální více
Multimodální obrazy MRI - PET
Multimodální obrazy MRI stejný subjekt, různé budící sekvence: Multimodální metody registrace jsou robustní vůči změnám ě kontrastu t v obrazech způsobených různými podmínkami při jejich pořizování: různé modality, různé pulsní sekvence u MRI, stárnutí pacienta, onemocnění pacienta
Registrace medicínských obrazů intenzita SSD Referenční obraz M Podobnostní metrika korelace NC entropie MI Interpolace Optimalizace Plovoucí Prostorová obraz N transformace lineární affinní (6, 7, 9, 12 parametrů) nelineární deformace parametrická, málorozměrná interpolace nerovnoměrně rozložených dat bázové funkce: splajny, RBF, vlnky, neparametrická, mnohorozměrná fyzikální interpretace elastická, fluidní
Prostorové transformace Afinní transformace 12 parametrů Nelineární deformace ~ 10 3 parametrů
Míra podobnosti obrazů Průběh globální podobnostní metriky v okolí 2-D optimální transformace: 1.2 1 -S MN (dx,d dy) I 0.8 0.6 0.4 0.2 20 0 posunutí podél x -20-30 -20 10 0-10 posunutí podél y 20 30
Míra podobnosti obrazů Střední kvadratická chyba S SSD 1 V V ( ) ( ( ) ( )) 2 M, N = M x N x, i i i Předpoklad reprezentace odpovídajících si bodů stejnými intenzitami. Vhodná pouze pro monomodální obrazová data.
Míra podobnosti obrazů Normalizovaná korelace S NC ( M, N ) = V i V i M ( x ) N( x ) i V ( ( )) 2 M x ( N( x )) i i i i 2. Narozdíl od S SSD není citlivá na multiplikativní l rozdíly mezi obrazy.
Míra podobnosti obrazů Vzájemná informace S MI ( M, N ) = I ( M, N ) I ( M, N ) = H ( M ) + H ( N ) H ( M, N )
Míra podobnosti obrazů Vzájemná informace S MI ( M, N ) = I ( M, N ) I ( M, N ) = H ( M ) + H ( N ) H ( M, N ) ( M, N ) = H ( N ) H ( N M ) = H ( M ) H ( M N ) I
Míra podobnosti obrazů Vzájemná informace S MI ( M, N ) = I ( M, N ) I ( M, N ) = H ( M ) + H ( N ) H ( M, N ) ( M, N ) = H ( N ) H ( N M ) = H ( M ) H ( M N ) I Vzájemná informace dvou náhodných proměnných M a N odpovídá té míře nejistoty v M, kterou redukujeme znalostí N.
Míra podobnosti obrazů Vzájemná informace ( M, N ) = H ( M ) + H ( N ) H ( M, N ) I + ( M ) p ( m) log p ( m) H M 2 m = H ( M, N ) = p ( m, n ) log p ( m, n) ). m, n MN M 2 MN
Míra podobnosti obrazů Vzájemná informace ( M, N ) = H ( M ) + H ( N ) H ( M, N ) I + I ( M, N ) p ( m, n) = m,nn MN log 2 M ( m, n ) ( m) p ( n), pmn p M p N
Míra podobnosti obrazů Vzájemná informace ( M, N ) = H ( M ) + H ( N ) H ( M, N ) I + I ( M, N ) p ( m, n) = m, n MN log 2 M ( m, n ) ( m) p ( n) pmn p M p N Nezávislost M a N: Závislost M a N: p ( m, n) p ( m) p ( n) MN = M ( M, N ) = H ( M ) H ( N ) H + N ( M, N ) < H ( M ) H ( N ) H + I ( M, N ) = 0. I( M, N ) > 0.
Míra podobnosti obrazů Vzájemná informace ( M, N ) = H ( M ) + H ( N ) H ( M, N ) I + I ( M, N ) p ( m, n) = m, n MN log 2 M ( m, n ) ( m) p ( n) pmn p M p N Vzájemná informace dvou náhodných proměnných M a N vyjadřuje míru závislosti mezi těmito proměnnými.
Míra podobnosti obrazů Vzájemná informace ( M, N ) = H ( M ) + H ( N ) H ( M, N ) I + I ( M, N ) p ( m, n) = m, n MN log 2 M ( m, n ) ( m) p ( n) pmn p M p N Kullbackova-Leiblerova vzdálenost mezi dvěma distribucemi. Vzájemná informace dvou náhodných proměnných M a N vyjadřuje míru závislosti mezi těmito proměnnými.
Vzájemná informace - příklad
Vzájemná informace - příklad
Vzájemná informace - příklad
Registrace medicínských obrazů Rigidní (afinní) registrace multimodálních obrazů Maximalizace vzájemné informace I ( M, N ) = H( M ) + H ( N ) H( M, N ), I p, log2 MN ( m n) pm ( M N ) p ( m, n) = MN ( m, n) ( m ) p ( n )., N Obrazy nelícují Obrazy lícují p MN (m,n) p MN (m,n) p MN (m,n)
Registrace medicínských obrazů Rigidní (afinní) registrace multimodálních obrazů Maximalizace MI (vzájemné informace) Optimalizační proces, kde kriteriální funkcí je I(M,N) a reg = arg min a S( S M, N o ). a Powell's direction set Nelder-Mead simplex ty [mm] ty [mm] Multiresolution
Výpočetní neuroanatommie VÝVOJ VOLUMETRIE MOZKU: postmortem techniky in vivo (CT, MRI) ROI manuální segmentace VBM DBM } celomozkové, automatické morfometrické metody
Výpočetní neuroanatommie Statistická analýza na deformacích na voxelech Lineární registrace affinní transformace šablona Pružná registrace stereotaktický prostor
Lícování podobrazů Adaptivní dělení CÍL NÁVRHU: Hrubá prostorová normalizace obrazů (potlačení globálních tvarových rozdílů). - M N Max. úroveň dělení + Symmetrické srovnávání - Max. + iterace f f RBF interpolace u u lokální síly (translace) prostorový deformační model výstup
Lícování podobrazů SYMETRICKÉ SROVNÁVÁNÍ PODOBRAZŮ Regionová symetrická podobnostní metrika Globální podobnostní metrika vzájemná informace: MI ( M N ) p ( m, n) p ( m, n) g2 pm ( m) pn ( n) pmn ( m, n) = M ( m) pn ( n) MN ( m( x), n( x) ) ( m( x) ) p ( n( x) ) MN, = MN log2 = = m, n m, n K K m, n log 2 p 1 p 1 = log = K p K x 2 M N x S MI ( x). S Regionová podobnostní metrika: W S W = 1 S( x). K W x W W forward ( fw ) = SW ( M ( xw + uw ( xw ) + fw ), N( xw )) reverse + S ( M ( x ), N( x u ( x ) f )). W W, W W W W + Bodová podobnostní funkce: n n(x 2 ) S MI (x 1,x 2 ) m(x 1 ) m
Lícování podobrazů SYMETRICKÉ SROVNÁVÁNÍ PODOBRAZŮ Kombinace důkladného hledání a metody nejstrmějšího j sestupu Parametry optimalizační procedury závisí na velikosti podobrazu. f max - vektor maximálního posunutí s e - hrubý krok důkladného hledání s h - jemný krok nejstrmnějšího sestupu q -počet startů nestrmnějšího sestupu Experimentální nastavení.
Lícování podobrazů VÍCEÚROVŇOVÁ ADAPTIVNÍ DEFORMACE Dělení na podobrazy: prahování gradientního obrazu. Prvky metod založených na význačných bodech. Interpolace nerovnoměrně rozložených dat s využitím RBF. Volba RBF: Wendlandova d funkce (local l support). Iterace i při konstantní úrovni dělení: Zavedení závislosti mezi sousedními obrazy.
Registrace pomocí bodových podobnostních metrik multirezoluční strategie CÍL NÁVRHU: Potlačení hrubých i jemných rozdílu mezi obrazy. - Symmetrické srovnávání u Sdružená PDF + Změna - Max. globální rozlišení MI + prostorový deformační model Hookův zákon u u f 1 f 2 f Lokální síly Prostorový Prostorový filtr G filtr G E I výstup
Registrace pomocí bodových podobnostních metrik SYMETRICKÉ SROVNÁVÁNÍ VOXELŮ f forward reverse ( x) = fk ( x) fk ( x) S( M ( x + u( x) + ε ), N( x) ) S( M ( x + u( x) ε ), N( x) ) sym k = = S k 2ε ( M ( x), N( x u( x) + ε )) S( M ( x), N( x u( x) ε )) k k 2ε k k k, k = 1... D. NORMALIZACE SIL: ~ f ( ) ( x) ~ f. f x = ( ) ( x) f x = f ( x). f MAX f forward f reverse f sym
Registrace pomocí bodových podobnostních metrik S ( x) p ( m( x) n( x) ) H = log 2 MN, ( ) ( ) S PC ( x ) = p n ( x ) m ( x ) ( x) = log p n( x) m( x) S HC 2 S UH MI ( x) = SH SMI pmn ( ) ( m( x), n( x) ) x = log 2 pm ( m ( x ) ) pn ( n ( x ) ) pmn ( ) ( m( x), n( x) ) x = p ( m( x) ) p ( n( x) ) S + S PMI M N p histogram MN (m,n) n n n WM GM CSF SKULL BCKG FALEŠNÉ TŔÍDY m m m
Registrace pomocí bodových podobnostních metrik KONVERGENCE Konvergenční kritérium: relativní změna globální podobnostní metriky (normalizovaná vzájemná informace). C i = ~ I i ~ i 1 ( M, N ) I ( M, N ) ~ i 1 I ( M, N ). Zobecněná PV interpolace při výpočtu sdružené PDF. Dva typy chyb: 1) Chyba odhadu bodové podobnostní funkce roste s mírou rozlícování. í 2) Počet suboptimálních lokálních řešení roste s mírou rozlícování. MULTIREZOLUČNÍ STRATEGIE
Sekvence podvzorkovaných obrazů: Multirezoluční strategie rozmazání Gaussovým filtrem σ = s/2, výběr každéhos. vzorku. 4 mm 56 56 46 2 mm 112 112 92 Přechod na úroveň s vyšším rozlišením: nadvzorkování u(x) s lineární interpolací. 1 mm 224 224 184 4 2 1 u MAX =17 mm 4-2-1 2-1 1 4-2-1 2-1 1
Sdružená PDF ve stereotaktickém prostoru TPM = Tkáňové pravděpodobnostní mapy 0 1 p MN prior (m,n) Modifikovaná technika Parzen windowing. Výběr míst s nejpravděpodobnějšími výskyty mozkových tkání. Gaussovská jádrová funkce. Váhování hodnotou pravděpodobnosti výskytu tkáně. Váhování hodnotou interpolační jádrové funkce. n λ=0.5λ λ=0.0 p MN m p MN prior histogram () i = λp () i + ( 1 λ) p (). i MN MN
Nastavení parametrů, zhodnocení metod Vizuální kontrola + změna hodnot globálních podobnostních metrik. ( ). 1 2 Měření chyb po registraci uměle zdeformovaného obrazu. e = u init ( x) u( x) RMS K Τ x Τ e MAX = max x Τ init ( u ( x) u( x) ). Měření překryvů objektů v segementovaných obrazech. J L l= 1 = L l= 1 Λ Λ M, l M, l Λ Λ N, l N, l.
Nastavení parametrů, zhodnocení metod Testovací data: SBD (Simulated Brain Database) 20 párů 2D obrazů, různé kontrasty: T1-T1, T1-T2, T1-PD. Dva typy transformací (RGsim, TPSsim), Různé míry rozlícování: u init MAX {5 mm, 8 mm, 10 mm, 12 mm}. Měření chyb po registraci uměle zdeformovaného obrazu: e RMS, e MAX.. Měření překryvů objektů v segementovaných obrazech. Lícování podobrazů Max. úroveň dělení: 4 Iterace na stejné úrovni: 2 Nejvhodnější metrika: S PC e RMS = 73% (RGsim) e RMS = 88% (TPSsim) Registrace pomocí bodových podobnostních metrik Multirezoluční schéma: 4 mm, 2 mm, 1 mm Def. model: σ GI =3.74, σ GE =2.00, k=1.00 Nejvhodnější metriky: S PMI, S MI e RMS = 80% (RGsim) e RMS = 87% (TPSsim)
Morfometrie u první epizody schizofrenie CÍL: Nelézt v mozku místa se statisticky významnými anatomickými rozdíly mezi skupinou pacientů postižených první epizodou schizofrenie a skupinou zdravých dobrovolníků. 49 schizofrenních mužů (věkový průměr 24.3, směrodatná odchylka 5.2), 124 dobrovolníků (věkový průměr 23.3, směrodatná odchylka 2.0). 3D MRI obrazy mozku: T1-váhované; sagitální; 0.48 0.48 1.17 mm; formát DICOM. Převod do MNI-BIC formátu, lineární registrace do Talaraichova systému, šablona ICBM152. Potlačení INU artefaktu, převzorkování na 1 1 1 mm (181 217 181 voxelů). Pružná mnohorozměrná registrace pomocí bodových podobnostních metrik. Šablony: colin27 (SBD), ICBM152. Metriky: S PMI, S MI.
Morfometrie u první epizody schizofrenie OVĚŘENÍ PŘESNOSTI METODY NA 3D OBRAZECH Měření e RMS a e MAX mezi deformacemi získanými z dopředných a reverzních registrací. výsledky měření konzistence na registraci 173 subjektů:
Morfometrie Morfometrie u první epizody schizofrenie u první epizody schizofrenie VEKTOROVÁ A SKALÁRNÍ POLE Jakobián 1 1 1 z y x, 2 2 2 = z y x z y x 3 3 3 z y x det
Morfometrie Morfometrie u první epizody schizofrenie u první epizody schizofrenie VEKTOROVÁ A SKALÁRNÍ POLE D t i t J k biáů Jakobián Determinanty Jakobiánů z (x) 1 1 1 z y x ( ) vyjadřují lokální, relativní objemové změny způsobené, 2 2 2 = z y x z y x objemové změny způsobené (x)v bodě x. 3 3 3 z y x det
Morfometrie u první epizody schizofrenie Testování hypotézy v jediném bodě stereotaktického prostoru: Porovnání výsledných vektorových polí: Hotellingova T 2 statistika přepočítána na F statistiku. F = 12,863 (P=9.9e-6)
Morfometrie u první epizody schizofrenie Testování hypotézy v jediném bodě stereotaktického prostoru: Porovnání skalárních polí: Studentova t statistika Porovnání výsledných vektorových polí: Hotellingova T 2 statistika přepočítána na F statistiku. t = 5,429 (P=3.1e-6) F = 12,863 (P=9.9e-6)
Morfometrie u první epizody schizofrenie STATISTIKA NAD VEKTOROVÝMI POLI Hotellingova T 2 statistika přepočítána na F statistiku. Hladina významnosti α=0.1%. Obtížná interpretace. STATISTIKA NAD SKALÁRNÍMI POLI Deformace převedeny na pole determinantů Jakobiánů Studentova t statistika, α=0.1%. Přímočará interpretace. x=14 mm y=47 mm z=41 mm x=49 mm y=27 mm z=7 mm x=17 mm y=-66 mm z=12 mm x=-40 mm y=44 mm z=2 mm F V t 8 10 12 14 16 p > V c -4-2 0 2 4 V p <V c
Morfometrie u první epizody schizofrenie KOREKCE NA MNOHOČETNÁ POROVNÁNÍ α = 0.001001 => jeden z tisíce testů zamítne nulovou hypotézu (chyba prvního druhu) V ~ 10 6 voxelů, tj. ~ 10 6 testů => nutno korigovat α V p <V c
Morfometrie u první epizody schizofrenie KOREKCE NA MNOHOČETNÁ POROVNÁNÍ α = 0.001001 => jeden z tisíce testů zamítne nulovou hypotézu (chyba prvního druhu) V ~ 10 6 voxelů, tj. ~ 10 6 testů => nutno korigovat α FDR: False Discovery Rate vsoučasné době nejužívanější v neuroimagingu nestanovuje pravděpodobnost výskytu jediného falešně pozitivního výsledku, ale určuje podíl všech falešně pozitivních výsledků v celkovém počtu zamítnutých tý nulových hypotéz. V p <V c
Shrnutí Návrh a implementace algoritmů pro pružnou registraci multimodálních obrazových dat: málorozměrná registrace lícováním podobrazů, mnohorozměrná registrace s využitím bodových podobnostních metrik. Zobecněná PV interpolace: hladší průběh kriteriálních funkcí, není nutno počítat deformované obrazy výrazné urychlení výpočtu. Kombinace odhadu d sdružené PDF: zvýšení přesnosti výsledných deformací (v průměru: e RMS = 6%, e MAX = 11%) snížení počtu iterací (v průměru o 19%). Kvantitativní hodnocení pomocí uměle vytvořených deformací a pomocí měření konzistence. Aplikace mnohorozměrné registrace na reálných medicínských datech: výsledné mapy lokalizují oblasti mozku se statisticky významnými anatomickými rozdíly mezi skupinou pacientů postižených první epizodou schizofrenie a kontrolní skupinou, výsledky z velké části konzistentní s jinými autory užívající ROI, VBM i DBM techniky,zjištěné odchylky mohou být způsobeny krátkou dobou nemoci u vyšetřované skupiny.
ffgf INVESTICE DO ROZVOJE VZDĚLÁVÁNÍ 5. letní škola Matematické biologie je podporována projektem ESF č. CZ.1.07/2.2.00/07.0318 VÍCEOBOROVÁ INOVACE STUDIA MATEMATICKÉ BIOLOGIE Otázky? 50