3D visualizacev lékařství Lukáš Maršálek, leden 08 CGG MFF UK CGUdS
Obsah Motivace Příklady úloh a výstupů Visualizace v kontextu Principy Formalizace zobrazování Základní modality a principy Složitost Aktuální problémy Nevyřešené otázky Náš výzkum Závěr Převzato z[hauseretal. 01]
Lékařská visualizacei Visualizace pro usnadnění diagnostiky Visualizace nasnímaných dat Zobrazení požadovaných rysů Diagnostika pomocí simulace Rekonstrukce a simulace Modelování biologických procesů Převzato z[vrvis 08]
Visualizacepro diagnostiku Maximum Intensity Projection Zobrazování isoploch Objemové zobrazování Nefotorealistickézobrazování Multi-modální visualizace Převzato z[stegmaier 05]
Visualizacepro diagnostiku Maximum Intensity Projection Zobrazování isoploch(iso) Objemové zobrazování Nefotorealistickézobrazování Multi-modální visualizace Převzato z[stegmaier 05]
Visualizacepro diagnostiku Maximum Intensity Projection Zobrazování isoploch Objemové zobrazování (DVR) Nefotorealistickézobrazování Multi-modální visualizace Převzato z[stegmaier 05]
Visualizacepro diagnostiku Maximum Intensity Projection Zobrazování isoploch Objemové zobrazování Nefotorealistickézobrazování Multi-modální visualizace Převzato z[bruckner a Groeller 07]
Visualizacepro diagnostiku Maximum Intensity Projection Zobrazování isoploch Objemové zobrazování Nefotorealistickézobrazování Multi-modální visualizace Převzato z[wein 07]
Lékařská visualizacei Visualizace pro usnadnění diagnostiky Visualizace nasnímaných dat Zobrazení požadovaných rysů Diagnostika pomocí simulace Rekonstrukce a simulace Modelování biologických procesů Převzato z[vrvis 08]
Diagnostické simulace Simulace krevního průtoku Virtuální endoskopie Modelování krevního řečiště Převzato z[vrvis 08]
Diagnostické simulace Simulace krevního průtoku Virtuální endoskopie Modelování krevního řečiště Převzato z[spl 08]
Diagnostické simulace Simulace krevního průtoku Virtuální endoskopie Modelování krevního řečiště Převzato z[vrvis 08]
Lékařská visualizaceii Předoperační plánování Plánování chirurgických zákroků Výuka Popularizační visualizace Popularizace vědeckých výsledků Výukové materiály Převzato z[wein 07]
Předoperační plánování Plánování neurochirurgických zákroků Nádor v oblasti podvěsku mozkového Kombinace CT, MRI a MRA Převzato z[vrvis 08]
Předoperační plánování Plánování korektivní osteotomie Plánování řezu kostí MPR CT dat Vše převzato z[vrvis 08]
Lékařská visualizaceii Předoperační plánování Plánování chirurgických zákroků Výuka Popularizační visualizace Popularizace vědeckých výsledků Výukové materiály Převzato z[wein 07]
Popularizační visualizace Popularizace vědeckých výsledků Propagace, výuka Ilustrace výsledků Copyright a převzato z [Symmation 08]
Popularizační visualizace Výukové materiály Ilustrativní zobrazování Převzato z[sousaetal. 05] Převzato z[bruckner a Groeller 07]
Lékařská visualizace-shrnutí Různé aplikace Převzato z[wein 07] Různé modality CT, MRI, PET, umělé modely Různé výstupy Snímky, aplikace, videa Různé metody Visualizace, segmentace, modelování a simulace
Obsah Motivace Příklady úloh a výstupů Visualizace v kontextu Principy Formalizace zobrazování Základní modality a principy Složitost Aktuální problémy Nevyřešené otázky Náš výzkum Závěr Převzato z[hauseretal. 01]
Vizualizace v Bioinformatice Převzato z[chimera 08] Převzato z [Ballview 08]
Průmyslová vizualizace Převzato z [VolumeGraphicsGmbh 08] Převzato z [VolumeGraphicsGmbh 08]
Zábavní průmysl Převzato z [Salama 07]
Visualizacesimulací Převzato z [RTVG 08] Převzato z [Parker et. al 06]
Obsah Motivace Příklady úloh a výstupů Visualizace v kontextu Principy Formalizace zobrazování Základní modality a principy Složitost Aktuální problémy Nevyřešené otázky Náš výzkum Závěr Převzato z[hauseretal. 01]
Vizualizace objemových dat Vstup Body v prostoru s atributy V lékařství pravidelná mřížka Výstup 2D snímky, sekvence Problémy (1) Transformace bodů na 2D průmětnu (2) Mapování atributů na barvy Body v mřížce Průmětna
Přímé zobrazování (1) Transformace bodů Přímá transformace Bez přechodných polygonů (2) Mapování atributů Projekce největší intensity (MIP) Vykreslování isoploch(iso) Simulace chování světla (DVR) Různé metody realizace Vše převzato z[stegmaier 05]
Rekurzivní sledování paprsku Obecná metoda pro řešení viditelnosti Založena na paprskové optice Adaptace pro zobrazování objemových dat Přímá transformace na průmětnu Snadné mapování atributů Převzato z[vrvis 08]
Přímé zobrazování Přímá transformace buněk na průmětnu Paprsek Které buňky mohou přispět do pixelu? Všechny podél dráhy paprsku Různé metody Různé mapování buněk Pixel Pozorovatel Body v mřížce Průmětna
Maximum Intensity Projection Pixel má maximální hodnotu viděnou podél paprsku Mapování Mřížka 3 Paprsek objemová hodnota -> <0,1> 8 5 10 8 7 0 0 0,04 Pixel Průmětna Převzato z[stegmaier 05] Pozorovatel
Vykreslování isoploch Zobrazení pouze části objemu Buňky v daném rozmezí Povrch se stínuje jako polygon Pseudo-normála, externí osvětlení Paprsek Mapování Objemová data se neinterpretují Základní složitost Jedna buňka z, celkem O(log ) Pixel Pozorovatel Body v mřížce Průmětna
Simulace světla (DVR) I Simuluji průchod světla objemem Různé optické modely Vyzařující- pohlcující model Paprsek Základní složitost 3 3 buněk z Body v mřížce O( 3 ) Pixel Průmětna
Vyzařující pohlcující model Běžně používaný v lékařství Zanedbává rozptyl světla Látka pouze vyzařuje a pohlcuje
Vyzařující pohlcující model Běžně používaný v lékařství Zanedbává rozptyl světla Látka pouze vyzařuje a pohlcuje L( x, ω) = t 1 t 0 t0 η( t) e t θ( s) ds dt
Vyzařující pohlcující model Běžně používaný v lékařství Zanedbává rozptyl světla Látka pouze vyzařuje a pohlcuje L( x, ω) = t 1 t 0 t0 η( t) e t θ( s) ds dt Záření přicházející do bodu xze směru ω
Vyzařující pohlcující model Běžně používaný v lékařství Zanedbává rozptyl světla Látka pouze vyzařuje a pohlcuje L( x, ω) = t 1 t 0 t0 η( t) e t θ( s) ds dt Integrujeme přes segmentpaprsku [t 0,t 1 ]
Vyzařující pohlcující model Běžně používaný v lékařství Zanedbává rozptyl světla Látka pouze vyzařuje a pohlcuje L( x, ω) = t 1 t 0 t0 η( t) e t θ( s) ds dt Zářenívyzářené k pozorovateli z bodux` = x-tω
Vyzařující pohlcující model Běžně používaný v lékařství Zanedbává rozptyl světla Látka pouze vyzařuje a pohlcuje L( x, ω) = t 1 t 0 t0 η( t) e t θ( s) ds dt Je částečně pohlceno díky absorpci vsegmentu [t 0, t]
Mapování atributů Získáních optických vlastností Optická hustota Vyzařovaná barva θ(t) η(t) θ(t) Přechodová funkce Zásadní pro visualizaci Vyžadována interaktivní změna Z RBGα θ () = g ( f( t)) t θ 0 η(t) η(t) f
Obsah Motivace Příklady úloh a výstupů Visualizace v kontextu Principy Formalizace zobrazování Základní modality a principy Složitost Aktuální problémy Nevyřešené otázky Náš výzkum Závěr Převzato z[hauseretal. 01]
Obtížnost uvedených metod ISO <= MIP <= DVR ISO(log) DVR(odmocnina) Počet buněk cca.10 8 1 milión paprsků 200 buněk na paprsek 20snímků / sec Počet vzorků 500 400 300 200 100 0 464,16 26,58 2 buňkyna takt na 2GHz procesoru Počet primitiv
Současné rychlosti Setup Okno 512 2 Data 25MB, 512x512x49 Implementace na CPU ISO -4 FPS DVR -1 FPS Implementace na GPU ISO -120 FPS DVR -92 FPS Převzato z[stegmaier 05]
Obsah Motivace Příklady úloh a výstupů Visualizace v kontextu Principy Formalizace zobrazování Základní modality a principy Složitost Aktuální problémy Nevyřešené otázky Náš výzkum Závěr Převzato z[hauseretal. 01]
Aktuální problémy I Interaktivní rychlost Pomalé na CPU GPU mají málo paměti Efektivnost vizualizace Přesnost vizualizace Navigace, ROI Pomocné značky Kontext
Aktuální problémy II Velké datové množiny v DVR 1024 3,2048 3 Velké i na CPU Zadávání a editace přechodových funkcí Interaktivní Intuitivní, ilustrativní Interakce s objemem Objemy jsou homogenní Simulace operací, oprava segmentačních výsledků
Náš výzkum Visualizace Urychlení DVR pomocí nového HW (Cell) Logaritmické škálování DVR s velikostí dat Garantovaná chyba DVR Segmentace Automatická diagnostika v MRI Zpracování časových sekvencí objemových dat Aplikace vizualizace Nová využití visualizace objemových dat
Shrnutí a závěr Využití objemových dat v medicíně Příklady visualizací Objemová data jsou velmi obecná Mnoho aplikací Základní přístupy používané v medicíně MIP, ISO, DVR Zdaleka není vše vyřešeno Velká data, chyba, přechodové funkce Stručný přehled našeho výzkumu
Co jste NEslyšeli Přehled visualizačních metod pro objemy Příliš dlouhé Trochu uspávající Úlohy z 2D lékařské vizualizace Praxe orientována na 2D řezy Všechny možné lékařské 3D visualizace Kategorie, ne všechny zástupce
Reference I [BallView08] BallView, molecular modeling and visualization software, www.ballview.org, webpage, 2008 [Chimera 08] UCSF Chimera, molecular modeling software, www., webpage 2008 [Hauser et. al. 01] H. Hauser, L. Mroz, G.I. Bischi, M.E. Groller: Two-level Volume Rendering, IEEE Transaction on Visualization and Computer Graphics, 2001 [RTVG 08] Real-time Volume Graphics, www.real-time-volumegraphics.com, webpage, 2008 [Salama07] ChristofRezkSalama: GPU-based Monte-Carlo Volume Raycasting, Proceeding of 15 th Pacific conference on Computer Graphics and Applications, 2007 [VolumeGraphics08] Volume Graphics GmbH, www.volumegraphics.com, webpage, 2008 [Bruckner a Groeller07] S.Bruckner, M.E. Groeller: Style Transfer Functions for Illustrative Volume Rendering, Computer Graphics Forum 2007
Reference II [Wein07] W. Wein: MultiModalIntegration of Medical Ultrasound for Treatment Planning and Intervention, Dissertation, 2007 [SPL 08] Surgical Planning Laboratory, webová stránka, http://www.spl.harvard.edu/index.html [VrVis 08] VrVis, Zentrum fuer virtual reality und visualisierung forschungs- gmbh, webová stránka, www.vrvis.at [Sousa et al. 05] M.C.Sousta, D.S. Ebert, D. Stredney, N.A. Svakhine: Illustrative Visualization for Medical Training, Computational Aesthetics in Graphics, Visualization and Imaging, 2005 [Symmation 08] Symmation LLC, webová stránka, www.symmation.com [Stegmaier05]S.Stegmaier, M. Strengert, T. Klein: A SimpleandFlexibileVolume Rendering Framework for Graphics-Hardware-based Raycasting, Volume Graphics 2005
Konec Děkuji za pozornost Prezentace 2008, Lukáš Maršálek, Obrázky 2008 příslušných vlastníků Všechny obrázky byly vytvořeny a jsou majetkem příslušných vlastníků, označených jako Převzato z [odkaz]