3D visualizacev lékařství. Lukáš Maršálek, leden 08 CGG MFF UK CGUdS

Transkript

1 3D visualizacev lékařství Lukáš Maršálek, leden 08 CGG MFF UK CGUdS

2 Obsah Motivace Příklady úloh a výstupů Visualizace v kontextu Principy Formalizace zobrazování Základní modality a principy Složitost Aktuální problémy Nevyřešené otázky Náš výzkum Závěr Převzato z[hauseretal. 01]

3 Lékařská visualizacei Visualizace pro usnadnění diagnostiky Visualizace nasnímaných dat Zobrazení požadovaných rysů Diagnostika pomocí simulace Rekonstrukce a simulace Modelování biologických procesů Převzato z[vrvis 08]

4 Visualizacepro diagnostiku Maximum Intensity Projection Zobrazování isoploch Objemové zobrazování Nefotorealistickézobrazování Multi-modální visualizace Převzato z[stegmaier 05]

5 Visualizacepro diagnostiku Maximum Intensity Projection Zobrazování isoploch(iso) Objemové zobrazování Nefotorealistickézobrazování Multi-modální visualizace Převzato z[stegmaier 05]

6 Visualizacepro diagnostiku Maximum Intensity Projection Zobrazování isoploch Objemové zobrazování (DVR) Nefotorealistickézobrazování Multi-modální visualizace Převzato z[stegmaier 05]

7 Visualizacepro diagnostiku Maximum Intensity Projection Zobrazování isoploch Objemové zobrazování Nefotorealistickézobrazování Multi-modální visualizace Převzato z[bruckner a Groeller 07]

8 Visualizacepro diagnostiku Maximum Intensity Projection Zobrazování isoploch Objemové zobrazování Nefotorealistickézobrazování Multi-modální visualizace Převzato z[wein 07]

9 Lékařská visualizacei Visualizace pro usnadnění diagnostiky Visualizace nasnímaných dat Zobrazení požadovaných rysů Diagnostika pomocí simulace Rekonstrukce a simulace Modelování biologických procesů Převzato z[vrvis 08]

10 Diagnostické simulace Simulace krevního průtoku Virtuální endoskopie Modelování krevního řečiště Převzato z[vrvis 08]

11 Diagnostické simulace Simulace krevního průtoku Virtuální endoskopie Modelování krevního řečiště Převzato z[spl 08]

12 Diagnostické simulace Simulace krevního průtoku Virtuální endoskopie Modelování krevního řečiště Převzato z[vrvis 08]

13 Lékařská visualizaceii Předoperační plánování Plánování chirurgických zákroků Výuka Popularizační visualizace Popularizace vědeckých výsledků Výukové materiály Převzato z[wein 07]

14 Předoperační plánování Plánování neurochirurgických zákroků Nádor v oblasti podvěsku mozkového Kombinace CT, MRI a MRA Převzato z[vrvis 08]

15 Předoperační plánování Plánování korektivní osteotomie Plánování řezu kostí MPR CT dat Vše převzato z[vrvis 08]

16 Lékařská visualizaceii Předoperační plánování Plánování chirurgických zákroků Výuka Popularizační visualizace Popularizace vědeckých výsledků Výukové materiály Převzato z[wein 07]

17 Popularizační visualizace Popularizace vědeckých výsledků Propagace, výuka Ilustrace výsledků Copyright a převzato z [Symmation 08]

18 Popularizační visualizace Výukové materiály Ilustrativní zobrazování Převzato z[sousaetal. 05] Převzato z[bruckner a Groeller 07]

19 Lékařská visualizace-shrnutí Různé aplikace Převzato z[wein 07] Různé modality CT, MRI, PET, umělé modely Různé výstupy Snímky, aplikace, videa Různé metody Visualizace, segmentace, modelování a simulace

20 Obsah Motivace Příklady úloh a výstupů Visualizace v kontextu Principy Formalizace zobrazování Základní modality a principy Složitost Aktuální problémy Nevyřešené otázky Náš výzkum Závěr Převzato z[hauseretal. 01]

21 Vizualizace v Bioinformatice Převzato z[chimera 08] Převzato z [Ballview 08]

22 Průmyslová vizualizace Převzato z [VolumeGraphicsGmbh 08] Převzato z [VolumeGraphicsGmbh 08]

23 Zábavní průmysl Převzato z [Salama 07]

24 Visualizacesimulací Převzato z [RTVG 08] Převzato z [Parker et. al 06]

25 Obsah Motivace Příklady úloh a výstupů Visualizace v kontextu Principy Formalizace zobrazování Základní modality a principy Složitost Aktuální problémy Nevyřešené otázky Náš výzkum Závěr Převzato z[hauseretal. 01]

26 Vizualizace objemových dat Vstup Body v prostoru s atributy V lékařství pravidelná mřížka Výstup 2D snímky, sekvence Problémy (1) Transformace bodů na 2D průmětnu (2) Mapování atributů na barvy Body v mřížce Průmětna

27 Přímé zobrazování (1) Transformace bodů Přímá transformace Bez přechodných polygonů (2) Mapování atributů Projekce největší intensity (MIP) Vykreslování isoploch(iso) Simulace chování světla (DVR) Různé metody realizace Vše převzato z[stegmaier 05]

28 Rekurzivní sledování paprsku Obecná metoda pro řešení viditelnosti Založena na paprskové optice Adaptace pro zobrazování objemových dat Přímá transformace na průmětnu Snadné mapování atributů Převzato z[vrvis 08]

29 Přímé zobrazování Přímá transformace buněk na průmětnu Paprsek Které buňky mohou přispět do pixelu? Všechny podél dráhy paprsku Různé metody Různé mapování buněk Pixel Pozorovatel Body v mřížce Průmětna

30 Maximum Intensity Projection Pixel má maximální hodnotu viděnou podél paprsku Mapování Mřížka 3 Paprsek objemová hodnota -> <0,1> ,04 Pixel Průmětna Převzato z[stegmaier 05] Pozorovatel

31 Vykreslování isoploch Zobrazení pouze části objemu Buňky v daném rozmezí Povrch se stínuje jako polygon Pseudo-normála, externí osvětlení Paprsek Mapování Objemová data se neinterpretují Základní složitost Jedna buňka z, celkem O(log ) Pixel Pozorovatel Body v mřížce Průmětna

32 Simulace světla (DVR) I Simuluji průchod světla objemem Různé optické modely Vyzařující- pohlcující model Paprsek Základní složitost 3 3 buněk z Body v mřížce O( 3 ) Pixel Průmětna

33 Vyzařující pohlcující model Běžně používaný v lékařství Zanedbává rozptyl světla Látka pouze vyzařuje a pohlcuje

34 Vyzařující pohlcující model Běžně používaný v lékařství Zanedbává rozptyl světla Látka pouze vyzařuje a pohlcuje L( x, ω) = t 1 t 0 t0 η( t) e t θ( s) ds dt

35 Vyzařující pohlcující model Běžně používaný v lékařství Zanedbává rozptyl světla Látka pouze vyzařuje a pohlcuje L( x, ω) = t 1 t 0 t0 η( t) e t θ( s) ds dt Záření přicházející do bodu xze směru ω

36 Vyzařující pohlcující model Běžně používaný v lékařství Zanedbává rozptyl světla Látka pouze vyzařuje a pohlcuje L( x, ω) = t 1 t 0 t0 η( t) e t θ( s) ds dt Integrujeme přes segmentpaprsku [t 0,t 1 ]

37 Vyzařující pohlcující model Běžně používaný v lékařství Zanedbává rozptyl světla Látka pouze vyzařuje a pohlcuje L( x, ω) = t 1 t 0 t0 η( t) e t θ( s) ds dt Zářenívyzářené k pozorovateli z bodux` = x-tω

38 Vyzařující pohlcující model Běžně používaný v lékařství Zanedbává rozptyl světla Látka pouze vyzařuje a pohlcuje L( x, ω) = t 1 t 0 t0 η( t) e t θ( s) ds dt Je částečně pohlceno díky absorpci vsegmentu [t 0, t]

39 Mapování atributů Získáních optických vlastností Optická hustota Vyzařovaná barva θ(t) η(t) θ(t) Přechodová funkce Zásadní pro visualizaci Vyžadována interaktivní změna Z RBGα θ () = g ( f( t)) t θ 0 η(t) η(t) f

40 Obsah Motivace Příklady úloh a výstupů Visualizace v kontextu Principy Formalizace zobrazování Základní modality a principy Složitost Aktuální problémy Nevyřešené otázky Náš výzkum Závěr Převzato z[hauseretal. 01]

41 Obtížnost uvedených metod ISO <= MIP <= DVR ISO(log) DVR(odmocnina) Počet buněk cca milión paprsků 200 buněk na paprsek 20snímků / sec Počet vzorků ,16 26,58 2 buňkyna takt na 2GHz procesoru Počet primitiv

42 Současné rychlosti Setup Okno Data 25MB, 512x512x49 Implementace na CPU ISO -4 FPS DVR -1 FPS Implementace na GPU ISO -120 FPS DVR -92 FPS Převzato z[stegmaier 05]

43 Obsah Motivace Příklady úloh a výstupů Visualizace v kontextu Principy Formalizace zobrazování Základní modality a principy Složitost Aktuální problémy Nevyřešené otázky Náš výzkum Závěr Převzato z[hauseretal. 01]

44 Aktuální problémy I Interaktivní rychlost Pomalé na CPU GPU mají málo paměti Efektivnost vizualizace Přesnost vizualizace Navigace, ROI Pomocné značky Kontext

45 Aktuální problémy II Velké datové množiny v DVR , Velké i na CPU Zadávání a editace přechodových funkcí Interaktivní Intuitivní, ilustrativní Interakce s objemem Objemy jsou homogenní Simulace operací, oprava segmentačních výsledků

46 Náš výzkum Visualizace Urychlení DVR pomocí nového HW (Cell) Logaritmické škálování DVR s velikostí dat Garantovaná chyba DVR Segmentace Automatická diagnostika v MRI Zpracování časových sekvencí objemových dat Aplikace vizualizace Nová využití visualizace objemových dat

47 Shrnutí a závěr Využití objemových dat v medicíně Příklady visualizací Objemová data jsou velmi obecná Mnoho aplikací Základní přístupy používané v medicíně MIP, ISO, DVR Zdaleka není vše vyřešeno Velká data, chyba, přechodové funkce Stručný přehled našeho výzkumu

48 Co jste NEslyšeli Přehled visualizačních metod pro objemy Příliš dlouhé Trochu uspávající Úlohy z 2D lékařské vizualizace Praxe orientována na 2D řezy Všechny možné lékařské 3D visualizace Kategorie, ne všechny zástupce

49 Reference I [BallView08] BallView, molecular modeling and visualization software, webpage, 2008 [Chimera 08] UCSF Chimera, molecular modeling software, webpage 2008 [Hauser et. al. 01] H. Hauser, L. Mroz, G.I. Bischi, M.E. Groller: Two-level Volume Rendering, IEEE Transaction on Visualization and Computer Graphics, 2001 [RTVG 08] Real-time Volume Graphics, webpage, 2008 [Salama07] ChristofRezkSalama: GPU-based Monte-Carlo Volume Raycasting, Proceeding of 15 th Pacific conference on Computer Graphics and Applications, 2007 [VolumeGraphics08] Volume Graphics GmbH, webpage, 2008 [Bruckner a Groeller07] S.Bruckner, M.E. Groeller: Style Transfer Functions for Illustrative Volume Rendering, Computer Graphics Forum 2007

50 Reference II [Wein07] W. Wein: MultiModalIntegration of Medical Ultrasound for Treatment Planning and Intervention, Dissertation, 2007 [SPL 08] Surgical Planning Laboratory, webová stránka, [VrVis 08] VrVis, Zentrum fuer virtual reality und visualisierung forschungs- gmbh, webová stránka, [Sousa et al. 05] M.C.Sousta, D.S. Ebert, D. Stredney, N.A. Svakhine: Illustrative Visualization for Medical Training, Computational Aesthetics in Graphics, Visualization and Imaging, 2005 [Symmation 08] Symmation LLC, webová stránka, [Stegmaier05]S.Stegmaier, M. Strengert, T. Klein: A SimpleandFlexibileVolume Rendering Framework for Graphics-Hardware-based Raycasting, Volume Graphics 2005

51 Konec Děkuji za pozornost Prezentace 2008, Lukáš Maršálek, Obrázky 2008 příslušných vlastníků Všechny obrázky byly vytvořeny a jsou majetkem příslušných vlastníků, označených jako Převzato z [odkaz]