JIHOČESKÁ UNIVERZITA V ČESKÝCH BUDĚJOVICÍCH. Závěrečná zpráva o řešení grantového projektu

Transkript

1 JIHOČESKÁ UNIVERZITA V ČESKÝCH BUDĚJOVICÍCH Závěrečná zpráva o řešení grantového projektu Interní grant JU 1.Název Registrační číslo: 091/2008/P (04-091) projektu: Fluxes of information entropy in time lapse microscopy 2.Hlavní řešitel Příjmení, jméno, tituly:urban, Jan, Ing. Pracoviště:Institute of Physical Biology Nové Hrady 3.Přidělené grantové finanční prostředky Pro rok celkem Kč:84000 Prohlašuji, že údaje uvedené v přiložené zprávě o řešení grantového projektu jsou pravdivé a úplné. Datum:. podpis řešitele... jméno a podpis vedoucího pracoviště 4. Vyjádření oborové rady Grantové agentury JU:

2 JIHOČESKÁ UNIVERZITA V ČESKÝCH BUDĚJOVICÍCH Závěrečná zpráva o řešení grantového projektu Interní grant JU Registrační číslo: 091/2008/P (04-091) I.Rozbor řešení projektu a celkové shrnutí; výsledky projektu: Pozn.: Ve všech výstupech včetně publikací je třeba výslovně uvést, že vznikly na základě úplné, popř. částečné finanční podpory ze strany Grantové agentury Jihočeské univerzity. Nejprve bylo potřeba provést kalibrační testy potřebného měřícího zařízení, tj. inverzního fázově kontrastního mikroskopu Olympus IX51 s připojeným digitálním fotoaparátem Olympus C7070 (max rozlišení 7 Mpx). Fotoaparát lze ovládat pomocí dodávaného softwaru OLYMPUS Master Software Olympus QuickPhoto Micro 2.1. Dodávaný software umožňuje živý obraz, manuální nastavení některých parametrů fotoaparátu a jednoduché automatické snímání. Bohužel pro potřeby časosběrné mikrofotografie s proměnlivou dobou expozice je nedostatečný, pro plánování úloh nelze zadávat širší spektrum nastavených parametrů. Pro daný fotoaparát firma Olympus jiný software nedodává ani nevyvíjí. Na našem pracovišti byl v minulosti pro tyto účely vyvinut vlastní software Expertomica Time-Lapse Microscopy Capture Tool, využívající Olympus Software Developer Kits pro rodinu čipů fotoaparátů, do které C7070 patří. Veškeré snímky buněk pořízené v rámci projektu byly nasnímány pomocí tohoto softwaru. Kalibrační testy měly za úkol ověřit přesnost nastavení fotoaparátu, zvětšení mikroskopu a shody s kalibračním sklíčkem (Obrázek 1). Ověření technických parametrů měřících zařízení je základní činnost před každou sérií měření, v nekomerční sféře praxe často zanedbávaná. Obrázek 1. Shoda měřítka s kalibračním sklíčkem. Dvě nejdelší čáry na sklíčku jsou od sebe vzdáleny 100 mikrometrů. Použité zvětšení 20x, rozlišení fotoaparátu maximální, ostření na nekonečno, ztrátová komprese.

3 Důležitou otázkou je optimální nastavení parametrů fotoaparátu (rozlišení, závěrka, doba expozice, chromatická teplota, fokusace) a osvětlení vzorku. Nelze nechávat nastavení na automatice, neboť ta se neadekvátně přizpůsobuje i drobným změnám okolí a fotoaparát není primárně určen pro použití s mikroskopem, proto automatika optimalizuje podle jiných kritérií než jsou potřeba v časosběrné mikrofotografii. Za kriteriální funkci pro určení optimálních parametrů nastavení byla zvolena maximalizace informační entropie dle Shannonova zobecnění modifikované Cauchyho funkcionální rovnice v sumaci Hartleyho míry informace. Graf závislosti entropie na nastavení závěrky a doby expozice ukazuje Graf 1. Série snímků pro kriteriální funkci byla pořízena manuálně, jednalo se o časově náročnou a monotónní práci. V této fázi projektu se ukázala jako nedocenitelná služba zaměstnaného technika pana Kohouta. V červenci 2009 bylo na naši žádost automatické vyhodnocování kriteriální funkce dle zmíněných specifikací zabudováno do nové verze programu Expertomica Time-Lapse Microscopy Capture Tool. Graf 1. Příklad závislost celkové Shannonovy entropie na nastavení fotoaparátu při nedostatečném osvětlení. Z informačního hlediska je v současnosti nejpoužívanější obrázkový formát jpeg ztrátový, co se informačního obsahu týče. C7070 umožňuje ukládání v několika různých formátech včetně bezztrátového tiff. S nárůstem informace se ovšem také zvětšuje velikost souboru. Přenos do počítače probíhá po usb kabelu, u velikosti souboru v maximálním rozlišení s bezztrátovou kompresí přeroste doba přenosu interval dalšího sejmutí snímku v časosběrné mikrofotografii. Fotoaparát disponuje možností ukládat fotografie do vnitřní paměti pomocí Compact flash karet. Pořízení CF, čtečky a propojovacího kabelu s počítačem z prostředků grantu bylo plánováno a uskutečněno. Olympus kromě standardních formátů obrázků podporuje i vnitřní nekomprimovaný formát raw. Raw znamená jen to,že jde o surová data a každý výrobce si format specifikuje po svém. U Olympu je to ORF (Olympus Raw Format), který samotný Olympus čas od času mění. Standardizaci raw formátů se věnuje projekt Adobe s názvem digitální negativ (DNG), jenž byl rovněž testován k použití. Zásadní rozdíl mezi klasickým obrazovým formátem a surovými daty spočívá v bitové hloubce a vzájemné pozici jasových histogramů jednotlivých barevných kanálů. Jpeg i tiff mají pro každý kanál k dispozice maximálně pouze 256 kvantizačních úrovní oproti 4096 u DNG. Celková degradace informace je tedy při zpracování nesurových dat značná (Graf 2.). Zdá se, že doposud tato otázka v mikrofotografii nikoho netrápila.

4 Graf 2. Histogramy jednotlivých barevných kanálů při různé bitové hloubce. Vlevo jpeg, vpravo DNG. Z hlediska analýzy obrazu dva naprosto odlišné organismy byly zvoleny pro testování a vývoj analytických metod. Jakožto komplexnější organismus, co se týče chování i obrazových vlastností byl zvolen Helacyton gartleri (HeLa). Jako jednodušší a obrazově segmentovatelnější organismus byly zvoleny kvasinky Schizosacharomyces pombe. O jejich kultivaci a manipulaci se starala paní Kučerová a byl z prostředků grantu nakoupen a použit laboratorní plastik. Fotoaparát mikroskopu je připojen k jinému počítači, než na kterém probíhala analýza a není z bezpečnostních důvodu připojen k internetu ani k vnitřní sít. Doba trvání jednoho experimentu byla cca 5 dní, za tu dobu bylo programem Expertomica Time-Lapse Microscopy Capture Tool nasnímáno kolem 5000 fotografií. Pomocí externího hdd byly přenášeny k analýze. Velikost jednoho souboru ve formátu jpeg je asi 750 kb, velikost ve formátu raw 10 MB. Data byla zálohována na DVD. Pro určení informačního obsahu jednotlivých částí obrazu (až na úroveň jednoltivých pixelů) byla vyvinuta původní originální metoda Příspěvku entropie a prvně publikována na mezinárodní konferenci Pattern Recognition and Information Processing v Minsku v Bělorusku (Obrázek 2.). Základem metody je myšlenka vyčíslení informačního příspěvku k celkové informační entropii pro daný pixel. Vyčíslení hodnoty lze dosáhnout renormalizací jasového histogramu po vynechání příslušného pixelu (Obrázek 3.). Výsledkem je informační šedotónová mapa reprezentující jakou informaci do zobrazovaného systému přináší jednotlivé části obrázku (Obrázek 4.) Detailnější popis metody je součástí sborníku příspěvku konference. Obrázek 2. Představení metody Příspěvku entropie na konferenci PRIP 2009 v Minsku.

5 Obrázek 3. Renormalizace jasového histogramu po vynechání příslušného pixelu Obrázek 4. Kolonie HeLa buněk (vlevo) a informační mapa (vpravo). Metoda Příspěvku entropie je výpočetně velmi náročná, pro každý bod (v plném rozlišení tedy pro sedm miliónů pixelů) je potřeba spočítat dva normalizované histogramy a z nich logaritmy, násobení a sumaci. Analýza jednoho obrázku zabrala více než dvě hodiny strojového času. Dalším logickým krokem tedy byla optimalizace kroků výpočtu, jedna předpočítáváním některých parametrů, změna programovacího jazyka (z Matlab na C++) i přímo strojové architektury. Pro tyto účely byla využita CUDA nadstavba jazyka C++ a paralelní architektura dostupná na lepších grafických karta. PCI expres grafická karta (GPU) podporující CUDA byla rovněž zakoupena z prostředků grantu a na tuto architekturu byla cílena paralelizace algoritmu. Příspěvek entropie každého bodu je tak tak počítán téměř nezávisle. Kumulativní zrychlení je vyčísleno v Tabulce 1. Version Matlab Matlab optimized C++ Elapsed Time 2Mpix 6Mpix 27 min >2 hour 136 s 13 min 21.8 s 128 s Cumulative speed-up 12x 72x C++ Framewave 11.2 s 64 s 150x CUDA GPU 0.45 s 2.75s 3600x Tabulka 1. Čas výpočtu a zrychlení s jednotlivými verzemi algoritmu.

6 Praktická aplikace počítání na grafické kartě vyústila v pozvání k účasti na Prezentacích případových studií GPGPU v ČR v Praze, kde byl prezentován způsob optimalizace algoritmu. V první myšlenkové verzi Příspěvku entropie se počítala se stejnoměrností jednotlivých barevných kanálů a výsledkem byla šedotónová mapa (Obrázek 4.) V následné práci byl každý barevný kanál počítán nezávisle (Obrázek 5.) a rovněž dva základní přístupy ke strukturálním elementům pro výpočet histogramů příslušných ke zkoumanému bodu byly testovány a implementovány k počítání na GPU. Celkem vzniklo tedy 6 verzí výpočtu Příspěvku entropie: 1) Kanály jsou si z informačního hlediska navzájem ekvivalentní počitají se dohromady statistika se bere z kříže 2) Kanály jsou si z informačního hlediska navzájem ekvivalentní počitají se dohromady statistika z celého obrázku 3) Nezávislé kanály - každý barevný kanál se počítá nezávisle zvlášť 4) Z celého obrázku, kanály dohromady 5) Z celého obrázku, kanály zvlášť 6) Z celého obrázku, kanály dohromady v jednom 3D histogramu Obrázek 5. HeLa buňky (vlevo) a barevná informační mapa (vpravo) počítaná z nezávislých barevných kanálů. Nové verze implementované opět na GPU byly představeny na mezinárodním semináři GraVisMa v Plzni. Metoda příspěvku entropie umožňuje snazší odlišení buněk od pozadí, zvýrazňuje vnitřní strukturu a hranice, na rozdíl od jiných metod založených na entropii je nezvyšuje šum ani nerozmazává detaily. Využití pro detekci dělení buněk (hranice mezi dceřinými buňkami je zřetelná až o několik minut dříve) bylo prezentováno na mezinárodním sympóziu Cytokinematics v Hradci Králové. Nicméně Příspěvek entropie je záležitostí statických obrázků, i v časosběrné mikroskopii je každý obrázek analyzován nezávisle na svém předchůdci či následovníku. S tímto nedostatkem se vypořádala metoda Entropických toků, založena právě na metodě Příspěvku entropie. Entropické toky zohledňují existenci časové osy a zobrazují velikost přenesené informace mezi jednotlivými body v čase. Výsledkem je série obrázku odpovídající informačnímu rozdílu mezi dvojicí sousedních snímků. Zvýrazňuje jak pohyb buněk, tak změnu tvaru (Obrázek 6.). Podrobnosti jsou součástí příspěvku na semináři SiMoNA v Liberci.

7 Obrázek 7. Vlevo snímek předcházející v čase snímek vpravo. Uprostřed tok entropie ve falešných barvách. Červeně pro pokles informace, zeleně pro přírůstek, modře beze změny. Obrázek 8. Vlevo snímek předcházející v čase snímek vpravo. Uprostřed toky entropie uvnitř buňky. Hodnota informačního toku je v každém barevném kanále vyjádřena nezávisle. Jasová hodnota odpovídá velikosti změny informace. Tmavší hodnoty pro poklesy entropie, světlejší pro přírůstky entropie, šedě beze změny. Uvedené algoritmy počítaly hodnotu entropie podle informační teorie C. Shannona, která sleduje informaci o syntéze nikoliv o sémantice. A. Rényi přišel z obecnější formulací, kde klíčovou roli hraje parametr q, reprezentující funkci paměti. Pro q=1 se výsledek Rényiiho předpisu rovná Shannonovu. Z hlediska multifraktálního spektra volba q určuje informace kterého multifraktálu bude zvýrazněna (Obrázek 9.). Až doposud byla předpokládaná vzájemná nezávislost jednotlivých barevných kanálů. Závislost jednotlivých barevných kanálů navzájem byla testována na úrovni 2D histogramů a byla potvrzena silná závislost kanálů navzájem (podrobněji viz příspěvek na TCP v Praze, Obrázek 10.). Úprava algoritmů k počítání jednotlivých příspěvku vyžaduje úpravu s počítáním podmíněných pravděpodobností uvnitř logaritmu, čímž by extrémně narostla výpočetní doba. Odhad trvání analýzy jednoho obrázku s použitím podmíněných Rényi entropií činí 219 let. Možnost aproximace některých částí výpočtu za použití teorie pravděpodobnosti a odhad chyby aproximace bude předmětem dalšího výzkumu.

8 Obrázek 9. Uprostřed Schizosacharomyces pombe v brightfield, vlevo Rényiiho entropie pro q=0.7, vpravo Rényiiho entropie pro q=2. Obrázek 10. Sillná závislost jasového histogramu červeného kanálu na jasovém histogramu modrého kanálu. Metody Příspěvku entropie i Toků entropie usnadňují semiautomatickou segmentaci buněk i vnitrobuněčných oblastí. Za tímto účelem byl dále vytvořen toolbox pro Matlab využívající entropické obrázky. Toolbox je vybaven Grafickým uživatelským rozhraním pro snadnější ovládání. Hlavním výstupem jsou obrazové souřadnice hranic oblastí. Obrázek 11. Ovládací panel toolboxu pro semiautomatickou segmentaci objektů. Pro popis modelu buněčné kolonie/buněk byla použita zobecněná teorie abstraktních stochastických kauzálních systémů. Formální popis stavových rovnic a elementů trajektorií (např. buněčný cyklus, Obrázek 13.) není ještě zcela dokončen, přístup byl však již prezentován na mezinárodní konferenci SHRI v Lipici ve Slovinsku.

9 Obrázek 12. Pracovní plocha toolboxu pro semiautomatickou segmentaci objektů. Svrchní řadu tvoří entropické příspěvky jednotlivých kanálů, zleva doprava kanálý červený, zelený a modrý. Ve spodní řadě jsou originální nasnímané obrázky, Uprostřed aktuální zpracovávaný obrázek, vlevo bezprostředně předcházející, vpravo bezprostředně následující v časové ose. Bílá ohraničení ukazují hranice vybraných objektů. Obrázek 13. Závislost délky buněčného cyklu na délce běhu experimentu.

10 Z prostředků grantu byli zaměstnáni dva lidé pro technické/laboratorní práce. Paní Štěpánka Kučerová na tyto činnosti: Příprava skla a médií pro kultivaci buněčných kultur Rozmražení a kultivace buněčných kultur Pasážování, ředění buněk Pan Petr Kohout na následující činnosti: Udržování technologie a servis přístrojové techniky. Řízení chodu kultivací mikroorganismů a jejich zpracování dle požadavku Praxe a znalosti v laboratořích čistého provozu a jejich opravy a údržba. Kalibrace, opravy a údržba měřících zařízení. Drobné servisní činnosti. Zálohování a správa dat. Shrnutí: Během projektu byly důsledně rozebrány technické možnosti měřících zařízení (mikroskop, fotoaparát) a sledován růst dvou organismů. Naměřená data posloužila k vývoji a představení dvou nových originálních metod k analýze snímku z časosběrné mikrofotografie. Dále byla provedena optimalizace a implementace v CUDA na grafických kartách, která zaujala v komunitě GPGPU. Dílčí výsledky byly prezentovány na mezinárodních i národních konferencích, pět z nich ve sbornících s ISBN. Prezentace a publikace: Mezinárodní konference: Urban, J., Štys, D. RGB Channels (in)dependence in Phase Contrast Microphotography, Technical Computing Prague, CZ, ISBN , Urban J., Vaněk J., Štys D. Maximisation of image contrast in label-free microscopy of living cells using information entropy computation and objective definition of cell state, Super & High Resolution Imaging SHRI-2009, Lipica, Slovenia, Urban J., Vaněk J., Štys D. Maximisation of image contrast in label-free microscopy of living cells using information entropy computation, Cytokinematics 2009 Microscopy of Live Cells in the Post Genomics Era, Hradec Kralove, CZ, ISBN , Urban J., Vaněk J., Štys D. Preprocessing of microscopy images via Shannon's entropy on GPU, GraVisMa 2009, Computer Graphics, Computer Vision and Mathematics, Pilsen, CZ, ISBN Urban J., Vaněk J., Štys D. Preprocessing of microscopy images via Shannon's entropy, In Proc. Of Pattern Recognition and Information Processing, pp , Minsk, Belarus, ISBN , 2009.

11 Národní konference: Urban J., Vaněk J., Štys D. Entropy fluxes in cell culture and its parallel implementation on GPU, SIMONA 2009 (SImulace, MOdelování a Nejrůznější Aplikace), Liberec, CZ, ISBN Urban J., Vaněk J., Štys D. Time-Lapse Microscopy Analysis via Entropy on GPU, Prezentace pripadovych studii(gpgpu v CR), CUDA-Tesla Computing Conference Prague 2009, Praha, CZ.

12 JIHOČESKÁ UNIVERZITA V ČESKÝCH BUDĚJOVICÍCH Závěrečná zpráva o řešení grantového projektu Interní grant JU Registrační číslo: 091/2008/P (04-091) II.Celkové skutečné čerpané náklady na řešení projektu Vzhledem k problémům přenositelnosti mezi Open Office a Microsoft Office, jsou tabulky vložena jako obrázek, aby byla zaručena jejich čitelnost. Vysvětlivky: Od podání žádosti došlo k vývoji cen především počítačových komponent. Během roku došlo ke dvojici poruch u počítače sloužícího ke zpracování a zálohování dat. V červnu se vyskytla neopravitelný závada na elektrickém zdroji a v říjnu na vypalovací dvd mechanice. Vzhledem k poklesu cen většiny požadovaných komponent byly potřebné součástky (zdroj a mechanika) pořízeny v rámci grantu. Na konci roku byl z nevyužitých prostředků (pokles cen komponent na trhu) navíc pořízen přenosný rámeček pro hdd, aby se snížilo jeho opotřebení, dále flash disk pro snažší přenos menšího množství dat, stolní lampička a lihové fixy pro popis dvd se zálohovanými daty. Zamýšlené služby pro tisk posterů nakonec nebyly využity, místo toho jsme zavedli vlastní tisk na obyčejný papír a zatavování do plastových fólií, které byly rovněž nakoupeny. Během prezentací výsledků vznikla potřeba disponovat vizitkami a malé množství bylo pořízeno z prostředků určených původně na služby. Detailnější přehled nabízí následující tabulka:

13 Datum: jméno a podpis hlavního řešitele