Makroskopická obrazová analýza pomocí digitální kamery

Návod pro laboratorní úlohu z měřicí techniky Práce O3 Makroskopická obrazová analýza pomocí digitální kamery 0

1 Úvod: Cílem této laboratorní úlohy je vyzkoušení základních postupů snímání makroskopických objektů pouze pomocí digitální kamery a vhodného osvětlení a následné vyhodnocení vybraných parametrů obrazu (tj. i původního vzorku) programem NIS-Elements. Tyto dva kroky jsou souhrnně označovány jako obrazová analýza. Nejedná se tedy pouze o analýzu snímků, ale také o vhodné nastavení podmínek snímání. Tento krok bývá v mnoha případech složitější než samotné zpracování obrazu programem. Je nutné nejen zvolit správnou vzdálenost kamery od objektu, ale také vybrat vhodný druh osvětlení, jeho směr a vzdálenost a také správnou podložku pod objekt. Osvětlení je možné zajistit velkou řadou různých prostředků. Při nasvícení vzorku shora je nejčastěji používáno méně kvalitní, ale pro mnoho aplikací dostačující, osvětlení pomocí páru bodových světlovodných prvků. V tomto případě ovšem mohou sledované částice vrhat nežádoucí stíny, které při kvalitativní obrazové analýze často zkreslují výsledky. Proto se stále více prosazuje používání kruhových osvětlovacích prostředků, u nichž je vznik stínů do jisté míry eliminován. Může se jednat jak o kruhové uspořádání určitého počtu bodových světelných zdrojů, tak o skutečně kruhový zdroj umělého bílého rozptýleného světla, tedy klasickou trubicovou zářivku kruhového tvaru. Zatímco nasvícení materiálu shora se používá při takových analýzách, kdy je třeba sledovat povrchovou strukturu částic nebo jejich barevné rozlišení, podsvícení zdola se používá při analýze vnějšího tvaru a velikosti částic nebo jejich počtu. Spodní osvětlení může zajišťovat jak jednoduché zrcátko, odrážející například světlo ze světlovodů, tak také již běžně komerčně vyráběné plošné moduly zářivek nebo jiných zdrojů světla. Výběr vhodného osvětlovacího prvku samozřejmě vždy záleží na konkrétní aplikaci. Podklad materiálu musí být volen tak, aby co nejvíce kontrastoval s analyzovaným vzorkem. V případě jednobarevných směsí je nejvhodnější použití standardního černého nebo bílého podkladu, který je nejen dostatečně kontrastní, ale napomáhá také při definici bílé nebo černé barvy během analýzy. Aby byla zajištěna maximální eliminace stínů v obraze, je možné použít jako podklad bílý nebo černý semiš, jehož struktura většinu stínů pohltí. Ovšem při mikroskopických analýzách může být struktura tohoto materiálu naopak rušivým elementem. Snímání různobarevných směsí je možné provádět na barevných podložkách, které mohou již v této první fázi analýzy odstranit některé nežádoucí částice tím, že s nimi budou jen velmi málo kontrastovat. Pro analýzy, u nichž je vzorek nasvícen zdola, se jako podklad používají podložní sklíčka potřebných rozměrů. Výběr zařízení, pomocí kterých můžeme sejmout obraz analyzované směsi, je v dnešní době velmi široký. Aby bylo možné obraz následně počítačově zpracovat, je vhodné jej získat přímo v digitální formě. K tomuto účelu slouží digitální fotoaparáty a kamery, které mají v sobě zabudovaný vhodný snímací prvek. V dnešní době jsou nejpoužívanějšími typy CCD (Charge-Coupled Device) a CMOS (Complementary Metal-Oxide Semiconductor) senzory. Oba druhy mají svůj zcela základní princip společný: převádějí světelnou energii na elektrickou. Velmi zjednodušeně lze tento proces popsat tak, že tisíce až milióny buněk citlivých na světlo jsou uspořádány do plošné matice. Velikost matice, tedy součin počtu sloupců a řádků matice, udává rozlišovací schopnost jednotlivých přístrojů. Každá buňka převádí světelnou informaci ze své malé části obrazu na elektrický signál. Hodnoty náboje jednotlivých buněk je poté potřeba přečíst. U systému CCD je nakumulovaný náboj ve formě analogového signálu přesouván přes matici tvořenou Schottkyho diodami, která se tedy chová obdobně jako posuvný registr, a jedním rohem matice přechází do vyhodnocovacího zařízení. Analogově/digitální převodník 1

poté převede každou hodnotu buňky do digitální podoby. Protože jsou jednotlivé elementy citlivé především na intenzitu světla a méně na barvu, je takto získaný obrázek černobílý. Barevného obrázku se většinou dosahuje předřazením příslušného barevného filtru. Pro vytvoření jednoho barevného bodu (pixelu) výsledného snímku proto potřebujeme nejméně tři buňky matice. V praxi se však na jednom pixelu barevného obrazu podílí většinou čtyři buňky CCD senzoru. Je zde totiž dvakrát zařazen zelený filtr, čímž je simulována větší citlivost lidského oka právě na zelenou barvu. Výsledný barevný bod pak vzniká aditivním smícháním těchto tří barev. Nevýhodou CCD detektorů je vzájemné ovlivňování nábojů v sousedních buňkách, malý rozsah intenzit a nemožnost adresovat jednotlivé buňky. Naopak výhodami tohoto detektoru oproti druhému typu je vysoké rozlišení, vysoká rychlost převodu signálu a nízký šum ve výsledném obraze. Systém CMOS využívá technologie výroby integrovaných obvodů vysoké hustoty, která umožňuje umístit na čip velké množství MOS tranzistorů. Ty je poté možné adresovat jako jednotlivé buňky matice pomocí označení sloupců a řádků. Produkce těchto detektorů je sériová a tedy také levnější než u CCD prvků. Výhodou CMOS senzorů je také větší rozsah intenzit (asi o 4 řády), nízká spotřeba energie a nižší napájecí napětí, ovšem takto získané obrazy mají také cca o 1 řád vyšší šum. Vyjdeme-li z výše uvedených rozdílů, je možné odvodit, že CCD detektory bývají využívány pro práci na vysoce kvalitních snímcích, s mnoha dokonale zhodnocenými pixely a za vyšší citlivosti ke světlu. Naopak senzory CMOS mívají obrazovou kvalitu nižší, nižší rozlišovací schopnost a nižší citlivost. Na druhou stranu přístroje s CMOS senzory jsou mnohem levnější a mají nižší spotřebu energie, proto jsou vhodné pro přístroje, používající jako zdroje energie baterie. Vlastnosti senzoru, kterým je světelný signál převáděn na elektrický, jsou sice nejdůležitější, ale ne jedinou charakteristikou snímacího zařízení. Při volbě vhodnosti použití jednotlivých zařízení pro danou aplikaci je nutné brát v úvahu také další schopnosti zařízení. Jedná se například o charakter připojení přístroje k počítači, formát získaných snímků nebo schopnost sejmout digitální videozáznam. V této práci se budeme dále zabývat pouze digitální videokamerou používanou během experimentů, jejímž snímacím prvkem je CCD detektor. 2 Zařízení používaná v této práci 2.1 Digitální kamera SONY DFW-SX910 Tato kamera má jako snímací prvek CCD detektor, jehož rozlišení je 1392 1040 pixelů. Napájení kamery je zajišťováno pomocí standardního rozhraní IEEE 1394 (neboli FireWire). Přes toto rozhraní je také kamera ovládána buď pomocí software NIS-Elements nebo jiných programů pro ovládání FireWire kamer (mimo jiné i LabVIEW). Rychlost snímkování kamery je maximálně 7,5 snímků za sekundu. Této rychlosti je ovšem možné dosáhnout pouze při nižším rozlišení. Kamera nemá vestavěný objektiv, a aby bylo možné získávat snímky, je tedy nutné k ní přes standardní C-závit připevnit vhodný objektiv v závislosti na velikosti sledovaného materiálu. 2

2.2 Kruhové osvětlení - zářivka Jedním ze zdrojů světla použitelných pro tuto úlohu je kruhová zářivka, která je přichycena na posuvný stativ. Ve středu zářivky se nachází objektiv mikroskopu. Tento systém zajišťuje konstantní osvětlení analyzovaného vzorku umělým bílým světlem bez nežádoucích stínů. Zářivka má ale světelný signál modulovaný na frekvenci 100 Hz (bliká), což se může projevit jako rušivé světelné pulsování při natáčení videa digitální kamerou s jinou snímkovací frekvencí než 100 Hz. Tato nevýhoda se však v tomto cvičení neprojeví. Horní část zářivky je opatřena krytem, který zabraňuje oslnění pozorovatele a také částečně odráží světlo do prostoru pod objektivem kamery. Vzdálenost osvětlení od analyzovaného vzorku je vždy závislá na velikosti konkrétních částic. 2.3 Kruhové osvětlení LED diody Další zdroj bílého světla je kruhový osvětlovač tvořený dvěma řadami LED diod. Tento produkt firmy SCHOTT má nastavitelnou intenzitu světla, je možné zapínat pouze určitou část diod a případně i pomocí počítače naprogramovat režim osvětlení vzorku. V této úloze budeme používat osvětlovač řízený pouze ovládacím blokem, nikoliv počítačem. Osvětlovač je možné také připevnit k posuvnému stativu a tím lépe korigovat vzdálenost světla od objektu. 2.4 Plošné osvětlení Light Box Třetí způsob osvětlení je použití plošného osvětlení pomocí řady zářivek, umístěných na stojanu. Zářivky tvoří plošné světlo, které je navíc rozptylováno přídavným systémem odrazových lišt. Toto osvětlení má výhodu při snímání velkých objektů, které bychom kruhovými osvětlovači těžko ozářili a nebo by se projevily jakékoliv nerovnoměrnosti světla a stínů. Nevýhoda tohoto způsobu osvětlení je opět v blikání zářivek, jak již bylo zmíněno výše. 3 Použitý software 3.1 NIS-Elements AR 2.30 Program NIS-Elements (od srpna 2006 s obchodním názvem změněným na NIS- Elements) je nejpoužívanější software pro obrazovou analýzy na VŠCHT Praha a jeden z nejpoužívanějších v ČR. Důvodem této obliby je to, že má českého výrobce Laboratory Imaging, s.r.o. a tudíž i českou jazykovou verzi, což je velmi výhodné především pro výuku. NIS-Elements je systém obrazové analýzy určený ke sledování, snímání, archivaci a ručnímu nebo automatizovanému měření preparátů. Používaný snímací systém nejčastěji tvoří optický přístroj (mikroskop, stereomikroskop resp. makrooptika nebo jako v této práci skener), dále kamera nebo digitální fotoaparát, nezbytný počítač a softwarové vybavení. Vybavení programu NIS-Elements je možné rozdělit do několika stupňů rozdělených podle náročnosti prováděné obrazové analýzy, v této laboratoři je používán III. stupeň nazvaný NIS- Elements Advanced Research. 3

NIS-Elements Advanced Research - III. stupeň Softwarové vybavení určené pro plně automatizované a náročné úlohy, často spojené s rozhodovacími procesy během měření. Advanced Research obsahuje veškeré možnosti Measurementu (tj. základní verze programu = I. a II. stupeň); většina funkcí je dále posílena o doplňky k speciálnímu použití. V základní programové výbavě NIS-Elements Advanced Research obsahuje následující prvky, z nichž některé budou podrobněji popsány v následujících odstavcích: Nastavení a ovládání snímací kamery Živé zobrazení na monitoru resp. výběr části obrazovky, kde je živý obraz Snímání jednotlivých snímků, sekvence (sady) snímků, snímání velkých obrázků Úprava sejmutého obrazu základními nástroji (kontrast, SW doostření, SW vyhlazení) Rozměrová kalibrace systému pro jednotlivé optické konfigurace (pro více zvětšení) Ruční proměřování délek, ploch a úhlů pomocí myši s výstupem dat Prahování - segmentace obrazu na objekty a pozadí Základní binární operace na segmentovaném obrazu (eroze, dilatace, otevření, zavření, zaplnění děr, obrysy...) Ruční editor binárního obrazu Automatizované měření planimetrických veličin (plocha, max. a min. rozměry, protažení, cirkularita, délka, šířka.) Programování - vytváření maker pro opakující se úlohy Úprava barevných obrazů obsahuje morfologické funkce (erozi, dilataci, morfologický gradient, detekci hran.) Úprava binárních obrazů obsahuje rozšířené funkce (separaci binárních objektů, skeleton, ořezání konců čar, zóny vlivu, jednobodové značení.) Srovnávací funkce pro dva barevné obrazy (vzájemné posuny, otočení, smrštění nebo roztažení, diferenční funkce) Kombinace více binárních obrazů - binární operace (průnik, sjednocení, porovnávání, odečítání) Měření v masce - lze měřit v libovolně velké ploše různého tvaru, může být složena i s více vzájemně nepropojených oblastí; masku lze vytvořit prahováním nebo ručním editorem; lze vzájemně propojit masku a binární obrazy Měření s omezením veličin (např. jen objekty s plochou větší než 50 µm) a řada dalších funkcí 4

Příklad využití funkcí měření v programu NIS-Elements (zdrojem obrazů je prospekt k programu NIS-Elements vydaný firmou Laboratory Imaging, s r.o.) Pro náročnější a speciální operace obrazové analýzy lze k základnímu programu NIS- Elements Advanced Research (příp. NIS-Elements Image resp. Measurement) zakoupit další přídavné moduly, které nám umožní např. rozšířené ovládání zařízení mikroskopu nebo náročnější analýzu získaných snímků. Obecný postup analýzy obrazu programem NIS-Elements Advanced Research je následující: 1. Sejmutí obrazu Po spuštění programu NIS-Elements se objeví dialogové okno, ve kterém uživatel volí, zda bude snímat pomocí kamery nebo použije simulátor snímání případně nebude obrázky vůbec snímat obrázky pomocí programu NIS-Elements, ale pouze analyzovat již dříve získané snímky. Stisknutím tlačítka Živý obraz na horní liště se v hlavním okně programu zobrazí aktuální obraz, který snímá kamera. Pro korekci světelných a barevných vlastností obrazu se používá funkce Nastavení kamery v nabídce Snímání resp. v pravé části obrazovky na záložce Nastavení kamery. Pokud obrázek odpovídá představám uživatele, stiskne se tlačítko Sejmout na horní liště a tak se obrázek převede do počítače. Doporučuje se obraz ihned uložit do počítače pomocí pokynu Uložit v nabídce Soubor. 2. Otevření obrazu Obraz sejmutý jinak než přímo online kamerou se otevírá jednoduše příkazem Otevřít v nabídce Soubor. 5

3. Úprava barevného obrazu nabídka Obraz Oříznout Pokud naskenovaný obraz obsahuje zbytečně mnoho pozadí a objektů, které nebudou analyzovány, je možné příkazem Oříznout upravit velikost obrazu tak, aby obsahoval všechny objety, které mají být analyzovány a pokud možno minimum rušivých částí. Oříznout je možné pouze do tvaru obdélníku a výběr se nastaví táhnutím myši a potvrdí tlačítkem Enter. Kontrast Pokud se sledované detaily v obraze svou světlostí málo liší od ostatních objektů, pak je možné jejich kontrast zvýšit funkcí Kontrast (pro šedý obraz) příp. Kontrast složek pro zvýraznění barevných složek obrazu. Při posouvání hodnot kontrastu na stupnici se v náhledu zobrazuje porovnání původního a upraveného obrazu. Upravit obraz Funkce v nabídce Upravit obraz umožňují další změny barev a intenzity v obraze, jako jsou například matematické transformace jednotlivých barev, změna sytosti nebo odstínu apod.. Vyhladit/Zaostřit Tyto funkce potlačí resp. zvýrazní detaily v obraze. Velikost/Otočit/Převrátit/Posunout Tyto funkce manipulují s obrazem a upravují jeho rozměry. Detekce Funkce v menu Detekce vyhledávají a zvýrazní (zvýšením světlosti) určité vlastnosti obrazu, jako jsou hrany nebo oblasti, kde hodnoty světlosti vytvářejí tzv. údolí nebo vrcholy,tj. lokální minima nebo maxima. Morfologie Morfologické funkce upravují objekty v obraze tak, že je zmenší nebo odstraní (Eroze), zvětší a příp. spojí (Dilatace), vyhladí kontury, odstraní malé objekty, rozpojí objekty spojené tenkou šíjí (Otevření) nebo zaplní díry, vyhladí okrajové trhliny a spojí blízké objekty (Zavření). 4. Transformace obrazu Konverze Tato funkce z nabídky Obraz převádí barevný obraz na šedý (Převést do šedého obrazu), obraz vyjádřený RGB (červená, zelená, modrá) stupnicí převedou na HSI (odstín, sytost, světlost) stupnici (Převést RGB na HSI) a naopak (Převést HSI na RGB). Dále je možné z obrazu vybrat jednu barevnou vrstvu příp. určitou hodnotu světlosti, odstínu a převést ji do šedé stupnice (Vytáhnout složku - výsledkem je tedy šedý obraz vytvořený na základě specifických požadavků uživatele). Prahování Prahování je jedna z nejdůležitějších funkcí obrazové analýzy, která převádí barevný nebo šedý obraz na binární (tj. obraz, ve kterém jsou pouze dvě hodnoty barev obvykle černá a bílá). Program NIS-Elements dovoluje prahovat (tedy stanovit práh mezi pozadím a objekty v binárním obraze) podle jednotlivých barevných složek obrazu (Prahování resp. Prahování po složkách), podle hodnot HSI (Prahovat podle HSI) a nebo podle předem stanovené reference (Prahování podle reference). 5. Editace binárního obrazu nabídka Binární Otevření/Uzavření/Eroze/Dilatace/Vyčištění/Vyhlazení Tyto funkce jsou obdobou výše zmíněných funkcí pro barevný obraz, pouze pracují s binárním obrazem. Uzavřít díry/zaplnit díry Tyto funkce se používají v těch případech, kdy chceme např. měřit plochu objektů, ve kterých vznikly během prahování a 6

jiných úprav kvůli odleskům nebo jiným jasovým odchylkám díry. První funkce uzavře díry, které jsou v úzkém místě otevřeny a druhá funkce pak takto uzavřené díry vyplní. Konvexní obálka Funkce vytvoří konvexní obal kolem objektů (někdy to může pomoci, např. při pouhém počítání objektů, ale při měření plochy částic se tato funkce nedoporučuje vzhledem k tomu, že přidává objektům další pixely navíc, které by mohly rušit přesné měření). Obrysy - Tato funkce vyhledá a zvýrazní obrysy objektů. Morfologická separace objektů Tato funkce umí rozdělit objekty, které se překrývají nebo dotýkají (oddělit objekty je možné i manuálně, nakreslením čáry do obrazu viz Vložit čáru, kruh, elipsu). Lineární/Pokročilá morfologie Tyto funkce provádějí jednoduché i velmi složité morfologické operace s objekty v obraze (pracují tedy s rozměry a tvarem objektů a mění je podle druhu funkce a požadavků uživatele). Zpracování po objektech Tato funkce umožňuje provádět příkazy (funkce) pro každý objekt zvlášť (příkazy se zadávají textově nebo výběrem ze seznamu). Vložit čáru, kruh, elipsu Pomocí této funkce je možné do obrazu vložit geometrický tvar v barvě objektů nebo pozadí binárního obrazu. Vkládání tvarů v barvě objektů se používá např. pro dokreslení objektu, pokud se jeho část prahováním odstranila a nebo pro přidání objektu, který při prahování zcela zmizel. barva pozadí se používá pro již zmíněnou separaci nakreslením úsečky mezi dvěma dotýkajícími se objekty nebo vymazání nežádoucích objektů. 6. Výběr objektů v obraze nabídka Měření Editace masky Editor masky Slouží k úpravě barevného i binárního obrazu tak, aby neobsahoval nežádoucí objekty, které by mohly rušit analýzu nebo naopak k výběru požadovaných objektů. Po spuštění editoru se změní levá i horní lišta programu. V levém rohu se volí, zda budou maskou označeny objekty, které se mají analyzovat (přepnutím čtvercového políčka na pozici FG - ), nebo naopak objekty, které se mají přesunout do pozadí (pozice BG ). Dále se volí nástroj, kterým se bude masku vytvářet (obdélník, kruh, linii, elipsu či libovolný jiný i nepravidelný tvar). Pravidelné tvary se vytvoří pouhým zakreslením tvaru do obrazu potažením myši, nepravidelný tvar se vytvoří vyznačením několika bodů určujících rozměry a tvar masky a nakonec potvrzením vykreslení masky pravým tlačítkem myši. Když je maska hotová (může mít i několik částí), editor se zavře a pokračují další úpravy a analýzy obrazu. 7. Měření nabídka Měření Interaktivní měření Toto měření umožňuje uživateli provádět přímá měření objektů s okamžitým výstupem naměřených údajů ve zvolených jednotkách. Můžeme si vybrat z těchto parametrů: Délka, Plocha, Profil intenzity, Taxonomie, Počet, Poloměr, Poloosy, Úhel. 7

Měření jednotlivých objektů Při použití této funkce program změří předem nastavené parametry všech objektů v binárním obraze; nejprve je nutné nastavit Příznaky pro měření objektů, příp. Omezení hodnot příznaků (tedy nastavení mezí měření), poté Změřit objekty a nakonec je možné přečíst Výsledky měření objektů. Měření polí Obdobně jako jednotlivé objekty je možné měřit pole, kdy jsou změřeny zvolené parametry objektů (Příznaky pro měření polí) a zprůměrňovány pro všechny objekty dohromady (tj. za celé pole). Měřicí rámeček Toto je velmi důležité nastavení rámečku určujícího, které objekty v obraze budou (uvnitř rámečku) a které nebudou (vně rámečku) měřeny; rámeček je možné upravit i po stisknutí klávesy F popotažením jeho okrajů myší. Rámeček má strany označeny dvojím způsobem, čárkovanou a plnou čárou. Objekty, které se dotýkají plné čáry (levý a spodní okraj rámečku) nebudou do měření započítány. Objekty dotýkající se čárkované linky (pravý a horní okraj rámečku) se do měření započítávat budou. 8. Vytvoření makra nabídka Makro Makro slouží k tomu, aby uživatel nemusel při opakovaných analýzách vždy znovu nastavovat všechny použité funkce, ale mohl celý sled funkcí spustit pouhým jedním kliknutím. Nové, Otevřít - Zde se vytvoří a uloží nové makro nebo otevře makro již hotové. Vytvoření a pojmenování nového makra je nutné udělat před začátkem nahrávání makra, jinak bude sled funkcí zapisován do přednastaveného makra s názvem pracovní.mac. Záznam (F3) - Pokud je zvoleno požadované makro (nové, již dříve vytvořené nebo pracovní), spustí se klávesou F3 záznam funkcí a dále se provádí analýza tak, jak si to uživatel předem vyzkoušel. U dříve vytvořeného nebo pracovního makra budou dříve zaznamenané funkce přepsány příp. zachovány a k nim budou přidány funkce nové (podle toho, jak si uživatel vybere v dialogovém okně, které se objeví po stisku klávesy F3). Po provedení všech úprav a měření v obrazu se nahrávání makra ukončí opět tlačítkem F3 a nebo v nabídce Makro pokynem Zastavit záznam. Editovat (F8) Zde je možné editovat makro jako textový program, tedy textově měnit parametry funkcí, mazat nebo přidávat funkce. Tato funkce je určena především pro zkušenější uživatele programu NIS-Elements. 8