Návod pro laboratorní úlohu z měřicí techniky Práce O1 Mikroskopická obrazová analýza 0
1 Úvod: Tato laboratorní úloha je koncipována jako seznámení se s principy snímání mikroskopických obrazů a jejich následnou obrazovou analýzou pomocí vhodných softwarových prostředků. Základním předpokladem pro úspěšné provedení obrazové analýzy je správné sejmutí obrazu analyzovaného materiálu. Tento proces je ovlivňován mnoha faktory, z nichž nejdůležitějšími jsou osvětlení, podklad a kvalita snímacích zařízení. Výběr zařízení, pomocí kterých můžeme sejmout obraz analyzované směsi, je v dnešní době velmi široký. Aby bylo možné obraz následně počítačově zpracovat, je vhodné jej získat přímo v digitální formě. K tomuto účelu slouží digitální fotoaparáty a kamery, které v sobě mají zabudovaný vhodný snímací prvek. V současnosti jsou nejpoužívanějšími typy CCD (Charge-Coupled Device) a CMOS (Complementary Metal-Oxide Semicoductor) senzory. Oba druhy mají svůj zcela základní princip společný: převádějí světelnou energii na elektrickou. Velmi zjednodušeně lze tento proces popsat tak, že tisíce až milióny buněk citlivých na světlo jsou uspořádány do plošné matice. Velikost matice, tedy součin počtu sloupců a řádků matice, udává rozlišovací schopnost jednotlivých přístrojů. Každá buňka převádí světelnou informaci ze své malé části obrazu na elektrický signál. Hodnoty náboje jednotlivých buněk je poté potřeba přečíst. U systému CCD, používaným v této práci, je nakumulovaný náboj ve formě analogového signálu přesouván přes matici tvořenou Shottkyho diodami, která se tedy chová obdobně jako posuvný registr, a jedním rohem matice přechází do vyhodnocovacího zařízení. Analogově/digitální převodník poté převede každou hodnotu buňky do digitální podoby. Protože jsou jednotlivé elementy citlivé především na intenzitu světla a méně na barvu, je takto získaný obrázek černobílý. Barevného obrázku se většinou dosahuje předřazením příslušného barevného filtru. Pro vytvoření jednoho barevného bodu (pixelu) výsledného snímku proto potřebujeme nejméně tři buňky matice. V praxi se však na jednom pixelu barevného obrazu podílí většinou čtyři buňky CCD senzoru. Je zde totiž dvakrát zařazen zelený filtr, čímž je simulována větší citlivost lidského oka právě na zelenou barvu. Výsledný barevný bod pak vzniká aditivním smícháním těchto tří barev. Nevýhodou CCD detektorů je vzájemné ovlivňování nábojů v sousedních buňkách, malý rozsah intenzit a nemožnost adresovat jednotlivé buňky. Naopak výhodami tohoto detektoru oproti druhému typu je vysoké rozlišení, vysoká rychlost převodu signálu a nízký šum ve výsledném obraze. CCD detektory bývají využívány pro práci na vysoce kvalitních snímcích, s mnoha dokonale zhodnocenými pixely a za vyšší citlivosti ke světlu. Naopak senzory CMOS mívají obrazovou kvalitu nižší, nižší rozlišovací schopnost a nižší citlivost, ale přístroje s těmito senzory jsou mnohem levnější a mají nižší spotřebu energie a proto jsou vhodné pro přístroje, používající jako zdroje energie baterie. Vlastnosti senzoru, díky kterým je světelný signál převáděn na elektrický, jsou sice nejdůležitější, ale ne jedinou charakteristikou snímacího zařízení. Při volbě vhodnosti použití jednotlivých zařízení pro danou aplikaci je nutné brát v úvahu také další schopnosti zařízení. Jedná se například o charakter připojení přístroje k počítači, formát získaných snímků nebo schopnost sejmout digitální videozáznam. Zařízením použitým pro sejmutí obrazu sledovaného vzorku v této laboratorní úloze, je světelný mikroskop Nikon s kamerou SONY DFW-SX910. 1
2 Zařízení používaná v této práci 2.1 Mikroskop Nikon Eclipse LV100D Mikroskopy Nikon řady Elipse LV jsou určeny pro celou řadu nejrůznějších oborů, jako například výroba, výzkum a vývoj polovodičů, elektroniky, léků, dále pak v obecné metalurgii, krystalografii a ve výzkumu, vývoji a výrobě keramických materiálů. Mikroskop má zabudovánu nekonečnou optiku CFI60, která koriguje chromatickou vadu v celém zorném poli. Obraz je tedy extrémně ostrý, s vysokým kontrastem a minimálním kolísáním jasu. Navíc parfokální vzdálenost 60 mm (tj. vzdálenost v milimetrech od závitu objektivu k povrchu preparátu, případně krycího skla) a větší průměr objektivu zajišťují jak větší pracovní vzdálenost tak větší numerickou aperturu. Větší pracovní vzdálenost, je obzvlášť výhodná při pozorování silných preparátů. Ve stojanu mikroskopu je zabudovaný světelný zdroj pro diaskopické osvětlení a páčka přepínání osvětlení dia/epi. Dostatečně velký stolek (6" x 4") usnadňuje pozorování ve všech průmyslových aplikacích. Pohodlí při pozorování preparátů zajišťuje také ergonomické uspořádání ovládacích prvků stolku a zaostření mikroskopu. Soustředné knoflíky jemného a hrubého zaostření jsou umístěny pouze několik centimetrů nad úrovní stolu a ovládací prvky posunu stolku a zaostření jsou v těsné blízkosti. Stolek i zaostření lze tedy ovládat jednou rukou a druhou rukou je možné například nastavovat osvětlení případně clony a filtry. Na následujících obrázcích je popis základních prvků tohoto mikroskopu. Pohled zprava: 2
Pohled zleva (detail ovládacích prvků): Zacházení s mikroskopem bude před začátkem laboratorní práce demonstrováno asistentem. Při práci s mikroskopem dbejte na pokyny asistenta, nezacházejte s žádným ovládacím prvkem hrubě a nezkoušejte nic, co vám asistent neukáže nebo nedovolí. Tento mikroskop je velmi nákladná součást laboratoře (cca 650 tisíc Kč) a jakákoliv oprava je nejen finančně, ale také časově náročná a výrazně by narušila chod laboratoří. 2.2 Digitální kamera SONY DFW-SX910 Tato kamera má jako snímací prvek CCD detektor, jehož rozlišení je 1392 1040 pixelů. Napájení kamery je zajišťováno pomocí standardního rozhraní IEEE 1394 (neboli FireWire). Přes toto rozhraní je také kamera ovládána buď pomocí software NIS-Elements nebo jiných programů pro ovládání FireWire kamer (mimo jiné i LabVIEW). Rychlost snímkování kamery je maximálně 7,5 snímků za sekundu, které je ale možné dosáhnout pouze při nižším rozlišení. Kamera nemá vestavěný objektiv, a aby bylo možné získávat snímky, je tedy nutné k ní přes standardní C-závit připevnit vhodný objektiv v závislosti na velikosti sledovaného materiálu. V této úloze je objektiv nahrazen mikroskopem Nikon. 3
3 Použitý software 3.1 NIS-Elements AR 2.30 Program NIS-Elements (do srpna 2006 byl původní název LUCIA) je nejpoužívanější software pro obrazovou analýzu na VŠCHT Praha a jeden z nejpoužívanějších v ČR. Důvodem této obliby je to, že má českého výrobce Laboratory Imaging, s r.o. a tudíž i českou jazykovou verzi, což je velmi výhodné především pro výuku. NIS-Elements je systém obrazové analýzy určený ke sledování, snímání, archivaci a ručnímu nebo automatizovanému měření preparátů. Používaný snímací systém nejčastěji tvoří optický přístroj (mikroskop, stereomikroskop resp. makrooptika nebo skener), dále kamera nebo digitální fotoaparát, nezbytný počítač a softwarové vybavení. Vybavení programu NIS-Elements je možné rozdělit do několika stupňů rozdělených podle náročnosti prováděné obrazové analýzy, v této laboratoři je používán III. stupeň nazvaný NIS-Elements Advanced Research. NIS-Elements Advanced Research - III. stupeň Softwarové vybavení určené pro plně automatizované a náročné úlohy, často spojené s rozhodovacími procesy během měření. Advanced Research obsahuje veškeré možnosti Measurementu (tj. základní verze programu = I. a II. stupeň); většina funkcí je dále posílena o doplňky k speciálnímu použití. V základní programové výbavě NIS-Elements Advanced Research obsahuje následující prvky, z nichž některé budou podrobněji popsány v následujících odstavcích: Nastavení a ovládání snímací kamery Živé zobrazení na monitoru resp. výběr části obrazovky, kde je živý obraz Snímání jednotlivých snímků, sekvence (sady) snímků, snímání velkých obrázků Úprava sejmutého obrazu základními nástroji (kontrast, SW doostření, SW vyhlazení) Rozměrová kalibrace systému pro jednotlivé optické konfigurace (pro více zvětšení) Ruční proměřování délek, ploch a úhlů pomocí myši s výstupem dat Prahování - segmentace obrazu na objekty a pozadí Základní binární operace na segmentovaném obrazu (eroze, dilatace, otevření, zavření, zaplnění děr, obrysy...) Ruční editor binárního obrazu Automatizované měření planimetrických veličin (plocha, max. a min. rozměry, protažení, cirkularita, délka, šířka.) Programování - vytváření maker pro opakující se úlohy Úprava barevných obrazů obsahuje morfologické funkce (erozi, dilataci, morfologický gradient, detekci hran.) Úprava binárních obrazů obsahuje rozšířené funkce (separaci binárních objektů, skeleton, ořezání konců čar, zóny vlivu, jednobodové značení.) Srovnávací funkce pro dva barevné obrazy (vzájemné posuny, otočení, smrštění nebo roztažení, diferenční funkce) Kombinace více binárních obrazů - binární operace (průnik, sjednocení, porovnávání, odečítání) 4
Měření v masce - lze měřit v libovolně velké ploše různého tvaru, může být složena i s více vzájemně nepropojených oblastí; masku lze vytvořit prahováním nebo ručním editorem; lze vzájemně propojit masku a binární obrazy Měření s omezením veličin (např. jen objekty s plochou větší než 50 µm) a řada dalších funkcí Příklad využití funkcí měření v programu NIS-Elements (zdrojem obrazů je prospekt k programu NIS-Elements vydaný firmou Laboratory Imaging, s r.o.) Pro náročnější a speciální operace obrazové analýzy lze k základnímu programu NIS- Elements Advanced Research (příp. NIS-Elements Image resp. Measurement) zakoupit další přídavné moduly, které nám umožní např. rozšířené ovládání zařízení mikroskopu nebo náročnější analýzu získaných snímků. Obecný postup analýzy obrazu programem NIS-Elements Advanced Research je následující: 1. Sejmutí obrazu Po spuštění programu NIS-Elements se objeví dialogové okno, ve kterém uživatel volí, zda bude snímat pomocí kamery nebo použije simulátor snímání případně nebude obrázky vůbec snímat obrázky pomocí programu NIS-Elements, ale pouze analyzovat již dříve získané snímky. Stisknutím tlačítka Živý obraz na horní liště se v hlavním okně programu zobrazí aktuální obraz, který snímá kamera. Pro korekci světelných a barevných vlastností obrazu se používá funkce Nastavení kamery v nabídce Snímání resp. v pravé části obrazovky na záložce Nastavení kamery. Pokud obrázek odpovídá představám uživatele, stiskne se tlačítko Sejmout na horní liště a tak se obrázek převede do počítače. Doporučuje se obraz ihned uložit do počítače pomocí pokynu Uložit v nabídce Soubor. 5
2. Otevření obrazu Obraz sejmutý jinak než přímo online kamerou se otevírá jednoduše příkazem Otevřít v nabídce Soubor. 3. Úprava barevného obrazu nabídka Obraz Oříznout Pokud analyzovaný obraz obsahuje na okrajích zbytečně mnoho pozadí a rušivých objektů, které mohou rušit analýzu, je možné příkazem Oříznout upravit velikost obrazu tak, aby obsahoval všechny objekty, které mají být analyzovány a pokud možno minimum rušivých částí. Oříznout je možné pouze do tvaru obdélníku a výběr se nastaví táhnutím myši a potvrdí tlačítkem Enter. Kontrast Pokud se sledované detaily v obraze svou světlostí málo liší od ostatních objektů, pak je možné jejich kontrast zvýšit funkcí Kontrast (pro šedý obraz) příp. Kontrast složek pro zvýraznění barevných složek obrazu. Při posouvání hodnot kontrastu na stupnici se v náhledu zobrazuje porovnání původního a upraveného obrazu. Upravit obraz Funkce v nabídce Upravit obraz umožňují další změny barev a intenzity v obraze, jako jsou například matematické transformace jednotlivých barev, změna sytosti nebo odstínu apod.. Vyhladit/Zaostřit Tyto funkce potlačí resp. zvýrazní detaily v obraze. Velikost/Otočit/Převrátit/Posunout Tyto funkce manipulují s obrazem a upravují jeho rozměry. Detekce Funkce v menu Detekce vyhledávají a zvýrazní (zvýšením světlosti) určité vlastnosti obrazu, jako jsou hrany nebo oblasti, kde hodnoty světlosti vytvářejí tzv. údolí nebo vrcholy,tj. lokální minima nebo maxima. Morfologie Morfologické funkce upravují objekty v obraze tak, že je zmenší nebo odstraní (Eroze), zvětší a příp. spojí (Dilatace), vyhladí kontury, odstraní malé objekty, rozpojí objekty spojené tenkou šíjí (Otevření) nebo zaplní díry, vyhladí okrajové trhliny a spojí blízké objekty (Zavření). 4. Transformace obrazu Konverze Tato funkce z nabídky Obraz převádí barevný obraz na šedý (Převést do šedého obrazu), obraz vyjádřený RGB (červená, zelená, modrá) stupnicí převedou na HSI (odstín, sytost, světlost) stupnici (Převést RGB na HSI) a naopak (Převést HSI na RGB). Dále je možné z obrazu vybrat jednu barevnou vrstvu příp. určitou hodnotu světlosti, odstínu a převést ji do šedé stupnice (Vytáhnout složku - výsledkem je tedy šedý obraz vytvořený na základě specifických požadavků uživatele). Prahování Prahování je jedna z nejdůležitějších funkcí obrazové analýzy, která převádí barevný nebo šedý obraz na binární (tj. obraz, ve kterém jsou pouze dvě hodnoty barev obvykle černá a bílá). Program NIS-Elements dovoluje prahovat (tedy stanovit práh mezi pozadím a objekty v binárním obraze) podle jednotlivých barevných složek obrazu (Prahování resp. Prahování po složkách), podle hodnot HSI (Prahovat podle HSI) a nebo podle předem stanovené reference (Prahování podle reference). 6
5. Editace binárního obrazu nabídka Binární Otevření/Uzavření/Eroze/Dilatace/Vyčištění/Vyhlazení Tyto funkce jsou obdobou výše zmíněných funkcí pro barevný obraz, pouze pracují s binárním obrazem. Uzavřít díry/zaplnit díry Tyto funkce se používají v těch případech, kdy chceme např. měřit plochu objektů, ve kterých vznikly během prahování a jiných úprav kvůli odleskům nebo jiným jasovým odchylkám díry. První funkce uzavře díry, které jsou v úzkém místě otevřeny a druhá funkce pak takto uzavřené díry vyplní. Konvexní obálka Funkce vytvoří konvexní obal kolem objektů (někdy to může pomoci, např. při pouhém počítání objektů, ale při měření plochy částic se tato funkce nedoporučuje vzhledem k tomu, že přidává objektům další pixely navíc, které by mohly rušit přesné měření). Obrysy - Tato funkce vyhledá a zvýrazní obrysy objektů. Morfologická separace objektů Tato funkce umí rozdělit objekty, které se překrývají nebo dotýkají (oddělit objekty je možné i manuálně, nakreslením čáry do obrazu viz Vložit čáru, kruh, elipsu). Lineární/Pokročilá morfologie Tyto funkce provádějí jednoduché i velmi složité morfologické operace s objekty v obraze (pracují tedy s rozměry a tvarem objektů a mění je podle druhu funkce a požadavků uživatele). Zpracování po objektech Tato funkce umožňuje provádět příkazy (funkce) pro každý objekt zvlášť (příkazy se zadávají textově nebo výběrem ze seznamu). Vložit čáru, kruh, elipsu Pomocí této funkce je možné do obrazu vložit geometrický tvar v barvě objektů nebo pozadí binárního obrazu. Vkládání tvarů v barvě objektů se používá např. pro dokreslení objektu, pokud se jeho část prahováním odstranila a nebo pro přidání objektu, který při prahování zcela zmizel. Barva pozadí se používá pro již zmíněnou separaci nakreslením úsečky mezi dvěma dotýkajícími se objekty nebo vymazání nežádoucích objektů. 6. Výběr objektů v obraze nabídka Měření Editace masky Editor masky Slouží k úpravě barevného i binárního obrazu tak, aby neobsahoval nežádoucí objekty, které by mohly rušit analýzu nebo naopak k výběru požadovaných objektů. Po spuštění editoru se změní levá i horní lišta programu. V levém rohu se volí, zda budou maskou označeny objekty, které se mají analyzovat (přepnutím čtvercového políčka na pozici FG - ), nebo naopak objekty, které se mají přesunout do pozadí (pozice BG ). Dále se volí nástroj, kterým se bude maska vytvářet (obdélník, kruh, linie, elipsa či libovolný jiný i nepravidelný tvar). Pravidelné tvary se vytvoří pouhým zakreslením tvaru do obrazu potažením myši, nepravidelný tvar se vytvoří vyznačením několika bodů určujících rozměry a tvar masky a nakonec potvrzením vykreslení masky pravým tlačítkem myši. Když je maska hotová (může mít i několik částí), editor se zavře a pokračují další úpravy a analýzy obrazu. 7
7. Měření nabídka Měření Interaktivní měření Toto měření umožňuje uživateli provádět přímá měření objektů s okamžitým výstupem naměřených údajů ve zvolených jednotkách. Můžeme si vybrat z těchto parametrů: Délka, Plocha, Profil intenzity, Taxonomie, Počet, Poloměr, Poloosy, Úhel. Měření jednotlivých objektů Při použití této funkce program změří předem nastavené parametry všech objektů v binárním obraze. Nejprve je nutné nastavit Příznaky pro měření objektů, příp. Omezení hodnot příznaků (tedy nastavení mezí měření), poté Změřit objekty a nakonec je možné přečíst Výsledky měření objektů. Měření polí Obdobně jako jednotlivé objekty je možné měřit pole, kdy jsou změřeny zvolené parametry objektů (Příznaky pro měření polí) a zprůměrovány pro všechny objekty dohromady (tj. za celé pole). Měřicí rámeček Toto je velmi důležité nastavení rámečku, určujícího které objekty v obraze budou (uvnitř rámečku) a které nebudou (vně rámečku) měřeny. Rámeček je možné upravit i po stisknutí klávesy F popotažením jeho okrajů myší. Rámeček má strany označeny dvojím způsobem, čárkovanou a plnou čárou. Objekty, které se dotýkají plné čáry (levý a spodní okraj rámečku) nebudou do měření započítány. Objekty dotýkající se čárkované linky (pravý a horní okraj rámečku) se do měření započítávat budou. 8. Vytvoření makra nabídka Makro Makro slouží k tomu, aby uživatel nemusel při opakovaných analýzách vždy znovu nastavovat všechny použité funkce, ale mohl celý sled funkcí spustit pouhým jedním kliknutím. Nové, Otevřít - Zde se vytvoří a uloží nové makro nebo otevře makro již hotové. Vytvoření a pojmenování nového makra je nutné udělat před začátkem nahrávání makra, jinak bude sled funkcí zapisován do přednastaveného makra s názvem pracovní.mac. Záznam (F3) - Pokud je zvoleno požadované makro (nové, již dříve vytvořené nebo pracovní), spustí se klávesou F3 záznam funkcí a dále se provádí analýza tak, jak si to uživatel předem vyzkoušel. U dříve vytvořeného nebo pracovního makra budou dříve zaznamenané funkce přepsány příp. zachovány a k nim budou přidány funkce nové (podle toho, jak si uživatel vybere v dialogovém okně, které se objeví po stisku klávesy F3). Po provedení všech úprav a měření v obrazu se nahrávání makra ukončí opět tlačítkem F3 a nebo v nabídce Makro pokynem Zastavit záznam. Editovat (F8) Zde je možné editovat makro jako textový program, tedy textově měnit parametry funkcí, mazat nebo přidávat funkce. Tato funkce je určena především pro zkušenější uživatele programu NIS-Elements. 8