Následující text je součástí učebních textů předmětu Bi0034 Analýza a klasifikace dat a je určen

Transkript

1 11. Klasifikace V této kapitole se seznámíme s účelem, principy a jednotlivými metodami klasifikace dat, jež tvoří samostatnou rozsáhlou oblast analýzy dat. Klasifikace umožňuje určit, do které skupiny (třídy, množiny) patří dané subjekty či objekty, a je tudíž hojně využívána nejen v medicíně (například pro diagnostiku, kdy subjekt zařadíme do skupiny pacientů nebo do skupiny zdravých lidí na základě nějakých vyšetření), ale i v biologii (například pro zjištění, zda daný brouk je tesařík smrkový, obrovský či krovový) a v mnoha dalších oblastech (například pro vyhledávání textů článků podle zadaných klíčových slov, rozpoznávání osob podle otisku prstu či obličeje apod.). Tato kapitola si neklade za cíl představit všechny existující klasifikační metody, protože je jejich velké množství a detailní popis všech těchto metod by tak byl nad rámec tohoto učebního textu. Zaměřena je proto spíše na základní a nejčastěji používané metody a popisuje nejen jejich použití, ale i princip. Pro přehlednost je tato kapitola rozdělena do šesti dílčích podkapitol, z nichž poslední je věnována hodnocení úspěšnosti klasifikace. Je totiž nezbytné nejen umět zvolit vhodnou klasifikační metodu a umět klasifikátor natrénovat, ale být i schopen/schopna si ověřit, jak byla klasifikace daných dat úspěšná. Následující text je součástí učebních textů předmětu Bi0034 Analýza a klasifikace dat a je určen především pro studenty matematické biologie. Přínosem může být rovněž pro studenty medicínských a dalších biologických oborů - zejména botaniky, zoologie a antropologie. U studentů se předpokládá znalost biostatistiky. Dále by studenti měli mít znalosti o vícerozměrném normálním rozdělení [odkaz na kapitolu 2] a metrikách vzdálenosti a podobnosti ve vícerozměrném prostoru [odkaz na kapitolu 4]. Studenti by rovněž měli být schopni provádět základní operace s vektory a maticemi [odkaz na přílohu A] Úvod do klasifikace dat Tato úvodní podkapitola je věnována popisu cílů klasifikace dat, nejednoznačnosti v používání termínů spojených s klasifikací dat a představení několika způsobů dělení klasifikačních metod, přičemž dělení podle principu klasifikace, které rozlišuje klasifikaci pomocí diskriminačních funkcí, klasifikaci podle minimální vzdálenosti a klasifikaci pomocí hranic v obrazovém prostoru, je dále využito v těchto učebních materiálech. Následující text je součástí učebních textů předmětu Bi0034 Analýza a klasifikace dat a je určen především pro studenty matematické biologie. Přínosem může být rovněž pro studenty medicínských a dalších biologických oborů - zejména botaniky, zoologie a antropologie. Vzhledem k tomu, že je tato kapitola věnována úvodu do klasifikace, nepředpokládají a nevyžadují se od studentů žádné znalosti Výstupy z výukové jednotky Student: umí popsat cíle a účel klasifikace dat je si vědom nejednoznačnosti používání termínů spojených s klasifikací dat zná jednotlivé základní způsoby dělení klasifikačních metod a dokáže je stručně charakterizovat

2 Klasifikace dat Klasifikace dat je rozsáhlou oblastí analýzy dat, jejímž cílem je rozdělení daných objektů či subjektů do skupin, které bývají (ale nutně nemusejí) být předem definované. Pokud skupiny nejsou předem definované, jedná se o shlukování, které již bylo podrobně popsáno v samostatné kapitole těchto učebních materiálů [odkaz na kapitolu 6]. Vidíme tedy, že z tohoto pohledu spadá shluková analýza pod klasifikaci dat. Klasifikaci dat zpravidla předchází předzpracování dat, které zahrnuje vypořádání se s chybějícími hodnotami [odkaz na biologickych-dat--vicerozmerne-metody-pro-analyzu-dat--uvod-do-vicerozmerne-analyzy-dat-- mozne-problemy-vicerozmernych-dat-a-jejich-reseni--chybejici-hodnoty] či odlehlými hodnotami *odkaz na podkapitolu o odlehlých hodnotách v kapitole 2+, rovněž i transformaci dat [odkaz na podkapitolu o transformaci dat v kapitole 2] a případně další úpravy dat. Po předzpracování obvykle následuje redukce dat, která umožní vyjádření původních proměnných pomocí menšího počtu skrytých (latentních) proměnných (tzn. extrakci [odkaz na podkapitolu 5 kapitoly 7]) či případně výběr takových popisných proměnných z původního souboru (tzn. selekci [odkaz na podkapitolu 4 kapitoly 7, které od sebe dobře odlišují skupiny objektů či subjektů, čímž získáme lepší výsledky klasifikace. Klasifikace dat se používá například pro zjištění demence na základě kognitivních testů, odhalení genetického onemocnění na základě dat z microarray experimentů, rozpoznávání druhů živočichů či rostlin, rozpoznání vadných výrobků (např. matiček s vnitřní prasklinou od matiček bez vady), rozpoznání tváře osob při vstupu do zabezpečené budovy apod. Cílem klasifikace dat je tedy: rozhodnutí o typu či charakteru objektu např. že daná rostlina je pomněnka lesní (Myosotis sylvatica), že dané zvíře je medvěd hnědý (Ursus arctos), nebo že daná budova je vystavěna v renesančním slohu což je klasifikační, resp. rozpoznávací úloha; posouzení kvality stavu analyzovaného objektu např. zda je pacient v pořádku nebo má infarkt myokardu, cirhózu jater, apod. opět klasifikační, resp. rozpoznávací úloha; rozhodnutí o budoucnosti objektu např. zda lze pacienta léčit a vyléčit, zda les po 20 letech odumře, jaké bude sociální složení obyvatelstva na daném území v daném čase což je klasifikační, resp. predikční úloha. V mnoha oblastech se pojem klasifikace a predikce nerozlišuje. V některých vědních oborech však mají tyto pojmy různý význam, přičemž pojem klasifikace je používán, použije-li se klasifikační algoritmus pro známá data. Pokud jsou data nová, pro která dopředu neznáme klasifikační třídu, pak hovoříme o predikci klasifikační třídy. V jiných oblastech, v nichž se pojmy klasifikace a predikce také rozlišují, se však pojem klasifikace používá, pokud vybíráme identifikátor klasifikační třídy z určitého diskrétního konečného počtu možných identifikátorů. Pokud určujeme (predikujeme) spojitou hodnotu, např. pomocí regrese, pak hovoříme o predikci, i když tento pojem nemá časovou dimenzi. Je tedy patrné, že terminologie není používána jednotně a záleží tudíž na jednotlivých vědních oborech, jak budou termíny predikce a klasifikace chápány. Nejednotnost je i při použití termínu diskriminační analýza, který je často chápán jako synonymum klasifikace dat. Ve skutečnosti je však diskriminační analýza podskupinou klasifikačních metod. Klasifikace dat bývá rovněž nazývána jako dolování z dat (data mining), strojové učení (machine learning) či rozpoznávání obrazů (pattern recognition), přičemž se nejedná o obraz ve smyslu

3 výtvarného díla či obraz mozku apod., ale o matematický popis vlastností objektu či subjektu, který chceme hodnotit, prostřednictvím vektoru, grafu či jiného matematického vyjádření. Stejně jako se vyskytuje nejednotnost v terminologii týkající se klasifikace dat, je i nejednotnost v dělení klasifikačních metod. Ty lze třídit do kategorií například podle: reprezentace vstupních dat, jednoznačnosti zařazení do skupin, typů klasifikačních a učících algoritmů, způsobu učení, principu klasifikace. V následujících podkapitolkách si představíme jednotlivé způsoby dělení klasifikačních metod, přičemž dále v textu budeme vycházet z kategorizace podle principu klasifikace Typy klasifikátorů podle reprezentace vstupních dat Podle reprezentace vstupních dat lze klasifikační metody rozdělit na: příznakové klasifikátory, strukturální (syntaktické) klasifikátory, kombinované klasifikátory. Příznakové klasifikátory využívají jako vstup data, která jsou vyjádřena vektorem hodnot jednotlivých proměnných (příznaků features). Tato data mohou být zpracována paralelně, tzn. vektor hodnot je zpracován jako celek (např. Bayesův klasifikátor) takové klasifikátory označujeme jako paralelní. Opakem jsou sekvenční klasifikátory, které zpracovávají proměnné postupně (např. klasifikační stromy) a umožňují tedy i postupné měření hodnot proměnných, což může být výhodné v případě, že jsou určitá měření finančně nebo časově náročná. Například když již na základě počítačové tomografie (CT) jasně poznáme, že pacient má cévní mozkovou příhodu, už je zbytečné pacienta posílat na vyšetření pomocí magnetické rezonance (MR), které je jednak velmi drahé, ale především by to pro pacienta znamenalo další zbytečné zdržení, když je potřeba, aby léčbu či operaci podstoupil co nejdříve, aby poškození mozku bylo co nejmenší. U strukturálních (syntaktických) klasifikátorů jsou vstupní data popsána relačními strukturami, které sestávají z tzv. primitiv, což jsou jednotlivé elementární popisné části analyzovaného objektu či subjektu, a relací, což jsou vzájemné vztahy mezi primitivy. Příklad relační struktury, jež je vyjádřena pomocí grafu, je na Obr. 1.

4 Obr. 1. Primitiva, relace a relační struktura čárové kresby medvěda. Posledním typem klasifikátorů podle reprezentace vstupních dat jsou kombinované klasifikátory, u nichž jsou jednotlivá primitiva doplněna příznakovým popisem. Poznámka: v těchto učebních materiálech se budeme věnovat pouze příznakovým klasifikátorům Typy klasifikátorů podle jednoznačnosti zařazení do skupin Podle jednoznačnosti zařazení do skupin rozdělujeme klasifikátory na: deterministické klasifikátory, pravděpodobnostní klasifikátory. V případě deterministických klasifikátorů je každý objekt či subjekt jednoznačně zařazen do nějaké třídy a nemůže být současně ve více třídách. Kdežto výsledkem pravděpodobnostních klasifikátorů (nazývány též fuzzy klasifikátory) je pravděpodobnost zařazení objektů či subjektů do jednotlivých tříd (například člověk má s pravděpodobností 0,6 infarkt, s pravděpodobností 0,3 atrofii srdeční komory a s pravděpodobností 0,1 je zdravý). Poznámka: všechny klasifikační metody popsané v těchto učebních materiálech jsou deterministické. Termín deterministický klasifikátor se však v některých vědních oborech používá i v jiném slova smyslu. Jako deterministický se označuje takový klasifikátor, který daná data zpracuje vždy se stejným výsledkem (např. Bayesův klasifikátor). Opakem je nedeterministický klasifikátor, jenž může při opakovaném zpracování daných dat dávat různé výsledky klasifikace (např. neuronové sítě, u nichž je výsledek závislý na inicializaci) Typy klasifikátorů podle typů klasifikačních a učících algoritmů Dle typů klasifikačních a učících algoritmů dělíme klasifikátory na: parametrické klasifikátory,

5 neparametrické klasifikátory. Jako parametrické označujeme ty klasifikátory, u nichž je potřebné nastavovat či určit nějaké parametry (např. prahová klasifikace, u níž je třeba stanovit práh, či metoda podpůrných vektorů, u které je zapotřebí zvolit parametr C, apod.). U neparametrických klasifikátorů není nutné nastavovat žádné parametry (např. klasifikace podle vzdáleností od reprezentativního objektu (tzv. etalonu) skupin). Z tohoto pohledu jsou klasifikační stromy parametrickými klasifikátory, protože je u nich nutné volit parametry, ze statistického pohledu jsou to však neparametrické metody, protože u nich není předpoklad normálního (či jiného) rozdělení Typy klasifikátorů podle způsobu učení Podle způsobu učení lze dělit klasifikační metody na: učení s učitelem, učení bez učitele. Při učení s učitelem je k dispozici trénovací množina, u níž známe zařazení každého objektu do jednotlivých klasifikačních tříd. Rozlišujeme učení s dokonalým učitelem, kdy se učitel nemůže splést (tedy předpokládáme, že u všech trénovacích objektů je správně určená příslušnost do tříd), a učení s nedokonalým učitelem, kdy připouštíme, že v trénovací množině mohou být nesprávně označené subjekty (např. u některých duševních onemocnění se lékař může splést a označit pacienta za schizofrenika, i když trpí bipolární poruchou, což se však prokáže až za několik let, takže v naší trénovací množině je takto špatně zařazený subjekt, přesto se však klasifikátor může naučit dobře rozlišovat pacienty se schizofrenií od zdravých subjektů). U metod učení bez učitele není trénovací množina k dispozici a často ani předem neznáme, jaké třídy (skupiny) se v datech budou vyskytovat. Typickým příkladem je shlukování [odkaz na kapitolu 6] Typy klasifikátorů podle principu klasifikace Podle principu klasifikace rozdělujeme klasifikační metody na: klasifikaci pomocí diskriminačních funkcí, klasifikaci pomocí vzdálenosti od etalonů klasifikačních tříd (neboli klasifikaci podle minimální vzdálenosti), klasifikaci pomocí hranic. První typ klasifikace využívá výpočet tzv. diskriminačních funkcí, které určují míru příslušnosti objektu či subjektu k dané klasifikační třídě. Objekt či subjekt je zařazen do té klasifikační třídy, pro kterou má daná diskriminační funkce nejvyšší hodnotu. Do této skupiny klasifikačních metod patří například Bayesův klasifikátor. Klasifikace podle minimální vzdálenosti je založena na výpočtu vzdáleností objektu či subjektu od etalonů klasifikačních tříd. Etalon klasifikační třídy je reprezentativní objekt či objekty třídy, přičemž počet etalonů dané klasifikační třídy může být různý od jednoho vzorku (např. centroidu u klasifikace pomocí centroidové metody) až po úplný výčet všech objektů dané třídy (např. u klasifikace pomocí metody průměrné vazby).

6 Klasifikace pomocí hranic vyžaduje stanovení hranic (resp. hraničních ploch) oddělujících jednotlivé klasifikační třídy. Příkladem je Fisherova lineární diskriminace či metoda podpůrných vektorů. Jak již bylo uvedeno výše, text těchto učebních materiálů je strukturován v souladu s tímto dělením klasifikačních metod, tedy podle principu klasifikace Literatura [1] Bishop, C. Pattern Recognition and Machine Learning. Springer, New York. (2006) [2] Duda, R. O., Hart, P. E., Stork, D. G. Pattern Classification. Wiley-Interscience, New York. (2000) [3] Holčík, J. Analýza a klasifikace dat. Akademické nakladatelství CERM, s.r.o., Brno. (2012) Klasifikace pomocí diskriminačních funkcí ZASLÁNO V SAMOSTATNÉM SOUBORU Klasifikace pomocí minimální vzdálenosti BUDE ZASLÁNO V SAMOSTATNÉM SOUBORU Klasifikace pomocí hranic BUDE ZASLÁNO V SAMOSTATNÉM SOUBORU Sekvenční klasifikace ZASLÁNO V SAMOSTATNÉM SOUBORU Hodnocení úspěšnosti klasifikace ZASLÁNO V SAMOSTATNÉM SOUBORU

7 Obsah 11. Klasifikace Úvod do klasifikace dat Výstupy z výukové jednotky Klasifikace dat Typy klasifikátorů podle reprezentace vstupních dat Typy klasifikátorů podle jednoznačnosti zařazení do skupin Typy klasifikátorů podle typů klasifikačních a učících algoritmů Typy klasifikátorů podle způsobu učení Typy klasifikátorů podle principu klasifikace Literatura Klasifikace pomocí diskriminačních funkcí Klasifikace pomocí minimální vzdálenosti Klasifikace pomocí hranic Sekvenční klasifikace Hodnocení úspěšnosti klasifikace... 6