Získávání dat z databází 1 DMINA 2010

Transkript

1 Získávání dat z databází 1 DMINA 2010

2 Získávání dat z databází Motto Kde je moudrost? Ztracena ve znalostech. Kde jsou znalosti? Ztraceny v informacích. Kde jsou informace? Ztraceny v datech. Kde jsou data? Ztracena v databázích. T. S. Eliot, J. Celko

3 Přibližný sylabus 1. Data mining 2. Základy pravděpodobnosti a statistiky 3. Statistika. Kontingenční tabulky. Regresní analýza. Diskriminační analýza, shluková analýza 4. Zdroje. Relační DB. OLAP. Datové sklady 5. Strojové učení 6. Rozhodovací stromy 7. Asociační pravidla 8. Rozhodovací pravidla 9. Neuronové sítě, Bayesovská klasifikace 10. Vyhodnocení výsledků 11. Příprava dat 12. Systémy pro dobývání znalostí z DB

4 Software Excel či jiný tabulkový kalkulátor Statistica RapidMiner Tanagra WEKA

5 Literatura Berka Petr. Dobývání znalostí z databází. Praha, ISBN LACKO, M. Databáze: datové sklady, OLAP a dolování dat. Computer Press, ISBN

6 Zdroje na webu Software Data, kurzy Pravděpodobnost a statistika

7 Požadavky aktivní přístup k dané problematice vypracovat projekt z oblasti DM pomocí vybraného open-source softwarového nástroje zahrnující dostatečně velká sada dat (učící a testovací vzorek) předzpracování dat formulace a ověření (vyvrácení) hypotéz vybrané učící metody rozhodovací stromy, asociační pravidla testování vizualizace vyhodnocení

8 Data mining Data Mining (DM)- dolování dat dolování z dat Knowledge Discovering in Databases (KDD) získávání znalostí z databází Data Fishing, Data Dredging Data Archaeology Information Harvesting Information Discovery Knowledge Extraction Inteligence získaná z informací a dat společnosti (SAS) For also knowledge is power Francis Bacon

9 Počátky DM (90. léta 20. století) data v relačních databázích umělá inteligence metody strojového učení statistika modelování, analytické metody potřeba používat zpracované údaje pro podporu strategického rozhodování Cíl získat pravdivé, nové zákonitosti, které lze k něčemu využít v daném konkrétním oboru (marketing, technika, ekonomika, psychologie, medicína ) automatizace procesu získání zajímavých vzorů chování z reálných dat, tvorba jejich modelů - pomocí nástrojů strojového učení, statistiky, databázových technologií,

10 Vymezení pojmu KDD netriviální získávání implicitních dříve neznámých a potenciálně užitečných informací (znalostí) z dat Data Mining is the non-trivial process of identifying valid novel potentially useful and ultimately understandable patterns in data Advances in Knowledge Discovery and Data Mining, Fayyad, Piatetsky-Shapiro, Smyth, and Uthurusamy, Chapter 1, AAAI/MIT Press 1996

11 Proces dobývání dat Interaktivní a iterativní proces selekce předzpracování transformace vlastní dobývání interpretace příprava dat

12 Proces dobývání dat Výchozí data Vybraná data Předzpracovaná data Transformovaná data selekce předzpracování transformace Znalosti Vzorky interpretace

13 Manažerský pohled na proces KDD 1. Řešitelský tým 7. Interpretace 2. Specifikace problému 3. Získání dat Reálný problém impuls pro zahájení procesu dobývání dat Cíl získat co nejvíc relevantních informací vhodných k řešení daného problému 4. Výběr metod 6. Dolování dat 5. Předzpracování dat

14 Etapy KDD (1 4) 1. Stanovení řešitelského týmu skupina expertů na danou problematiku, na data, databáze, na metody KDD 2. Specifikace problému v kontextu dobývání dat 3. Zisk všech dostupných dat může dojít k přeformulování problému otázka kvality datové základny externí data popisující prostředí, v němž se analyzované děje odehrávají (období, reklama, politická situace, počasí ) 4. Volba metody pro analýzu dat (ev. kombinace více metod) klasifikační metody metody explorační analýzy dat metody pro získávání asociačních pravidel rozhodovací stromy genetické algoritmy neuronové sítě bayesovské sítě

15 Etapy KDD (5 6) 5. předzpracování dat data se převedou do tvaru požadovaného rpo aplikaci metod vyčištění dat doplnění chybějících dat 6. vlastní data mining aplikace zvolených analytických metod jednotlivé metody mohou být aplikovány i vícekrát hodnoty vstupních běhů závisejí na výstupech předchozích běhů typy metod se kombinují na základě dílčích výsledků

16 Etapa 7 - interpretace zpracování většinou velkého množství výsledků jednotlivých metod některé výsledky nejsou pro uživatele zajímavé či naopak jsou známé některé výsledky se dají použít přímo, některé je třeba podat srozumitelněji pro uživatele výsledky se uspořádají do analytické zprávy výstupem může být i provedení určité akce např. spuštění monitorovacího programu

17 Terminologie Koncept oblast zájmu co chceme předpověď počasí Instance jednotlivá data data o počasí jednoho konkrétního dne Atributy: jednotlivé vlastnosti instance teplota, tlak, množství srážek

18 Úlohy pro data mining klasifikace shlukování asociace zjišťování pravidel (A B C se vyskytují často společně) vizualizace sumarizace detekce odchylek a chyb odhady link analýza

19 Klasifikace Určit instanční třídu pro jednotlivé instance (výskyty dat) Postupy - statistika - rozhodovací stromy - neuronové sítě...

20 Shlukování Najít "přirozené" skupiny instancí v datech

21 Asociační pravidla Transakce Položka Produkt 1 MLÉKO, CHLÉB, VEJCE 2 CHLÉB, CUKR 3 CHLÉB, CEREÁLIE 4 MLÉKO, CHLÉB, CUKR 5 MLÉKO, CEREÁLIE 6 CHLÉB, CEREÁLIE 7 MLÉKO, CEREÁLIE 8 MLÉKO, CHLÉB, CEREÁLIE, VEJCE 9 MLÉKO, CHLÉB, CEREÁLIE Časté skupiny položek mléko, chléb (4) chléb, cereálie (3) mléko, chléb, cereálie (2) Pravidla Mléko Chléb (66%)

22 Úlohy pro data mining klasifikace (predikce) deskripce hledání nuggetů Koncept Z Klasifikace cílem je nalézt znalosti použitelné pro klasifikaci nových vzorů získané znalosti by měly co nejvíce odpovídat danému konceptu dává se přednost přesnosti pokrytí na úkor jednoduchosti Predikce snaha odhadnout ze starších hodnot nějaké veličiny její vývoj v budoucnu (předpověď počasí, kurzy, akcie )

23 Deskripce cílem je nalézt dominantní strukturu nebo vazby obsažené v daných datech požadují se srozumitelné znalosti pokrývající daný koncept menší množství méně přesných znalostí Koncept Z Popis (deskripce)

24 Hledání nuggetů zajímavé, nové (překvapivé, dosud neznámé) znalosti, které nemusejí plně pokrývat daný koncept Koncept Z Nuggety

25 Přehled typických úloh pro DM segmentace a klasifikace klientů banky rozpoznávání problémových klientů rozpoznávání vysoce bonitních klientů segmentace a klasifikace klientů pojišťovny predikce vývoje kurzu akcií predikce spotřeby elektrické energie analýza poruch v sítích analýza poruch automobilů analýza důvodů změny poskytovatele služeb (proč jsme přišli o zákazníky) rozbor nemocnosti predikce epidemií analýza nákupního košíku

26 Metodiky dobývání znalostí Cíl Poskytnout uživatelům jednotný rámec pro řešení různých úloh z oblasti dobývání znalostí z databází metodiky vyvinuté výrobci softwarových systémů (5A, SEMMA) metodiky vyvinuté výzkumnými a komerčními institucemi jakožto softwarově nezávislé (CRISP DM) sdílení a přenos zkušeností z úspěšných produktů

27 Metodika 5A Assess posouzení potřeb projektu stanovení kontextu cílů, strategií a procesů Access shromáždění potřebných data a jejich příprava Analyze provedení analýz přeměnit data na znalosti používá se více metod (porovnání výsledků, spolehlivosti, efektivity) Act přeměna znalostí na akční znalosti doporučení, dodatečné otázky a následná rozhodnutí jasná a srozumitelná prezentace nalezených výsledků Automate převedení výsledků analýzy do praxe možnost vytvoření rozhraní pro snadné použití umožnit aktualizaci výsledků dle nových modelů

28 metodika SEMMA (Enterprise Miner) SAMPLE výběr vhodných objektů EXPLORE vizuální explorace a redukce dat MODIFY seskupování objektů a hodnot atributů, datové transformace MODEL analýza dat neuronové sítě, rozhodovací stromy, statistické techniky, asociace, shlukování ASSESS porovnání modelů a interpretace (srozumitelně pro uživatele)

29 SAMPLE výběr vzorku dat EXPLORE vizualizace dat shlukování asociace MODIFY selekce a vytváření veličin selekce a vytváření veličin MODEL neuronové sítě modely založené na stromech logistické modely ASSESS zhodnocení modelu

30 Metodika CRISP-DM Cross-Industry Standard Process for Data Mining vznikl v rámci evropského výzkumného projektu Cíl navrhnout univerzální postup použitelný v nejrůznějších komerčních aplikacích standardní model procesu DM průvodce možnými problémy a jejich řešení v reálných aplikacích Proces DM 6 fází pořadí není přesně určeno výsledky jedné fáze ovlivňují (vstupují) do fáze další některé kroky a fáze je nutné provádět opakovaně

31 Životní cyklus procesu DM POROZUMĚNÍ PROBLEMATICE POROZUMĚNÍ DATŮM VYUŽITÍ VÝSLEDKŮ DATA PŘÍPRAVA DAT VYHODNOCENÍ VÝSLEDKŮ MODELOVÁNÍ

32 Fáze DM porozumění problematice (Business Understanding) pochopení cílů úlohy a požadavků na řešení revize zdrojů (datových, výpočetních i lidských) předběžný plán prací porozumění datům (Data Understanding) prvotní sběr dat seznámení s daty, posouzení kvality, vytipování zajímavých podmnožin záznamů v datech výpočet deskriptivních charakteristik dat rozsahy, četnosti atributů, průměrné hodnoty

33 Fáze DM příprava dat příprava, předzpracování dat (Data Preparation) vytvoření datového souboru, který bude zpracováván jednotlivými analytickými metodami data by měla obsahovat relevantní údaje a být ve tvaru, který vyžaduje příslušná analytická metoda selekce dat čištění transformace dat (typové konverze, diskretizace, binomizace ) doplnění chybějících údajů integrování dat příslušné úpravy se obvykle provádějí opakovaně

34 Fáze DM modelování, vyhodnocení výsledků modelování (Modeling) použití analytických metod pro dobývání znalostí vybrat vhodné metody, nastavit vhodně parametry metod iterativní činnost opakovaná aplikace algoritmů s různými parametry může vést k potřebě modifikovat data ověření nalezených znalostí vyhodnocení výsledků (Evaluation) z pohledu manažerů byly splněny cíle formulované v zadání úlohy rozhodnutí o způsobu využití výsledků

35 Fáze DM využití výsledků využití výsledků (Deployment) upravit získané znalosti do podoby využitelné pro zákazníka vizualizace implementace klasifikačního algoritmu v user-friendly podobě příprava uživatelského manuálu instalace programů zaškolení uživatelů změna metod řešení příslušných úkolů (např. poskytování úvěrů)