Dobývání znalostí z databází

Rozměr: px

Začít zobrazení ze stránky:

Download "Dobývání znalostí z databází"

Aneta Křížová
před 8 lety
Počet zobrazení:

1 Dobývání znalostí z databází (Knowledge Discovery in Databases, Data Mining,..., Knowledge Destilery,...) Non-trivial process of identifying valid, novel, potentially useful and ultimately understandable patterns from data (Fayyad a kol., 1996) Data mining involves the use of sophisticated data analysis tools to discover previously unknown, valid patterns and relationships in large data sets (Adriaans, Zantinge, 1999) Analysis of observational data sets to find unsuspected relationships and summarize data in novel ways that are both understandable and useful to the data owner (Hand, Manilla, Smyth, 2001) Data mining is the process of analyzing hidden patterns of data from different perspectives and categorizing them into useful information (techopedia.org, 2011) Zdroje databáze (dotazovací jazyky, OLAP), statistika (analýza dat), umělá inteligence (strojové učení) P. Berka, /18

, 1996) Data mining involves the use of sophisticated data analysis tools to discover previously unknown, valid patterns and relationships in large data sets (Adriaans, Zantinge, 1999) Analysis of

2 Úlohy dobývání znalostí Hrubší členění (Klosgen, Zytkow, 1997) klasifikace/predikce: cílem je nalézt znalosti použitelné pro klasifikaci nových případů deskripce: cílem je nalézt dominantní strukturu nebo vazby P. Berka, /18

použitelné pro klasifikaci nových případů deskripce:

3 hledání nugetů : cílem je nalézt dílčí překvapivé znalosti Jemnější členění (Chapman a kol, 2000) deskripce dat a sumarizace segmentace deskripce konceptů klasifikace predikce analýza závislostí P. Berka, /18

deskripce dat a sumarizace segmentace deskripce

4 Manažerský pohled Manažerský problém 1. Řešitelský tým Znalosti pro řešení 2. Specifikace problému 6. Data mining 3. Získání dat 7. Interpretace 5.Předzpracování dat 4. Výběr metod Pohled zpracování dat P. Berka, /18

5 Aplikační oblasti pro dobývání znalostí Segmentace a klasifikace klientů banky (např. rozpoznání problémových nebo naopak vysoce bonitních klientů), Predikce vývoje kursů akcií, Predikce spotřeby elektrické energie, Analýza příčin poruch v telekomunikačních sítích, Analýza důvodů změny poskytovatele nějakých služeb (internet, mobilní telefony), Segmentace a klasifikace klientů pojišťovny, Určení příčin poruch automobilů, Rozbor databáze pacientů v nemocnici, Analýza nákupního košíku (Market Basket Analysis). P. Berka, /18

Analýza příčin poruch v telekomunikačních sítích, Analýza důvodů změny poskytovatele nějakých služeb (internet, mobilní telefony),

6 Analýza nákupního košíku: pohled na data P. Berka, /18

7 Analýza nákupního košíku: deskripce P. Berka, /18

8 Analýza nákupního košíku: klasifikace P. Berka, /18

9 Standardy pro dobývání znalostí 1. Metodiky (Marban a kol, 2009) Metodika A Metodiku 5A nabízí firma SPSS jako svůj pohled na proces dobývání znalostí. Název metodiky je akronymem pro jednotlivé prováděné kroky: Assess posouzení potřeb projektu, Access shromáždění potřebných dat, Analyze provedení analýz, Akt přeměna znalostí na akční znalosti, Automate převedení výsledků analýzy do praxe. P. Berka, /18

10 Metodika SEMMA Navržená pro Enterprise Miner firmy SAS: Sample (vybrání vhodných objektů), Explore (vizuální explorace a redukce dat), Modify (seskupování objektů a hodnot atributů, datové transformace), Model (analýza dat: neuronové sítě, rozhodovací stromy, statistické techniky, asociace a shlukování), Assess (porovnání modelů a interpretace). P. Berka, /18

datové transformace), Model (analýza dat: neuronové sítě, rozhodovací stromy, statistické

11 Metodika CRISP-DM V současnosti de-facto standard podporovaný většinou systémů pro dobývání znalostí Porozumění problematice Porozumění datům Příprava dat Využití výsledků DATA Modelování Vyhodnocení výsledků Data Mining P. Berka, /18

Porozumění problematice Porozumění datům Příprava dat

12 2. Standardy pro zápis modelů Predictive Modeling Markup Language Standard na bázi XML vyvinutý v Data Mining Group ( který slouží pro popis dat, datových transformací, i vytvořených modelů. Základní části PMML dokumentu: Header Data Dictionary Data Transformations Model P. Berka, /18

org), který slouží pro popis dat, datových transformací, i vytvořených

13 <?xml version="1.0"?> <PMML version="4.0"> <Header copyright="p.b." description="an example decision tree model."/> <DataDictionary numberoffields="5" > <DataField name="income" optype="categorical" /> <Value value="low"/> <Value value="high"/> <DataField name=account" optype= categorical " /> <Value value="low"/> <Value value="medium"/> <Value value="high"/> <DataField name="sex" optype="categorical" > <Value value="male"/> <Value value="female"/> </DataField> <DataField name="unemployed" optype="categorical" > <Value value="yes"/> <Value value="no"/> </DataField> <DataField name=loan" optype="categorical" > <Value value="a"/> <Value value="n"/> </DataField> </DataDictionary> <TreeModel modelname="loan aproval decision tree" > <MiningSchema> <MiningField name= income"/> <MiningField name="account"/> <MiningField name="sex"/> <MiningField name="unemployed"/> <MiningField name="loan" usagetype="predicted"/> </MiningSchema> <Node score="a"> <True/> <Node score="a"> <SimplePredicate field="income" operator="equal" value="high"/> </Node> <Node score="n"> <SimplePredicate field="income" operator="equal" value="low"/> <Node score="a"> <SimplePredicate field="account" operator="equal" value="high"/> </Node> <Node score="n"> <SimplePredicate field="account" operator="equal" value="low"/> <Node score="n"> <SimplePredicate field="unemployed" operator="equal" value="yes /> </Node> <Node score="a"> <SimplePredicate field="unemployed" operator="equal" value="no /> </Node> </Node> </Node> </Node> </TreeModel> </PMML> P. Berka, /18

value="low"/> <Value value="medium"/> <Value value="high"/> <DataField name="sex" optype="categorical" > <Value value="male"/> <Value value="female"/> </DataField> <DataField name="unemployed"

14 3. Programovací standardy (API) SQL/MM Data Mining Standardní rozhranní umožňující přístup z relačních databází k algoritmům pro data mining OLE DB for Data Mining API vyvinuté firmou Microsoft CREATE MINING MODEL CreditRisk ( CustomerId long key, Income text discrete, Account text discrete, Sex text discrete, Unemployed boolean discrete, Loan text discrete predict, ) USING [Microsoft Decision Tree] Java Data Mining P. Berka, /18

MODEL CreditRisk ( CustomerId long key, Income text discrete, Account text discrete, Sex text discrete,

15 Systémy pro dobývání znalostí z databází pokrývají celý proces dobývání znalostí (od předzpracování po interpretaci), nabízejí více algoritmů pro analýzu (než jednoúčelové systémy strojového učení), kladou důraz na vizualizaci (ve způsobu práce se systémem i při interpretaci výsledků). Systém Výrobce URL SPM Salford Systems Clementine SPSS www-01.ibm.com/software/analytics/ spss/products/modeler/ Enterprise Miner SAS Institute datamining/miner/ GhostMiner Fujitsu ucts/ghostminer Intelligent Miner IBM www-01.ibm.com/software/data/ infosphere/warehouse/enterprise.html Knowledge Angoss Studio Oracle Data Oracle Mining options/data-mining/index.html PolyAnalyst Megaputer Statistica Data Miner StatSoft LISp Miner VŠE RapidMiner Rapid-I Weka University of Waikato lispminer.vse.cz rapid-i.com/ html P. Berka, /18

com/software/analytics/ spss/products/modeler/ Enterprise Miner SAS Institute www.sas.com/technologies/analytics/ datamining/miner/ GhostMiner Fujitsu www.fqs.

16 Weka Rapid Miner P. Berka, /18

17 SAS Enterprise Miner IBM SPSS Modeler (Clementine) P. Berka, /18

18 P. Berka, /18

Podobné dokumenty

Obsah. Seznam obrázků. Seznam tabulek. Petr Berka, 2011

Obsah. Seznam obrázků. Seznam tabulek. Petr Berka, 2011 Petr Berka, 2011 Obsah... 1... 1 1 Obsah 1... 1 Dobývání znalostí z databází 1 Dobývání znalostí z databází O dobývání znalostí z databází (Knowledge Discovery in Databases, KDD) se začíná ve vědeckých