znalostí z databází- mnohostranná interpretace dat

Transkript

1 Dobývání znalostí z databází- mnohostranná interpretace dat Petr Berka VŠE Praha berka@vse vse.cz

2 Dobývání znalostí z databází Non-trivial process of identifying valid, novel, potentially useful and ultimately understandable patterns from data. (Fayyad a kol., 1996) Analysis of observational data sets to find unsuspected relationships and summarize data in novel ways that are both understandable and useful to the data owner. (Hand, Manilla,, Smyth, 2001)

3 Úlohy dobývání znalostí deskripce dat a sumarizace segmentace deskripce konceptů klasifikace predikce analýza závislostí

4 Aplikační oblasti Segmentace a klasifikace klientů banky, pojišťovny apod. Predikce vývoje kursů akcií, Predikce spotřeby elektrické energie, Analýza příčin poruch v telekomunikačních sítích, Analýza důvodů změny poskytovatele nějakých služeb, Určení příčin poruch automobilů, Rozbor databáze pacientů v nemocnici, Analýza nákupního košíku:

5

6

7

8 Dobývání znalostí z databází metodika CRISP-DM Porozumění problematice Porozumění datům Příprava dat Využití výsledků DATA Modelování Vyhodnocení výsledků data mining

9 Metody a algoritmy regresní í metody diskriminační analýza shluková analýza tvorba rozhodovacích stromů tvorba rozhodovacích pravidel tvorba asociačních pravidel neuronové sítě genetické algoritmy bayesovské sítě učení založené na analogii induktivní logické programování

10 Mnohostranná interpretace dat případové studie z oblastí financí mediciny e-commerce Reálná data analyzovaná v rámci tzv. Discovery Challenge workshopů ://lisp.vse.cz/challenge

11 I. Data o klientech banky použitá data: 4500 účtů, 5369 klientů, 6471 trvalých příkazů, 682 záznamů o úvěrech, 892 záznamů o kreditních kartách, záznamů o transakcích ch.

12

13 Porozumění datům multirelační data statická (klienti) i časovč asově závislá data (transakce) převaha numerických atributů nevyvážené třídy (úvěry, karty) Status úvěru absolutní počet relativně vůči všem úvěrům relativně vůči všem účtům žádný úvěr % A % 4.51% B % 0.69% C % 8.95% D % 1%

14 Příprava dat Vhodné atributy ve vhodné reprezentaci spojení tabulek (např. počty trvalých příkazů, počty oprávněných osob ) agregování hodnot (např. měsíční souhrny transakcí) vytváření atributů (např. věk a pohlaví z rodného čísla)

15 Jednoduchá deskripce hledání souvislostí mezi typem úvěru a dalšími charakteristikami účtu asociační pravidla vizualizace časových řad # předpoklad loan.status Fisher podpora spolehlivost 1 prům_sankční_úrok:ne good e prům_sankční_úrok:ano bad e trvalý_příkaz_sipo:ano good e trvalý_příkaz_sipo:ne bad e kreditní_karta:ano good e výše_splátky<2000 good e

16 Jednoduchá klasifikace klasifikace úvěrů jako bezproblémové a rizikové strom pro určení důležitosti atributů strom pro klasifikaci uvažuje se různá cena chyb

17 Segmentace a deskripce/klasifikace členění klientů z hlediska výše debetu a jejich charakterizace

18 Podpora zavádění kreditních karet (cross-selling, up-selling selling) deskripce - nalezení charakteristik klientů majících kreditní kartu metoda detekce odchylek klasifikace - určení, zda je klient držitelem karty metoda k-nejbližších k sousedů

19 Vytváření profilů klientů segmentace a deskripce klientů na základě transakcí Kohonenova mapa + pravidla Rule #1 for Cluster 3 If ATTR5 > 9945 and ATTR13 > 0 Then -> 3 (115, 0.983)

20 II. Data z oblasti medicíny Dlouhodobá primárn rně preventivní studie rizikových faktorů aterosklerózy u mužů středn edního věkuv (realizována v letech na II. interní klinice 1. lékařské fakulty Univerzity Karlovy a VšeobecnV eobecné fakultní nemocnice v Praze) výsledky vstupního vyšet etření (~ ~ 1400 pacientů rozděleno do třít skupin z hlediska rizika) výsledky kontrolních vyšet etření případná informace o příčinp ině úmrtí

21 Control 10572x66 Entry 1417x64 Letter 403x62 Death 389x5

22 Asociace mezi hodnotami atributů pokud pacient pravidelně konzumoval pivo (do 1 litru),, pak pravidelně konzumoval i vínov pokud měl m l pacient vzdělání VŠ a měřm ěřil cm, pak příčina úmrtí byla tumor pokud pacient nemá v současnosti zvýšenou hladinu cholesterolu a občas drží dietu, pak nebude mít m zvýšenou hladinu cholesterolu ani během b následujících ch 40 měsícům pokud pacient pravidelně konzumoval pivo, pak se u něj snižovalo riziko aterosklerózy s rostoucím vzděláním klesal počet kuřáků

23 Klasifikace klasifikace do původnp vodních třít skupin (normáln lní, riziková,, patologická) klasifikace do skupin odvozených z dat predikce výskytu kardiovaskulárn rní choroby v budoucnosti (+ (+ (+ (+ (- (- (- alcohol vzdelani) (- (* (* (+ moc chlst) (+ kysmoc (+ (+ (* (- dusnost pivo12) (- alcohol kysmoc)) (- syst1 (- hypll HTD))) (* ldl glykemie)))) (+ (* (* glykemie HT)) (+ (+ (+ (+ imtrv (* (* glykemie HT))) (+ (* glykemie HT) (+ (+ (- hypll HTD) (* ldl glykemie)) (* ldl glykemie)))) (- alcohol vzdelani)) (+ (* ldl glykemie) glykemie)))) (+ (+ (- ICT vinomn) (+ (+ (- (* byvkurak) HT) (* (* glykemie HT))) hypll)) (* (- vyska HTD) (+ dusnost alcohol))))) HT) (* (* glykemie HT))) dobakour) (+ (* (+ imtrv (* (* glykemie HT))) byvkurak) syst2)) (+ (+ (+ vzdelani (+ (* vinomn byvkurak) smoking)) (* (- dusnost pivo12) (- dusnost pivo12))) (+ (+ (+ glykemie (* glykemie HT)) (- hypll HTD)) (* ldl glykemie))))

24 Analýza závislostí korelace mezi Body Mass Index a tlouštkou kožní řasy je odlišná pro jednotlivé skupiny mužů

25 III. Click-stream data click-stream - sekvence stránek navštívených jedním uživatelem při jedné seanci na webu unix time ;IP address ; session ID ; page request; referee ; ; e8a0a4d7a4407ed9554b64ed1;/dp/?id=124 ; ; ;3995b2c0599f1782e2b b1c94;/dp/?id=182 ; ; ;2fd3213f2edaf82b27562d28a2a747aa;/ ; ; ; e8a0a4d7a4407ed9554b64ed1;/dp/?id=148 ;/dp/?id=124; ; ; e8a0a4d7a4407ed9554b64ed1;/sb/ ;/dp/?id=148; ; ;2fd3213f2edaf82b27562d28a2a747aa;/contacts/ ; /; ; ; e8a0a4d7a4407ed9554b64ed1;/sb/ ;/sb/; ~3 milion liony záznamů z www shop web serveru informace o nabízeném zboží informace o typu stránky

26 Vizualizace návštěvnost internetového obchodu v průběhu týdne Visits Monday Tuesday Wednesday Thursday Friday Saturday Sunday Group s Hour Hour

27 Shluková analýza segmentace nabízených produktů

28 Deskripce ochota nakupovat podle typu zboží Purchasing possibility # of customers

29 Asociace mezi navštívenými stránkami lidé používající fulltextové vyhledávání se méně dívají na detaily zboží

30 Predikce následující stránky Lze na základě pozorované sekvence A 1 A 2 A n-1 určit následující stránku A n? Markovský model pravidla n An ) = P( Ai Ai k Ai 1) i= 1 P( A A dp, sb -> sb (0.93)

31 Podobnost mezi sekvencemi

32 Segmentace navštěvníků (1/2) vytváření profilů na základě typů navštívených stránek Celkový přehled produktů Cílené hledání Potenciální zákazníci Hledání podle parametrů

33 Segmentace navštěvníků (2/ 2/2) 2) analýza přechodů mezi profily

34 Předpoklady úspěchu reálné úlohy spolupracovat s experty (na danou problematiku i na data) i s uživateli co nejvíce využívat i externí data předzpracovávat data na základě porozumění dané aplikaci analyzovat data na vhodné úrovni obecnosti začít od jednoduchých modelů hledat srozumitelné modely brát do úvahy škálovatelnost modelů hodnotit modely z hlediska návratnosti investic využít nalezené modely v rámci organizace

35 Otevřené problp roblémy schopnost převést obchodní problém na požadované datové transformace efektivní algoritmy zpracovávající rozličné typy dat a poskytující srozumitelné výsledky větší integrace do standardně používaných technologií a nástrojů