Dbývání znalstí z databází (MI-KDD) Přednáška čísl 1 - Úvd (c) prf. RNDr. Jan Rauch, CSc. KIZI, Fakulta infrmatiky a statistiky VŠE zimní semestr 2011/2012 Evrpský sciální fnd Praha & EU: Investujeme d vaší buducnsti
Dbývání Znalstí z Databází 1960 banky pjišťvny bchdní řetězce nemcnice výrbní pdniky státní správa.? návratnst úvěrů charakteristiky klientů? zajímavé segmenty klientů? vzrce chvání zákazníků? ptimalizace léčby?.. DZD Dbývání Znalstí z Databází = Knwledge Discvery in Databases; KDD = DZD 2
MI-KDD - výchdiska Prudký rzvj aplikací DZD v praxi, bank, pjišťven i velkých pdniků, viz např. http://www.kdnuggets.cm/ Využívány známé metdy matematické statistiky a strjvéh učení Vyvíjeny nvé metdy Nvé blasti aplikací, např. sciální sítě Integrace s metdami umělé inteligence a znalstníh inženýrství Mnh výzev pr výzkum suvisející s DZD, viz např. http://www.cs.uvm.edu/~icdm/ 3
MI-KDD - zásady Budeme se věnvat zejména metdám a nástrjům, které máme k dispzici a které suvisí s výzkumem Důraz na praktické aplikace těcht nástrjů, Řešení úlh na reálných datech (mžn i vlastní) Mžn využít metdy z jiných předmětů Přednášky dbrníků z praxe 4
Úvdní přednáška Lgika bjevvání pmcí pčítače Metda GUHA Prcedura ASSOC Témata dalších přednášek 5
Lgika bjevvání pmcí pčítače Mhu pčítače frmulvat a verifikvat vědecké hyptézy? Mhu pčítače racinálním způsbem analyzvat empirická data a vytvřit rzumný braz analyzvanéh empirickéh světa? Může t být udělán pmcí matematické lgiky a statistiky? Lgic f discvery 1978 http://www.cs.cas.cz/hajek/guhabk/ 6
Lgika bjevvání pmcí pčítače teretické předpklady, bservační tvrzení teretické tvrzení 7
Lgika bjevvání pmcí pčítače Teretické tvrzení Teretický kalkul 1: 1 Observační tvrzení Observační kalkul Testvání hyptéz Všechny zajímavé ptvrzené hyptézy 1: 1 Všechna zajímavá bservační tvrzení 8
Metda GUHA Definice mnžiny ptenciálně zajímavých bservačních tvrzení Relace bezprstředníh důsledku GUHA prcedura všechna prstá tvrzení všechna zajímavá bservační tvrzení 9
GUHA prcedura ASSOC A 1 (1) A 2 (3,4) A 3 (5,6,7) A 24 (1,9) je 4ft- kvantifikátr pdmínka na a,b,c,d a b 0.85, 30 a a b 0.85 a 30 c d 10
GUHA prcedura ASSOC V dané matici hledá dvjice daným způsbem vzájemně závislých blevských atributů dvzených ze slupců matice dat. Vzájemná závislst je dána 4ft-kvantifikátrem který se definuje pmcí pdmínky na kntingenční tabulku atributů. Jsu k dispzici desítky 4ft-kvantifikátrů. Prcedura ASSOC byla vícekrát implementvána, první verse vznikla v šedesátých letech minuléh stletí a byla určena pr pčítač MINSK22. Pčátkem devadesátých let minuléh stletí byla definvána asciační pravidla v suvislsti s analýzu nákupníh kšíku. Tat asciační pravidla jsu specielním případem dvjic blevských atributů se kterými pracuje prcedura ASSOC. Budeme pracvat s prceduru 4ft-Miner. Jedná se implementaci prcedury ASSOC rzšířenu pdmíněná asciační pravidla. 4ft-Miner je sučástí systému LISp-Miner, viz http://lispminer.vse.cz/prcedures/index.php?system=4ft-miner 11
Témata dalších přednášek přehled 2 typy přednášek Teretické autr prf. RNDr. J. Rauch, CSc O systému LISp-Miner autr ing. M. Šimůnek, Ph.D. 12
Témata dalších přednášek P02 Prjekt LISp-Miner P03 Příklad aplikace prcedury 4ft-Miner P04 Asciační pravidla P05 Příklad aplikace prcedury SD4ft-Miner P06 Předzpracvání dat P07 Analytické prcedury P08 Analytické prcedury P09 Dménvé znalsti P10 Výpčet na gridu a LM TaskPler P11 Dménvé znalsti v systému LISp-Miner P12 Observační kalkuly P13 Výzkumná témata 13
GUHA prcedury v systému LISp-Miner 4ft Miner ASSOC + pdmíněná pravidla, 17 4ft-kvantifikátrů SD4ft Miner dvě mnžiny se liší hledně pravidla AC4ft Miner návrh rzumné akce KL Miner SDKL Miner CF Miner kategriální atributy SDCF Miner 14
Seminární práce Samstatný student neb dvučlenný tým Něklik analytických tázek + jejich řešení prezentván pmcí systému SEWEBAR http://sewebar.vse.cz/ Pužít minimálně tři prcedury systému LISp-Miner Mžn pužít další sftware pr analýzy Refervat průběhu řešené tázky + stav Část analýz lze nahradit dreferváním článku Nutn průběžně knzultvat pr upřesnění Pdklady pr cvičení viz subry C01 až C11, jejich autrem je ing. Milan Šimůnek, CSc. 15
Příklad článku k refervání (1) 16
Příklad článku k refervání (2) http://www.gimac.uma.es/ipmu08/ 17
Pžadavky na abslvvání Vypracvat seminární práci Abslvvat závěrečný písemný test Abslvvat ústní zkušku 18
Při tvrbě těcht elektrnických pdkladů pr výuku byly využity výsledky těcht prjektů realizvaných na Vyské škle eknmické v Praze: Prjekt GAČR 201/08/0802 - Aplikace metd znalstníh inženýrství při dbývání znalstí z databází Prjekt MŠMT ME 913 - Nvé nástrje a terie pr dbývání znalstí z databází 19