PDD Vlastní téma

Transkript

1 PDD Semestrální úlohy Vlastní téma Předzpracování dat z různých zdrojů (obrázek, text, web, signál, řeč ) Kvalitní rešerše dostupných metod Výběr vhodných metod Ukázka na reálných datech Porovnání úspěšnosti (korelace nebo společná informace s výstupem, případně úspěšnost modelů na testovacích datech) Doporučení: vyhněte se implementaci, snažte se použít dostupné simulátory (GPL kód)

2 Soutěže KDD, Netflix Většinou hlavně o vhodném předzpracování dat Google: data mining competitions Soutěž FS (výběr příznaků) metod Netflix recommending movies PC_BellKor.pdf PC_BigChaos.pdf PC_PragmaticTheory.pdf Neurochirurgie Motol Snímán tlak v hlavě po úrazu (otok mozku) Jak tlak závisí na dalších snímaných ukazatelích? Vhodné předzpracování zápisu manipulace s pacientem

3 Neurologie v Hradci Králové Electrophysiological Laboratory Charles University in Prague Faculty of Medicine in Hradec Králové Hradec - Spánková data

4 Vývoj programu pro hodnocení časových řad Zpracování extrahovaných dat Ohodnocování charakteru časových řad obecně MIT spánková data - naimportovat, vyextrahovat příznaky Matlab! Hradec - Evokované potenciály

5 EEG Recording positions The original figure illustrating the international - systém Jasper HH (958): Report of the Committee on Methods of Clinical Examination in Electroencephalography. Electroenceph. Clin. Neurophysiol. : 7-. Evokované potenciály poškození očních nervů

6 GEOFOND Sesuvy DP Petr Zelenka ( Databáze sesuvů je třeba prozkoumat závislosti v datech Proč si vybrat tuto práci? - zajímavá data: - zkuste určit, na jakém parametru závisí aktivita sesuvu - najděte zajímavé vazby mezi jednotlivými parametry - najděte parametry metod tak, aby výsledky byly co nejlepší - data jsou již připravena pro experimenty v YALE - můžete se tak zaměřit výhradně na experimentování s daty - neřešíte, jak data do nějakého programu vůbec dostat Vrty Preprocessing dat Geofond sesuvy v YALE DP Petr Zelenka (

7 Evoluční kódování DP Petr Zelenka, Michal Záborec ( Cílem práce je otestovat náš nový plugin do Yale na různých datech Africké myši MotherAg e AdMal es AdFemal es BreedFemal es PostPart um stat us littersi ze FemalesJUV MalesJ UV specie s Season vysvetlivky: mame spoustu akvarii (promenna "box"), ve kterych jsou skupiny mysi, ktere se mnozi, takze v kazdem akvariu je ruzny pocet jedincu ruzneho stari a pohlavi. zajima nas, jestli samice rodej v nejaky situaci vice synu nebo naopak treba vice dcer. data maji binomicke rozdeleni s pouzitim logit link function. zkoumana je teda promenna "samci", coz je pocet samcu ve vrhu, ktery se narodi jedne matce. data jsou hierarchicky strukturovana : "matka" is nested in "box". "box" a "matka" jsou faktory s nahodnym efektem. zajima me vliv ostatnich faktoru, ktere jsou ve sloupcich D, G - P, R. potom je tam jeste sloupec Q "species", coz jsou ruzny druhy tech mysi (mysleno biologicky druhy). takze pak jsme nakonec koukali na to, jestli se ty druhy mezi sebou nejak lisi nebo ne.

8 Stock market trading Integrace časových řad různých akcií Extrakce příznaků z burzovních dat Multi-time frame přístup Analýza tiskových zpráv a jejich vlivu na vývoj akcií společností Analýza zpráv na sociálních sítích FAKE GAME projekt - Nové jednotky - Učicí algoritmy - Stopping criteria - Podpora pro predikci časových řad - Srovnání s KM - Srovnání s matlabem (NN toolbox) - Experimenty s nastavením (výpočty na serverech) - Fully Automated Knowledge Extraction -reportovaní pomocí JasperReports, -tutoriály použití na různých datech -srovnání s Wekou -různé předzpracování - sourceforge.net/projects/fakegame

9 IBM SPSS zadání Vliv vážení dat na přesnost, stabilitu a přínosy modelu binární logistické regrese Na základě vzorce pro konfidenční intervaly regresních koeficientů porovnejte chování modelů vytvořených nad váženými a neváženými daty. Vážením zde rozumíme buď duplikaci případů s méněčetnou kategorií cílové proměnné, nebo prostý náhodný výběr případů s vícečetnou kategorií cílové proměnné. Obě varianty vážení posuzujte odděleně. Ohodnoťte vliv vážení při učení modelu na přesnost predikcí, stabilitu rozdělení regresního skóre a na průběh ROI evaluační křivky. Teoretické závěry porovnejte s praktickou simulací. Zaměřte se především na hodně nevyvážená rozdělení cílové proměnné. Metody výběru proměnných při modelování logistickou regresí nad datovou maticí s mnoha proměnnými Vypracujte přehled variant, jak postupovat při výběru proměnných pro model binární logistické regrese pro situace, kdy datová matice obsahuje velké množství korelovaných vstupních proměnných. Doporučte vhodný postup pro takové situace a uveďte, čeho bychom se měli vyvarovat. Doporučené postupy a zjištěná rizika ilustrujte na praktické simulaci. spam pre-filter Analýza záhlaví zpráv, metainformací a jejich souvislost se spamovostí zpráv Popis poli, ktera jsem ziskal zatim ze seznamu. ip_addr - adresa odesilatele countrycode - rozeznany country code pomoci geoip hdr_from - from adresa z MAIL FROM z SMTP protokolu rcpt - prijemce u rcpts - pocet prijemcu v celem mailu mailsize - velikost mailu v bytech szn-spam-score - spam score :) user-id - idcko prijemce(interni informace) ebox-id - idcko storage serveru(interni informace) za poslednich 5 min (paralelne i zasebou): ce-connections - pocet konexi ce-bad-rcpt-to - pocet spatnych RCPT TO v SMTP protokolu ce-bad-mail-from - pocet spatnych MAIL FROM v SMTP protokolu ce-bad-commands - pocet spatnych prikazu v SMTP protokolu c -sent - pocet odeslanych mailu ce-bytes-sent - pocet odeslanych byte ce-bad-auth - pocet spatnych autorizaci na SMTP relay header:* obsah odpovidajicich hlavicek presne v takovem case, jako jsou v mailech TO_CO_JE_VELKYMA - odpovidajici testy z spamassassinu

10 Honeywell Prague Laboratory Data z budov Energie Logy z karet Center for chemical genetics Data mining procesů při buněčném dělení

11 Nové opensource předzpracovací metody Prostuduj seznam implementovaných předzpracovacích metod Nastuduj a implementuj novou metodu Srovnej s dostupnými metodami na několika různých datových souborech Automatické předzpracování Otestovat na různých datech Konzistence výběru předzpracovacích metod Automatické předzpracování signálů

12 Preprocessing methods implemented in FAKE GAME Methods to impute missing values MissingData.ConstantMissingDataImputer MissingData.MedianMissingDataImputer MissingData.NearestNeighbourMissingDataImputer MissingData.RemoveMissingData MissingData.AnotherInstanceValueDataImputer

13 Methods to normalize data Normalization.LinearNormalizer Normalization.SoftmaxNormalizer Normalization.MeanNormalizer Normalization.ZscoreNormalizer Methods to reduce data DataReduction.RandomReduce DataReduction.RemoveOutlayers DataReduction.LeaveOutNeighbours DataReduction.KMeansDataReplacer DataReduction.PCA DataReduction.KDTreeReplacer DataReduction.HartCondensingReduce DataReduction.HartCondensingReduce DataReduction.IBReduce DataReduction.KubatMatwinReduce DataReduction.DropReduce DataReduction.ChangReduce DataReduction.WilsonsEditingReduce DataReduction.ChenCondensingReduce DataReduction.RSPCondensingReduce DataReduction.SpecialCondensingReduce DataReduction.AllKNNEditingSchemeAlgorithm DataReduction.RNNCondensingReduce

14 Other methods Discretization.EqualSizeBinning DataEnrichement.Smote Nominal data encoding from N Color red green Size small large Encoding into single attribute red large Red color Green color Small size Large size Color... Size..9.9 or Color.6..6 Size..6.6 Our experiments with automated encoding of nominal attributes Correlation Probability density % improvement on Golf data Relative accuracy Relative accuracy Relative accuracy Probability density Relative accuracy Relative accuracy Relative accuracy Diploma thesis Michal Zaborec, Minh Duc Do, CTU Prague, 9 Linear regression

15 Putting (preprocessing methods) all together For each feature, optimal sequence of preprocessing methods is evolved by GA Raw data Genetic Algorithm evolving preprocessing sequences Preprocessing Sequences Selected representative data subset Error of models, fitness function GAME Ensemble of models Automated data preprocessing Evolving preprocessing sequences