INTRODUCTION TO MACHINE LEARNING (NPFL054) A template for Homework #2 Name: Petr Bělohlávek School year: 2015/2016 Provide answers for the exercises 1. (a) - (c), 2.(c), 2.(d.1-2), 2.(e.1-2) For each exercise, your answer cannot exceed one sheet of paper. 1
1. (a) Scatterplot matrix, correlation matrix [5 pts] Implicitně nezobrazuji pole name, přestože v zadání jsou požadovány všechny sloupce. Výsledný graf by nedával smysl. Nicméně stačí smazat selektor a graf bude podle zadání validní. mpg cylinders displacement horsepower weight acceleration year mpg 1.0000000-0.7776175-0.8051269-0.7784268-0.8322442 0.4233285 0.5805410 cylinders -0.7776175 1.0000000 0.9508233 0.8429834 0.8975273-0.5046834-0.3456474 displacement -0.8051269 0.9508233 1.0000000 0.8972570 0.9329944-0.5438005-0.3698552 horsepower -0.7784268 0.8429834 0.8972570 1.0000000 0.8645377-0.6891955-0.4163615 weight -0.8322442 0.8975273 0.9329944 0.8645377 1.0000000-0.4168392-0.3091199 acceleration 0.4233285-0.5046834-0.5438005-0.6891955-0.4168392 1.0000000 0.2903161 year 0.5805410-0.3456474-0.3698552-0.4163615-0.3091199 0.2903161 1.0000000 2
1. (b) Multiple linear regression [10 pts] Původní sloupec origin jsem nahradil dvěma novými sloupci european a japanese. Jednička v nich indikuje původ auta. Pokud je v obou nula, auto je americké. Druhá varianta je zakázat intercept a přidat další proměnnou american, ale to je zbytečně komplikované. Data nenormalizuji (zadání o tom nemluví), nicméně si myslím, že by normalizace mohla model zpřesnit (zejména kvůli vysokým hodnotám roku výroby). Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) -1.795e+01 4.677e+00-3.839 0.000145 *** cylinders -4.897e-01 3.212e-01-1.524 0.128215 displacement 2.398e-02 7.653e-03 3.133 0.001863 ** horsepower -1.818e-02 1.371e-02-1.326 0.185488 weight -6.710e-03 6.551e-04-10.243 < 2e-16 *** acceleration 7.910e-02 9.822e-02 0.805 0.421101 year 7.770e-01 5.178e-02 15.005 < 2e-16 *** european 2.630e+00 5.664e-01 4.643 4.72e-06 *** japanese 2.853e+00 5.527e-01 5.162 3.93e-07 *** U koeficientů bez hvězdičky v posledním sloupci se neprokázal signifikantní vliv na sloupec mpg. Dále je tedy ignoruji. U kvantifikačních proměnných platí, že získané koeficienty vyjadřují změnu mpg při jednotkovém zvýšení dané proměnné a fixaci ostatních proměnných. Kladné koeficienty ukazují rostoucí závislost, záporné klesající. Např. váha vozu výrazně snižuje dojezd, tedy zvyšuje spotřebu, což je očekávaný výsledek. Naopak novější auta mají spotřebu nižší. U ostatních proměnných je vysvětelní totožné. Rozdílná situace je u posledních dvou proměnných, které nabývají hodnoty pouze nula nebo jedna. Jak jsem psal výše, americký původ nechávám zahrnutý v intercept. Obě proměnné mají signifikantní vliv na cílovou proměnnou. Vysvětlení koeficientů je následující. Při fixaci všech proměnných má evropské auto oproti americkému o 2.63 větší dojezd. Podobně, japonské má oproti americkému dojezd větší o 2.85. Oba tyto rozdíly jsou signifikantní. Jelikož volíme stejnou bázi (americké zahrnuté v intercept), můžeme odhadnout i rozdíl mezi evropskými a japonskými auty (rozdíl koeficientů). U tohoto poslendího rozdílu nemůžeme zjistit, jestli je signifikantní. Mohli bychom vyrobit nový model, který bude v intercept zahrnovat např. evropská auta potom je s japonskými porovnat. Vzhledem k omezení na délku odpovědi tento model vynechávám. Při fixaci všech ostatních proměnných budou proměnné intercept, european a japanese určovat pouze posun (absolutní člen) celého modelu. 3
1. (c) Polynomial regression [10 pts] Model Konstantní Nemá smysl, resp. 0 Lineární 0.1792071 Kvadratický 0.193964 Kubický 0.195508 4. stupně 0.2135979 5. stupně 0.2148018 R^2 je pouze jeden parametr modelu a pouze na jeho základě se nedá model hodnotit. Vizualizované residuály (viz R skript) ukazují na první pohled, že modely příliš dobře nesedí, protože ve všech grafech residuálů je jasně patrný trend. Dle předpokladů můžeme konstatovat, že komplikovanější modely vysvětlují rozptyl dat lépe. Pozn.: U modelů vyšších stupňů nejsou všechny koeficienty signifikantně odlišné od nuly. R^2 4
2. (c) Trivial classifier [10 pts] Seed nastavuji na 123 jako na cvičení (kvůli ladění). Pro jiný seed vyjdou výledky pravděpodobně jinak. Při tomto seedu vyšel triviální klasifikátor takový, že vždy vrací True. Přesnost vyšla přibližně 44.87%. Entropie zjevně musí být jedna, protože na zakódování True/False informace stačí jediný bit. > p.mpg = c(0.5, 0.5) # because of median > -sum(p.mpg * log2(p.mpg)) # entropy [1] 1 5
2. (d.1) Logistic regression: training and test error rate, confusion matrix [5 pts] glm.ts.prediction FALSE TRUE FALSE 37 4 TRUE 6 31 Train accuracy: 92.99% Train err. rate: 7.00% Test accuracy: 87.17% Test err. rate: 12.82% 6
2. (d.2) Logistic regression: interpretation of the hypothesis parameters [10 pts] Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) -21.053073 6.674896-3.154 0.00161 ** cylinders -0.032570 0.472714-0.069 0.94507 displacement 0.013541 0.014607 0.927 0.35390 horsepower -0.037242 0.026376-1.412 0.15796 weight -0.006082 0.001497-4.063 4.84e-05 *** acceleration 0.054556 0.154791 0.352 0.72450 year 0.504734 0.097193 5.193 2.07e-07 *** european 1.614475 0.837184 1.928 0.05380. japanese 0.806224 0.803402 1.004 0.31561 Podobně jako v předchozím komentáři modelu uvažujeme pouze proměnné, jejichž koeficienty jsou signifikantně odlišné od nuly (tedy váhu a rok výroby). Každý z odpovídajících odhadnutých koeficientů vyjadřuje logaritmickou změnu šance (logitu) při jednotkovém zvýšení dané proměnné. Tedy je potřeba predikovanou hodnotu val transformovat na e^val abychom získali skutečnou šanci. Dummy proměnné nemá smysl interpretovat, protože nejsou signifikantní. 7
2. (e.1) Decision trees: plot of the tree, training and test error rate [5 pts] Train: tr.prediction FALSE TRUE FALSE 145 7 TRUE 8 154 Test: ts.prediction FALSE TRUE FALSE 42 5 TRUE 1 30 Train accuracy: 95.22% Train err. rate: 4.77% Test accuracy: 92.30% Test err. rate: 7.69% 8
2. (e.2) Decision trees: tuning the cp parameter [10 pts] Pomocí funkce printcp získáme následující údaje: CP nsplit rel error xerror xstd 1 0.803922 0 1.000000 1.12418 0.057644 2 0.026144 1 0.196078 0.20261 0.034548 3 0.019608 3 0.143791 0.20915 0.035038 4 0.013072 4 0.124183 0.18954 0.033532 5 0.010000 6 0.098039 0.17647 0.032469 Vybereme cp s nejnižší chybovostí, tedy cp=0.01. Tato hodnota se ukázala jako optimální pro složitost stromu. Je dostatečně malá, aby byl strom dost rozvětvený a zároveň dost velká na to, aby nedošlo k příliš velkému přeučení. Nový model má stejné vlastnosti jako předchozí. 9