Lineární a logistická regrese

Transkript

1 Lineární a logistická regrese Martin Branda Univerzita Karlova v Praze Matematicko-fyzikální fakulta Katedra pravděpodobnosti a matematické statistiky Výpočetní prostředky finanční a pojistné matematiky 2012 MBranda (KPMS MFF UK) Regrese / 33

2 Obsah 1 Data 2 Lineární regrese 3 Logistická regrese 4 Reference MBranda (KPMS MFF UK) Regrese / 33

3 Obsah Data 1 Data 2 Lineární regrese 3 Logistická regrese 4 Reference MBranda (KPMS MFF UK) Regrese / 33

4 Data Data Závisle proměnná (odezva): Y = (Y 1,, Y n ) Nezávisle proměnné (prediktory, regresory): x i = (X i1,, X im ) X 11, X 1m X = X n1, X nm Předpokládáme, že matice má plnou sloupcovou hodnost Kvantitativní proměnné - např věk, počet aktivních smluv, počet najetých kilometrů, Často jsou kategorizovány kvůli nevhodnému rozdělení, odlehlým pozorováním nebo nelineritě vztahu mezi jimi a závisle proměnnou Kvalitativní (kategoriální) proměnné - kódovány pomocí 0-1 dummy proměnných, např pohlaví, region (kraj, okres), Interakce - odlišný vliv regresoru pro různé kategorie jiného kategoriálního regresoru MBranda (KPMS MFF UK) Regrese / 33

5 Data Data Závisle proměnná (odezva): Y = (Y 1,, Y n ) Nezávisle proměnné (prediktory, regresory): x i = (X i1,, X im ) X 11, X 1m X = X n1, X nm Předpokládáme, že matice má plnou sloupcovou hodnost Kvantitativní proměnné - např věk, počet aktivních smluv, počet najetých kilometrů, Často jsou kategorizovány kvůli nevhodnému rozdělení, odlehlým pozorováním nebo nelineritě vztahu mezi jimi a závisle proměnnou Kvalitativní (kategoriální) proměnné - kódovány pomocí 0-1 dummy proměnných, např pohlaví, region (kraj, okres), Interakce - odlišný vliv regresoru pro různé kategorie jiného kategoriálního regresoru MBranda (KPMS MFF UK) Regrese / 33

6 Předpoklady Data Rozdělení Y i závisí na x i Pozorování (Y i, x i ) jsou nezávislá Pozorování Y i jsou nezávislá a x i jsou měřené konstanty - budeme nadále uvažovat MBranda (KPMS MFF UK) Regrese / 33

7 Data V databázi/vytořena nad databází Data Y Data Počet škod Pohlaví Počet obyvatel Věk (v letech) 2 muž muž žena žena MBranda (KPMS MFF UK) Regrese / 33

8 Data Bez absolutního členu Data Y Data Počet škod Pohlaví Region Věk žena muž velká malá venkov (v letech) města města MBranda (KPMS MFF UK) Regrese / 33

9 Data S absolutním členem Data Y Počet škod Absčlen Pohlaví Region Věk žena velká malá (v letech) města města X MBranda (KPMS MFF UK) Regrese / 33

10 Obsah Lineární regrese 1 Data 2 Lineární regrese 3 Logistická regrese 4 Reference MBranda (KPMS MFF UK) Regrese / 33

11 Lineární regrese Model Lineární regrese Model lineární regrese Y i = m X ij β j + ε i, i = 1,, n, j=1 kde předpokládáme 1 ε i (disturbance, chyby) jsou nezávislé, 2 Eε i = 0, 3 varε i = σ 2 > 0 (reziduální rozptyl) Maticový zápis Y = Xβ + ɛ, kde β = (β 1,, β m ) a ɛ = (ε 1,, ε n ) MBranda (KPMS MFF UK) Regrese / 33

12 Lineární regrese Model Lineární regrese Model lineární regrese Y i = m X ij β j + ε i, i = 1,, n, j=1 kde předpokládáme 1 ε i (disturbance, chyby) jsou nezávislé, 2 Eε i = 0, 3 varε i = σ 2 > 0 (reziduální rozptyl) Maticový zápis Y = Xβ + ɛ, kde β = (β 1,, β m ) a ɛ = (ε 1,, ε n ) MBranda (KPMS MFF UK) Regrese / 33

13 Lineární regrese Odhad parametrů Lineární regrese Odhad parametrů β metodou nejmenších čtverců (LS) ˆβ = arg min β R m n (Y i i=1 m X ij β j ) 2 j=1 = arg min β R m(y XT β) T (Y X T β) = (X T X) 1 (X T Y) Odhad splňuje soustavu normálních rovnic X T Xβ = X T Y MBranda (KPMS MFF UK) Regrese / 33

14 Lineární regrese Odhad parametrů Lineární regrese Odhad parametrů β metodou nejmenších čtverců (LS) ˆβ = arg min β R m n (Y i i=1 m X ij β j ) 2 j=1 = arg min β R m(y XT β) T (Y X T β) = (X T X) 1 (X T Y) Odhad splňuje soustavu normálních rovnic X T Xβ = X T Y MBranda (KPMS MFF UK) Regrese / 33

15 Lineární regrese Odhady Lineární regrese Odhad parametrů je nestranný, tj E ˆβ = β s rozptylem var ˆβ = σ 2 (X T X) 1 Vyrovnané hodnoty Ŷ = X ˆβ = X(X T X) 1 X T Y Rezidua u = Y Ŷ = (I X(X T X) 1 X T )Y, kde I je jednotková matice rozměrů n n Nestranný odhad σ 2 : ˆσ 2 = E[uT u] n m Za předpokladu normality ˆβ N(β, σ 2 (X T X) 1 ) a Y N(Xβ, σ 2 I ) MBranda (KPMS MFF UK) Regrese / 33

16 Lineární regrese Odhady Lineární regrese Odhad parametrů je nestranný, tj E ˆβ = β s rozptylem var ˆβ = σ 2 (X T X) 1 Vyrovnané hodnoty Ŷ = X ˆβ = X(X T X) 1 X T Y Rezidua u = Y Ŷ = (I X(X T X) 1 X T )Y, kde I je jednotková matice rozměrů n n Nestranný odhad σ 2 : ˆσ 2 = E[uT u] n m Za předpokladu normality ˆβ N(β, σ 2 (X T X) 1 ) a Y N(Xβ, σ 2 I ) MBranda (KPMS MFF UK) Regrese / 33

17 Lineární regrese Odhady Lineární regrese Odhad parametrů je nestranný, tj E ˆβ = β s rozptylem var ˆβ = σ 2 (X T X) 1 Vyrovnané hodnoty Ŷ = X ˆβ = X(X T X) 1 X T Y Rezidua u = Y Ŷ = (I X(X T X) 1 X T )Y, kde I je jednotková matice rozměrů n n Nestranný odhad σ 2 : ˆσ 2 = E[uT u] n m Za předpokladu normality ˆβ N(β, σ 2 (X T X) 1 ) a Y N(Xβ, σ 2 I ) MBranda (KPMS MFF UK) Regrese / 33

18 Obsah Logistická regrese 1 Data 2 Lineární regrese 3 Logistická regrese 4 Reference MBranda (KPMS MFF UK) Regrese / 33

19 Logistická regrese Srovnání regresních modelů Lineární regrese Logistická regrese Rozdělení: Y N(µ, σ 2 ) Y ALT (p) Závislost: E[Y ] = x β E[Y ] = 1/(1 + exp{ x β)}) Rozpyl: vary = σ 2 vary = p(1 p) MBranda (KPMS MFF UK) Regrese / 33

20 Logistická regrese Logistická regrese EY i = p i = = = e x i β 1 + e x i β e m j=1 X ij β j 1 + e m j=1 X ij β j e m j=1 X ij β j MBranda (KPMS MFF UK) Regrese / 33

21 Logistická regrese Logistická regrese e θ 1+e θ MBranda (KPMS MFF UK) Regrese / 33

22 Logistická regrese Regresní model stornovosti Logistická regrese Model pravděpodobnosti storna smlouvy (odchodu ke konkurenci) v závislosti na tarifní skupině dle objemu motoru (TS): 5 kategoríı (do 1000, do 1350, do 1850, do 2500, nad 2500 ccm) velikosti místa bydliště (region): 4 kategorie (nad , nad , nad 5 000, do 5 000) pohlaví (pohlavi): 2 kategorie (1 - žena, 2 - muž) stáří pojistníka spojité (veks): let MBranda (KPMS MFF UK) Regrese / 33

23 Logistická regrese Kritéria pro hodnocení dobré shody Logistická regrese Kritérium DF Hodnota Hodnota/DF Deviance 5E Scaled Deviance 5E Pearsonuv Chí-kvad 5E Scaled Pearson X2 5E Log verohodnost MBranda (KPMS MFF UK) Regrese / 33

24 Logistická regrese Analýza odhadů parametrů Logistická regrese Par DF Odhad Stand Waldovy Chí-kv Pr > ChíKv chyba meze intrv spol Intercept <0001 TS <0001 TS <0001 TS <0001 TS TS region <0001 region <0001 region <0001 region pohlavi <0001 pohlavi veks <0001 Škála MBranda (KPMS MFF UK) Regrese / 33

25 Logistická regrese Šance, interpretace parametrů Logistická regrese Šance p i 1 p i = exp{x iβ} = exp{ m X ij β j } j=1 Pokud zvýšíme regresor j o jednotku X i j + 1, potom pro šanci platí p i m m = exp X 1 p i ij β j + (X + i j 1)β j = exp X ij β j exp{β j }, j=1,j j j=1 tj e β j vyjadřuje změnu šance při zvýšení příslušného regresoru o jednotku MBranda (KPMS MFF UK) Regrese / 33

26 Logistická regrese Logistická regrese Predikovaná hodnota (pravděpodobnost) TS = 5 (nad 2500 ccm), region = 4 (do 5000), pohlavi = 2 (muž), veks = 22 let η = 1, = 1, 4881 µ = exp{ 1, 4881} = 0, exp{ 1, 4881} MBranda (KPMS MFF UK) Regrese / 33

27 Logistická regrese Statistiky LR pro analýzu typu 1 Logistická regrese Zdroj Deviance DF Chí-kvadrát Pr > ChíKv Intercept TS <0001 region <0001 pohlavi <0001 veks <0001 Postupné přidávání regresorů (záleží na pořadí v zadání) MBranda (KPMS MFF UK) Regrese / 33

28 Logistická regrese Statistiky LR pro analýzu typu 3 Logistická regrese Zdroj DF Chí-kvadrát Pr > ChíKv TS <0001 region <0001 pohlavi <0001 veks <0001 Test významnosti regresoru při ponechání všech ostatních regresorů v modelu (nezáleží na pořadí) MBranda (KPMS MFF UK) Regrese / 33

29 ROC křivka Logistická regrese MBranda (KPMS MFF UK) Regrese / 33

30 ROC křivka Receiver Operating Characteristic Logistická regrese ROC křivka slouží k posouzení kvality modelu a nastavení prahové hodnoty Na svislé ose grafu je relativní četnost skutečně pozitivních případů TP, tedy pravděpodobnost, že jako správný bude vyhodnocen pozitivní případ: Sensitivity = TP/(TP+FN) Na vodorovné ose je relativní četnost falešně pozitivních případů FP, tedy pravděpodobnost, že jako správný bude vyhodnocen negativní případ: 1-Specificity = FP/(TN+FP) skutečnost/predikce TP FP 0 FN TN True (T), False (F), Positive (P), Negative (N) MBranda (KPMS MFF UK) Regrese / 33

31 Obsah Reference 1 Data 2 Lineární regrese 3 Logistická regrese 4 Reference MBranda (KPMS MFF UK) Regrese / 33

32 Reference Reference M Denuit, X Maréchal, S Pitrebois, J-F Walhin: Actuarial Modelling of Claim Counts: Risk Classification, Credibility and Bonus-Malus Systems John Wiley & Sons, Chichester, 2007 P de Jong, G Z Heller: Generalized Linear Models for Insurance Data Cambridge University Press 2008 P McCullagh, JA Nelder: Generalized Linear Models 2nd Ed Chapman and Hall, London, 1989 K Zvára: Regrese Matfyzpress, Praha, 2008 Zápisky z přednášky Zobecněné lineární modely (NSTP196), MFF UK, přednášející Doc Mgr Michal Kulich, PhD SAS/STAT 93: User s Guide MBranda (KPMS MFF UK) Regrese / 33

33 Reference Děkuji za pozornost homepage: branm1am MBranda (KPMS MFF UK) Regrese / 33