Zobecněný lineární model (GLM)

Transkript

1 FINANCIALSERVICES/ACTUARIAL SERVICES Zobecněný lneání model (GLM) Moslav Šmuda ADVISORY

2 Obsah Motvace Zobecněný lneání model (GLM) Stuktua modelu Vsvětlující poměnné Lneání model Exponencální odna ozdělení Metoda maxmální věohodnost Příklad Sestavení a vhodnocení modelu Ukázk Poškození lodí vlvem počasí Chování pojštěnců výhod GLM Tpcké model, použtí Lteatua Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze

3 Motvace Fomální shoda řad egesních modelů. Lneání egese ANOVA Logstcká egese Loglneání model Multnomcké model Snaha co nejúplněj posthnout vzájemnou souvslost ůzných jevů: škodní fekvence v závslost na segmentac, půměná výše škod v závslost na segmentac, stonovost v závslost na čemkolv, maketng Metoda schopná spávných předpovědí, zohledňující koelace nteakce. Paktck použtelná, tj. v běžné pax nepřílš složtá. Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze 3

4 GLM stuktua modelu Pozoujeme náhodnou velčnu Y, jejíž každou ealzac (výsledek měření) považujeme za kombnac sstematcké složk E[Y] a náhodné složk ε. E [ Y ] + ε + ε Sstematckou složku se snažíme vjádřt pomocí vsvětlujících velčn, náhodná složka je geneována podkladovým náhodným dějem, kteý je zodpovědný za ozdělení ρ ( ) velčn Y. GLM umožňuje na základě hstoe (n měření) předpovídat sstematckou složku pomocí zvolených vsvětlujících velčn a záoveň espektovat náhodnost podkladového děje. Bohužel an závslost (x,...,x p ) an ozdělení ρ ( ) nemohou být lbovolné. Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze 4

5 GLM stuktua modelu Předpokládáme, že sstematcká složka je postřednctvím posté a dfeencovatelné funkce g, tzv. spojovací (lnk) funkce, spojena s tzv. lneáním pedktoem, tj. lneání funkcí paametů modelu. g ( ) g ( ) V ámc GLM je ted sstematcká složka funkcí lneáního pedktou. Dále předpokládáme, že ozdělení ρ velčn Y je z tzv. exponencální odn ozdělení. Po tato ozdělení platí, že jsou plně učena střední hodnotou a ozptlem (mají až volné paamet) a ozptl je funkcí střední hodnot. V modelu zvolíme spojovací funkc g, vsvětlující velčn, a na základě předpokladu o ozdělení ρ náhodné velčn Y hledáme takové koefcent lneáního pedktou, ab model co nejlépe vsthoval výsledk měření. Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze 5

6 GLM vsvětlující poměnné Lneání pedkto je následující funkce p xj j + ξ;, K, n j + ξ je tzv. konstukční matce (desgn matx) nebol matce n x p, jejíž řádk odpovídají jednotlvým měřením a sloupce tvoří jednotlvé vsvětlující poměnné. Ab bl model jednoznačně defnován, musí mít matce plnou sloupcovou hodnost. jsou koefcent, kteé vjadřují vlv jednotlvých vsvětlujících poměnných na modelovanou velčnu a jejchž hodnot hledáme. ξ je tzv. offset nebol člen shnující vlv, jejchž efekt na modelovanou velčnu známe a nepotřebujeme ted, ab jej model odhadoval. Vsvětlující velčn, esp. poměnné, mohou být jak kvanttatvní (spojté), například hmotnost, tak kvaltatvní (kategoální), například bava. Toto ozlšení je však často dáno spíše kontextem a volbou. Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze 6

7 GLM vsvětlující poměnné Kategoálním poměnným jsou hladn (levels) jednotlvých kategoálních velčn, faktoů (factos). Například velčna bava může mít několk hladn, kteé pak tvoří jednotlvé poměnné. Kategoální poměnné jsou takové, pomocí nchž sledujeme, zda měření patří nebo nepatří do nějaké kategoe. Nabývají ted tpck hodnot patří, 0 nepatří (Dumm vaables). Hladn lze zakódovat ůzně (,0;-,;...) matce kontastů (contast matx). U kategoálních poměnných může snadno dojít k lneání závslost. Například po poměnné muž a žena, b platlo muž-žena. Tto závslost ohožují hodnost desgn matx, a ted učtost modelu je třeba spávně zvolt kontast. Absolutní člen (ntecept) 0, kteý v sobě obsáhne všechn základní hladn faktoů epezentovaných kategoálním poměnným takové obtíže řeší. Všechna měření pak obsahují tento absolutní člen (základní hladnu) a poměnné popsují pouze odlšnost od této efeence. Máme pak jen nezávslé poměnné a absolutní člen. p xj j + + ξ ;, K, n j 0 Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze 7

8 8 Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze Lneání model a metoda nejmenších čtveců ε + Y Y E I va σ Y E 0 ε I va σ ε ( ) ( ) ( ),, σ σ T N N Y ( ( ) )Y Y Y T T hat-matx tzv. I ε p n T χ σ ε ε p n T ε ε σ ( ) Y Y Y T T T 0 Σ va σ Y Σ va σ ε T Σ SS ε ε + + S S S Y Y I va σ Y I va σ ε ( ) Y T T Σ Σ ( ) va σ Σ T Zobecněná metoda nejmenších čtveců metoda vážených nejmenších čtveců (w.l.s.) Občejná metoda nejmenších čtveců (n počet měření, p počet paametů modelu) ε + Y EY E 0 ε

9 GLM exponencální odna ozdělení Hustota pavděpodobnost exponencální odn ozdělení má obecně tva b( ) ( φ) ρ ( ;, φ) Exp + (, φ) c a je kanoncký paamet souvsející se střední hodnotou, φ je ozptlový paamet souvsející s ozptlem, a (φ) je spojtá a kladná funkce, b() (kumulantová funkce) je dvakát dfeencovatelná konvexní funkce a c(,φ) je funkce nomující ρ, nezávslá na. va E [ ] b ( ) d b d ( ) a ( φ ) a ( φ ) b ( ) a ( φ) V ( ) d b d V je vaanční funkce, obvkle a (φ)φ /w, kde w je aponí váha -tého měření Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze 9

10 GLM exponencální odna ozdělení Označení Defnční obo φ b ( ) c (,φ) ( ) ( ) V ( ) (kanoncký lnk) Nomální N(,σ ) (, ) σ + ln φ ( πφ ) Possonovo P( ) 0,,,K e ln(! ) e ln( ) Bnomcké B ( m, π ) m 0,,, K, m m m ( e ) ln + m ln m e + e ln ( ) Gamma G(,ν ) ( 0, ) ν ln( ) ν ln ( ν ) ln( ) ln( Γ( ν )) Invezní Gaussovo IG (,σ ) ( 0, ) σ ln ( ) πφ + φ 3 3 Blízcí příbuzní: negatvně bnomcké, Webulovo,... (Lognomální NE) Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze 0

11 Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze GLM metoda maxmální věohodnost Řešení GLM nalezení nejvěohodnějšího odhadu hledání maxma věohodnostní funkce L (lkelhood), espektve jejího logatmu (loglkelhood), vůč paametům l ( ) n L, ; φ ρ ( ) ( ) ( ) + n c a b L, ln φ φ l ( ) ( ) ( ) ( ) j p j p j n j j x a W x V a φ φ 0 l l l Odhad paametu φ lze povést například pomocí zobecněné Peasonov statstk nebo pomocí devance D, esp. škálované devance D *. p n φ Maxmum věohodnostní funkce se hledá numeck (Newton-Raphson, Fshe scong) metoda teačně vážených nejmenších čtveců. p n D φ ( ) ( ) p n V χ φ * D φ D ( ) ( ) *,, p n D χ φ φ l l

12 Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze GLM Iteace nástn... ( ) g ( ) ( ) ( ) ( ) ( ) ( ) z g g g ( ) ( ) ( ) ( ) E va E va E E E E vâ z z z ( ) vâ Σ W w V z () ( ) ( ) ( ) ( ) ( ) w.l.s.,, + z z W

13 GLM exponencální odna ozdělení nad-ozptl (ovedspeson) Za učtých okolností nemusí být splněno, že φ u bnomckého nebo Possonova ozdělení je. Dochází k tzv. nad-ozptlu (ovedspeson). V případě bnomckého ozdělení může nad-ozptl vznkat například exstencí shluků (clustes) lšících se pavděpodobnostm sledovaného jevu (nebo velkostí). Y Z + Z + + Z m / k L Z B( π k), E vaπ τ π ( π ) π π EY mπ vay [ τ ] σ mπ ( π ) ( π ) + ( k ) mπ V případě Possonova ozdělení může totéž nastávat například pokud jedna událost přspívá více sledovaným jev nebo pokud je pavděpodobnost jevu ůzná po ůzné jednotk na nchž výskt jevu sledujeme. Y Z L+ + Z + Z N, Z N..d. Z K N Po( n) E Y EN EZ vay EN EZ Ve duhém zmíněném případě je náchlnost k jevu u jednotlvých jednotek v soubou ůzná. Ted jev má u každé jednotk Possonovo ozdělení, ale střední hodnota je u každé jednotk jná (nte-subject vaablt). Pokud mají střední hodnot v soubou např. gamma ozdělení pak celkové počt jsou ozdělen negatvně bnomck. Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze 3

14 GLM kvaz-věohodnost Po specfkac GLM jsme potřeboval pouze nezávslost měření, spojovací a vaanční funkc, bez odkazu na jné vlastnost ozdělení. Pokud po nezávslá Y známe střední hodnotu a ozptl, pak po povedení GLM potřebujeme navíc pouze věohodnostní funkc. Eu 0 va u φv q ( ) φv t () t dt u φv ( ) u E φv ( ) u l u odpovídá v uvedených vlastnostech devac logatmcké věohodnostní funkce Integací (pokud lze) získáme něco jako logatmckou věohodnostní funkc tzv. kvaz-věohodnostní funkc nebo přesněj logatmckou kvaz-věohodnostní funkc q (quas-lkelhood, log quas-lkelhood) q n q Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze 4

15 GLM příklad M Ž Ml St Rozdělení Possonovo Lnk Logatmus l MM MM e ln( 000! ) MM + St ( MM + St ) e ln( 600! ) MM + Ž ( MM + ) e Ž ln( 500! ) ( MM + Ž + St + + ) e ln( 300! ) MM Ž St + Ž + St 0 0 MM Ž St MM Ž e e e e e MM Ž St Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze 0 0 l 0 l 0 MM St l 0 6,9078 0,693 0,508 Ž Ž MM Ž St St St l 900 e 800 e Ž 400 e St 4 MM MM MM + St + MM Ž MM + + Ž St ( ) ln(!) ln St Ž St + Ž ( + e + e + e ) MM MM + Ž ( e + e ) MM MM + St ( e + e ) 5

16 Sestavení a vhodnocení modelu Rozdělení Analýza ozdělení sledované velčn, poovnání výsledků modelu se skutečností Spojovací funkce Paktčnost Realstčnost Vsvětlující poměnné, desgn matx Volba velčn Volba hladn kategoálních velčn Zahnutí nteakcí Analýza vlvu jednotlvých poměnných na výsledk modelu Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze 6

17 Sestavení modelu ozdělení Volba ozdělení vchází z předchozí znalost, zkušeností a podstat podkladového náhodného děje. Spávnost volb lze (ne nezávsle na zbtku modelu) ověřt pomocí ůzných mě ozdílu, ezduí, mez měřeným a modelem předpovídaným hodnotam. Vhodnou volbou jsou tzv. devanční ezdua, kteá jsou př spávné volbě modelu velm dobře nomálně ozdělena. D N D, D sgn t d t V ( ) d sgn( ) () t Standadzovaná devanční ezdua mají navíc jednotkový ozptl. DS φ D ( h ) sgn φ ( ) t ( h ) V () t d t h jsou dagonální pvk vlvové matce (hat-matx) tzv. pák (leveage), kteé popsují vlv -tého měření na model, velký vlv, 0 malý vlv Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze 7

18 Sestavení modelu spojovací funkce Kanoncký lnk zjednodušuje tva věohodnostní funkce, a jeho použtí má jné příznvé důsledk, kteé však dnes, dík počítačům, nejsou ozhodující. Rozhodují data a paktčnost v pojšťovnctví je zpavdla příjemný multplkatvní model s logatmem jako spojovací funkcí. Po bnomcké model je třeba lnk, kteý zobazuje hodnot z ntevalu <0,> na <-, > - např. kvantlové funkce. Testovat lze maxmum věohodnostní funkce, kteého je možné dosáhnout s ůzným spojovacím funkcem. g ( x; λ) λ x, λ 0 λ ln, λ 0 g(x;λ) přechází od nvezní, po λ -, přes logatmckou, po λ 0, do dentcké, po λ, spojovací funkce, a nabízí tak možnost učt vhodnou spojovací funkc nalezením maxma věohodnostní funkce v závslost na λ, a vbat tak spojovací funkc maxmalzující věohodnost. ( x) Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze 8

19 Sestavení modelu poměnné testování Přdáván b měl být pouze poměnné, kteé model sgnfkantně vlepší. Standadní míou dobé shod modelu je devance D, epektve škálovaná devance D * D n t V () t dt D * n φ t V Dva vnořené model lze ted poovnávat sovnáním jejch škálovaných devancí, pokud je paamet ϕ známý (např. u Possonova ozdělení) (model ω je podmodelem modelu Ω). () t dt D * ω ( l Ω lω ) ~ χ df df, dfω Ω D df Ω * Ω > ω Případně, pokud je φ odhadované, D φ df ω ω D df Ω ~ Fdf df > ω dfω, df, Ω ω Ω df Ω φ df φ D df Poovnávání ůzných modelů Akakeho nfomační ktéum [ l( ) + p] [ l( ) + ] AIC p + Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze 9

20 Sestavení modelu obecně + příklad Dostatečná expozce ve všech kategoích. Rozumné chování ezduí (vz výše). Konzstence v čase koefcent dané velčn b neměl jeden ok vpadat úplně jnak než jný ok. Učení paametu příslušného dané poměnné b mělo být přměřeně přesné. Devanční test modelu. Ilustační příklad: Poškození způsobené vlnam na přídích lodí Tp lod (TS): A, B, C, D, E Rok stavb (YC): , , , Období povozu (OP): , Vlajka pod kteou loď pluje (FL): 0 kategoí Celková doba povozu v měsících expozce offset Počet událostí Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze 0

21 Ukázka NL poškození lodí Resduals Resduals vs Ftted Std. devance esd Nomal Q-Q 7 9 Possonovo ozdělení s nad-ozptlem Nulový model: YC, OP D 0 6,365; df 0 9; φ 0,85. model: ST, YC, OP Pedcted values Theoetcal Quantles D 38,695; df 5; φ, F~F 4,5 -> p 0,0 Std. devance esd Scale-Locaton Pedcted values Std. devance esd Resduals vs Leveage Cook's dstance Leveage ST sgnfkantní - zahnout. model: ST, YC, OP, FL D 0,965; df 6; φ,09.8 F~F 9,6 -> p 0,4 FL nesgnfkantní - vloučt Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze

22 Ukázka NL poškození lodí Resduals Cook statstc Lnea Pedcto Odeed devance esduals Cook statstc Quantles of standad nomal Coeffcents: Estmate Std. Eo t value P(> t ) (Intecept) < e-6 STB STC STD STE YC YC YC OP absolutní člen: STA, YC960-64, OP h/(-h) Case Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze

23 Ukázka Analýza stoen vlv nteakcí Ukončení žvotního pojštění během let od sjednání Databáze: 0 let zkušeností smluv. Zkoumané fakto a jejch kategozace, tak jak bl uveden klentem př uzavření smlouv: pohlaví (Muž, Žena) věk (A: 8-9, A: 30-39, A3: 40-49, A4: 50-59, A5: 60+), manželský stav (M0: svobodný/ozvedený, M: ženatý/vdaná) dět (C0: žádné, C: a více) výdělek (tsíce Kč: E: <0; E: 0-0; E3: 0-30; E4:30+) sjednané pojštění (T: smt bez podílu na zsku, T: smt podíl na zsku, T3: dožtí bez podílu na zsku, T4: dožtí s podílem na zsku, T5: unt lnk) pojstná částka (tsíce Kč I: 0-500, I: , I3: 000+) dstbuce (O, O, O3, O4, O5) ok sjednání (kalendářní ok sjednání: Y: 96-97, Y: 98-99, Y3: 00-0, Y4: 0-03, Y5: 04-05) sídlo (obvatelé: R: <0000, R: , R3: , R4:>00000) Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze 3

24 Ukázka Analýza stoen vlv nteakcí Insuance tpe Maage:Tpe Multple TT TT TT3 TT4 TT5 GLM One-w a Multple M:TT M:TT3 M:TT4 M:TT5 GLM catego Inteacton catego Age:Tpe Tpe:Chlden Multple AA:TT AA3:TT AA4:TT AA5:TT AA:TT3 AA3:TT3 AA4:TT3 AA5:TT3 AA:TT4 AA3:TT4 AA4:TT4 AA5:TT4 AA:TT5 AA3:TT5 AA4:TT5 AA5:TT5 GLM Multple TT:C TT3:C TT4:C TT5:C GLM Inteacton catego Inteacton catego Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze 4

25 Tpcké model, použtí Modelovaná velčna Y Škodní fekvence Počet škod Výše škod Pavděpodob nost - stona Lnk ln ( x) ln ( x) ln( x) x ln x Rozdělení Possonovo Possonovo gamma bnomcké Škálovací paamet odhad /m Vaanční funkce x x x x( x) Aponí váh expozce počet škod / Offset 0 ln( expozce) 0 0 Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze 5

26 Tpcké model, použtí Modelování přežívání, gaduace vhlazování změřených pavděpodobností. Modelování ntenzt přechodů mez stav ve zdavotním pojštění. Ftování ozdělení výše škod v nežvotním pojštění. Klasfkace zk modelování nad-úmtnost, stoen,... Stanovení pojstného Modelování IBNR Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze 6

27 Lteatua P. McCullagh, J. A. Nelde Genealzed Lnea Models, Chapman&Hall/CRC 997 J. J. Faawa Lnea Models wth R, Chapman&Hall/CRC 005 J. J. Faawa Extendng the lnea model wth R: Genealzed lnea, Mxed Effects and Nonpaametc Regesson Models, Chapman&Hall/CRC 006 S. N. Wood Genealzed Addtve Models: An Intoducton wth R, Chapman&Hall/CRC 006 J. Anděl, Statstcké metod, MatfzPess, Paha 003 D. Andeson, S. Feldblum, C. Modln, D. Schmache, E. Schmache, N. Thand A Pacttone s Gude to Genealzed Lnea Models, CAS 005 Zhjn Wu, BC05 Genealzed Lnea Models, S. Habeman, A. E. Renshaw, Genealzed Lnea Models and Actuaal Scence The Statstcan, Vol. 45, No. 4. (996), pp Nelde, J.A. & Weddebun, R.W.M.; J. R. Statst. Soc. A, 35 (97), ; Genealzed lnea models Jogensen, B.; J. R. Statst. Soc. B, 49 (987),, 7-6; Exponental Dspeson Models Renshaw, A. E. and Habeman, S.J.; Inst. Act.; 3 (986), Statstcal analss of lfe assuance lapses Wght, T.S.J. Inst. Act., 7 (990), ; A stochastc method fo clams esevng n geneal nsuance Renshaw, A. E. and Habeman, S.J.; Insu. Math. Econ. 7 (995), -7; On the gaduatons assocated wth a multple state model fo pemanent health nsuance The R Development Coe Team, R: A Language and Envonment fo Statstcal Computng, Semnář aktuáských věd , Matematcko-fzkální fakulta Unvezta Kalova v Paze 7

28 Moslav Šmuda KPMG Česká epublka, s..o msmuda@kpmg.cz The nfomaton contaned heen s of a geneal natue and s not ntended to addess the ccumstances of an patcula ndvdual o entt. Although we endeavo to povde accuate and tmel nfomaton, thee can be no guaantee that such nfomaton s accuate as of the date t s eceved o that t wll contnue to be accuate n the futue. No one should act on such nfomaton wthout appopate pofessonal advce afte a thoough examnaton of the patcula stuaton. Infomace zde obsažené jsou obecného chaakteu a nejsou učen k řešení stuace konkétní osob č subjektu. Ačkolv se snažíme zajstt, ab posktované nfomace bl přesné a aktuální, nelze zaučt, že budou odpovídat skutečnost k datu, ke kteému jsou doučen, č že budou platné v budoucnost. Bez důkladného pošetření konkétní stuace a řádné odboné konzultace b neměla na základě těchto nfomací být čněna žádná opatření. 007 KPMG Česká epublka, s..o., a Czech lmted lablt compan and a membe fm of the KPMG netwok of ndependent membe fms afflated wth KPMG Intenatonal, a Swss coopeatve. All ghts eseved. Pnted n the Czech Republc. 8