kovů v sedimentech řeky Moravy

Transkript

1 Smíšené regresní modely při sledování obsahu těžkých kovů v sedimentech řeky Moravy Marie Forbelská Masarykova univerzita Brno Přírodovědecká fakulta Ústav matematiky a statistiky Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

2 Obsah 1 Skupinově závislá data 2 Jednoduché modely 3 Obecná definice LMM modelů 4 Odhady parametrů 5 Jednoduchý model pro reálná data Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

3 Skupinově závislá data Skupinově závislá data Klasické statistické metody se obvykle zajímají buď nezávislými pozorováními nebo časovými řadami V praxi se však občas setkáváme s daty, která se sestávají z nezávislých skupin vzájemně závislých pozorování. Ke správné a efektivní analýze takových dat potřebujeme speciální a zatím relativně málo známé metody. Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

4 Skupinově závislá data Typy skupinově závislých dat Skupinově závislá data lze zhruba rozdělit do tří skupin 1 čistě skupinová data pozorování, který se týkají skupin vzájemně spřízněných a souvisejících objektů či subjektů, např. pozorování na členech jedné rodiny či sourozencích na výrobcích pocházejících ze stejné dílny na plodinách sklizených z různých částí téhož pole 2 opakovaná měření učiněná na téže jednotce 3 longitudinální data opakovaná měření probíhající v čase Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

5 Specifikace skupin Skupinově závislá data 1 Čistě skupinová data vyznačují se tím, že nemají žádné přirozené uspořádání mezi jednotlivými závislými měřeními. 2 Opakovaná měření pozorování jsou uspořádána podle pořadí: první, druhé, třetí... 3 Longitudinální data navíc poskytují informaci o čase měření; podobají se pozorováním kratších úseků nezávislých časových řad. Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

6 Skupinově závislá data Cíle modelování skupinově závislých dat Modelovat závislost jejich středních hodnot a rozptylu na experimentálních podmínkách, při nichž byla učiněna jednotlivá měření na pozorovaných charakteristikách experimentálních objektů Tato formulace vede k problému regresního modelování po skupinách korelovaných pozorování. jako funkce experimentálních podmínek charakteristik měřených objektů rizikových faktorů, apod. Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

7 Skupinově závislá data Matematická formulace problému Značení index j (j = 1,..., N) označení nezávislé experimentální jednotky (skupiny, subjekty) dvojice indexů ji (i = 1,..., n j ) označení pro korelovaná pozorování na j-té jednotce n = N celkový počet pozorování n j j=1 Y ji = β 0 + x ji1 β x jip β p + ε ji měření, kde ε ji regresní model pro ji-té náhodné odchylky s nulovou střední hodnotou a pro něž C(ε ji, ε j i ) = 0 pro j j, ale C(ε ji, ε ji ) může být nenulové. Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

8 Skupinově závislá data Maticový zápis pro j -tou jednotku Y j = X j β + ε j Y j = (Y j1,..., Y jnj ) vektor opakovaných měření na j -té jednotce x j1 1 X j =.., kde x x ji1 (nenáhodná) ji = matice plánu. pro j -tou jednotku x jn j x jip ε j = (ε j1,..., ε jnj ) N nj (0, σ 2 Σ j ) vektor náhodných chyb pro j -tou jednotku β = (β 0,..., β p ) vektor neznámých parametrů Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

9 Skupinově závislá data Společný maticový zápis Y = Xβ + ε, kde ε N n (0, Σ) Y = Y 1. Y N, X = X 1. X N Σ Σ = σ Σ N, ε = ε 1. ε N, Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

10 Skupinově závislá data Náhodné efekty a lineární smíšený model Znovu předpokládáme model Y j = X j β + ε j, ε j N nj (0, σ 2 Σ j ) Rozptylová matice určující korelace mezi Y ji a Y ji kde není diagonální varε j = V j = σ 2 Σ j = V j (ψ) a lineární smíšený model odhaduje vektor parametrů ψ z pozorovaných dat (tj. na základě prediktorů) společně s regresními parametry β. Parametrizace rozptylu může mít několik komponent, mezi nimiž hrají důležitou roli náhodné efekty. Dále na jednoduchém motivačním příkladu ukážeme, jak fungují náhodné efekty v případě lineárního růstového modelu. Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

11 Jednoduché modely Jednoduché příklady Uvažujme lineární růstový model Y ji = β 0 + β 1 t ji + ε ji, kde EY ji = β 0 + β 1 t ji a t ji je čas i -tého pozorování subjektu j. Pokud například odezvu Y ji interpretujeme jako výšku sledovaného subjektu (člověka, stromu, apod.) v čase t ji, pak parametr β 0 β 1 označuje průměrnou výšku v čase 0 a je průměrný přírůstek za jednotku času. Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

12 Jednoduché modely Náhodný absolutní člen Předpokládejme, že sledovaní jedinci mají tendenci být buď systematicky vyšší nebo systematicky nižší než průměr, a to po celou dobu sledování. Proto pro j -tý subjekt zavedeme nepozorovanou náhodnou odchylku od průměru b 0 N(0, σ 2 0 ). Pak model upravíme takto Y ji = β 0 + β 1 t ji + b 0 + η ji, kde } {{ } ε ji η ji iid N(0, σ 2 ) a η ji b 0. Pak R(Y ji, Y ji )=R(ε ji, ε ji )= C(ε ji,ε ji Dεji Dεji = (b0+η ji,b 0+η ji ) = Db0 b0+η ji b0+η ji Db 0+Dη ji = σ2 0 > 0 σ0 2+σ2 Navíc pořád bude platit EY ji = β 0 + β 1 t ji Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

13 Jednoduché modely Náhodný absolutní člen i směrnice Nyní budeme předpokládat, že sledovaní jedinci se liší nejen polohou, ale i směrnicí růstu. Zavedeme navíc nepozorovanou náhodnou veličinu b 1 N(0, σ 2 1 ). Pak model upravíme takto Y ji = β 0 + β 1 t ji + b 0 + b 1 t ji + η ji, kde } {{ } ε ji η ji, b 0, b 1 jsou nezávislé náhodné veličiny. Pak C(Y ji, Y ji )=C(ε ji, ε ji )=C(b 0 +b 1 t ji +η ji, b 0 +b 1 t ji +η ji ) a vidíme, že v =Db 0 + t ji t ji Db 1 = σ0 2 + t jit ji σ1 2 > 0 modelu s náhodnou směricí jak rozptyl Y ji, tak kovariance mezi Y ji a Y ji rostou s časem. Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

14 Obecná definice LMM modelů Lineární smíšený model (Linear Mixed Model LMM) Obecný model s náhodnými efekty zobecňuje princip, který jsme ilustrovali zavedením náhodného absolutního členu a náhodné směrnice. Uvažujme náhodné parametry pro jakékoli prediktory. Dostaneme model Y j = X j β + Z j b j + η j, kde } {{ } ε j matice plánu X j je typu n j k (k = p + 1) a Z j je typu n j q, vektor pevných efektů β je typu k 1 vektor náhodných efektů b j N q (0, D) je typu q 1 η j N nj (0, σ 2 Σ j ), oba normální vektory b j a η j jsou nezávislé. Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

15 Obecná definice LMM modelů Varianční struktura LMM Zavedením náhodných efektů modelujeme rozptyl V j = DY j = Dε j = D(Z j b j + η j ) = Z j DZ j + σ2 Σ j (a tím i korelace mezi Y ji a Y ji ) Pro longitudinální data přidáme autoregresní složku W j (t), tj. ε j = Z j b j + W j (t) + η j, kde W j (t) je vektor hodnot autoregresního procesu v časech t = (t j1,..., t jnj ) s rozptylem τ 2 a korelační funkcí R(W j(s 1), W j(s 2))=e φ s 1 s 2 Pak autokorelační složka vnáší do modelu pozitivní korelace, které klesají se vzrůstajícím rozdílem času. Časově blízká pozorování jsou pak více korelovaná, než pozorování vzdálená. Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

16 Odhady parametrů Odhady parametrů v LMM modelech Parametry LMM modelu se odhadují za předpokladu, že všechny složky náhodné chyby mají mnohorozměrné normální rozdělení. Označíme-li neznámé parametry matice V j jako ψ a budeme-li předpokládat, že je známe, pak ML odhad 1 N N β = X jv 1 j X j X jv 1 j Y j (1) j=1 Lze ukázat, že jde o nejlepší nestranný lineární odhad (Best Linear Unbiased Estimator, BLUE) pro β, kde nejlepší znamená, že má minimální střední kvadratickou chybu. j=1 Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

17 Odhady parametrů BLUP odhady náhodných efektů Chceme li predikovat náhodné efekty, použijeme podmíněnou střední hodnotu E(b j Y j ) Za předpokladu, že ψ známe dostaneme b j = DZ jv 1 j (Y j X j β), (2) Lze ukázat, že jde o nejlepší nestranný lineární prediktor (Best Linear Unbiased Predictor, BLUP) pro b j, kde nejlepší je opět ve smyslu minimální střední kvadratické chyby. Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

18 ML (REML) odhady ψ Odhady parametrů Odhad parametrů ψ se provádí pomocí metody maximální věrohodnosti (ML-odhad, l 1 ), popř. REML (Restricted Maximum Likelihood, l 2 ). N N l 1(ψ; y 1,..., y N )= c 1 1 log( V 2 j ) 1 2 j=1 j=1 N N l 2(ψ; y 1,..., y N )= c 2 1 log( V 2 j ) 1 2 kde r j = y j X j j=1 N 1 2 j=1 ( N j=1 j=1 r j V 1 j r j (3) r j V 1 j r j log( X jv 1 j X j ) (4) X j V 1 j X j ) 1 ( N c 1 a c 2 jsou vhodné konstanty. j=1 X j V 1 j y j ) 1 Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

19 Odhady parametrů Numerické výpočty Rovnice (3) a (4) se maximalizují iterativně (Fisher scoring, Newton Raphson, více viz Demidenko, 2004). V rovnicích (1) a (2) se neznámé ψ nahradí ψml nebo ψ REML, v tom případě mluvíme o empirickém BLUE odhadu pro β, popř. empirickém BLUP odhadu pro b j Pro testování fixních efektů, náhodných efektů a variančních komponent se využívají testy poměrem věrohodností nebo Waldovy testy (více Verbeke and Molenberghs, 2000). Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

20 Predikce Odhady parametrů Prediktor pro podmíněnou střední hodnotu E(Y j b j ) = µ j bj = X j β + Z j b j dostaneme po dosazení příslušných odhadů do rovnic (1) a (2) µ j bj = X j β + Zj bj = X j β + Zj DZ j V 1 j (Y j X j β) = (I nj Z j DZ j V 1 j )X j β + Zj DZ j V 1 j Y j = Σ j V 1 j X j β + (Inj Σ j V 1 j X j )Y j. Vidíme, že výraz µ j bj je váženým průměrem X j β (vztahující se k celé populaci) a Y j (vztahující se k subjektu j ). Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

21 Jednoduchý model pro reálná data Dlouhodobé sledování obsahu prioritních a dalších nebezpečných látek v sedimentech řeky Moravy v letech V nejvíce zatížených úsecích, situovaných v podélném profilu řeky Moravy mezi 298. a 93. říčním kilometrem, bylo sledováno více než 50 ukazatelů ze skupin těžké kovy, polychlorované bifenyly (PCB), organochlorované pesticidy (OCP) a polyaromatické uhlovodíky (PAU). Příklad prezentuje první výsledky účelového sledování a následného statistického zhodnocení časového vývoje obsahu prioritních a dalších nebezpečných látek v sedimentech řeky Moravy, a to v letech Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

22 Jednoduchý model pro reálná data Specifikace sběru dat Vzorky sedimentů byly odebírány v 7 lokalitách v podélném profilu řeky Moravy 1. Šumperk pod 5. Uherské Hradiště pod 2. Olomouc pod 6. Hodonín pod 3. Kroměříž pod 7. Lanžhot pod 4. Otrokovice pod ze dna tzv. brodící metodou pomocí ručního vzorkovače na tyči. Část předupraveného vzorku pak byla uřčena ke stanovení těžkých kovů olova (Pb), rtuti (Hg), kadmia (Cd) a niklu (Ni). Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

23 Jednoduchý model pro reálná data Model Y ji = β 0 + β 1 t ji + ε ji = β 0 + β 1 t ji + b j0 + η ji } {{ } ε ji lokality j = 1,..., 7 η ji N(0, σ 2 j ) (heteroskedastický) b j0 N(0, σ 2 b ) počty pozorování uvnitř lokalit n j lokalita Šumperk pod Olomouc pod Kroměříž pod Otrokovice pod Uherské Hradiště pod Hodonín pod Lanžhot pod Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

24 Olovo Pb Jednoduchý model pro reálná data Morava Šumperk pod Morava Olomouc pod 300 Morava Kroměříž pod Morava Otrokovice pod Pb[mg/kg] Morava Uherské Hradiště pod Morava Hodonín pod Morava Lanžhot pod Morava Šumperk pod Morava Olomouc pod year Morava Kroměříž pod Morava Otrokovice pod 5 logpb[mg/kg] Morava Uherské Hradiště pod Morava Hodonín pod Morava Lanžhot pod year Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

25 Rtuť Hg Jednoduchý model pro reálná data Morava Šumperk pod Morava Olomouc pod Morava Kroměříž pod Morava Otrokovice pod Hg[mg/kg] Morava Uherské Hradiště pod Morava Hodonín pod Morava Lanžhot pod year 1 Morava Šumperk pod Morava Olomouc pod Morava Kroměříž pod Morava Otrokovice pod loghg[mg/kg] 3 Morava Uherské Hradiště pod Morava Hodonín pod Morava Lanžhot pod year Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

26 Kadmium Cd Jednoduchý model pro reálná data Morava Šumperk pod Morava Olomouc pod 4 3 Morava Kroměříž pod Morava Otrokovice pod Cd[mg/kg] Morava Uherské Hradiště pod Morava Hodonín pod Morava Lanžhot pod year Morava Šumperk pod Morava Olomouc pod Morava Kroměříž pod Morava Otrokovice pod logcd[mg/kg] 3 Morava Uherské Hradiště pod Morava Hodonín pod Morava Lanžhot pod year Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

27 Nikl Ni Jednoduchý model pro reálná data Ni[mg/kg] Morava Šumperk pod Morava Uherské Hradiště pod Morava Olomouc pod Morava Hodonín pod Morava Kroměříž pod Morava Lanžhot pod 100 Morava Otrokovice pod year Morava Šumperk pod Morava Olomouc pod Morava Kroměříž pod Morava Otrokovice pod logni[mg/kg] 2.5 Morava Uherské Hradiště pod Morava Hodonín pod Morava Lanžhot pod year Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

28 Jednoduchý model pro reálná data Výpočet v prostředí R library(nlme) t <- year model<-lme(y~t,data,random=~1 locality, weights=varident(form=~1 locality), na.action = na.omit) summary(model) Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

29 Olovo - Pb Jednoduchý model pro reálná data Linear mixed-effects model fit by REML Data: data AIC BIC loglik Random effects: Formula: ~1 locality (Intercept) Residual StdDev: Variance function: Structure: Different standard deviations per stratum Formula: ~1 locality Parameter estimates: Morava - Šumperk pod Morava - Olomouc pod Morava - Kroměříž pod Morava - Otrokovice pod Morava - Uherské Hradiště pod Morava - Hodonín pod Morava - Lanžhot pod Fixed effects: y ~ t Value Std.Error DF t-value p-value (Intercept) t Correlation: (Intr) t Standardized Within-Group Residuals: Min Q1 Med Q3 Max Number of Observations: 149 Number of Groups: 7 Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

30 Olovo - Pb Jednoduchý model pro reálná data Morava Šumperk pod Morava Olomouc pod Morava Kroměříž pod Morava Otrokovice pod log(pb) 2 Morava Uherské Hradiště pod Morava Hodonín pod Morava Lanžhot pod year 2003 OLS fitted curve river averaged curve location specific curve Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

31 Rtuť - Hg Jednoduchý model pro reálná data Linear mixed-effects model fit by REML Data: data AIC BIC loglik Random effects: Formula: ~1 locality (Intercept) Residual StdDev: Variance function: Structure: Different standard deviations per stratum Formula: ~1 locality Parameter estimates: Morava - Šumperk pod Morava - Olomouc pod Morava - Kroměříž pod Morava - Otrokovice pod Morava - Uherské Hradiště pod Morava - Hodonín pod Morava - Lanžhot pod Fixed effects: y ~ t Value Std.Error DF t-value p-value (Intercept) t Correlation: (Intr) t Standardized Within-Group Residuals: Min Q1 Med Q3 Max Number of Observations: 145 Number of Groups: 7 Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

32 Rtuť - Hg Jednoduchý model pro reálná data Morava Šumperk pod Morava Olomouc pod Morava Kroměříž pod Morava Otrokovice pod log(hg) Morava Uherské Hradiště pod Morava Hodonín pod Morava Lanžhot pod year 2003 OLS fitted curve river averaged curve location specific curve Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

33 Kadmium - Cd Jednoduchý model pro reálná data Linear mixed-effects model fit by REML Data: data AIC BIC loglik Random effects: Formula: ~1 locality (Intercept) Residual StdDev: Variance function: Structure: Different standard deviations per stratum Formula: ~1 locality Parameter estimates: Morava - Šumperk pod Morava - Olomouc pod Morava - Kroměříž pod Morava - Otrokovice pod Morava - Uherské Hradiště pod Morava - Hodonín pod Morava - Lanžhot pod Fixed effects: y ~ t Value Std.Error DF t-value p-value (Intercept) e+00 t e-04 Correlation: (Intr) t 0.01 Standardized Within-Group Residuals: Min Q1 Med Q3 Max Number of Observations: 149 Number of Groups: 7 Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

34 Kadmium - Cd Jednoduchý model pro reálná data Morava Šumperk pod Morava Olomouc pod Morava Kroměříž pod Morava Otrokovice pod log(cd) 3 Morava Uherské Hradiště pod Morava Hodonín pod Morava Lanžhot pod year 2003 OLS fitted curve river averaged curve location specific curve Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

35 Nikl - Ni Jednoduchý model pro reálná data Linear mixed-effects model fit by REML Data: data AIC BIC loglik Random effects: Formula: ~1 locality (Intercept) Residual StdDev: Variance function: Structure: Different standard deviations per stratum Formula: ~1 locality Parameter estimates: Morava - Šumperk pod Morava - Olomouc pod Morava - Kroměříž pod Morava - Otrokovice pod Morava - Uherské Hradiště pod Morava - Hodonín pod Morava - Lanžhot pod Fixed effects: y ~ t Value Std.Error DF t-value p-value (Intercept) t Correlation: (Intr) t Standardized Within-Group Residuals: Min Q1 Med Q3 Max Number of Observations: 105 Number of Groups: 7 Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36

36 Nikl - Ni Jednoduchý model pro reálná data Morava Šumperk pod Morava Olomouc pod Morava Kroměříž pod Morava Otrokovice pod log(ni) Morava Uherské Hradiště pod Morava Hodonín pod Morava Lanžhot pod year 2003 OLS fitted curve river averaged curve location specific curve Marie Forbelská (MU ÚMS) LMM obsah těžkých kovů v řece Moravě / 36