6.2 Validace nové analytické metody

Transkript

1 6. Validace nové analytické metody Vzorová úloha 6. Postup validace a regresní diagnostika Na úloze V6.4 Validace stanovení amonných iont$ v pitných vodách provete ovení þasov nenároþné metody stanovení obsahu amonných iont$ y soupravou Spektroquant, a to srovnáním se standardní metodou x stanovení amoniaku podle ýsn - ISO 75-, která je však nároþná na provedení. Pro úþely vyhodnocení se pedpokládá, åe rozptyl obsahu u standardní metody je zanedbatelný. () Vyšetete statistickou významnost úseku b (má být = ). () Odstrate z dat odlehlé hodnoty. (3) K jakým závr$m vede kombinovaný test úseku a smrnice? ešení:. Návrh modelu: navrhneme regresní model (pímky) [ Z, u kterého budeme testovat nulovou hypotézu H : =, =.. Pedbåná analýza dat: poloha a promnlivost promnných y, x se posuzuje na základ pr$mru a smrodatné odchylky hodnot kaådé promnné. Pearson$v párový korelaþní koeficient ukazuje vysokou korelaci promnných y a x. Promnná Pr$mr Smrodatná Párový korelaþní Spoþtená odchylka koeficient hladina významnosti y.443e-.996e x.48e-.848e Odhadování parametr$: klasickou metodou nejmenších þtverc$ (MNý) byly nalezeny odhady parametr$, úseku a smrnice. Student$v t-test ukázal, åe úsek (absolutní þlen) je statisticky nevýznamný, zatímco smrnice je statisticky významná, kdyå t.95(-) =.. Parametr Odhad Smrodatná H : b = vs. H : b C j A j Spoþtená odchylka t-kritérium hypotéza H je hlad. význam. b Akceptována.8 b Zamítnuta. 4. Základní statistické charakteristiky: párový korelaþní koeficient r ukazuje, åe navråený lineární regresní model je statisticky významný. Vysoká hodnota koeficientu determinace D (= 99.7 %), pedstavující procento bod$ vyhovujících regresnímu modelu, ukazuje, åe všechny body výteþn korespondují s modelem pímky. Stední kvadratická chyba predikce MEP a Akaikovo informaþní kritérium AIC se uåívají k rozlišení mezi nkolika navråenými modely. Za optimální se povaåuje model, pro který dosahuje MEP a AIC minimální hodnotu. Vícenásobný korelaþní koeficient, r : Koeficient determinace, D[%] : 99.7 Predikovaný koeficient determinace, R P :.9944 Stední kvadratická chyba predikce, MEP : 4.46E-4 Akaikovo informaþní kritérium, AIC : Regresní diagnostika: obsahuje pom$cky a postupy pro interaktivní analýzu (a) dat, (b) modelu, (c) metody, coå jsou sloåky tzv. regresního tripletu. Kritika dat: vrohodnost nalezených odhad$ parametr$, lze posoudit na základ grafu regresního modelu (obr. 6.-a). (a) Analýza klasických reziduí není píliš spolehlivá a nemusí indikovat siln odlehlé hodnoty. Grafická analýza *G XU *[ (obr. 6.-b) je schopna indikovat podezelé body, trend a heteroskedasticitu. Míry polohy a rozptýlení klasických reziduí by mly dosahovat hodnot, blízkých experimentálnímu šumu. Odhad smrodatné odchylky s(e) se totiå blíåí svou velikostí experimentální chyb, kterou je zatíåena závisle promnná. Odhad šikmosti a špiþatosti nedokazují Gaussovo normální rozdlení reziduí, normalitu.

2 DT C )TCH TGITGUPÈJQ OQFGNW #$$ DT D #PCNØ\C MNCUKEMØEJ TG\KFWÈ #$$ Bod Mená Predikovaná Smrodatná Klasické Relativní hodnota hodnota odchylka reziduum reziduum i yexp, i yvyp, i s(y vyp, i) ei er, i.5e-.493e E E E+.E-.493E E E E+ 3.E-.493E E E E+ 4 4.E-.3336E E E E+ 5.4E E- 5.39E E E+ 6 3.E E E E E E E E E E- 8.8E E- 5.37E E E+ 9 3.E- 4.73E- 5.3E E E+ 8.E E E E E+.43E-.3947E- 4.6E E-3.468E+.4E-.399E E-3.337E E-3 3.6E-.639E- 4.6E-3 -.9E E- 4 3.E-.8694E E E-.887E E E E E E E E E E E E E E E- 8.93E E- 4.98E- 6.49E-3.936E E E E- 7.6E E-3.667E+ 5.5E- 5.44E E E E+ 5.E E E E- -.9E+ Reziduální souþet þtverc$, RSC Pr$mr absolutních hodnot reziduí, M e Pr$mr relativních reziduí, M erel Odhad reziduálního rozptylu, s (e) Odhad smrodatné odchylky reziduí, s(e) Odhad šikmosti reziduí, g (e) Odhad špiþatosti reziduí, g (e) : 6.77E-3 :.937E- :.87E+ : 3.48E-4 :.83E- : E- : 5.755E+ (b) Analýza ostatních reziduí: Jackknife rezidua indikují odlehlé body, z diagonál-ních prvk$ H projekþní ii matice H a diagonálních prvk$ H mii zobecnné projekþní matice H m pouze extrémy. Ostatní druhy reziduí a kritéria v tabulce indikují obecn vlivné body (znaþeno hvzdiþkou u hodnoty). Jackknife rezidua e J,i ukazují, åe body þ. 4 a jsou odlehlé, stejn tak i Cookova vzdálenost D ; Atkinsonova vzdálenost A na þ. 4, 7, ; kritérium DF i i i na þ., vrohodnostní vzdálenosti LD(b), LD(s ) na þ. a LD(b, s ). Diagonální prvky H projekþní matice H i i i ii ukazují na extrémy þ.,, a diagonální prvky zobecnné H mii projekþní matice Hm pak na extrémy þ.. INDIKACE VLIVNÝCH BODU: (* indikuje odlehlý nebo vlivný bod) Bod Standardizované Jackknife Predikované Diagonální reziduum reziduum reziduum prvky

3 i esi eji epi Hii E E E E E E E E E E- -.67E E E E-.8353E- 9.7E E E- -.38E E E E E E E E E E E E- -.34E E E E E- 8.5E- 4.56E E E-3 7.3E-.7E-.96E- 3.78E E E E-4.854E E E E- -.53E E- 4.9E+.949E+* 3.77E E E- -.3E- -4.4E E E-.99E E E E+.983E E E E E-.358E-3.64E E- 3.76E E E E E-.994E-.48E-* E E+* E-.34E-* Bod Zobecnné diag. Cookova Atkinsonova Vliv na prvky vzdálenost vzdálenost predikci i Hmii Di Ai DFi E- 7.33E E- -.83E E- 4.36E E E E-.966E E- -.E- 4.37E E E- 3.84E- 5.74E-.446E- 5.43E E E E E E E-.639E-5.745E E E-.E E- -.68E E E E E E- 6.9E E-.95E E-.4E E E E E E-4.79E E- 3.44E E- -.48E E-.88E-*.668E E E-.534E E E E-.7389E-3.77E E E-.4563E-*.787E E E E E-.489E E-.35E E-.668E-.538E E- 9.37E-.977E E-*.679E+* 8.5E+* -.76E+* Bod Vrohodnostní vzdálenosti i LD(b) i LD(s ) i LD(b,s ) i.697e-.767e E E-5.455E-.4639E E E E- 4.5E E-5.573E E-.4E- 4.6E E-3.76E-.786E E E-.469E E E E E E E-.3749E-.6655E-.9869E-

4 .53E-3.55E-.49E-.989E E-.4593E E-4.398E-.4663E E E E E E-.46E E-3.44E-.6E E-.4454E- 6.8E E E-.5E E-.755E E E E-3.458E- 3.43E+ 9.79E+*.899E+* (c) Grafy vlivných bod (obr. 6.-) jsou schopny indikovat pítomnost odlehlých hodnot a extrém$. Graf predikovaných reziduí ukazuje na odlehlé body þ., 4, 7. Pregibon$v graf ukazuje na siln vlivný bod þ.. Williams$v graf indikuje þ. 4 a jako odlehlé body a jako extrémy þ.,. McCulloh$v-Meeter$v graf dokazuje odlehlé body þ. 4, 7, a extrémy þ.,. Koneþn L-R graf dokazuje odlehlé body þ. 4, 7, a souþasn extrém þ.. Lze uzavít, åe body þ. 4, jsou vtšinou diagnostik indikovány jako odlehlé. Obr. 6.- Grafy vlivných bod$, vlevo, graf predikovaných reziduí, a vpravo, Pregibon$v graf, ADSTAT. Obr. 6.- Grafy vlivných bod$, vlevo, Williams$v graf, a vpravo, McCulloh$v-Meeter$v graf, ADSTAT.

5 Obr. 6.- Grafy vlivných bod$, L-R graf, ADSTAT. (d) Indexové grafy (obr. 6.-3) upozorují pouze na podezelé body. Andrews$v indexový graf a graf normovaných reziduí ukazují na podezelé body þ. 4, 7 a. Indexový graf prvk$ H projekþní matice pak na podezelé extrémy þ.. Obr Indexové grafy, vlevo: Andrews$v graf, a vpravo: graf normovaných reziduí, ADSTAT. Obr Graf prvk$ H-projekþní matice, ADSTAT. (e) Rankitové grafy (obr. 6.-4) ukazují vedle normality rozdlení dotyþných reziduí i na vlivné (zde odlehlé) body.

6 Obr Rankitové grafy, vlevo, graf normovaných reziduí, a vpravo, Andrews$v graf, ADSTAT. Graf normovaných reziduí ukazuje na þ. a na þ. 7 a 4 jako na odlehlé body. Andrews$v graf pedstavuje þ. jako odlehlý bod. Graf predikovaných reziduí a graf Jackknife reziduí þ., 4, 7 jako odlehlé body. Obr Rankitové grafy, vlevo, graf predikovaných reziduí, a vpravo, graf Jackknife reziduí, ADSTAT. Model: Parciální regresní grafy a parciální reziduální grafy jsou urþeny pro vícerozmrné lineární regresní modely a nemají proto smysl u jednorozmrného regresního modelu. Vhodnost modelu se posuzuje pímo v grafu obsahujícím data a pr$bh modelové funkce. Je patrné, åe v tomto pípad je pímka akceptovatelná a data nevykazují nelineární pr$bh. Metoda: do této þásti patí vyšetení splnní základních pedpoklad$ metody nejmenších þtverc$ (MNý), za kterých by mla metoda vést k nejlepším lineárním nestranným odhad$m regresních parametr$: Fisher$v-Snedecor$v test významnosti regrese potvrdil, åe navråený model je pijat jako významný. Scottovo kritérium multikolinearity nemá smysl u jednorozmrného regresního modelu. Cook$v-Weisberg$v test heteroskedasticity dokazuje, åe rezidua vykazují heteroske-dasticitu (nekonstantnost rozptylu). Jarque$v-Berra$v test normality reziduí ukazuje, åe klasická rezidua nevykazují Gaussovo rozdlení. Wald$v test autokorelace ukazuje, åe klasická rezidua nejsou autokorelována. To by bylo totiå váåným upozornním ke zhodnocení provedeného experimentu, åe došlo k narušení podmínek. Mnohdy však m$åe zp$sobit heteroskedasticitu i jeden odlehlý bod. Znaménkový test prokazuje, åe znaménko klasických reziduí se dostateþn stídá, a proto rezidua nevykazují åádný trend. TESTOVÁNÍ REGRESNÍHO TRIPLETU (DATA + MODEL + METODA): Fisherv-Snedocorv test významnosti regrese, F exp : 73.5 Tabulkový kvantil, F -. (m-, n-m) : Závr: Navråený model je pijat jako významný. Spoþtená hladina významnosti :. Scottovo kritérium multikolinearity, M : 3.4E-5 Závr: Navråený model je korektní.

7 Cookv-Weisbergv test heteroskedasticity, S f : 9.5 Tabulkový kvantil, -. () : Závr: Rezidua vykazují heteroskedasticitu. Spoþtená hladina významnosti :. Jarquev-Berrav test normality reziduí, L(e) : Tabulkový kvantil, -. () : Závr: Normalita není pijata. Spoþtená hladina významnosti :.6 Waldv test autokorelace, W a :.5898 Tabulkový kvantil, -. () : Závr: Rezidua nejsou autokorelována. Spoþtená hladina významnosti :. Znamékový test, D t :-.887 Tabulkový kvantil, N -./ :.6449 Závr: Rezidua nevykazují trend. Spoþtená hladina významnosti :.88 Graf autokorelace (obr. 6.-5) vykazuje náhodný mrak bod$ reziduí. Graf heteroskedasticity (obr. 6.-5) vykazuje trend, klín, coå odpovídá heteroske-dasticit, nekonstantnosti rozptylu. Obr Vlevo, graf autokorelace, a vpravo, graf heteroskedasticity, ADSTAT. 6. Konstrukce zpesnného modelu: (a) Po odstranní bod$ þ. 4, 7, byly nalezeny nové odhady parametr$ zpesnného modelu. Parametr Odhad Smrodatná H : b = vs. H : b C Spoþtená j A j odchylka t-kritérium hypotéza H je hlad. význam. b Zamítnuta.8 b Zamítnuta. Zpesnný model (v závorce je uveden odhad smrodatné odchylky parametru) y =.639 (.4) (.94) x je doloåen statistickými charakteristikami: stední kvadratická chyba predikce MEP a Akaikovo informaþní kritérium AIC dosáhly niåších hodnot, þímå dokazují kvalitnjší model neå pedešlý. Vícenásobný korelaþní koeficient, r :.999 Koeficient determinace, % D : Predikovaný koeficient determinace, R P :.999 Stední kvadratická chyba predikce, MEP : 6.534E-5 Akaikovo informaþní kritérium, AIC : Rezidua nyní vykazují normální rozdlení a nevykazují trend, stále však vykazují heteroskedasticitu, a proto lze doporuþit uåití metody váåených nejmenších þtverc$. (b) Uåitím statistické váhy (w i= /y i ) kompenzujeme heteroskedasticitu v datech. Obdråíme nové správnjší odhady parametr$. Parametr Odhad Smrodatná H : b = vs. H : b C j A j Spoþtená odchylka t-kritérium hypotéza H je hlad. význam. b Akceptována.97

8 b Zamítnuta. Opravený model má tvar, (v závorce je vådy uveden odhad smrodatné odchylky parametru): y =.3 (.97) (.73) x. Jelikoå došlo ke sníåení rozhodujících kritérií, stední kvadratické chyby predikce MEP a Akaikova informaþního kritéria AIC, lze povaåovat tyto odhady za lepší neå pedešlé. Pearson$v korelaþní koeficient r, a tím pádem i koeficient determinace D vychází nepatrn horší neå u pedešlého odhadu bez statistické váhy. Vícenásobný korelaþní koeficient, r : Koeficient determinace, % D : 9.87 Predikovaný koeficient determinace, R P :.9337 Stední kvadratická chyba predikce, MEP : 5.79E-5 Akaikovo informaþní kritérium, AIC : Zhodnocení kvality modelu: nalezený model má tvar (v závorce je vådy uveden odhad smrodatné odchylky parametru) y =.3 (.97) (.73) x a intervalový odhad parametr$ úseku a smrnice bude a po dosazení vyjde D V &D D V &D Tento interval spolehlivosti úseku regresní pímky zahrnuje nulu, takåe lze úsek povaåovat za nulový. Analogicky dosazením do intervalu spolehlivosti smrnice obdråíme nerovnost a po vyþíslení Jelikoå tento interval obsahuje jedniþku, lze povaåovat smrnici za jednotkovou. Lze uzavít, åe úsek regresní pímky lze povaåovat za nulový = a smrnice není významn odlišná od jedniþky. Výsledky nové metody se proto statisticky významn neliší od metody standardní.