SEMESTRÁ LNÍ PRÁ CE Licenč ní studium STATISTICKÉZPRACOVÁ NÍ DAT PŘ I KONTROLE A Ř ÍZENÍ JAKOSTI Předmě t KALIBRACE A LIMITY JEJÍ PŘ ESNOSTI Ú stav experimentá lní biofarmacie, Hradec Krá lové Ing. Martina Růžičková Strana 1
Příklad 1. Lineá rní kalibrace Zadá ní: Akreditovaná kalibrač ní laboratoř provedla kalibraci skleně né ho tyč inkové ho teploměru o rozsahu 10 až +100 C. Při experimentá lním pokusu byly teploměrem změřeny teploty 53, 66 a 78 C. Pomocí lineá rní kalibrace urč ete skuteč né hodnoty teplot. Data: údaje etalonu [ C] údaje teploměru [ C] 60 60,09 70 70,13 80 80,13 90 90,09 100 100,61 Program: ADSTAT 1.25, moduly: 1. Lineá rní regrese, program Regresní diagnostika, metoda nejmenších č tverců 2. Kalibrace Řešení a obrá zky: 1. Kritika dat Při kritice dat se sleduje se především výskyt vlivných bodů, které jsou zdrojem řady problé mů (např. zkreslení odhadů, rů st rozptylů ). Podle výskytu dělíme vlivné body na vyboč ující body (vyskytují se na ose y a liší se od ostatních) a extré my (ty se liší hodnotami na ose x). Mohou se vyskytnout body, které jsou zároveň vyboč ujícími i extré my. Při kritice dat používá me jednak grafické diagnostiky, které podá vají nejpřesně jší výsledky. Dá le používá me analýzu statistických reziduí a diagoná lních prvků H ii projekč ní matice a ostatní charakteristiky. 1.1. GRAFICKÉ DIAGNOSTIKY. Grafické diagnostiky lze rozdělit do několik skupin: a) Grafy vlivných bodů tyto grafy kombinují různé typy reziduí s prvky projekční matice H. Strana 2
Graf peredikovaný ch reziduí. Na osu x se vynáší klasická rezidua a na osu y predikovaná rezidua. Vyboč ující body leží na přímce y = x, jsou však dostateč ně vzdá leny od ostatních bodů a extré my leží mimo tuto přímku. Graf identifikuje jako extré my body 1, 4 a 5. Williamsův graf. Na osu x se vynáší přímo prvky projekč ní matice H a na osu y Jeckknife rezidua. V grafu jsou zakresleny mezní linie pro vyboč ující body i pro extré my. Graf identifikuje jako vyboč ující bod 5. Strana 3
Pregibonů graf. Na osu x se vynáší přímo prvky projekč ní matice H na osu y č tverce normovaných reziduí. Dvě hranič ní přímky rozlišují pouze body silně vlivné a středně vlivné, ale nerozliší zda se jedná o vyboč ující body nebo extré my. Grafu neidentifikuje žá dné vlivné body. McCulloh-Meeterův graf. Na osu x se vynáší přirozený logaritmus z výrazu [H ii /m(1-h ii )] a na osu y logaritmus č tverce standardizovaných reziduí. Vyboč ující body a extré my jsou v tomto případě rozlišeny liniemi v grafu. Graf identifikuje jako vyboč ující bod 5 a body 1, 4 jako podezřelé z vyboč ová ní a extré mu. Strana 4
L-R graf. Na osu x se vynáší č tverec normovaných reziduí a na osu y prvky projekč ní matice. Všechny body leží pod přeponou pravoúhlé ho trojúhelníka. Vyboč ující body leží v horní části u přepony. Graf identifikuje body 4, 5 jako extré my a vyboč ující body a bod 1 jako extré m. b) indexové grafy upozorň ují pouze na podezřelé body. Andrewsův graf. Graf identifikuje jako podezřelý bod 5. Strana 5
Graf normovaný ch reziduí. Na osu x se vynáší pořadový index a na osu y normovaná rezidua. Graf identifikuje jako podezřelé body 4 a 5. Projekce H ii. Na osu x se vynáší pořadový index a na osu y prvky projekč ní matice H ii. Graf identifikuje dva podezřelé body 1,5. Strana 6
c) rankitové grafy ukazují vedle normality rozdělení dotyč ných reziduí i na vlivné body. Graf normovaný ch reziduí. Na osu x se vynáší kvantily normované ho normá lního rozdělení u p pro P i =i/(n+1) a na osu y pořadové statistiky normovaných reziduí (pořadové statistiky = vzestupně setřídě né hodnoty reziduí). Graf identifikuje jako vyboč ující body 4, 5. Andrewsův graf. Graf identifikuje jako vyboč ující bod 5. Strana 7
Graf predikovaný ch reziduí. Na osu x se vynáší kvantily normované ho normá lního rozdělení u p pro P i =i/(n+1) a na osu y pořadové statistiky predikovaných reziduí. Graf identifikuje jako vyboč ující body 4 a 5. Graf Jackknife reziduí. Na osu x se vynáší kvantily normované ho normá lního rozdělení u p pro P i =i/(n+1) a na osu y pořadové statistiky Jeckknife reziduí. Graf identifikuje jako vyboč ující bod 5. Strana 8
Zá věr: Grafické diagnostiky jednoznač ně identifikovaly 3 vlivné body. Bod 1 označ ily jako extré m a body 4, 5 jako vyboč ující. 1.2. STATISTICKÁ ANALÝZA REZIDUÍ. Protože klasická rezidua u lineá rních regresních modelů jsou korelovaná, s nekonstantním rozptylem, jeví se normá lně jší a nemusí indikovat silně odlehlé body, používají se pro analýzu další druhy reziduí: Normovaná rezidua vypoč ítají se jako podíl klasických reziduí a smě rodatné odchylky. Je-li normované reziduum větší jak 3, značí to vlivný bod. Standardizovaná rezidua - vypoč ítají se jako podíl klasických reziduí a smě rodatné odchylky. Indikují heteroskedasticitu. Jackknife rezidua jsou běžně používá na k identifikaci vyboč ujících bodů, v případě extré mů nemusí být také spolehlivé. Predikovaná rezidua slouží k identifikaci vyboč ujících bodů. Rekurzivní rezidua jediná nekorelovaná rezidua. Umožň ují identifikovat nestabilitu modelu např. v čase. Často se používají při testech normality nebo stability regresních koeficientů. Slouží k detekci autokorelace. Ani jediné reziduum neidentifikuje extré my, k tomu slouží diagoná lní prvky projekční matice H ii. Indikace vlivných bodů (hvězdič ka indikuje vlivné body): Bod Standardizované Jackknife Predikované Diagoná lní prvky i reziduum reziduum Reziduum H ii matice 1 0,68735 0,61143 0,200 0,6 2 0,12989 0,10635 0,029 0,3 3-0,48603-0,41345-0,100 0,2 4-1,42880-2,06410-0,314 0,3 5 1,71840 11,181* 0,500 0,6 Zá věr: Jackniffe rezidua urč ují, které body jsou vyboč ující. V našem případě identifikovaly za vyboč ující bod 5. 1.3. OSTATNÍCHARAKTERISTIKY VLIVNÝCH BODŮ Software ADSTAT umožň uje ještě charakterizovat vlivné body pomocí dalších parametrů : Cookova vzdá lenost D[i] je nejzná mě jší skalá rní míra. Vyjadřuje posun odhadů vynechá ním i-té ho bodu. Je-li vzdá lenost větší jak 1, posun přesahuje 50%ní konfidenč ní oblast a daný bod je vlivný. Atkinsonova vzdá lenost A[i] opět se jedná o skalá rní míru. Je zde zvýrazněna citlivost regrese na extré my. Vliv na predikci DF[i] charakterizuje vliv jednotlivých bodů na predikci. Orientač ně platí, že pokud je hodnota DF větší jak dvojná sobek odmocniny z podílu poč tu parametrů a poč tu bodů, považuje se bod za vlivný. Strana 9
Věrohodnostní vzdá lenost LD existují 3 varianty vě rohodnostní vzdá lenosti lišící se, zda vyšetřují vliv i-té ho bodu na odhady parametrů (LD(b)[i]), rozptyl chyb (LD(δ 2 )[i]) nebo kombinaci obojího (LD(b,δ 2 )[i]). Indikace vlivných bodů (hvězdič ka indikuje vlivné body): Bod Zobecněné diagon. Cookova Atkinsonova Vliv na predikci i prvky H ii matice vzdá lenost Vzdá lenost 1 0,69299 0,35434* 0,9171 0,7488 2 0,30394 0,00362 0,0853 0,0696 3 0,26299 0,02953 0,2532-0,2067 4 0,77638 0,43749* 1,6550* -1,3513* 5 0,99370 2,21420* 16,7710* 13,6940* Vě rohodnostní vzdá lenosti Bod i LD(b)[i] LD(d 2 )[i] LD(b,d 2 )[i] 1 1,0600 0,00659 1,1281 2 0,0120 0,11014 0,1198 3 0,0975 0,04753 0,1333 4 1,2796 2,93120 6,5830 5 4,5340 229,38* 604,41* Zá věr: Diagnostiky označ ily tři vlivné body 1, 4 a 5. 1.4. ZÁ VĚR Za vyboč ující byl stanoven bod 5. Vlivné body jsou velice problematické při analýzá ch, proto je žá doucí jejich odstranění ze souboru hodnot. Vzhledem k tomu, že základní soubor obsahuje pouze 5 hodnot, při eliminaci tohoto bodu budeme posuzovat statistické parametry (viz dá le). Za extré m byl stanoven bod 1, který ovšem není problematický při analýzá ch a ze zá kladního souboru ho nemusíme odstraň ovat. Bod 4 byl označ en jako vlivný bod, ale diagnostiky se neshodují v hodnocení, zda se jedná o vyboč ující bod nebo o extré m. 2. Eliminace vybočujících bodů Při eliminaci bodů zá kladního souboru sledujeme 3 statistické charakteristiky: Akaikeho informační kriterium, AIC model s nejnižší hodnotou kriteria je nejoptimá lně jší. Pokud je kriterium zá porné, tak je optimá lní model se zá porně jší hodnotou. Střední kvadratická chyba predikce, MEP využívá predikce z odhadu, při jehož konstrukci je informace o i-té m bodu vypuštěna. Optimá lní je model s nejnižší hodnotou MEP. Predikovaný koeficient determinace, R p 2 vzniká záměnou MEP za RSC při výpoč tu koeficientu determinace. Optimá lní je model s nejvyšší hodnotou tohoto koeficientu. Strana 10
Pokud při eliminaci vyboč ujícího bodu dojde k zlepšení hodnot těchto statistik, je příslušná eliminace vhodná. Po eliminaci bodu 5 získá me ná sledující statistické charakteristiky (v zá vorce jsou uvedeny hodnoty statistik před eliminací bodu): Predikovaný koeficient determinace, R 2 p : 0,99999 (0,9980) Střední kvadratická chyba predikce, MEP: 0,00263 (0,0799) Akaikeho informační kriterium, AIC: -27,296 (-15,48) Oproti původním hodnotá m došlo ke zlepšení. Charakteristiky AIC a MEP se snížily a charakteristika R p 2 vzrostla. To značí, že eliminace bodu 5 je žá doucí. Po eliminaci bodu 4 získá me ná sledující statistické charakteristiky (v zá vorce jsou uvedeny hodnoty statistik před eliminací bodu): Predikovaný koeficient determinace, R 2 p : 0,99999 (0,99999) Střední kvadratická chyba predikce, MEP: 0,0011998 (0,00263) Akaikeho informační kriterium, AIC: -23,985 (-27,296) 2 Charakteristika R p zů stala stejná, charakteristika MEP se snížila, ale charakteristika AIC se zvýšila. Protože eliminace bodu 4 nevede k tak významné mu vylepšení charakteristik a poč et dat v zá kladním souboru by se po eliminaci bodu 4 snížil na pouhé 3 body, bude bod 4 ponechá n v souboru zá kladních hodnot. 3. Kalibrace Pomocí regresní diagnostiky bylo stanoveno, že bod 5 [100; 100,61] nebude zařazen do hodnocení. Kalibrač ní přímka byla sestrojena z ná sledujících hodnot: údaje etalonu [ C] údaje teploměru [ C] 60 60,09 70 70,13 80 80,13 90 90,09 Statistické charakteristiky promě nných: Proměnná : Průměr: Směrodatná odchylka: Variač ní koeficient: x 75,00 12,91 17,213 Korelač ní koeficient: 1,0 y 75,11 12,91 17,188 Parametry kalibrace: Parametr: Odhad: Směrodatná Test H o : B[j] = 0 vs. HA: B[j] <>0 odchylka: t-kriterium Hypoté za Ho je Hlad. vý z.: úsek 0,11 0,09591 1,1469 Akceptová na 0,37 směrnice 1,00 0,00126 790,59 Zamítnuta 0,00 Strana 11
Daty lze proložit přímku, to znač í, že se jedná o lineá rní kalibraci. Kvalitou proložené ho kalibrač ního grafu je mimo tuto grafickou analýzu ještě statistická analýza reziduí. Hodnota odhadu směrodatné odchylky reziduí je poměrně malé číslo, což značí těsnost proložení. Statistická analýza reziduí: Bod Měřená Predikovaná Absolutní Relativní i hodnota hodnota reziduum reziduum 1 60,09 60,11 0,01999 0,03328 2 70,13 70,11-0,01999-0,02852 3 80,13 80,11-0,02-0,02496 4 90,09 90,11 0,02 0,02220 Reziduá lní součet čtverců, RSC: 0,001599 Průměr absolutních hodnot reziduí, Me: 0,020 Průměr relativních hodnot reziduí, Mer: 0,027 Odhad reziduá lního rozptylu, s 2 (e): 0,000799 Odhad směrodatné odchylky reziduí, s(e): 0,028280 Přesnost kalibrace je dá le vyjá dřena 3 hodnotami: Kritická úroveň také zvaná slepá pokus, představuje horní mez 95 % intervalu spolehlivosti predikce signá lu pro hodnotu x = 0. Nad touto hodnotou lze signá l odlišovat od šumu. Limita detekce odpovídá hodnotě x, pro kterou je dolní mez 95 % intervalu spolehlivosti predikce signá lu rovna kritické úrovni. Limita stanovení nejmenší hodnota signá lu, pro kterou je relativní smě rodatná odchylka predikce dostateč ně malá a rovna číslu C (obvykle 0,1). Kalibrač ní meze: Kalibrační úroveň: y c = 0,52269 x c = 0,41269 Limita detekce: y d = 0,93096 x d = 0,82095 Mez stanovitelnosti y s = 0,99998 x s = 0,88997 Strana 12
Pomocí sestrojené ho kalibrač ního modelu urč íme skuteč né hodnoty teplot změřené při experimentu na tyč inkové m skleněné m teploměru. Kalibrač ní tabulka: Měřená Přímý Naszodiho Konfidenč ní interval hodnota odhad odhad dolní mez horní mez 53 52,89 52,89 52,71 53,07 66 65,89 65,89 65,75 66,04 78 77,89 77,89 77,75 78,03 4. Zá věr Pomocí lineá rní kalibrace byly zjiště ny skuteč né hodnoty teplot namě řené při experimentu. Pě t hodnot teplot získaných akreditovanou kalibrač ní laboratoří při kalibraci teplomě ru pomocí etalonů, bylo podrobeno regresní diagnostice. Ta označ ila bod 5 o souřadnicích [100; 100,61] jako vyboč ující. Tento bod tedy nebyl zařazen do kalibrač ního modelu. Po sestrojení kalibrač ního modelu (přímky) byly softwarem ADSTAT vypoč teny bodové odhady skuteč ných teplot a příslušné intervalové odhady, u kterých můžeme s 95 % jistotou tvrdit, že nezná má hodnota leží prá vě v nich. Bodové odhady jsou ná sledující: Změřená teplota [ C] Bodový odhad teploty [ C] 53 52,89 66 65,89 78 77,89 Intervalové odhady jsou ná sledující Změřená teplota [ C] Intervalový odhad teploty [ C] 53 52,71 53,07 66 65,75 66,04 78 77,75 78,03 Literatura: 1. M. Meloun, J. Militký: Statistické zpracová ní experimentá lních dat. Plus s.r.o. Praha, 1995, str. 338. 2. M. Meloun, J. Militký: Statistické zpracová ní experimentá lních dat. Plus s.r.o. Praha, 1995, str. 380-387. Strana 13
Příklad 2. Nelineá rní kalibrace Zadá ní: Potkanovi byl v dá vce 25 mg/kg podá n přípravek na snižová ní obsahu glukózy v krvi. V časových intervalech byl měřen pokles glyké mie. Za jakou dobu od podá ní přípravku by glyké mie klesla na hodnoty 4, 3 a 2,5 mmol/l? Data: č as [min]: koncentrace glukó zy [mmol/l]: 2 6,57 5 5,00 10 4,25 15 3,51 30 2,45 40 2,14 50 1,92 60 1,94 Program: ADSTAT 1.25, moduly: 1. Lineá rní regrese, program Regresní diagnostika, metoda nejmenších č tverců 2. Kalibrace Řešení a obrá zky: 1. Kritika dat Při kritice dat se sleduje se především výskyt vlivných bodů, které jsou zdrojem řady problé mů (např. zkreslení odhadů, rů st rozptylů ). Podle výskytu dělíme vlivné body na vyboč ující body (vyskytují se na ose y a liší se od ostatních) a extré my (ty se liší hodnotami na ose x). Mohou se vyskytnout body, které jsou zároveň vyboč ujícími i extré my. Při kritice dat používá me jednak grafické diagnostiky, které podá vají nejpřesně jší výsledky. Dá le používá me analýzu statistických reziduí a diagoná lních prvků H ii projekč ní matice a ostatní charakteristiky. 1.1. GRAFICKÉ DIAGNOSTIKY. Grafické diagnostiky lze rozdělit do několik skupin: a) Grafy vlivných bodů tyto grafy kombinují různé typy reziduí s prvky projekční matice H. Strana 14
Graf peredikovaný ch reziduí. Na osu x se vynáší klasická rezidua a na osu y predikovaná rezidua. Vyboč ující body leží na přímce y = x, jsou však dostateč ně vzdá leny od ostatních bodů a extré my leží mimo tuto přímku. Graf identifikuje 2 extré my (1,8). Williamsův graf. Na osu x se vynáší přímo prvky projekč ní matice H a na osu y Jeckknife rezidua. V grafu jsou zakresleny mezní linie pro vyboč ující body i pro extré my. Graf identifikuje jako vyboč ující bod 1. Strana 15
Pregibonů graf. Na osu x se vynáší přímo prvky projekč ní matice H na osu y č tverce normovaných rezidí. Dvě hranič ní přímky rozlišují pouze body silně vlivné a středně vlivné, ale nerozliší zda se jedná o vyboč ující body nebo extré my. Grafu identifikuje středně vlivný bod - 1. McCulloh-Meeterův graf. Na osu x se vynáší přirozený logaritmus z výrazu [H ii /m(1-h ii )] a na osu y logaritmus č tverce standardizovaných reziduí. Vyboč ující body a extré my jsou v tomto případě rozlišeny liniemi v grafu. Graf identifikuje 1 vyboč ující bod (1) a 3 podezřelé vyboč ující body a extré my (4,5,8). Strana 16
L-R graf. Na osu x se vynáší č tverec normovaných reziduí a na osu y prvky projekč ní matice. Všechny body leží pod přeponou pravoúhlé ho trojúhelníka. Vyboč ující body leží v horní části u přepony. Graf identifikuje jako extré m bod 8 a vyboč ující bod 1. b) indexové grafy upozorň ují pouze na podezřelé body. Andrewsův graf. Graf identifikuje 2 podezřelé body (1,8). Strana 17
Graf normovaný ch reziduí. Na osu x se vynáší pořadový index a na osu y normovaná rezidua. Graf identifikuje jako podezřelé body 1 a 8. Projekce H ii. Na osu x se vynáší pořadový index a na osu y prvky projekč ní matice H ii. Graf identifikuje podezřelé body 1 a 8. Strana 18
c) rankitové grafy ukazují vedle normality rozdělení dotyč ných reziduí i na vlivné body. Graf normovaný ch reziduí. Na osu x se vynáší kvantily normované ho normá lního rozdělení u p pro P i =i/(n+1) a na osu y pořadové statistiky normovaných reziduí (pořadové statistiky = vzestupně setřídě né hodnoty reziduí). Graf identifikuje jako vyboč ující bod 1. Andrewsův graf. Graf identifikuje vyboč ující bod 1. Strana 19
Graf predikovaný ch reziduí. Na osu x se vynáší kvantily normované ho normá lního rozdělení up pro Pi=i/(n+1) a na osu y pořadové statistiky predikovaných reziduí. Graf identifikuje vyboč ující body 1,8. Graf Jackknife reziduí. Na osu x se vynáší kvantily normované ho normá lního rozdělení up pro Pi=i/(n+1) a na osu y pořadové statistiky Jeckknife reziduí. Graf identifikuje jako vyboč ující bod 1. Strana 20
Zá věr: Grafické diagnostiky poskytly charakteristiku vlivných bodů. Za vybočující bod, který ovlivň uje analýzu, lze považovat jednoznač ně bod 1 a za extré m, který analýzu neovlivň uje, lze považovat bod 8. 1.2. STATISTICKÁ ANALÝZA REZIDUÍ. Protože klasická rezidua u lineá rních regresních modelů jsou korelovaná, s nekonstantním rozptylem, jeví se normá lně jší a nemusí indikovat silně odlehlé body, používají se pro analýzu další druhy reziduí: Normovaná rezidua vypoč ítají se jako podíl klasických reziduí a smě rodatné odchylky. Je-li normované reziduum větší jak 3, značí to vlivný bod. Standardizovaná rezidua - vypoč ítají se jako podíl klasických reziduí a smě rodatné odchylky. Indikují heteroskedasticitu. Jackknife rezidua jsou běžně používá na k identifikaci vyboč ujících bodů, v případě extré mů nemusí být také spolehlivé. Predikovaná rezidua slouží k identifikaci vyboč ujících bodů Rekurzivní rezidua jediná nekorelovaná rezidua. Umožň ují identifikovat nestabilitu modelu např. v čase. Často se používají při testech normality nebo stability regresních koeficientů. Slouží k detekci autokorelace. Ani jediné reziduum neidentifikuje extré my, k tomu slouží diagoná lní prvky projekční matice H ii. Indikace vlivných bodů (hvězdič ka indikuje vlivné body): Bod Standardizované Jackknife Predikované Diagoná lní prvky i reziduum reziduum reziduum H ii matice 1 2,03740 3,3506* 2,0116 0,30493 2 0,05138 0,0469 0,04928 0,26356 3-0,50044-0,4667-0,4624 0,20661 4-1,01040-1,6125-0,9099 0,16464 5-1,01480-1,0179-0,8949 0,12867 6-0,53136-0,4969-0,4829 0,17963 7 0,11167 0,1021-0,1091 0,29054 8 1,30940 1,4144 1,4687 0,46141 Zá věr: Jackniffe rezidua urč ují, které body jsou vyboč ující. V našem případě identifikovaly za vyboč ující bod 1. 1.3. OSTATNÍCHARAKTERISTIKY VLIVNÝCH BODŮ Software ADSTAT umožň uje ještě charakterizovat vlivné body pomocí dalších parametrů : Cookova vzdá lenost D[i] je nejzná mě jší skalá rní míra. Vyjadřuje posun odhadů vynechá ním i-té ho bodu. Je-li vzdá lenost větší jak 1, posun přesahuje 50%ní konfidenč ní oblast a daný bod je vlivný. Atkinsonova vzdá lenost A[i] opět se jedná o skalá rní míru. Je zde zvýrazněna citlivost regrese na extré my. Strana 21
Vliv na predikci DF[i] charakterizuje vliv jednotlivých bodů na predikci. Orientač ně platí, že pokud je hodnota DF větší jak dvojná sobek odmocniny z podílu poč tu parametrů a poč tu bodů, považuje se bod za vlivný. Věrohodnostní vzdá lenost LD existují 3 varianty vě rohodnostní vzdá lenosti lišící se, zda vyšetřují vliv i-té ho bodu na odhady parametrů (LD(b)[i]), rozptyl chyb (LD(δ 2 )[i]) nebo kombinaci obojího (LD(b,δ 2 )[i]). Indikace vlivných bodů (hvězdič ka indikuje vlivné body): Bod Zobecněné diagon. Cookova Atkinsonova Vliv na predikci i prvky H ii matice vzdá lenost vzdá lenost 1 0,78582* 0,910570* 3,84391* 2,21930* 2 0,26389 0,000472 0,04861 0,02806 3 0,23973 0,032508 0,41248 0,23815 4 0,30677 0,100600 0,77853 0,44948 5 0,27823 0,076041 0,67748 0,39115 6 0,21824 0,030912 0,40273 0,23252 7 0,29202 0,002554 0,11311 0,06531 8 0,61531 0,734420* 2,26740* 1,30910* Vě rohodnostní vzdá lenosti Bod i LD(b)[i] LD(d 2 )[i] LD(b,d 2 )[i] 1 2,12060 6,367700* 13,26300* 2 0,00126 0,067812 0,06891 3 0,08649 0,032069 0,11147 4 0,26386 0,011420 0,29427 5 0,20025 0,012225 0,22642 6 0,08201 0,028314 0,10400 7 0,00681 0,066186 0,07216 8 1,75180 0,176590 2,57580 Zá vě r: Tyto charakteristiky identifikovaly ná sledující vlivné body 1 a 8. 1.4. ZÁ VĚR Všechny 3 kategorie identifikovaly vlivné body shodně. Za vyboč ující byl stanoven bod 1. Vyboč ující body jsou velice problematické při analýzá ch, proto je žá doucí jejich odstranění ze zá kladního souboru hodnot. Za extré m byl stanoven bod 6, který ovšem není problematický při analýzá ch a ze zá kladního souboru ho nemusíme odstraň ovat. 2. Eliminace vybočujících bodů Při eliminaci bodů zá kladního souboru sledujeme 3 statistické charakteristiky: Strana 22
Akaikeho informační kriterium, AIC model s nejnižší hodnotou kriteria je nejoptimá lně jší. Pokud je kriterium zá porné, tak je optimá lní model se zá porně jší hodnotou. Střední kvadratická chyba predikce, MEP využívá predikce z odhadu, při jehož konstrukci je informace o i-té m bodu vypuštěna. Optimá lní je model s nejnižší hodnotou MEP. Predikovaný koeficient determinace, R p 2 vzniká záměnou MEP za RSC při výpoč tu koeficientu determinace. Optimá lní je model s nejvyšší hodnotou tohoto koeficientu. Pokud při eliminaci vyboč ujícího bodu dojde k zlepšení hodnot těchto statistik, je příslušná eliminace vhodná. Po eliminaci bodu 1 získá me ná sledující statistické charakteristiky (v zá vorce jsou uvedeny hodnoty statistik před eliminací bodu): Predikovaný koeficient determinace, R 2 p : 0,82451 (0,76658) Střední kvadratická chyba predikce, MEP: 0,41846 (1,036) Akaikeho informační kriterium, AIC: -8,0443 (-1,4155) Po odstraně ní vyboč ujícího bodu 1, došlo ke zvýšení predibované ho koeficientu determinace a ke snížení střední kvadratické chyby predikce a Akaikeho informač ního krité ria. Bod 1 bude eliminová n. 3. Kalibrace Pomocí regresní diagnostiky bylo stanoveno, že bod 1 [2; 6,57] nebude zařazen do hodnocení. Kalibrač ní nelineá rní model bude sestrojen z ná sledujících hodnot: č as [min]: koncentrace glukó zy [mmol/l]: 5 5,00 10 4,25 15 3,51 30 2,45 40 2,14 50 1,92 60 1,94 Daty lze proložit kvadratickou křivku, jedná se tedy o nelineá rní kalibraci. Kvalitou proložené ho kalibrač ního grafu je mimo grafickou analýzu ještě statistická analýza reziduí a analýza derivací a integrá lů. Parametry kalibrace: Koeficienty rovnice: f[i]*x 2 + g[i]*x + h[i] k[i] f[i] g[i] h[i] 60 0,0014695-0,14775 5,5835 pro k[i-1] < x k[i] Strana 23
Analýza reziduí: Bod Měřená Predikovaná Absolutní Relativní i hodnota hodnota reziduum reziduum 1 5,00 4,881-0,11848 2,4271 2 4,25 4,253 0,00300 0,0706 3 3,51 3,698 0,18796 5,0828 4 2,45 2,473 0,02368 0,9574 5 2,14 2,025-0,11512-5,6854 6 1,92 1,870-0,05002-2,6751 7 1,94 2,009 0,00690 3,4334 Reziduá lní součet čtverců, RSC: 0,070449 Průměr absolutních hodnot reziduí, Me: 0,081035 Průměr relativních hodnot reziduí, Mer: 2,905 Odhad reziduá lního rozptylu, s 2 (e): 0,017612 Odhad směrodatné odchylky reziduí, s(e): 0,132710 Analýza derivací a integrá lů : Bod Predikovaná První Druhá Integrá l i hodnota derivace derivace 1 4,881-0,13305 0,002939 0,00 2 4,253-0,11836 0,002939 22,81 3 3,698-0,10366 0,002939 42,65 4 2,473-0,05958 0,002939 88,11 5 2,025-0,03013 0,002939 110,36 6 1,870-0,00080 0,002939 129,59 7 2,009-0,02840 0,002939 148,74 Přesnost kalibrace je dá le vyjá dřena hodnotami: Kritická úroveň také zvaná slepá pokus, představuje horní mez 95 % intervalu spolehlivosti predikce signá lu pro hodnotu x = 0. Nad touto hodnotou lze signá l odlišovat od šumu. Strana 24
Limita detekce odpovídá hodnotě x, pro kterou je dolní mez 95 % intervalu spolehlivosti predikce signá lu rovna kritické úrovni. Kalibrač ní meze: Kalibrační úroveň: y c = 5,985828 x c = 103,1941 Limita detekce: y d = 6,596710 x d = -6,444552 Pomocí sestrojené ho kalibrač ního modelu určíme č asy, kdy by se hodnota glyké mie snížila na hodnotu 4, 3 a 2,5 mmol/l. Kalibrač ní tabulka: Měřená Inverzní Konfidenč ní interval hodnota odhad dolní mez horní mez 4,0 12,20 13,88 10,44 3,0 22,54 69,25 20,19 2,5 70,98 62,80 87,90 4. Zá věr Pomocí nelineá rní kalibrace byly zjištěny č asy, kdy glyké mie nabývá hodnot 4, 3 a 2,5 mmol/l. Glyké mie potkana byla měřena v 8 č asových intervalech. Metodou regresní diagnostiky byl stanoven jeden vyboč ující bod o souřadnicích [2; 6,57], který ovlivň oval statistické analýzy a proto byl ze souboru zá kladních hodnot eliminová n. Po sestrojení kalibrač ního modelu (kvadratická křivka) byly softwarem ADSTAT vypoč teny bodové odhady č asů a příslušné intervalové odhady, u kterých můžeme s 95 % jistotou tvrdit, že nezná má hodnota leží prá vě v nich. Bodové odhady jsou ná sledující: Glyké mie [mmol/l] Bodový odhad č asu [min] 4,0 12,20 3,0 22,54 2,5 70,98 Intervalové odhady jsou ná sledující Glyké mie [mmol/l] Intervalový odhad č asu [min] 4,0 10,44 13,88 3,0 6,93 20,19 2,5 6,28 87,89 Literatura: 1. M. Meloun, J. Militký: Statistické zpracová ní experimentá lních dat. Plus s.r.o. Praha, 1995, str. 374. 2. M. Meloun, J. Militký: Statistické zpracová ní experimentá lních dat. Plus s.r.o. Praha, 1995, str. 338. Strana 25
Příklad 3. Rozlišení mezi lineá rní a nelineá rní kalibrací Zadá ní: Potkanovi byla za standardních podmínek 6x podá vá na substance o rů zných koncentracích úč inné lá tky. 24 hodin po podá ní substance byla měřena koncentrace úč inné látky v plazmě potkana. Urč ete jaká byla koncentrace úč inné látky v substancích, jestliže 24 hodin po podá ní substancí (při zachová ní standardních podmínek) byla změřena koncentrace úč inné lá tky v plazmě potkana 0,353; 0,546 a 0,781 ng/ml. Data: koncentrace úč inné lá tky koncentrace úč inné lá tky v substanci [µg/ml] v plazmě potkana [ng/ml] 59 0,228 119 0,450 173 0,632 204 0,762 252 0,880 311 1,067 Program: ADSTAT 1.25, moduly: 1. Lineá rní regrese, program Regresní diagnostika, metoda nejmenších č tverců 2. Kalibrace Řešení a obrá zky: 1. Kritika dat Při kritice dat se sleduje se především výskyt vlivných bodů, které jsou zdrojem řady problé mů (např. zkreslení odhadů, rů st rozptylů ). Podle výskytu dělíme vlivné body na vyboč ující body (vyskytují se na ose y a liší se od ostatních) a extré my (ty se liší hodnotami na ose x). Mohou se vyskytnout body, které jsou zároveň vyboč ujícími i extré my. Při kritice dat používá me jednak grafické diagnostiky, které podá vají nejpřesně jší výsledky. Dá le používá me analýzu statistických reziduí a diagoná lních prvků H ii projekč ní matice a ostatní charakteristiky. 1.1. GRAFICKÉ DIAGNOSTIKY. Grafické diagnostiky lze rozdělit do několik skupin: b) Grafy vlivných bodů tyto grafy kombinují různé typy reziduí s prvky projekční matice H. Strana 26
Graf peredikovaný ch reziduí. Na osu x se vynáší klasická rezidua a na osu y predikovaná rezidua. Vyboč ující body leží na přímce y = x, jsou však dostateč ně vzdá leny od ostatních bodů a extré my leží mimo tuto přímku. Graf identifikuje 2 extré my (4,6) a jeden vyboč ující bod (5) Williamsův graf. Na osu x se vynáší přímo prvky projekč ní matice H a na osu y Jeckknife rezidua. V grafu jsou zakresleny mezní linie pro vyboč ující body i pro extré my. Graf identifikuje jako vyboč ující bod 4. Strana 27
Pregibonů graf. Na osu x se vynáší přímo prvky projekč ní matice H na osu y č tverce normovaných rezidí. Dvě hranič ní přímky rozlišují pouze body silně vlivné a středně vlivné, ale nerozliší zda se jedná o vyboč ující body nebo extré my. Grafu neidentifikuje žá dné vlivné body. McCulloh-Meeterův graf. Na osu x se vynáší přirozený logaritmus z výrazu [H ii /m(1-h ii )] a na osu y logaritmus č tverce standardizovaných reziduí. Vyboč ující body a extré my jsou v tomto případě rozlišeny liniemi v grafu. Graf identifikuje 1 vyboč ující bod (4) a 3 podezřelé vyboč ující body a extré my (2,3,6). Strana 28
L-R graf. Na osu x se vynáší č tverec normovaných reziduí a na osu y prvky projekč ní matice. Všechny body leží pod přeponou pravoúhlé ho trojúhelníka. Vyboč ující body leží v horní části u přepony. Graf identifikuje jako extré m bod 6 a vyboč ující bod i extré m (4). b) indexové grafy upozorň ují pouze na podezřelé body. Andrewsův graf. Graf identifikuje 2 podezřelé body (4,6). Strana 29
Graf normovaný ch reziduí. Na osu x se vynáší pořadový index a na osu y normovaná rezidua. Graf identifikuje jako podezřelý bod 4. Projekce H ii. Na osu x se vynáší pořadový index a na osu y prvky projekč ní matice H ii. Graf identifikuje jeden podezřelý bod 6. Strana 30
c) rankitové grafy ukazují vedle normality rozdělení dotyč ných reziduí i na vlivné body. Graf normovaný ch reziduí. Na osu x se vynáší kvantily normované ho normá lního rozdělení u p pro P i =i/(n+1) a na osu y pořadové statistiky normovaných reziduí (pořadové statistiky = vzestupně setřídě né hodnoty reziduí). Graf identifikuje jako vyboč ující bod 4. Andrewsův graf. Graf identifikuje 2 vyboč ující body (4,6). Strana 31
Graf predikovaný ch reziduí. Na osu x se vynáší kvantily normované ho normá lního rozdělení up pro Pi=i/(n+1) a na osu y pořadové statistiky predikovaných reziduí. Graf identifikuje 2 vyboč ující body (4,6). Graf Jackknife reziduí. Na osu x se vynáší kvantily normované ho normá lního rozdělení up pro Pi=i/(n+1) a na osu y pořadové statistiky Jeckknife reziduí. Graf identifikuje jako vyboč ující bod 4. Strana 32
Zá věr: Grafické diagnostiky poskytly charakteristiku vlivných bodů. Za vyboč ující bod, který ovlivň uje analýzu, lze považovat jednoznač ně bod 4 a za extré m, který analýzu neovlivň uje, lze považovat bod 6. 1.2. STATISTICKÁ ANALÝZA REZIDUÍ. Protože klasická rezidua u lineá rních regresních modelů jsou korelovaná, s nekonstantním rozptylem, jeví se normá lně jší a nemusí indikovat silně odlehlé body, používají se pro analýzu další druhy reziduí: Normovaná rezidua vypoč ítají se jako podíl klasických reziduí a smě rodatné odchylky. Je-li normované reziduum větší jak 3, značí to vlivný bod. Standardizovaná rezidua - vypoč ítají se jako podíl klasických reziduí a smě rodatné odchylky. Indikují heteroskedasticitu. Jackknife rezidua jsou běžně používá na k identifikaci vyboč ujících bodů, v případě extré mů nemusí být také spolehlivé. Predikovaná rezidua slouží k identifikaci vyboč ujících bodů Rekurzivní rezidua jediná nekorelovaná rezidua. Umožň ují identifikovat nestabilitu modelu např. v čase. Často se používají při testech normality nebo stability regresních koeficientů. Slouží k detekci autokorelace. Ani jediné reziduum neidentifikuje extré my, k tomu slouží diagoná lní prvky projekční matice H ii. Indikace vlivných bodů (hvězdič ka indikuje vlivné body): Bod Standardizované Jackknife Predikované Diagoná lní prvky i reziduum reziduum reziduum H ii matice 1-0,73452-0,68391-0,012034 0,11718 2-0,77796-0,73133-0,013928 0,26079 3-0,74178-0,69174-0,013443 0,27849 4 1,79560 3,53140* 0,031953 0,25171 5 0,28482 0,24920 0,005043 0,24424 6-1,16050-1,23390-0,045758 0,84760* Zá věr: Jackniffe rezidua urč ují, které body jsou vyboč ující. V našem případě identifikovaly za vyboč ující bod 4. Diagoná lní prvky H ii projekč ní matice identifikovaly za extré m bod 6. 1.3. OSTATNÍCHARAKTERISTIKY VLIVNÝCH BODŮ Software ADSTAT umožň uje ještě charakterizovat vlivné body pomocí dalších parametrů : Cookova vzdá lenost D[i] je nejzná mě jší skalá rní míra. Vyjadřuje posun odhadů vynechá ním i-té ho bodu. Je-li vzdá lenost větší jak 1, posun přesahuje 50%ní konfidenč ní oblast a daný bod je vlivný. Atkinsonova vzdá lenost A[i] opět se jedná o skalá rní míru. Je zde zvýrazněna citlivost regrese na extré my. Strana 33
Vliv na predikci DF[i] charakterizuje vliv jednotlivých bodů na predikci. Orientač ně platí, že pokud je hodnota DF větší jak dvojná sobek odmocniny z podílu poč tu parametrů a poč tu bodů, považuje se bod za vlivný. Věrohodnostní vzdá lenost LD existují 3 varianty vě rohodnostní vzdá lenosti lišící se, zda vyšetřují vliv i-té ho bodu na odhady parametrů (LD(b)[i]), rozptyl chyb (LD(δ 2 )[i]) nebo kombinaci obojího (LD(b,δ 2 )[i]). Indikace vlivných bodů (hvězdič ka indikuje vlivné body): Bod Zobecněné diagon. Cookova Atkinsonova Vliv na predikci i prvky H ii matice vzdá lenost vzdá lenost 1 0,23625 0,03581 0,35237-0,24916 2 0,37263 0,10676 0,61431-0,43438 3 0,37774 0,10619 0,60777-0,42976 4 0,85490 0,54230* 2,89650* 2,04820* 5 0,25957 0,01311 0,20035 0,14167 6 0,89891 3,74480* 1,11540* -2,91000* Vě rohodnostní vzdá lenosti Bod i LD(b)[i] LD(d 2 )[i] LD(b,d 2 )[i] 1 0,10647 0,0041518 0,10762 2 0,31202 0,0009950 0,31547 3 0,31041 0,0034956 0,31132 4 1,43950 0,1103700* 18,02800* 5 0,03920 0,0744970 0,10795 6 6,33090* 0,1687600 14,28200* Zá vě r: Tyto charakteristiky identifikovaly ná sledující vlivné body 4 a 6. 1.4. ZÁ VĚR Všechny 3 kategorie identifikovaly vlivné body shodně. Za vyboč ující byl stanoven bod 4. Vyboč ující body jsou velice problematické při analýzá ch, proto je žá doucí jejich odstranění ze souboru hodnot. V dalším postupu provedeme zpřesně ní modelu eliminací tohoto bodu. Budeme sledovat, zda se změ ní statistické charakteristiky. Pokud se změní k lepšímu, je možné bod odstranit, jinak je lepší bod 4 v souboru zá kladních dat ponechat, protože soubor obsahuje malý poč et dat. Za extré m byl stanoven bod 6, který ovšem není problematický při analýzá ch a ze zá kladního souboru ho nemusíme odstraň ovat. 2. Eliminace vybočujících bodů Při eliminaci bodů zá kladního souboru sledujeme 3 statistické charakteristiky: Akaikeho informační kriterium, AIC model s nejnižší hodnotou kriteria je nejoptimá lně jší. Pokud je kriterium zá porné, tak je optimá lní model se zá porně jší hodnotou. Strana 34
Střední kvadratická chyba predikce, MEP využívá predikce z odhadu, při jehož konstrukci je informace o i-té m bodu vypuštěna. Optimá lní je model s nejnižší hodnotou MEP. Predikovaný koeficient determinace, R p 2 vzniká záměnou MEP za RSC při výpoč tu koeficientu determinace. Optimá lní je model s nejvyšší hodnotou tohoto koeficientu. Pokud při eliminaci vyboč ujícího bodu dojde k zlepšení hodnot těchto statistik, je příslušná eliminace vhodná. Po eliminaci bodu 4 získá me ná sledující statistické charakteristiky (v zá vorce jsou uvedeny hodnoty statistik před eliminací bodu): Predikovaný koeficient determinace, R 2 p : 0,99775 (0,99440) Střední kvadratická chyba predikce, MEP: 0,0003994 (0,0008476) Akaikeho informační kriterium, AIC: -41,792 (-44,397) Po odstraně ní vyboč ujícího bodu 4, došlo ke zvýšení predibované ho koeficientu determinace a ke snížení střední kvadratické chyby predikce. Akaikeho informač ní krité rium se zvýšilo. Přesto bude bod 4 eliminová n. 3. Kalibrace Pomocí regresní diagnostiky bylo stanoveno, že bod 4 [204; 0,762] nebude zařazen do hodnocení. Kalibrač ní model bude sestrojen z ná sledujících hodnot: koncentrace [µg/ml]: koncentrace [ng/ml] 59 0,228 119 0,450 173 0,632 252 0,880 311 1,067 Vhodnost použité ho modelu budeme posuzovat jednak pomocí grafické analýzy a jednak pomocí třech parametrů - prů měru relativních hodnot reziduí (Mer), odhadu směrodatné odchylky reziduí (s(e)) a limity detekce (xd). Pro optimá lní model nabývají parametry minimá lních hodnot. 3.1. URČENÍKALIBRAČNÍHO MODELU 3.1.1. Urč ení kalibrač ního modelu pomocí parametrů Model Odhad směrodatné Prů mě r relativních Limita detekce odchylky reziduí (s(e)) hodnot reziduí (Mer) Přímka 0,013249 2,236 24,41 Kvadratický spline 0,005706 0,612 23,41 0 uzlů Kvadratický spline 1 uzel 0,000366 0,026 6,74 Kvadratický spline Příliš mnoho uzlů statistická analýza vynechá na 2 uzly Strana 35
Zá věr: Minimá lní hodnota smě rodatné odchylky reziduí, prů mě ru relativních hodnot reziduí i limity detekce je pro model kvadratický spline s 1 uzlem. 3.1.2. Urč ení kalibrač ního modelu pomocí grafické diagnostiky Kalibrač ní model - přímka Kalibrač ní model kvadratický spline (0 uzlů ) Strana 36
Kalibrač ní model kvadratický spline (1 uzel) Kalibrač ní model kvadratický spline (2 uzly ) Zá věr: Optimá lním proložením bodů je kvadratický spline s 1 uzlem. 3.1.3. Zá vě r Pomocí parametrů prů mě ru relativních hodnot reziduí, odhadu smě rodatné odchylky reziduí, limity detekce a pomocí grafických diagnostik byl jako optimá lní model stanoven kvadratický spline s 1 uzlem. Strana 37
3.2. CHARAKTERISTIKY KALIBRAČNÍHO MODELU Parametry kalibrace: Koeficienty rovnice: f[i]*x 2 + g[i]*x + h[i] k[i] f[i] g[i] h[i] 185-3,0086.10-6 0,00424-0,01175 311 2,0575.10-7 0,00305-0,09826 pro k[i-1] < x k[i] Analýza reziduí: Bod Měřená Predikovaná Absolutní Relativní i hodnota hodnota reziduum reziduum 1 0,228 0,22794, -5,76.10-5 -0,025273 2 0,450 0,45022 2,18.10-4 0,048504 3 0,632 0,63175-2,55.10-4 -0,040285 4 0,880 0,88013 1,31.10-4 0,014848 5 1,067 1,06700-3,70.10-5 -0,003463 Reziduá lní součet čtverců, RSC: 1,3422. 10-7 Průměr absolutních hodnot reziduí, Me: 1,3962. 10-4 Průměr relativních hodnot reziduí, Mer: 0,026 Odhad reziduá lního rozptylu, s 2 (e): 1,3422. 10-7 Odhad směrodatné odchylky reziduí, s(e): 3,6636. 10-4 Analýza derivací a integrá lů : Bod Predikovaná První Druhá Integrá l i hodnota derivace derivace 1 0,22794, 0,003885-6,02.10-6 0,0 2 0,45022 0,003524-6,02.10-6 20,453 3 0,63175 0,003199-6,02.10-6 49,745 4 0,88013 0,003155 4,12.10-7 109,46 5 1,06700 0,003179 4,12.10-7 166,9 Přesnost kalibrace je dá le vyjá dřena hodnotami: Kritická úroveň také zvaná slepá pokus, představuje horní mez 95 % intervalu spolehlivosti predikce signá lu pro hodnotu x = 0. Nad touto hodnotou lze signá l odlišovat od šumu. Limita detekce odpovídá hodnotě x, pro kterou je dolní mez 95 % intervalu spolehlivosti predikce signá lu rovna kritické úrovni. Kalibrač ní meze: Kalibrační úroveň: y c = 0,003262 x c = 3,55 Limita detekce: y d = 0,016683 x d = 6,74 Strana 38
3.3. BODOVÉ A INTERVALOVÉ ODAHADY Pomocí sestrojené ho kalibrač ního modelu určíme koncentrace úč inné látky v substancích, jestliže zná me koncentraci úč inné látky v plazmě potkana po 24 hodiná ch standardního podá ní substance. Kalibrač ní tabulka: Měřená Inverzní Konfidenč ní interval hodnota odhad dolní mez horní mez 0,353 92,03 91,13 92,96 0,546 146,84 145,72 147,95 0,781 220,51 219,11 221,93 4. Zá věr Pomocí nelineá rní kalibrace byly zjiště ny koncentrace úč inné lá tky v substancích. Byla měřena koncentrace úč inné látky v plazmě potkana po podá ní substance s rů znou koncentrací úč inné látky. Experiment byl 6x opaková n za dodržová ní standardních podmínek. Získané hodnoty byly podrobeny regresní diagnostice, která označ ila bod 5 o souřadnicích [204; 0,762] jako vyboč ující. Tento bod tedy nebyl zařazen do kalibrač ního modelu. Pomocí grafických diagnostik a analýzy třech parametrů (prů mě ru relativních hodnot reziduí, odhadu smě rodatné odchylky reziduí a limity detekce) byl nalezen optimá lní kalibrač ní model. Po sestrojení kalibrač ního modelu (kvadratický spline s 1 uzlem) byly softwarem ADSTAT vypoč teny bodové odhady koncentrace úč inné lá tky v substancích a příslušné intervalové odhady, u kterých mů žeme s 95 % jistotou tvrdit, že nezná má hodnota leží prá vě v nich. Bodové odhady jsou ná sledující: Koncentrace v plazmě [ng/ml]: Bodový odhad koncentrace v substanci [µ/ml]: 0,353 92,03 0,546 146,84 0,781 220,51 Intervalové odhady jsou ná sledující Koncentrace v plazmě [ng/ml]: Intervalový odhad koncentrace v substanci [µ/ml]: 0,353 91,13 92,94 0,546 145,72 147,95 0,781 219,11 221,93 Literatura: 1. M. Meloun, J. Militký: Statistické zpracová ní experimentá lních dat. Plus s.r.o. Praha, 1995, str. 374. 2. M. Meloun, J. Militký: Statistické zpracová ní experimentá lních dat. Plus s.r.o. Praha, 1995, str. 338. Strana 39
Strana 40