Transformace dat a počítačově intenzivní metody

Transkript

1 Transformace dat a počítačově ntenzvní metody Jří Mltký Katedra textlních materálů, Textlní fakulta, Techncká unversta v Lberc, Lberec, e- mal jr.mltky@vslb.cz Mlan Meloun, Katedra analytcké cheme, Unversta Pardubce, Pardubce Abstrakt: Cílem příspěvku je ukázat možnost aplkace transformace dat pro zlepšení jejch rozdělení s ohledem na následnou statstckou analýzu. Je podrobněj pojednáno o mocnnné transformac dat a Box Coxově transformac. Tyto transformace jsou použty pro konstrukc adaptvního postupu výběru odhadu střední hodnoty a tvorbu ntervalu spolehlvost střední hodnoty. Je ukázáno jak využít pro hlubší analýzu vlvu nedokonalost výběru na výsledky transformace dat základní neparametrcké varanty metody Bootstrap. Úvod Důležtou součástí analýzy dat jsou metody k získávání relevantních nformací z expermentů a pozorování. S nárůstem dostupnost výkonných osobních počítačů dochází k decentralzac a nteraktvnost př zpracování expermentálních dat a nterpretac výsledků. To klade větší nároky na pracovníky praxe, kteří jž těžko obhájí jednoduché postupy vyhodnocování dat, založené mnohdy na zjednodušených nebo nesprávných předpokladech. Nabídka a možnost počítačově orentovaného statstckého zpracování dat nutí expermentátora k hlubší analýze, což vede většnou k radkální změně pohledu na rutnně prováděnou výzkumnou prác. Úlohy vyhodnocení expermentálních dat v analytcké prax mají některé společné rysy: (a) rozsahy zpracovávaných dat jsou buď malé nebo extrémně velké, (b) rozdělení dat jen zřídka odpovídá normálnímu běžně předpokládanému ve standardní statstcké analýze, (c) v datech se vyskytují vybočující měření a různé heterogenty, (d) statstcké modely se často tvoří na základě předběžných nformací z dat (datově orentované přístupy), (e) exstuje jstá neurčtost př výběru modelu, popsujícího chování dat. Pokud nemá být statstcká analýza v analytcké prax pouhým numerckým počítáním bez hlubšího smyslu, je pochoptelně třeba, aby byly ověřeny všechny předpoklady, které vedly k návrhu daného postupu analýzy. Př zpracování výsledků rutnních měření se běžně předpokládá adtvní model měření. O datech (x ), =,...N se aprorně soudí, že jde o nezávslé stejně rozdělené velčny, pocházející z normálního rozdělení. Tyto předpoklady jsou základem praktcky všech klasckých metod analýzy expermentálních dat. V řadě případů, kde se opakovaně měří za stejných podmínek konstantní parametr se s tímto přístupem vystačí, pokud se zajstí dostatečný počet opakování. Pro menší výběry a nepřesná měření lze použít jednoduché robustní technky, které fungují dobře, pokud je rozdělení dat symetrcké. Je třeba mít na pamět, že malé porušení předpokladu normalty nemusí být katastrofcké s ohledem na výsledek statstcké analýzy. Na druhé straně je však špatné, když odhady testy závsejí na spíše jných faktorech než je chování většny dat (na velkost výběru, uspořádání výsledků nesledovaných proměnných atd.). Př analýze specálních typů dat, kde chyby měření jsou zanedbatelné ve srovnání s varabltou měřeného materálu resp. jednotlvé analyzované vzorky jsou slně odlšné co do koncentrace analyzované látky je rozdělení výsledků výrazně asymetrcké (zeškmené obyčejně k vyšším hodnotám). Pak vede jak standardní tak robustní analýza často k nesprávným závěrům resp. vylučování dat, která sce neodpovídají předpokladu symetre, ale

2 jsou "přjatelná". V takových případech pak bez ohledu na kvaltu analytcké metody rozhoduje o výsledku kvalta zpracování dat. Pokud data nesplňují předpoklad normalty, je v řadě případů možné zlepšt jejch rozdělení vhodnou transformací. V řadě případů se rozmezí analyzovaných látek pohybuje v několka řádech, což omezuje použtí standardních statstckých metod založených na předpokladu konstantního rozptylu resp. adtvního modelu měření. []. V prác [] bylo dskutováno o možnostech použtí transformace stablzující rozptyl nebo multplkatvního modelu měření. To vede k logartmcké transformac dat []. Nevýhodou této transformace je fakt, že př nízkých koncentracích je absolutní chyba měření velm malá (blízká 0), což odporuje realtě. Byl navržen postup kombnující oba modely měření a odstraňující jejch nevýhody []. Multplkatvní model měření sce vede k použtí asymetrckého logartmcko normálního rozdělení ale není zdaleka unversální. Jedním z obecnějších postupů elmnace asymetre je vhodná, obyčejně mocnnná, transformace dat []. I zde však vznkají problémy zejména se zpětnou transformací a použtelností jen pro některé úlohy. Lze odvodt, že pro malé rozptyly σ je odhad parametru mocnnné transformace špatně dentfkovatelný (vz [3]). V tomto příspěvku je pozornost zaměřena transformace vedoucí ke zlepšení tvaru rozdělení výběru a jejch využtí pro základní úlohy statstckého zpracování dat Jedním z problémů analýzy dat obecně je to, že se pracuje s jedním výběrem konečného rozsahu. To má za důsledek, že výsledky analýz jsou neurčté (s ohledem na opakování výběru) a výběry jsou omezeně nformatvní (s ohledem na velkost výběru). Podle přístupu k řešení tohoto problému exstují dva základní přístupy: Datově orentovaný přístup (víra v data) Modelově orentovaný přístup (víra v model) S výhodou lze pro analýzu vlvu nedokonalost výběru na výsledky zpracování dat využít prncpů metod Bootstrap. Datově orentovaný přístup vyúsťuje ke generac smulovaných výběrů na základě klasckého neparametrckého Bootstrapu. Modelově orentovaný přístup využívá parametrcký Bootstrap. Zde je ukázáno použtí neparametrckého Bootstrapu pro zlepšení nformatvnost klascké Box Coxovy transformace.. Standardní zpracování dat Omezme se na nejfrekventovanější a zdánlvě nejjednodušší úlohu stanovení koncentrace analytu z výběru (x, x,..x N ) velkost N. Jednotlvé prvky výběru přtom nejsou opakování měření ale měření na různých vzorcích. Účelem je odhad parametru polohy a stanovení jeho neurčtost (ntervalu spolehlvost střední hodnoty). Standardní model měření je adtvní, t.j. x = μ + ε () kde μ je skutečná hodnota měřené velčny (koncentrace analytu) a ε je náhodná chyba měření. Tento model celkem dobře vyhovuje pro případ opakování měření, ale pokud jde o různé vzorky často selhává. Standardní statstcká analýza vychází z těchto předpokladů: střední hodnota chyb měření je nulová, t.j. E ( ε ) = 0, rozptyl chyb měření je konstantní, t.j. D( ε ) = σ chyby jsou vzájemně nezávslé.t.j. E( ε ε ) = 0 j

3 chyby mají normální rozdělení t.j. ε N(0, σ ) Dskuse o dentfkac a postupu př porušení prvních tří předpokladů je uvedena v prác []. Nejvíce omezující, je předpoklad, že chyby mají normální rozdělení. Tento předpoklad je potřebný pro konstrukc ntervalů spolehlvost (neurčtost výsledků) resp. testování hypotéz. Pokud je k dspozc dostatek dat, lze odhadnout rozdělení chyb ε z rozdělení měření x, protože pro model () je tvar hustoty pravděpodobnost totožný. Normální rozdělení lze chápat jako jednoho z členů třídy elptckých symetrckých rozdělení, pro které platí že se lší pouze délkou konců. V analytcké prax, kde jde běžně o měření na různých vzorcích, je častým jevem asymetrcké rozdělení dat zeškmené k vyšším hodnotám. Toto rozdělení je běžné u dat, kde se ve vzorcích vyskytují řádové rozdíly koncentrací (např. u dat z oblast žvotního prostředí). Pro odstranění asymetre rozdělení dat se často používá vhodná transformace h(x). Ta však v případě platnost modelu () vede ke vznku nekonstantního rozptylu D( h( x )) dh( x ) = * σ () dx Např. pro běžně doporučovanou logartmckou transformac h(x)=ln(x) vyjde D( h( x )) σ = = δ (3) x To znamená, že místo konstantní absolutní chyby je v této transformac konstantní relatvní chyba (varační koefcent), což odporuje přjatému modelu měření. Korektní analýza zde vyžaduje přímé použtí zeškmeného rozdělení a konstrukc nesymetrckých ntervalů spolehlvost. Multplkatvní model měření je založen na předpokladech konstantní relatvní chyby a nezápornost měření (jde o fyzkální velčny souvsející s hmotou). Výsledek měření je modelován vztahem x = μ * exp( ε ) (4) Zde ε má stejné vlastnost jako u modelu adtvního (rov.()). Po korektní logartmcké transformac přechází tento model na adtvní model v logartmech, tedy ln( x ) = ln( μ ) + ε (5) Nevýhodou multplkatvního modelu je především to, že pro velm nízké koncentrace resp.malé μ vychází absolutní chyba měření přílš nízká [4]. Pokud se použje nesprávný předpoklad o rozdělení chyb dochází ke zkreslení parametrů a následně celé statstcké analýzy. Nechť např. platí adtvní model () a na data se použje nesprávně logartmcká transformace. Pak vyjde ln( x ) = ln( μ + ε ) = ln μ + ln( + ε / μ ) (6) S využtím Taylorova rozvoje lze psát

4 3 ln( x ) ln( μ + ε ) = ln μ + ε / μ 0.5* ( ε / μ ) * ( ε / μ )...(7) Pro malé relatvní chyby měření δ = σ / μ lze pak s využtím tohoto vztahu nalézt výrazy pro střední hodnotu a rozptyl ln(x) ve tvaru E(ln x ) 4 = ln μ 0.5* δ 0.75* δ (8) a D(ln x ) 4 6 = δ +.5* δ * δ (9) Je tedy patrné, že použtí nesprávného předpokladu ovlvní jak střední hodnotu tak rozptyl. Pro μ větší než jedna vyjde střední hodnota podhodnocená a rozptyl nadhodnocený. Pro případ, že se analyzují data z různých vzorků se běžně předpokládá, že chyby měření jsou zanedbatelné vzhledem k varabltě vzorků (měřeného materálu) Jako model se pak používá se používá představa, že (x ), =..N, jsou realzace náhodné velčny s rozdělením charakterzovaným hustotou pravděpodobnost f(x) resp. dstrbuční funkcí F(x). Formálně je tedy x = F ( p ) (0) kde p je hodnota dstrbuční funkce v místě x. Pokud je f(x) hustota pravděpodobnost normálního rozdělení odpovídá tento model modelu () s tím, že μ je střední hodnota. Odhadem střední hodnoty je pak artmetcký průměr x a odhadem rozptýlení je výběrový rozptyl s. Přesnost lbovolných odhadů o se charakterzují pomocí jejch rozptylů D(o). Pro případ normálního rozdělení dat x ~ N( μ, σ ) jsou tyto rozptyly σ D( x) = a N D( s 4. ) = σ N K výraznému zkreslení rozptylu výběrového průměru může dojít v případě, že data nejsou nezávslá. To může být stuace, kdy se vzorky k analýze odebírají z různých míst, které spolu nějak souvsejí (prostorová nebo časová autokorelace). Pro případ nejjednodušší autokorelace prvního řádu vyjádřené autokorelačním koefcentem ρ dojde ke zvětšení rozptylu střední hodnoty σ D ( x) = N ( ρ ) Pro komplkovanější stuace (prostorová závslost dlouhého dosahu) může být zkreslení způsobené závslostí v polohách odběru neúměrně vysoké. Klascká statstcká analýza je založena na odhadech x, s a předpokladu normalty rozdělení chyb v modelu () resp. normalty F(x) v modelu (0). Základní rol př posuzování výsledků měření hraje 00 ( - α) % ní nterval spolehlvost střední hodnoty, pro který obecně platí, P( x D μ x ) = α H

5 kde α je hladna významnost a x D x H jsou náhodné meze určené z dat. (Standardně se konstruuje 95 % ní nterval spolehlvost). Pro případ normálního rozdělení chyb resp. měření je tento nterval ve tvaru s s x t α / ( N )* μ x + t α / ( N )* () N N kde t α / ( N ). je kvantl Studentova rozdělení s N- stupn volnost. Pro větší výběry se běžně tento kvantl nahrazuje kvantlem normovaného normálního rozdělení u α /. Pro jná než normální rozdělení jž nemají odhady x, s optmální statstcké vlastnost a nterval spolehlvost defnovaný rov. () není rozumně použtelný. Pro asymetrcká rozdělení dat je nterval () nevhodný jž proto, že je symetrcký. Navíc jž nebude platt, že je 00 ( - α) %. Př nemožnost použtí výše uvedeného standardního postupu pro reálná data exstují v zásadě tř cesty: I. Nalezení vhodného rozdělení pro původní data a konstrukce specálních ntervalů spolehlvost. II. Zlepšení rozdělení původních dat tak aby bylo možno použít pro transformovaná data standardní analýzu III. Využtí počítačově orentovaných postupů, kdy se generují umělé výběry se stejným statstckým chováním a pak se na základě centrální lmtní věty pracuje s průměrem z těchto výběrů. Jednotlvé cesty mají své výhody a nevýhody. Možné zlepšení rozdělení dat vhodnou transformací je logcké použít zejména v případech, kdy je cílem pouze stanovení ntervalu spolehlvost parametru polohy a nkolv konstrukce pravděpodobnostních modelů. Navíc se velm snadno určí, zda je toto zlepšení statstcky významné čí nkolv. Na druhé straně však jedna transformace nemusí vyhovovat pro všechna data a vznkají problémy pokud je nutno realzovat zpětnou transformac. S výhodou lze pro hlubší posouzení kvalty transformace využít generace umělých výběrů (Bootstrap). 3. Transformace zlepšující rozdělení dat S transformací dat se př zpracování expermentů setkáváme velm často. Podle příčn můžeme transformac dělt do dvou základních skupn: A. Transformace zlepšující rozdělení dat. Zde je transformace žádána a přspívá ke zlepšení rozdělení dat (zjednodušuje jejch zpracování). B. Transformace jako důsledek matematckých operací (obyčejně realzace funkcí) s měřeným velčnam. To je případ, kdy známe u komplkovaných systémů vstupní náhodné velčny a zajímá nás výstupní náhodná velčna. Patří sem tedy všechny transformace, kdy na základě expermentálních výsledků počítáme jné velčny (např. z hodnot poloměru plochu kruhových elementů). Zde je vlastně transformace nežádaná, protože deformuje původní rozdělení dat. V případě ad A) se hledá vhodná transformace. V případě ad B) se hledají vhodné postupy zpracování dat, které omezují vlv transformace. Tato dualta vede často ke stavu, kdy formálně shodné (matematcky správné) metody poskytují značně odlšné výsledky.

6 Z uvedeného je zřejmé, že transformace může být buď "užtečným nástrojem", nebo "základní překážkou" př statstcké analýze dat. Jak bylo ukázáno v kap., je pro statstckou analýzu dat deální, pokud jsou prvky výběru náhodné vzájemně nezávslé velčny se stejným normálním rozdělením. Reálné výběry se od tohoto stavu více č méně odlšují. V jednodušším případě mají delší konce (vyšší špčatost), než odpovídá normálnímu rozdělení. To je často důsledek přítomnost vybočujících měření. Zde je př statstcké analýze stále střed symetre v místě módu, který je totožný s medánem a střední hodnotou. Efektvní odhad polohy je medán (průměr x má přblžně dvojnásobný rozptyl). Běžné statstcké testy jsou vůč vyšší špčatost dat poměrně robustní (to se týká zejména t-testu významnost). Také valná většna robustních metod odhadu parametrů polohy a rozptýlení vychází z představy symetrckého rozdělení dat, kontamnovaného jstým podílem symetrcky vybočujících dat. Komplkovanější je případ, kdy je rozdělení výběru zeškmené (obyčejně k vyšším hodnotám). Pak jž není módus totožný s medánem an střední hodnotou a vlastní nterpretace parametru polohy je ztížena. Efektvní odhad parametru polohy je možný jen př znalost zákona rozdělení pravděpodobnost (který však př analýze dat není aprorně znám). Běžné statstcké testy jsou vůč zeškmenému rozdělení dat obecně nerobustní. Také základní robustní metody odhadu parametrů polohy a rozptýlení zde nefungují dobře. Je tedy zřejmé, že jž symetrzační transformace bude pro analýzu dat velm užtečná. Průvodním zjevem u řady "nenormálně" rozdělených výběrů je nekonstantnost rozptylu (pouze pro normální rozdělení platí, že střední hodnota je nezávslá na rozptylu). Transformace stablzující rozptyl je tedy zároveň transformací vedoucí k normaltě. Otázky spojené s exstencí transformace vedoucí k normaltě jsou teoretcky řešeny v prác [5]. 4. Transformace stablzující rozptyl Nekonstantnost rozptylu je průvodním jevem u řady měření. Indkuje buď neplatnost adtvního modelu měření typu rov. () nebo nenormaltu rozdělení náhodné velčny, ze které byl realzován výběr. Zde se omezíme na případ, kdy je rozptyl D(x) jstou známou funkcí velkost x, což můžeme formálně vyjádřt vztahem D ( x) = g( x) () Př známém (předpokládaném) tvaru g(x) se pak hledá stablzující transformace h(x), pro kterou jž bude rozptyl konstantní. Elementární vztah pro rozptyl funkce náhodné velčny je defnován rov. (). Protože je požadavkem výběr takové funkce h(x), aby D(h(x)) = konst. a D(x) = g(x), lze z rovnce () snadno nalézt, že dx h ( x) const. (3) g} x} Řešením tohoto ntegrálu (konstanta const. není důležtá pro tvar transformace) můžeme pak snadno určt transformac stablzující rozptyl. V řadě případů je měření realzováno za podmínky konstantnost relatvní chyby, tj. konstantnost varačního koefcentu CV = [σ x /x]. 0. Rozptyl σ x v místě x je pak zřejmě σ x =[CV/0] x, funkce () je tedy g(x) = x Po dosažení do rovnce (3) a analytcké ntegrac pak dostáváme h(x) = ln(x). Použtím logartmcké transformace zde tedy elmnujeme nekonstantnost rozptylu (obecně platí, že tato transformace je vždy výhodná, pokud se jednotlvé prvky výběru mění v rozmezí několka řádů).

7 Pro slně zeškmená data (jako χ rozdělení) se doporučuje odmocnnová transformace. Pro gama rozdělení je zase stablzující transformace třetí odmocnny Z(x) = x /3 5. Mocnnná transformace Mocnnná transformace je poměrně šroce využtelná pro řešení celé řady problémů. Platí, že adtvní multplkatvní model lze vyjádřt jako specální případy mocnnné třídy modelů měření, která je charakterzována tím, že transformací obou stran pomocí funkce h(.) vyjde adtvní model h ( x ) = h( μ ) + ε (4) U pravděpodobnostního modelu (0) lze vhodnou transformací dat stablzovat rozptyl, přblížt škmost rozdělení k nule a tvar rozdělení k normálnímu rozdělení. Cílem je na základě znalostí o výběru x, =,...N nalézt vhodnou mocnnu, resp. vhodný člen (pokud se použje celá rodna transformací). Nejjednodušší je prostá mocnnná transformace hp(x) = sgn(x)*abs(x) l pro l 0 (5) hp(x) = ln (x) pro l = 0 kde abs(x) je absolutní hodnota a sgn(x) je znaménková funkce sgn(x )= pro x>0, sgn(x)=- pro x<0, sgn(x)=0 pro x=0 Tato transformace nezachovává měřítko a an není vzhledem k všude spojtá. Zachovává však pořadí dat ve výběru (jako všechny mocnnné transformace). Používá se jako jednoduchá symetrzující transformace a proto se hledá optmální mocnna l tak, aby byly mnmalzovány vhodné míry symetre výběru. Je možno použít přímo výběrovou škmost g(y), nebo její robustní verz g R (y) vz. []. Stejně jednoduché je sledovat rozdíl mez průměrem a medánem v transformac. Pro posouzení kvalty transformace, resp. nalezení optmálního l je také možno použít grafu rozptýlení s kvantly (GRK), resp. kvantlových grafů (Q -Q grafů), jejchž konstrukce je popsána v []. Nevýhody prosté mocnnné transformace (zejména nespojtost v okolí nuly a nesrovnatelnost měřítek v transformac) odstraňuje rodna Box-Coxových transformací h(x), která je lneární transformací prosté mocnnné transformace hp(x). Box Coxova třída polynomckých transformací má tvar x h( x) = 0 (6) h ( x ) = ln( x ) = 0 kde je parametr transformace. Pro = resultuje adtvní model měření a pro = 0 model multplkatvní. S využtím Taylorova rozvoje lze odvodt, že v tomto případě je x μ + ε / μ (7)

8 Pro případ, že rozptyl D( ε ) = σ je malý jde o adtvní model s nekonstantním chybam, pro ( ) / který lze použít jako odhad μ vážený artmetcký průměr s vaham úměrným μ. Lze ukázat, že vhodným odhadem parametru μ (neznámá koncentrace ) je výběrový medán, který je nvarantní vůč monotónní transformac. Pokud h(x) je lneární transformací hp(x) platí pro re-transformované střední hodnoty h [ E( h( x ))] = hp [ E( hp( x ))] (8) Pro obě transformace je pak odhadem re-transformované střední hodnoty zobecněný průměr resp. / N M = x pro 0 (9) N = / N N M = x pro = 0 (0) = Pokud se použje mocnnná transformace na adtvní model měření vyjde h( x ) = h( μ + ε ). Z Taylorova rozvoje pak resultuje odhad vychýlení vlvem této nekorektnost σ d h( x ) B = E( h( x )) h( μ ) ( x = μ ) ()! dx Tak např. pro logartmckou transformac vyjde B = -0.5 CV, kde CV je varační koefcent. To odpovídá druhému členu v rov. (8). Prostá mocnnná transformace je nvarantní vůč změně měřítka a Box Coxova transformace není nvarantní vůč změně měřítka. Detaly lze nalézt v prác [6]. Pro elmnac této nevýhody lze použít modfkované transformace x p h( x, p) = 0 h ( x, p) = ln( x / p) = 0 kde parametr p se volí jako artmetcký průměr, geometrcký průměr resp. medán původních dat. Z uvedeného také přímo plyne, že obě transformace jsou závslé na posunu. Tedy mocnnná transformace (x+a) poskytne jné výsledky než mocnnná transformace x. Lze se snadno přesvědčt, že: rodna transformací defnovaných rovncí (6) je vzhledem k mocnně spojtá. V okolí blízkého nule platí lm (x - ) / = lm x ln(x) = ln(x) všechny transformační závslost h(x) procházejí jedním bodem o souřadncích y = 0, x = a mají v tomto bodě společnou směrnc (jsou zde, co do průběhu, shodné) Mocnnné transformace s exponenty -, -3/, -, -0,5, 0, 0,5,, 3/, jsou co do křvost rovnoměrně rozmístěné. Vlvem transformace (6) se však obecně mění charakterstky polohy a rozptýlení, což komplkuje porovnání různě transformovaných výběrů (nevadí pochoptelně pro přblížení k normaltě, resp., zesymetrčtění výběru).

9 Pro zajštění toho, aby měla transformovaná data přblžně stejnou polohu a rozptýlení jako data netransformovaná, je možné použít dostatečné lneární transformace (vz []). Z hledska analýzy dat je transformace vždy žádoucí, pokud x(n) / x() > 0 (předpokládají se kladná data). Rov. (6) je použtelná pouze pro kladná data. Pokud je znám jný počátek x 0, pod kterým se data nemohou vyskytovat, volí se zobecněná mocnnná transformace ( x + c) h( x) = 0 () h ( x) = ln( x + c) = 0 Zde c>= x 0. Obecně se hledají u této transformace dva parametry. S ohledem na to, že dosavadní transformace platí pro zdola omezené rozdělení dat, není zřejmě možné, aby jejch rozdělení bylo strktně normální. Pro odstranění této (praktcky nepřílš důležté) nevýhody doporučují Bckel a Doksum rozšířenou Box-Coxovu transformac (pro parametr > 0), která pokrývá celou reálnou osu sgn( x) * abs( x) h( x) = 0 (3) Nevýhodou je, že tato transformace neobsahuje logartmckou transformac. Tato transformace je jž nezávslá na měřítku. Pro odhady parametrů v těchto rodnách transformací lze opět použít různých charakterstk škmost a špčatost. V případě jednoparametrckých rodn transformací se lze zaměřt pouze na jednu charakterstku tvaru (obyčejně škmost). Výhodnější je použtí testů normalty dat po mocnnné transformac. Známý Shapro-Wlkův test je úměrný testu významnost směrnce v Q-Q grafu, takže lze také posuzovat lneartu v Q-Q grafech. S ohledem na požadavek, aby se rozdělení výběru v transformac co nejvíce blížlo normálnímu rozdělení, lze pro odhad optmálního použít metodu maxmální věrohodnost. Pokud platí předpoklady adtvního modelu měření (normalta a nezávslost) má logartmus věrohodnostní funkce tvar ln L( ) = ( )* ln( x ) [ h( x ) h( μ )] (4) σ Pro pevné lze určt maxmálně věrohodný odhad rozptylu ve tvaru σ [ ] c = h( x ) h( ) N μ (5) kde se za h( μ ) dosazuje artmetcký průměr transformovaných dat h( μ ) h( x ) (6) N Po dosazení do věrohodnostní funkce resultuje vztah

10 * N * lnσ c ln L ( ) = ( )* ln( x ) (7) Maxmalzací ln L * ( ) podle (vz.[]) lze pak snadno určt maxmálně věrohodný odhad ˆ parametru transformace. Je patrné, že je tato úloha ekvvalentní mnmalzac rozptylu v transformovaných proměnných σ c. Na základě Taylorova rozvoje funkce h(x) pro pevné l vyjde přblžný výraz D( x ) = D( x ) E( x ) D( x ) = E( x ) kde δ je varační koefcent. Je zřejmé, že pro pevné bude rozptyl v transformac tím vyšší, čím bude větší rozptýlení dat. To umožní dentfkac extrému (mnma). Pro málo rozptýlená data bude rozptyl v transformac malý a dentfkace extrému bude obtížnější. V prác [3] bylo ukázáno, že pro D(x) 0 je rozptyl D( ˆ ) a podobně rozptyl zobecněného průměru roste nade všechny meze.pro snadnou dentfkovatelnost transformace je tedy výhodné mít větší rozptýlení dat jak je např. běžné u výběrů s asymetrckých rozdělení. Formálně lze úlohu maxmalzace rov (7) vyjádřt ve tvaru δ d ln( L ) d ln( x ) σ h( x ) N = dh( x ) h( x ) * d = 0 (8) dh( x ) ( + * x )ln( + * x kde = d ) * x Z druhé dervace věrohodnostní funkce lze určt rozptyl maxmálně věrohodného odhadu mocnnné transformace[7]. Po úpravách vyjde : D( ˆ ) = (-0.333*g g )/(3Nw), kde w = σ (+ ). Zde σ, g a g jsou rozptyl, škmost a špčatost původních dat. Je patrné, že pro σ 0 roste rozptyl odhadu mocnnné transformace nade všechny meze. Na základě asymptotckého ( α ) % ního ntervalu spolehlvost parametru mocnnné transformace lze sestavt nerovnost ˆ ln L( ) ln L( ) 0.5* () (9) χ α Všechna splňující tuto nerovnost leží v ntervalu spolehlvost a jsou tedy přjatelná. Toho lze snadno využít pro rozlšení mez adtvním a multplkatvním modelem měření. V rovnc (9) označuje χ α () kvantl χ rozdělení s stupněm volnost. Platí, že: pokud obsahuje 95% ní nterval spolehlvost také jednčku, volí se adtvní model. pokud obsahuje 95% ní nterval spolehlvost nulu a nkolv jednčku, volí se multplkatvní model. v ostatních případech je možné zvolt pravděpodobnostní model (0) a použít pro další analýzu postup navržený v [].

11 S výhodou lze využít grafckého záznamu ln L( ) na se zakresleným (obyčejně 95 %ním) ntervalem spolehlvost. Z tohoto grafu lze jž snadno odhadnout jak kvaltu transformace, tak posoudt, v jakých mezích se může hodnota pohybovat. (Platí, že čím jsou tyto meze užší, je kvalta transformace vyšší, pokud v nch neleží = ). Parametr mocnnné transformace zřejmě souvsí s škmostí rozdělení dat. Pro kvantfkac tohoto vztahu lze dosadt do podmínky (8) místo h(x) jeho rozvoj do Taylorovy řady a určt maxmálně věrohodný odhad analytcky. V prác [8] je toto odvození provedeno. Výsledek lze zapsat ve tvaru E( x )* σ * β (30) 6 kde β je škmost původních dat. Je patrné, že pro data zeškmená k vyšším hodnotám vyjde parametr transformace podstatně menší než jedna. Pomocí vztahu (30) můžeme např. snadno posoudt vlv posunu dat na parametr mocnnné transformace. Např. pro případ, že data posuneme o konstantu a tj. y = a*x vyjde, že y = x a* σ * β ) / 6 ( Jak je patrné, je třeba př použtí postupu mocnnné transformace brát v úvahu také případné lneární transformace dat a jejch rozmezí. Specálně pro účely průzkumové analýzy dat (vz. []) byl navržen postup, který umožňuje grafcké posouzení vhodnost mocnnné transformace. Je použto jednoduché třídy transformací typu h( x) = a * x + b 0 (3) h ( x) = c *ln( x) + d = 0 Parametry a, b, c, d volí Emerson a Stotto [9] tak, aby byla zachována přblžná lnearta transformace v okolí medánu, tj. med( x ) med( x) d dx ( med( x ) Pro určení vhodné transformace se vychází z výběrových kvantlů xp a medánu x 0,5. Vynesením y* = (xp + x -p)/ na x* = [(x -p - x 0,5 ) + (x 0,5 - xp)]/ (4 x 0,5 ) rezultuje v případě možnost symetrzační transformace lneární závslost, procházející počátkem typu y* = (- ) x*. Ze směrnce této závslost tedy můžeme přímo nalézt odhad parametru transformace. Př praktcké aplkac tohoto postupu se volí jednotlvé písmenové hodnoty (vz []), pro které je P = -(+), =,... Pro robustní odhad směrnce (- ) se doporučuje počítat pro všechny body směrnce k = y * /x * a jako optmální vzít pak medán ze všech k. Uvedený postup je vhodný pro málo a středně zeškmená rozdělení. Cameron [0] ukázal, že pro slně zeškmená rozdělení a kvantly xp vzdálené od medánu vznká na grafu y* vs, x* systematcká křvost. Pak je vhodné provádět teratvní hledání optmálního, kdy se výsledek z prvého určení směrnce (y* vs. x*) dosadí do transformace (3) a v dalších vyneseních se místo kvantlů proměnné x používají transformované kvantly h(x) (určené z předchozího

12 grafu). Také je výhodné v prvních fázích brát spíše směrnce určené z kvantlů (P = 0,5). Z toho plyne, že Emerson-Stottův postup není zcela automatcký a vyžaduje často teratvní hledání vhodného, kde v každé terac se konstruuje graf typu y* na x*. Na druhé straně je tento postup velm jednoduchý a umožňuje posouzení vlvu případných vlvných bodů na výsledek transformace. Lze se snadno přesvědčt, že všechny uváděné typy transformace jsou členy obecné Johnsonovy rodny transformací J(x). Lze ukázat, že pouze pro tř funkce h(.) pokrývá transformace J(x) celé rozmezí škmost a špčatost. 6. Metody BOOTSTRAP Je známo, že pro konstrukc ntervalu spolehlvost populačního parametru p s je třeba znát rozdělení g(p) jeho odhadu p. Pro některá rozdělení (např. normální) a parametry (střední hodnota, rozptyl) jsou rozdělení odhadů nebo jejch funkcí známy a ntervaly spolehlvost je možné konstruovat relatvně snadno. Pro neznámé rozdělení výběru x = (x..x N ) a lbovolný parametr ps lze s výhodou použít technku Bootstrap, která umožňuje jak nalezení rozdělení výběrové statstky p, tak konstrukc ntervalu spolehlvost. Základní myšlenka metody Bootstrap je jednoduchá[6, 7]. Spočívá v generac M-tce smulovaných výběrů v..v M označovaných jako Bootstrap výběry. Jejch rozdělení odpovídá rozdělení původního výběru x, charakterzovaného hustotou pravděpodobnost g(x). Z těchto výběrů se určí M-tce odhadů p = p(x) hledaného parametru ps. Z této M-tce hodnot lze počítat ntervaly spolehlvost pomocí celé řady metod. A. Odhad z asymptotcké normalty Jde o nejjednodušší postup založený na představě, že M je dostatečně velké a p =..N lze zpracovat jako výběr z normálního rozdělení. Pro tzv. Bootstrap odhad střední hodnoty parametru ps platí M p B = p (3) M = a odpovídající rozptyl má tvar M sb = ( p pb ) (33) M = Pro 00(-α) %ní nterval spolehlvost parametru ps se pak použje známý vztah p u s ps p + u s (34) B α/ B B α/ B kde / je kvantl normovaného normálního rozdělení. u α B. Percentlový odhad Tento postup je založen na neparametrckém odhadu mezí ntervalu spolehlvost vycházejícím z pořádkových statstk p (),kde p () <= p (+) jsou pořádkové statstky, pro které platí, že jsou d %ním kvantlem rozdělení odhadu p pro d = M + Dolní mez 00(-α) %ní ntervalu spolehlvost je pak LC = kde k = nt[ α * ( M + ) / ] (35) p ( k ) a pro horní mez platí

13 UC = kde k = nt[( α / )* ( M + )] (36) p ( k ) Zde nt (x) je celá část čísla x. C. Studentzovaný odhad Tento odhad vychází z jednoduché transformace vedoucí na Studentzovanou náhodnou velčnu t p pb t = sb kde s B je výběrová směrodatná odchylka počítaná pro - tý Bootstrap výběr v. Pro 00(-α) %ní nterval spolehlvost pak platí p t * s ps p + t * s (37) B D B B D B kde pořádková statstka D = t (nt[ α *( M ) / ]) a pořádková statstka H t (nt[( / )*( M )]) t + t = α + D. Vyhlazený odhad Obecně lze na základě hodnot p sestavt odhad hustoty pravděpodobnost jejch rozdělení fe(p) např. s využtím hstogramu nebo jádrového odhadu. Př znalost funkce fe(p) se snadno konstruuje nterval spolehlvost přímo z defnce. Pro meze tohoto ntervalu pak platí, že a α / = α / LC = fe( p )dp UC fe( p )dp Podle typu odhadu fe může jít o úlohu numercké nebo analytcké ntegrace. Základním předpokladem úspěšnost celého postupu je generace Bootstrap výběrů. Pro tento účel je třeba buď znát nebo volt rozdělení g(x). Standardní technka neparametrckého Bootstrap vychází z neparametrckého odhadu g(x) ve tvaru g( x ) = δ ( x x ) (38) N kde Dracova funkce δ ( x x ) = pro ( x = x ) a všude jnde je. δ ( x x ) = 0. Toto rozdělení pokládá pravděpodobnost /N v každém bodě. Smulované výběry se pak realzují jako náhodné výběry složené z prvků původního výběru x s vracením (tj. jeden prvek původního výběru se může v smulovaném výběru vyskytovat opakovaně). Další možností je konstruovat vhodný parametrcký model g(x), odhadnout jeho parametry a generovat smulované výběry standardním postupy. Tento přístup naráží na celou řadu problémů souvsejících s možnou nehomogentou, vybočujícím body, heteroskedastctou a autokorelací. Bootstrap metody obecně poskytují nformace jak o bodových odhadech, tak ntervalech spolehlvost.

14 Uvažujme standardní neparametrcký Bootstrap (v jsou výběry s vracením ) pro ps = µ, tj. jde o střední hodnotu a její nterval spolehlvost střední hodnoty. Lze snadno určt, že v tomto případě je Bootstrap průměr totožný s artmetckým průměrem původních dat a Bootstrap rozptyl je M-krát menší než rozptyl původních dat. Lší se však ntervaly spolehlvost zejména tam, kde se rozdělení dat výrazně odchyluje od normálního rozdělení. Kromě standardního Bootstrap lze použít také dvojtý Bootstrap (Bootstrap aplkovaný na výběry v ), blokový Bootstrap (realzace výběru s vracením na bloky homogenních dat a sestavení celkového Bootstrap výběru spojením výsledků) [7]. Pro účely detalnějšího posouzení kvalty Box Coxovy transformace je možné určt výše uvedeným postupem (kap.5) pro všechny Bootstrap výběry parametr a posoudt jejch rozdělení. Jako vhodný odhad lze pak určt průměr z rov. (3) a meze ntervalu spolehlvost pro z percentlových odhadů defnovaných rov. (35) a (36). Tento postup je využt v programu bootcox v jazyce MATLAB: 7. Příklad Jednou možností programu bootcox je možnost generace náhodných výběrů z normálního rozdělení. Tento příklad je zvolen s cílem ukázat, že pro slně zeškmená data lze jen obtížně dentfkovat vlv vybočujícího měření na výsledek Box Coxovy transformace. Bylo generováno 50 dat z normálního rozdělení se střední hodnotou 0 a směrodatnou odchylkou 3.5. Data byla převedena na zeškmené rozdělení exponencální transformací exp(x). K těmto upraveným datům bylo přdáno vybočující měření s hodnotou 4x vyšší než maxmální prvek transformovaného výběru. Je zřejmé, že k normaltě zde vede logartmcká transformace ln(x). Pro tato data je znázorněn ranktový graf pro původní data na obr..5 ranktový graf puvodn.5 kvantl normalnho rozd poradkova statstka x 0 8 Obr. Ranktový graf pro původní data.

15 Je patné výrazné zeškmení a jeden slně vybočující bod. Průběh věrohodnostní funkce je na obr.. Optmální vyšlo 0.00 a meze 95 % ního ntervalu spolehlvost jsou a graf MLE MLE lambda Obr. Graf věrohodnostní funkce. Ranktový graf pro transformovaná data je na obr Ranktový graf Box Cox trans. kvantl normalnho rozd poradkova statstka Obr 3. Ranktový graf pro transforovaná data (Box Cox)

16 Př použtí neparametrcké Bootstrap metody vyšlo jako průměr z 000 Bootstrap výběrů rovno a meze 95 % ního ntervalu spolehlvost (percentlové odhady) jsou a Je patrné, že rozdíly jsou praktcky zanedbatelné. Hstogram a neparametrcký odhad hustoty pro počítané ze všech 000 Bootstrap výběrů jsou na obr lambda hstogram h = Rel. Freq Obr 4. Hstogram a neparametrcký odhad hustoty parametrů z Bootstrap výběrů Je patrné, že rozdělení parametru je zeškmené k vyšším hodnotám (škmost = 0.70) a poměrné ploché, což ndkuje výrazné odchylky od normalty a svědčí o heterogentě dat. Je také zřejmé, že extrémně vysoké hodnoty v datech (vz. obr. ) se logartmckou transformací stanou praktcky nerozeznatelným od ostatních (vz. obr. ). Mocnnná transformace zde tedy obecně potlačuje vybočující měření..protože nterval spolehlvost parametru obsahuje nulu lze provádět další analýzu v logartmcké transformac resp. volt multplkatvní model měření. 8. Závěr Je patrné, že statstcké zpracování dat v analytcké prax má celou řadu specfckých zvláštností, které je třeba brát v úvahu. Je vždy výhodné začít průzkumovou analýzou a porovnáním resp. selekcí modelů měření a až poté zvolt další cestu. Ve shodě s koncepcí satstcal methods mnng [] je často nezbytné kombnovat různé přístupy jako je transformace, robustní metody a počítačově ntenzvní metody k dosažení rozumných výsledků. Specálně př transformac dat je třeba mít na pamět, že jde o datově orentovaný přístup a pro dva různé výběry z téhož rozdělení lze získat různé odhady parametru transformace. Vodítkem může být kvalta transformace vyjádřená ntervalem spolehlvost parametru resp. rozdělení tohoto parametru z Bootstrap výběrů. Také vztah k škmost dat vyjádřený rov.

17 (30) ndkuje často vhodnost transformace s ohledem na možné vybočující hodnoty (lze počítat škmost ze všech dat a bez vybočujících bodů a porovnat odhady ). Běžně využívaná mocnnná transformace potlačuje výrazně vybočující hodnoty. Je zřejmé, že přzpůsobení dat potřebám statstcké analýzy (symetrzace) bez hlubšího rozboru příčn potřeby transformace může vést ke zkresleným závěrům. Poděkování: Tato práce vznkla s podporou výzkumného centra Textl, projekt č. M Lteratura [] Meloun M., Mltký J.: Zpracování expermentálních dat, East Publshng Praha 998 [] Mltký J., Meloun M.: Konference Mkroelementy "99,Řež u Prahy, lstopad 999 [3] Bckel P.J., Doksum K.A.: J. Amer. Stat Assoc. 76, 96 (98) [4] Massart D.L. a kol. : Chemometrcs a textbook, Elsever Amsterdam 988 [5] Efron B.: Annals of Statst. 0, 33 (98) [6] Schlesselman J.: J. Roy Stat. Soc. B33, 307 (97) [7] Draper N.R., Cox D. R.: J. Roy Stat. Soc. B3, 47 (969) [8] Box G. E. P., Cox D. R.: J. Roy Stat. Soc. B6, (964) [9] Emerson J.D., Stotto M.A: J.Amer.Stat.Assoc. 77, 03 (98) [0] Cameron M.: J.Amer. Statst. Assoc. 79, 07 (984) [] Parzen E.: Proc Nnth Int. conf. on quanttatve methods for envronmental scence, July 988, Melbourne [] Doksum K., Wong Ch.W.: J.Amer.Statst. Assoc. 78, 4 (983) [3] Hnkley D.V., Runger G.: J.Amer.Statst.Assoc. 79, 30 (984) [4] Berger G., Cassela. R.: Amer. Statst 46, 79 (99) [5] Gaudard M., Karson M.: Commun. Statst. Smula. 9, 559 (000) [6] Wekrens, R. a kol.: Chem.Int. Lab. Systems 54, 35-5 (000) [7] Davdson, A., Hnkley, D.V.,: Bootstrap Methods and Ther Applcatons, Cambrdge Unv. Press, Cambrdge, 997