ZPRACOVÁNÍ VÝBĚRŮ Z ASYMETRICKÝCH ROZDĚLENÍ

Transkript

1 ZPRCOVÁÍ VÝBĚRŮ Z SYMERICKÝCH ROZDĚLEÍ JIŘÍ MILIKÝ, Katedra tetilních materiálů, echnická univerita v Liberci, 46 7 Liberec MIL MELOU, Katedra analytické chemie, Univerita Pardubice, Pardubice btrakt Jou popány základní potupy pro určování parametru polohy (třední hodnoty a odpovídajícího intervalu polehlivoti pro typická data z oblati monitorování úrovně škodlivin v životním protředí. Pozornot je zaměřena jak na metody tranformace dat, tak i na potupy vycházející z eliminace šikmoti rozdělení Studentovy t- tatitiky. Jou vybrány metody, které jou jednoduchým rozšířením klaických potupů a lze je nadno realizovat i bez náročnějších výpočtů.. Úvod Jednou ze základních úloh analytické chemie v oblati životního protředí je monitorování úrovně škodlivin v ovzduší, vodě a půdě. Cílem je zjištění, zda daná škodlivina nepřekračuje povolenou úroveň kontaminace. Standardně e potupuje tak, že e na základě měření (... tanoví vhodný odhad třední hodnoty µ a porovná e povolenou úrovní µ o. S ohledem na variabilitu měření je vhodné ověřit, zda µ o padne do intervalu polehlivoti CI parametru µ či nikoliv. Data z oblati životního protředí mají tandardně některé pecifické zvláštnoti: I. Obahují čato etrémně velké hodnoty, které však nejou důledkem chyb měření II. Mohou být cenzurována zdola ohledem na limitu detekce přítrojů III. Jou vždy kladná a výrazně zešikmená k vyšším hodnotám IV. Jejich počet je omezen díky drahému vzorkování a ložitému analytickému vyhodnocení V. Jou čato protorově nebo čaově závilá, protože zdroj znečištění ovlivňuje okolí VI. ení možní opakování tanovení (tj. vzorkování a měření za tejných podmínek, protože e koncentrace škodlivin mění jak v čae, tak i v protoru. yto zvláštnoti pak omezují použití různých technik založených na průzkumové analýze a identifikaci vybočujících měření. aké robutní techniky zde elhávají, protože eliminují etrémy, které zde nejou chybami ale důledkem zešikmení rozdělení dat. Standardní tatitická analýza zde vede k přehnaně optimitickým závěrům. Platí totiž, že i když zde může být aritmetický průměr aymptoticky nevychýleným odhadem je velkou pravděpodobnotí menší než kutečná hodnota parametru polohy µ. Dochází tedy k podcenění odhadu třední hodnoty a tím ke zdánlivému menšímu zjištěnému obahu škodlivin. o může mít až katatrofické náledky v případech, kdy e jedná o životu nebezpečné látky. Standardně e tento problém řeší tak, že e míto aritmetického průměru použije horní mez odpovídajícího intervalu polehlivoti ( viz. např. doporučení US Environmental Protection aency EP. Pokud je velikot výběru malá a data jou ilně zešikmená nezajišťuje tandardní interval polehlivoti požadované pokrytí a navíc je ytematicky vychýlený. Vtomto přípěvku jou navrženy metody pro dílčí problémy pojené velikotí výběru a zešikmením rozdělení dat. Problémy cenzurovanými výběry a závilotí dat lze řešit pomocí některých potupů popaných např. v[, ].

2 . Základní pojmy Standardní způob zpracování jednorozměrných výběrů počívá ve výpočtu aritmetického průměru avýběrového rozptylu. Je známo, že pokud zpracovávaný výběr velikoti prochází z ne - normálního rozdělení e třední hodnotou µ arozptylemσ (< má náhodná veličina Z = * ( µ / σ ( aymptoticky normální rozdělení. Pokud není σ známo, nahrazuje e výběrovou měrodatnou odchylkou. Pak má tzv. Studentova náhodná veličina t = * ( µ / ( Studentovo rozdělení ( - tupni volnoti. ymptotická normalita veličiny Z rep. Studentovo rozdělení veličiny t umožňuje kontrukci intervalu polehlivoti třední hodnoty µ. Při tzv. frekventitickém přítupu je 00 ( - α % na interval polehlivoti CI definován vztahem P(CID µ CIH = α (3 Symbol P (. označuje pravděpodobnot a α je tzv. hladina významnoti. Obyčejně e volí α = 0.05 nebo α =0.0tím,že čím je α menší, tím je interval (CID, CIH širší. Při znaloti rozptylu σ je možno interval polehlivoti CI vyjádřit ve tvaru z α / * µ z α / * (4 kde z α / vztah je kvantil normovaného normálního rozdělení. Pokud není σ známo lze použít t α / ( * µ t α / ( * (5 kde t ( α /. a t ( α / jou kvantily Studentova rozdělení - tupni volnoti. Pro případ normálního rozdělení mají intervaly (4 rep. (5 přeně 00(-α % ní pokrytí třední hodnoty.o znamená, že jen v 00α/ % případů je třední hodnota menší než CI (nejitota P zprava a v 00α/ % případů je větší než CI (nejitota L zprava.pro případ ne normálního rozdělení platí tyto intervaly pouze aymptoticky tedy pro dotatečně vyoká.pro jak vyoká lze tyto intervaly použít závií ilně na šikmoti ( rozdělení z kterého data pocházejí [3]. Pro kvantifikaci vlivu šikmoti na rozdělení náhodné veličiny Z definované rov. ( je možno použít prvního členu Edeworthova rozvoje pro, který platí P( Z = F ( n ( * ( 6 f ( n (6

3 Zde F n ( je ditribuční funkce normovaného normálního rozdělení a f n ( je odpovídající hutota pravděpodobnoti. Šikmot náhodné veličiny Z je dána vztahem ( Z = ( / (7 Čím je (Z blíže k nule, tím je rozdělení veličiny Z bližší normálnímu. Z rov. (6 je patrné, že pro rozdělení dat zešikmené k vyšším hodnotám (tj. ( kladné, je také rozdělení náhodné veličiny Z zešikmené k vyšším hodnotám (tj. (Z kladné. Interval polehlivoti (4 pak má vyšší horní mez CIH a menší dolní mez CID než odpovídá reálnému rozdělení tatitiky Z. apř. pro výběr rozahu =0 ze tandardizovaného eponenciálního rozdělení, kdy je (=, je 97.5 % ní kvantil rozdělení veličiny Z určený z rov. (6 roven.4 a odpovídající kvantil normovaného normálního rozdělení je pouze.96. Podobně lze určit, že.5 % ní kvantil Z je pouze.65 oproti odpovídajícímu kvantilu normovaného normálního rozdělení Interval polehlivoti definovaný rov. (4 je tedy celý pounut doprava oproti kutečnému [3]. aké pro kvantifikaci vlivu šikmoti na rozdělení náhodné veličiny t definované rov. ( je možno použít prvního členu Edeworthova rozvoje P( t = F ( n ( * ( 6 f ( n (8 Zdejeopět F n ( ditribuční funkce normovaného normálního rozdělení a f n ( je odpovídající hutota pravděpodobnoti. Při porovnání rov. (6, je patrné opačné znaménko korekčního členu, což znamená, že pro rozdělení dat zešikmené k vyšším hodnotám (tj. ( kladné, je rozdělení náhodné veličiny t zešikmené k nižším hodnotám (tj. (t záporné. Interval polehlivoti (5 pak má nižší horní mez CIH avětší dolní mez CID než odpovídá reálnému rozdělení tatitiky t. Interval polehlivoti definovaný rov. (5 je tedy celý pounut doleva oproti kutečnému [3]. ojezvláště nepříjemné u dat ilně zešikmených vpravo a vede to k kpřehnaně optimitickým závěrům o úrovni kontaminace. Potup doporučený EP pak vlatně nevyčíluje horní mez 95 % ního intervalu polehlivoti, ale jinou mez závilou na šikmoti dat a velikoti výběru. Důvodem toho rozdílu mezi chováním náhodné veličiny Z a t je v korelaci mezi odhady a. ymptotický korelační koeficient je roven [3]. ρ(, = ( ( ( (9 kde ( je šikmot rozdělení dat. Je patrné, že problémy výpočtem intervalů polehlivoti třední hodnoty natávají pokud je rozdělení dat ne-normální (zešikmené vpravo a velikot výběru je malá. Přitom, co je malá velikot výběru závií na šikmoti rozdělení dat. Problémem je nejen poun intervalu polehlivoti definovaného rov (5 měrem k nižším hodnotám, ale také to, že pro pozitivně zešikmená rozdělení je odhad velkou pravděpodobnotí menší, než µ. a druhé traně bylo určeno, že interval polehlivoti definovaný rov.(5 je poměrně robutní. V dalším e omezíme na základní techniky omezení vlivu zešikmení dat

4 . Snížení aymetrie rozdělení náhodné veličiny t B. Výpočet koriovaného průměru C. Symetrizační tranformace dat V případech ( a (C jde o použití vhodné tranformace vedoucí ke zlepšení tatitických vlatnotí tetovacích tatitik (, rep. původních dat (B. ni jeden z těchto potupů není prot jitých omezení a vždy je využito rozvoje do řady a použití několik prvních členů. V případě (B e používá klaický interval polehlivoti pro koriovaný průměr, který je blíže třední hodnotě (vyšší než. 3. Omezení aymetrie rozdělení Studentovy tatitiky ymetrie rozdělení t tatitiky je zřejmá z Edeworthova rozvoje definovaného rov. (8. Johnon navrhl nahradit čitatel rov ( několika členy inverzního Cornih Fiherova rozvoje. ( * ( t = * [( µ ( 6 3 Protutotranformacijižpřibližně platí, že J µ ] / (0 P( t J F ( n ( Johnonova tranformace t tatitiky však není obecně ani monotónní ani v neupravené formě invertovatelná. yto problémy eliminují tranformace navržené Hallem [4] 3 ( * K ( * K ( t H = K ( rep. * K * ( 3* * ep( ( 3 t H = (3 6 * ( Zde µ K = Obě tyto tranformace náobené faktorem -0.5 plňují rov ( tj. vedou k přibližné normalitě (redukci šikmoti a jou invertovatelné. Inverzní forma tatitiky t H e zahrnutou náobivou kontantou má tvar t H 3* ( y = ( [( ( * ( y ( 6 / 3 ] (4 Při ledování úrovně škodlivin je prakticky zajímavý pouze pravotranný interval polehlivoti (jednotranný interval polehlivoti zprava tj. horní hranici třední hodnoty.ento interval e čato používá u rozdělení zešikmených vpravo k určení povolené horní hranice např. znečištění Pro horní mez pravotranného intervalu polehlivoti pak platí,že µ α t H ( z * (5

5 Inverzní forma pro t H je uvedena c práci [4]. Míto normovaného normálního kvantilu z e doporučuje použít odpovídajícího kvantilu určeného z Boottrap výběrů (viz. [4]. Míto tranformace definované rov. (4 lze požít zjednodušenou veri t a ( y = y ( * ( y / 3 / 6 (6 ato tranformace e pak doadí do rov (5. Opět je možno použít Boottrap kvantilů. Jak je patrné znalot šikmoti výběrového rozdělení je zde nezbytnou podmínkou pro použití korekcí. V práci [3] byl na rozáhlém imulačním eperimentu určen vztah mezi nejitotou pokrytí zleva, zprava a z obou tran. ejitota pokrytí zprava P vyjadřuje pravděpodobnot, že kutečná třední hodnota je nižší než meze intervalu polehlivoti. Pro nejitotu pokrytí zleva L e určuje pravděpodobnot, že kutečná třední hodnota je vyšší než meze intervalu polehlivoti. ejitota pokrytí z obou tran C je pak jednocení obou chyb pokrytí, tj. C=PL. Pro širokou třídu rozdělení bylo nalezeno, že a PR = α / [ * ep( α / ]* PL = α / [ * ln( α / ] * / / (7 (8 Z těchto rovnic e dá např. určit potřebná velikot výběru, aby byla zachována nejitota pokrytí jako rozdíl mezi požadovanou pravděpodobnotí pokrytí (např a doaženou pravděpodobnotí pokrytí (např Další možnotí použití výše uvedených vztahů je fiovat nejitotu pokrytí na zvolené hodnotě a pro známé i ( nalézt pravděpodobnot a* pro výpočet kvantilu Studentova rozdělení. akto opravené kvantily e pak doadí do rov (5. Klaický pravotranný interval polehlivoti má tvar µ t α ( * (9 Po doazení do rov (8 za PL = 0.05 rezultuje výraz * * 0 = α [ * ln( α ] ( / 0.05 = * f ( α * Kořenem funkce f ( α je pak a*,prokterée počítá opravený kvantil Studentova rozdělení, tj. hodnota t -a* (-. 4. Výpočet koriovaného průměru Jednoduchá možnot jak počítat koriovaný průměr pro tanovení intervalu polehlivoti u aymetrických rozdělení je založena na Johnonově tranformaci. Opravený průměr O má tvar

6 O = ( * 6 (0 Je patrné, že velikot korekce opět ouvií e šikmotí a počtem měření. a rozdíl od předchozího potupu e však mění poloha centra. Další možnotí je použití odhadů minimalizujících penále za přecenění rep. nedocenění odhadu třední hodnoty. Chenová zavedla tzv. MCE odhad MCE ve tvaru = MCE d * ( kde d e počítá podle vztahu d = 0.5* é ê êë b ( b 4 3 4* 8* lo( a * ( b* ( ù ú úû ( Volba a a b ouvií e zvolenýmpenále. Doporučuje e a=a b=i když na základě imulací vychází píše a=0a b=3.zajímavé je použití koncepce vycházející z kompromiu mezi vychýlením odhadu a pravděpodobnotí, že bude ležet nad třední hodnotou. a tomto základě byl navržen penalizovaný průměr P,prokterý platí, že P 4.5* = f ( [ F( ] (3 Zde f( rep F( jou hodnoty hutoty pravděpodobnoti a ditribuční funkce, které e nahrazují neparametrickými odhady. Pro určení f( e doporučuje vztah f ( = int( * * ( (4 Zde ( e bere jako k- tá nejmenší hodnota rozdílů w i = ab( i -, kde k = int( 0.5. Jde vlatně oktoupořádkovou tatitiku. Hodnota ditribuční funkce e počítá jako počet hodnot prvků výběru ležících pod dělený. Je možné použít i dalších neparametrických odhadů založených např. napořádkových tatitikách. Dalším zlepšením jepoužití upraveného výběru uvažujícího etrémy. V upraveném výběru e nejvyšší pořádková tatitika ( nahrazuje hodnotou 4.5, pokud je větší.ato modifikace e doporučuje pro ilně zešikmená rozdělení, kde e vykytují hodnoty, ice etrémně vyoké, ale patřící do výběru. 7. ranformace dat Je známo, že vhodnou tranformací dat h( lze tabilizovat rozptyl, přiblížit šikmot nule a tvar rozdělení normálnímu rozdělení []. S výhodou e jako funkce h(. používá Bo Coova třída polynomických tranformací ve tvaru λ ( h( = λ 0 λ (5

7 h ( = ln( λ = 0 Pro rozdělení zešikmená kvyšším hodnotám potačuje uvažovat interval 0 λ. Lze ukázat, že vhodným odhadem parametru µ (neznámá koncentrace je výběrový medián, který je invariantní vůči monotónní tranformaci. ranformace h( vyjádřená rov. (5 je lineární tranformací tzv. proté mocninné tranformace hp( = l pro l¹ 0 rep hp( = ln (. Lze dokázat, že pokud h( je lineární tranformací hp( platí pro retranformované třední hodnoty h [ E( h( ] = hp [ E( hp( ] (6 Pro obě tranformace je pak odhadem retranformované třední hodnoty zobecněný průměr rep. M æ = ç å è i= / λ λ i ö ø pro λ 0 (7 M æ = ç è i= i ö ø / pro λ = 0 (8 Obě tranformace jou závilé na pounu. edy mocninná tranformace (a pokytne jiné výledky než mocninná tranformace. (vizdále. Pro odhad parametru λ je možno použít metodu maimální věrohodnoti. Pokud je v tanformaci docíleno normality a nezáviloti má loaritmu věrohodnotní funkce tvar å ln L( λ = ( λ * ln( i µ σ å[ h( i h( ] (9 Pro pevné λ lze určit maimálně věrohodný odhad rozptylu ve tvaru σ å [ h( h( ] c = i µ (30 kde e za h ( µ doazuje aritmetický průměr tranformovaných dat å h( µ h( i Po doazení do věrohodnotní funkce reultuje vztah (3 å * * lnσ c ln L ( λ = ( λ * ln( i (3

8 Maimalizací ln L * ( λ podle λ (viz.[] lze pak nadno určit maimálně věrohodný odhad λˆ parametru tranformace λ. Je patrné, že jetatoúloha ekvivalentní minimalizaci rozptylu v tranformovaných proměnných. Z druhé derivace věrohodnotní funkce lze určit rozptyl maimálně věrohodného odhadu mocninné tranformace[7] Po úpravách vyjde : D( λˆ = (-0.333* /(3w, kde w=l/(l. Zde, a jou rozptyl, šikmot a špičatot původních dat. Je patrné, že pro 0 rote rozptyl odhadu mocninné tranformace nade všechny meze. a základě aymptotického ( α % ního intervalu polehlivoti parametru mocninné tranformace lze etavit nerovnot ln L( λ ln L( ˆ λ 0.5* χ α ( (33 Všechna λ plňující tuto nerovnot leží v intervalu polehlivoti a jou tedy přijatelná. V rovnici ( označuje χ α ( kvantil chí kvadrát rozdělení tupněmvolnoti. Parametr mocninné tranformace zřejmě ouvií šikmotí rozdělení dat. Pro kvantifikaci tohoto vztahu lze doadit do podmínky (3 mítoh(jehorozvojdoaylorovy řady a určit maimálně věrohodný odhad analyticky. V práci [8] je toto odvození provedeno. Výledek lze zapat ve tvaru λ E( * σ * 6 ( (34 Je patrné, že pro data zešikmená k vyšším hodnotám vyjde parametr tranformace podtatně menší než jedna. Při znaloti parametru tranformace lze vyčílit třední hodnotu E( původních dat jako nelineární funkci třední hodnoty µ a rozptylu σ v tranformaci. E( X = y µ λy * f n( σ ò σ λ / dy (35 Zde f n je hutota pravděpodobnoti normovaného normálního rozdělení. Pro λ = 0 doazení do rov. (35 a interaci, že vyjde po E( = ep( µ 0.5 σ (36 apro λ = 0. 5 je E( = [0.5µ ] 0. 5σ Přenější aproimace E( pro loaritmickou tranformaci má tvar E( ( σ 4 4 é σ σ ( 3σ 44σ = ep( µ 0.5σ * ê ë ù ú û (37

9 Pro určení intervalu polehlivoti lze využít aymptotické normality třední hodnoty v tranformaci. Výledný interval má tvar h ( µ t α / ( σ / µ h ( µ t α / ( σ / ento interval však již nemuí obahovat uprotřed parametr polohy. Modifikovaný potup je popánvpráci [9]. Příklad: Byl tanoven obah antimonu v ppm u =7 vzorků měděné rudy 4,5,7,7,7,8,8.3,8.4,9.4,9.5,0,0.5,,.8,3,,3.Standardní tatitická analýza vede k odhadům. Průměr aritmetický = 0.406, průměr eometrický =9.4,rozptyl = 6.83,šikmot =.399, špičatot = 4.7. Pro zadaná data je znázorněnprůběhvěrohodnotní funkce na obr.. Optimální mocnina vyšla 0.3. mezemi (.3, Protože tento interval obahuje nulu lze provádět další analýzu v loaritmické tranformaci rep. volit multiplikativní model měření.pro 95 ní intervaly polehlivoti pak vyjde Zpředpokladu normality Dolní mez: 7.74 Horní mez: Z kvantilů (robutní Dolní mez: 6.7 Horní mez:.55. Z Bo Coovy tranformace Dolní mez: 7.36 Horní mez: Závěr Je patrné, že tatitické zpracování dat v analytické chemii a peciálně ve topové analýze má celou řadu pecifických zvláštnotí, které je třeba brát vúvahu. Je vždy výhodné začít průzkumovou analýzou a porovnáním rep. elekcí modelů měření aaž poté zvolit další cetu. Ve hodě koncepcí atitical method minin je čato nezbytné kombinovat různé přítupy jako je tranformace, robutní metody a počítačově intenzivní metody k doažení rozumných výledků. Formální aparát tatitiky rep. přizpůobení dat potřebám tatitické analýzy bez hlubšího rozboru zde může vét ke katatrofickýmvýledkům

10 Poděkování: ato práce vznikla podporou rantu MŠM č. VS 97084, rantu GČR. 06/99/84 a výzkumného záměru MŠM č.j/98: Literatura [] Meloun M., Militký J.: Zpracování eperimentálních dat, Eat Publihin Praha 998 [] Shuway, R.M., tazi,.s., Johnon, P.: echnometric 3, 347 (989 [3] Boo D.D., Huhe-Oliver J. M.: mer. Statit. 54, (000 [4] Hall, P.: J.R. Stat. Sor. 54, (99 [5] Chen L. : Environmetrica 6, 8 (995 [6] Chen L.: J. ppl. Statit. 5, 739 (998 [7] Draper.R., Co D. R.: J. Roy Stat. Soc. B3, 47 (969 [8] Bo G. E. P., Co D. R.: J. Roy Stat. Soc. B6, (964 [9] Berer G., Caela. R.: mer. Statit 46, 79 (99

11 ázev ouboru: ym dreář: E:\Konference\Konfer-prednaky\000\Kom-Or-Militky Šablona: D:\Proram File\Microoft Office\Sablony\ormal.dot ázev: ymetrické rozdělení Předmět: utor: katedra tetilních materiálů Klíčová lova: Komentáře: Datum vytvoření: :50 Čílo revize: Polední uložení: :50 Uložil: Milan Meloun Celková doba úprav: 5 min. Polední tik: :36 Jako polední úplný tik Počet tránek: 0 Počet lov: 783 (přibližně Počet znaků: (přibližně