VAZINORMY PRO ODHADY DISRÉTNÍCH ROZDLENÍ PRAVDPODOBNOSTI Zdek aríšek, Petr Jurák, Jakub Šácha Odbor stochastických a otializaích etod, Ústav ateatiky Fakulta stroího ižeýrství, Vysoké ueí techické v Br Techická 896/, 66 69 Bro karisek@e.vutbr.cz Abstrakt: Reerát azaue ožé ešeí klasického statistického robléu alezeí rozdleí ravdodobosti ozorovaé diskrétí áhodé veliiy oocí iializace tzv. Helligerovy, Shaoovy a Pearsoovy kvaziory za vedleších oetových odíek, které vycházeí z estraých odhad obecých oet ozorovaé áhodé veliiy. Jde vlast o alezeí absolutího iia daé kvaziory a odrostoru rostoru všech koeých diskrétích rozdleí vzhlede k lieárí odíká daý edesaýi obecýi oety. Písvek á síše ehledový charakter a eho souástí sou také íklady výot a PC. líová slova: -divergece, kvaziora, odhad diskrétího rozdleí ravdodobosti, obecé oetové odíky, Lagrageovy iltilikátory AMS klasiikace: 6E7, 6H, 6G7, 65C5, 65C6. Úvod Rozhoduící úlohu v alikacích etod ateatické statistiky á i itervalových odhadech araetr a araetrických testech statistických hyotéz alezeí tvaru rozdleí ravdodobosti ozorovaé áhodé veliiy ebo áhodého vektoru. Na základ ou divergece (vzdáleosti) dvou rozdleí e ožé vyvodit ostuy uožuící takové rozdleí odhadout []. Tyto ostuy však usí obvykle resektovat další odíky kladeé a toto rozdleí. Jde easti o odíky daé ariorí staoveí hodot vybraých íselých charakteristik, a. stedí hodoty, roztylu aod. Naší základí ideou e aít takové rozdleí, které á aké ožadovaé vlastosti (slue zadaé vedleší odíky) a e v isté syslu blízké vhod zvoleéu rozdleí. Pesi de o alezeí rozdleí, které e s takový evý rozdleí totožé i abseci vedleších odíek, ale s idáváí odíek se od tohoto evého rozdleí ostu vzdalue i souasé iializaci zvoleé divergece hledaého a daého evého rozdleí.. Divergece a kvaziory diskrétích rozdleí ravdodobosti Ozae ožiu reálých ísel a ožiu reálých ísel rozšíeou o evlastí rvky - a +. Pedokládáe, že e dá diskrétí ravdodobostí rostor,,p, kde e soetý základí rostor, e -algebra a P e ravdodobostí íra. Bez úy a obecosti žee edokládat, že íe P odovídá rozdleí ravdodobosti aké diskrétí áhodé veliiy. Poocí ásleduícího ou [] vyádíe blízkost (divergeci) dvou rozdleí ravdodobosti a q a,,p. Pozaeee, že za aiál divergetí ovažuee tzv. ortogoálí rozdleí ravdodobosti a q, t. když eistuí disuktí odožiy EF,, ro které e q. E F 8. NÁRODNÍ ONFERENCE STATISTICÉ DNY V BRNĚ, BRNO 7. - 8. ČERVNA, 6
Nech ukce u e koveí a (, ), strikt koveí v u a (). divergecí rozdleí ravdodobostí, q a diskrétí ravdodobostí rostoru,,p rozuíe ukcioál D q, q, q kde kladee, ro všecha, a Pro libovolou -divergeci latí erovost D q,, ( u) () li u. u iež ob dv rovosti eohou astat souas. Levá rovost latí, ráv když q a ravá rovost latí, ráv když a q sou ortogoálí a souas. Z uvedeé erovosti dále lye, že rozdleí ravdodobosti, q sou avzáe odobé, estliže eich -divergece D ( q, ) e blízká. Naoak odely sou avzáe eodobé, když se D ( q, ) blíží aiálí hodot. Pehled easti oužívaých -divergecí ro stochastické odelováí v rzých alikaích oblastech e v ásleduící tabulce. u Paraetr ulog u Ozaeí D ( q, ) Název I( q), I-divergece Tvar D ( q, ) q l q u /, / D ( q, ) -divergece D ( q, ) / Helligerova vzdáleost q / q / ( q, ), V ( q, ) Totálí variace q u, ( q, ) - divergece q q ( q, ) - divergece q q sig u,, D ( q, ) -divergece D ( q, ) -divergece q q 8. NÁRODNÍ ONFERENCE STATISTICÉ DNY V BRNĚ, BRNO 7. - 8. ČERVNA, 6
Jestliže ozorovaá diskrétí áhodá veliia abývá koe oha ožých hodot, e vhodé za uvažovaé evé diskrétí rozdleí zvolit rozdleí se steýi ravdodobosti. Toto rozdleí á aiálí euritost vyádeou oocí etroie a avíc ro vybraé -divergece také iializue itegrál -divergecí od všech diskrétích rozdleí z uvažovaého ravdodobostího rostoru. To ás oravue k zavedeí ásleduícího ou []. Jde o istou aalogii zavedeí idukovaé ory a lieárí rostoru s etrikou oocí eutrálího rvku. Nech (,, ) a,, ro sou diskrétí rozdleí z ravdodobostího rostoru,,p, a D e -divergece deiovaá a daé rostoru. vaziorou rozdleí ravdodobosti (,, ) a,,p rozuíe Pro libovolou kvazioru, divergeci D,. a) D,, D latí []: b) D, e syetrická ukce roých,,...,. Pro odhady diskrétích rozdleí za vedleších oetových odíek oocí iiálích kvaziore volíe: a) Helligerovu vzdáleost D ( q, ) /, z íž získáe tzv. Helligerovu kvazioru D(, ), b) I-divergeci I( q),, z íž získáe tzv. Shaoovu kvazioru c) S(, ) l l l l, - divergeci ( q, ), z íž získáe tzv. Pearsoovu kvazioru P,. Pedokládáe, že ozorovaá diskrétí áhodá veliia X, eíž rozdleí ravdodobosti (,, ) chcee odhadout, abývá evýše koe oha avzáe rzých reálých hodot s ezáýi ravdodobosti P X,,...,,. Pozorováí áhodé veliiy X získáe statistický soubor,, a eho roztídí dostaee roztídý statistický soubor,,,,, kde e absolutí etost ozorovaé hodoty. Dále edokládáe, že a ro všecha vyecháe.,,. Jestliže získáe o ozorováích etost, ak -tou tídu 8. NÁRODNÍ ONFERENCE STATISTICÉ DNY V BRNĚ, BRNO 7. - 8. ČERVNA, 6
3. Helligerova kvaziora Rozdleí ravdodobosti (,, ) ozorovaé diskrétí áhodé veliiy X á a ravdodobostí rostoru,,p, kde,,,, a e ožia všech odoži, tzv. iiálí Helligerovu kvazioru za oáteích oetových odíek k Mk, k,,, estliže eho Helligerova kvaziora D(, ) e iiálí ro M k k k,,,. Pro obdržíe [5], [6],,,, k k k kde k, k,, sou Lagrageovy ultilikátory ro Lagrageovu ukci k, D, k M,, k k,. Lagrageovy ultilikátory k e ožo urit oocí elieárí soustavy rovic odovídaící ulovéu gradietu Lagrageovy ukce aebo ío alikovat kterou etodu elieárí otializace ro ureí eího iia. Jestliže ozaíe D i D,, kde,, e odhad rozdleí ravdodobosti s iiálí Helligerovou kvaziorou za daých oetových odíek, ak D k k k. Pro e,,,, a D. Seciál ro de o iterolaci,,,, a D. Platí, že D D. Jestliže ozorovaá áhodá veliia X á eirické rozdleí,,, ak statistika, á ro asytoticky rozdleí chí-kvadrát s stui volosti. Asytotickou vlastost žee oužít k testováí vhodosti alezeého rozdleí ravdodobosti,,. Pro raktické oužití ožaduee [], aby 5 bylo ro všecha,,. To lze ro dostate velký rozsah dosáhout 8. NÁRODNÍ ONFERENCE STATISTICÉ DNY V BRNĚ, BRNO 7. - 8. ČERVNA, 6
sloueí sousedích tíd, salýietosti. testováí vhodosti odhadutého rozdleí ravdodobosti,, žee také využít ío Helligerovu vzdáleost. Jde o eíliš záý tzv. Pitav Helligerv test shody [7], který soívá ve skuteosti, že statistika 4D, 4 á ro asytoticky rozdleí chí-kvadrát s k stui volosti. Postuý idáváí oetových odíek a oakovaý odhade rozdleí ravdodobosti oocí iiálí Helligerovy kvaziory lze urit iiálí otebý oet tchto odíek tak, aby latilo,, res. 4D,, kde e -kvatil rozdleí chíkvadrát s daý ote stu volosti ro hladiu výzaosti. 4. Shaoova kvaziora Rozdleí ravdodobosti (,, ) ozorovaé diskrétí áhodé veliiy X, á a,,p,, a e ožia všech ravdodobostí rostoru, kde,, odoži, tzv. iiálí Shaoovu kvazioru za oetových odíek estliže eho Shaoova kvaziora M, k,,, k k S(, ) l l e iiálí ro k M k, k,,. Pro obdržíe [3], [4] k e k,,,, k kde k, k,,, sou Lagrageovy ultilikátory ro Lagrageovu ukci k, S, k M,, k k,. Lagrageovy ultilikátory k e ožo urit oocí elieárí soustavy rovic odovídaící ulovéu gradietu Lagrageovy ukce aebo ío alikovat kterou etodu elieárí otializace ro ureí eího iia. Jestliže ozaíe S i S,, kde,, e odhad rozdleí ravdodobosti s iiálí Shaoovou kvaziorou za daých oetových odíek, ak k k S l k e k. k k 8. NÁRODNÍ ONFERENCE STATISTICÉ DNY V BRNĚ, BRNO 7. - 8. ČERVNA, 6
Pro e,,,,,,, a S. Seciál ro de o iterolaci, a S l. Platí, že S S. V íad Shaoovy kvaziory sou odhady araetr k aiál vrohodé, ebo de souas o odhady araetr odiikovaou etodou iiálího chíkvadrát. Dále ak žee alikovat Pearsov, res. Pitav-Helligerv, test shody rozdleí. Postuý idáváí oetových odíek a oakovaý odhade rozdleí ravdodobosti oocí iiálí Shaoovy kvaziory lze urit iiálí otebý oet tchto odíek tak, aby latilo 4D,,, res., kde e -kvatil rozdleí chíkvadrát s k stu volosti ro hladiu výzaosti. Navíc á každé takto ostu získaé rozdleí ravdodobosti vždy aiálí etroii ro daé oetové odíky. ravdodobostí rostoru, kde,, 5. Pearsoova kvaziora Rozdleí ravdodobosti (,, ) ozorovaé diskrétí áhodé veliiy X á a,,p,, a e ožia všech odoži, tzv. iiálí Pearsoovu kvazioru za oetových odíek k Mk, k,,, estliže eho Pearsoova kvaziora e iiálí ro P, M k k k,,,. Pro obdržíe [9],,,, k k k kde k, k,,, sou Lagrageovy ultilikátory ro Lagrageovu ukci k, P, k M k,,,. k Lagrageovy ultilikátory k e ožo urit oocí elieárí soustavy rovic odovídaící ulovéu gradietu Lagrageovy ukce aebo ío alikovat kterou etodu elieárí otializace ro ureí eího iia. Jestliže ozaíe P i P,, kde,, e odhad rozdleí ravdodobosti s iiálí Pearsoovou kvaziorou za daých oetových odíek, ak P k k. k 8. NÁRODNÍ ONFERENCE STATISTICÉ DNY V BRNĚ, BRNO 7. - 8. ČERVNA, 6
Pro e,,,, a P. Seciál ro de o iterolaci,,,, a P. Platí, že P P. Dále ak žee alikovat Pearsov, res. Pitav-Helligerv, test shody odhadutého rozdleí ste ako v íad Helligerovy ebo Shaoovy kvaziory. Postuý idáváí oetových odíek a oakovaý odhade rozdleí ravdodobosti oocí iiálí Pearsoovy kvaziory lze urit iiálí otebý oet tchto oetových odíek tak, aby latilo, res., 4D,, kde e -kvatil rozdleí chíkvadrát s k stu volosti ro hladiu výzaosti. 6. Alikace Píklad : Poítaovou siulací diskrétí áhodé veliiy X s Poissoový rozdleí ravdodobosti s araetre,5 se získali statistický soubor ozorovaých hodot, i,...,, zasaý v tabulce: i 4 5 3 4 3 3 5 5 3 3 3 6 5 3 3 3 Po roztídí ozorovaého souboru a sloueí vodích tí tíd s alýi etosti ro 4,5, 6 dostaee roztídý statistický soubor, který e uvede v ásleduící tabulce: 3 4 5 3 5 36 7 9 7 Poet tíd 5 a rozsah, takže 5 5 M, M.5, M 4. Poocí otializaího ástroe ešitel z Ecelu ro ureí iia Pearsoovy kvaziory a ásleduící chí-kvadrát teste se získali výsledky v ásleduících tabulkách: k,, 9839, 5869 5 8. NÁRODNÍ ONFERENCE STATISTICÉ DNY V BRNĚ, BRNO 7. - 8. ČERVNA, 6
, 966748 -,447898 5, 5975737 36 7 9 7 P,.95 Hyotéza 9,8 9,4877 zaítáe 37,,3 6,6 4,,,898 6,939844 7,847 zaítáe,8 38,,,5 6,4,48853,5894 5,995 ezaítáe Rozdleí ravdodobosti získaá ro a vedleších oetových odíek a hladi výzaosti,5 zaítáe. Dokládaí to také odhady etostí v orováí s ozorovaýi etosti v edcházeící tabulce i zázorí výsledk a ásleduící obrázku. 4 3 Observed = = = 3 4 5 Píklad : Sledováí diskrétí áhodé veliiy X se získali statistický soubor o rozsahu 6. Po eho roztídí se obdrželi biodálí diskrétí eirické rozdleí áhodé veliiy X zasaé v ásleduící tabulce, kde sou stedy tíd a ozorovaé absolutí etosti: 3 4 5 6 7 5 7 5 9 4 8 Hledáe iiu Helligerovy, Shaoovy a Pearsoovy kvaziory za vedleších odíek daých rvíi ti obecýi oety M, M 4,5, M, 95, M 3 3 5, 5, M 4 4 75,35. 8. NÁRODNÍ ONFERENCE STATISTICÉ DNY V BRNĚ, BRNO 7. - 8. ČERVNA, 6
Výsledky byly získáy oocí otializaí úlohy v rograu GAMS. Výsledky za ostuého idáváí oetových odíek ro všechy kvaziory sou ilustrováy tabulkou: Vzdáleost M M, M M, M, M M, M, M, M M, M M M M 3 3 4 D,,3939,4676,445,3883 S,,7853,853,8838,64759 P,,564,68758,6999,5675 V ásleduící tabulce sou vyoteé výsledky, kde horí ide odhadu etosti odovídá rvíu íseu ázvu daé kvaziory: 3 4 5 6 7 5 7 5 9 4 8 = 8,573554 8,573554 8,573554 8,573554 8,573554 8,573554 8,573554 = 7,83746 7,5599 7,96675 8,479 9,56757 9,636857,3568 H = 6,8466 7,47845 8,435 8,7455 9,4397 9,67947 9,97675 = 3 6,944857 7,363976 7,97695 8,689876 9,3794663 9,835 9,857 = 4 5,454,5678 7,36744 5,64748 7,7375634 4,875968 7,863 = 8,57438 8,5749 8,5749 8,5749 8,5749 8,57466 8,57466 = 7,469 7,5765 7,987533 8,54368 9,54776 9,647438,644986 S = 6,83939 7,48478 8,493 8,7494 9,3478 9,6598879 9,984543 = 3 6,94437 7,359498 7,9769 8,697576 9,3847 9,868476 9,856493 = 4 5,8,63394 7,88465 5,4579 8,34786 4,63683 7,8577 = 8,57486 8,5743 8,57483 8,57473 8,57473 8,57483 8,5743 = 7,8654 7,5494 7,967893 8,3778 8,985 9,64588,46578 P = 6,847897 7,443445 8,74479 8,76635 9,8854 9,7683 9,93594 = 3 6,93667 7,38359 7,9786 8,673499 9,376 9,85748 9,8765 = 4 5,763753,395488 7,37868 6,7499 7,645 5,956 7,78748 Graická ilustrace výsledk e a ásleduících obrázcích. Z edcházeící tabulky i gra sou zeé dobré aroiace vodího ezáého rozdleí oocí všech tí kvaziore ro = 4. To lze také rokázat teste hyotézy o shod alezeého rozdleí ravdodobosti. 8. NÁRODNÍ ONFERENCE STATISTICÉ DNY V BRNĚ, BRNO 7. - 8. ČERVNA, 6
Odhad oocí Helligerovy kvaziory 6 4 etosti 8 Orig. = = = =3 =4 6 4 3 4 5 6 7 8 Stedy tíd Odhad oocí Shaoovy kvaziory 6 4 etosti 8 Orig. = = = =3 =4 6 4 3 4 5 6 7 8 Stedy tíd Odhad oocí Pearsoovy kvaziory 6 4 etosti 8 Orig. = = = =3 =4 6 4 3 4 5 6 7 8 Stedy tíd 8. NÁRODNÍ ONFERENCE STATISTICÉ DNY V BRNĚ, BRNO 7. - 8. ČERVNA, 6
Byla rovž zkouáa ožost ío aroiovat bioické rozdleí a diskretizovaé Weibullovo, eoeciálí a orálí rozdleí. V íad uvedeých soitých rozdleí de vlast o aroiaci oocí o ástech rovorého rozdleí. Píklad 3: Pro orálí rozdleí ravdodobosti se stedí hodotou a srodatou odchylkou se zvolili 9 tíd odovídaících ibliž íadéu výbru o rozsahu. Vyoteé esé hodoty teoretických tídích etostí sou v tabulce: Stedy tíd Horí hraice tíd Hodota distribuí Pravdodobost ro tídu ukce P F F F Teoretická etost P -4-3,5,459,459 4,59-3 -,5,565,6559 65,5973 3 - -,5,667,977,9774 4 - -,5,494,74666 74,6664 5,5,59876,9743 97,45 6,5,773373,74666 74,6664 7,5,89435,977,9774 8 3 3,5,95994,6559 65,5973 9 4,,459 4,59 Forálí alikací Helligerovy, Shaoovy a Pearsoovy kvaziory se obdrželi ásleduící výsledky: P ro ro 4 Helliger. Pearso. Shao. Helliger. Pearso. Shao. kvaziora kvaziora kvaziora kvaziora kvaziora kvaziora -4 4,59 39,349 48,7646 34,9677 39,4638 39,985 39,4693-3 65,5973 68,945 64,3 73,3944 69,6 66,559 68,745 -,9774 6, 66 93,4464 4,769 6,775 8,55 7,788-74,6664 73, 8 59,5983 7,5439 73, 7944 78,697 74,833 97,45,5388 68,7787 9,755,368 9,86,749 74,6664 73,8 59,5983 7,5439 73,7944 78,697 74,833,9774 6,66 93,4464 4,769 6,775 8,55 7,788 3 65,5973 68,945 64,3 73,3944 69,6 66,559 68,745 4 4,59 39,349 48,7646 34,9677 39,4638 39,985 39,4693 8. NÁRODNÍ ONFERENCE STATISTICÉ DNY V BRNĚ, BRNO 7. - 8. ČERVNA, 6
Získaé výsledky sou zázory a ásleduících obrázcích: 3 5 5 5 = -Helliger -Pearso -Shao -6-4 - 4 6 5 5 5 = 4 -Helliger -Pearso -Shao -6-4 - 4 6 Vzhlede k syetrii rozdleí eá syslu uvažovat liché hodoty. Získaé výsledky ro 4 azauí ožost alikací kavaziore i ro diskretizovaá soitá rozdleí ravdodobosti. Forál lze také testovat kvalitu aroiace, avšak ta e ovliva zvoleou hodotou. 7. Závr Eirický ístu k odhad rozdleí ravdodobosti vyžadue i ešeí kokrétích úloh dostateou dávku zkušeostí a elze ito soléhat a roesioálí statistické sotwarové rodukty, které avíc obsahuí ouze evelké ožství rzých ty rozdleí. Výše osaý zsob odhadu diskrétích rozdleí ravdodobosti evyžadue od uživatele íliš oho statistických zalostí a eví se ako dobe oužitelý i v íadech, kdy e statistický soubor ultiodálí. Z íkladu e zeé, že v íad takových rozdleí ravdodobosti e odhad dostate esý, avšak e zaotebí dodat více uesuících 8. NÁRODNÍ ONFERENCE STATISTICÉ DNY V BRNĚ, BRNO 7. - 8. ČERVNA, 6
odíek. Ukazue se také, že etoda hledáí rozdleí ravdodobosti založeá a kvaziorách e vhodá i ro vícerozré statistické soubory [6] a e oužitelá i ro aroiace diskretizovaých soitých rozdleí. Posaé odhady rozdleí iáší avíc ové tyy tíd dosti leibilích diskrétích rozdleí ravdodobosti, kde Lagrageovy ultilikátory sou eich araetry. Teoretické asekty uvedeého ístuu k odhad esou zdaleka ešt vyeraé a odhaleé, a avozuí adu dalších roblé. Praktické PC alikace osaých odhad sou však oezey kvalitou elieárích otializaích eši. Zatí byl ro otializaci Lagrageovy ukce vyzkouše seciálí sotware GAMS a eši v Ecelu, oba s veli dobrýi výsledky. Pro výoty oocí alikace GAMS e irave ový ee ile a ro výoty v Ecelu byla vytvoea odovídaící akra []. Literatura. VAJDA, I.: Teória iorácie a štatistického rozhodovaia. Bratislava: Ala, 98.. ANDL, J.: Statistické etody. Praha: Matyzress, 993. 3. ARPÍŠE, Z.: Statistical Proerties o Discrete Probability Distributios with Maiu Etroy. Folia Fac. Sci. Nat. Uiv. Masarykiaae Bruesis, Matheatica 9, Bro,,. -3, ISBN 8--544-. 4. ARPÍŠE, Z., JURÁ, P.: Modellig o Probability Distributio with Maiu Etroy. I MENDEL.7th Iteratioal Coerece o Sot Coutig. Bro,,. 3-39, ISBN 8-4-894-X. 5. ARPÍŠE, Z., JURÁ, P.: Estiate o Discrete Probability Distributio by Meas o Helliger Distace. I MENDEL. 8 th Iteratioal Coerece o Sot Coutig. Bro,,. 3-36, ISBN 8-4-35-5. 6. JURÁ, P., ARPÍŠE, Z.: Helliger Quasior ad Shao Quasior i N- diesioal sace. I MENDEL 4. th Iteratioal Coerece o Sot Coutig. Bro, 4,. -5, ISBN 8-4-676-4. 7. ARPÍŠE, Z., SADOVSÝ, Z., ŠÁCHA, J.: Pita Helliger Test o Fit. I 4 th Iteratioal Coerece APLIMAT 5 (art II). Bratislava, 5,. 47-478, ISBN 8-96964--X. 8. ARPÍŠE, Z., SADOVSÝ, Z.: Fitováí diskrétích rozdleí ravdodobosti. I Celostátí seiá Aalýza dat 5/II. Láz Bohdae 5,. 43-5, ISBN 8-39- 655-. 9. ARPÍŠE, Z., JURÁ, P.: Estiate o Discrete Probability Distributio by Meas o Pearso Quasior. I MENDEL 5. th Iteratioal Coerece o Sot Coutig. Bro, 5,. -6, ISBN 8-4-96-5.. ARPÍŠE, Z.: F-divergece or Discrete Probability Distributio Estiatio. (iraveo k ublikaci).. ALICH, D.: Odhady diskrétích rozdleí ravdodobosti. Diloová ráce. ÚM FSI VUT v Br, 6. Reerát e souástí ešeí roektu MŠMT eské reubliky ís. M647 Cetru ro akost a solehlivost výroby CQR a gratového roektu GAR reg.. 3/5/9 Otializace avrhováí rogresivích betoových kostrukcí. 8. NÁRODNÍ ONFERENCE STATISTICÉ DNY V BRNĚ, BRNO 7. - 8. ČERVNA, 6