1. LEKCE. Veličiny: 1) kvantitativní (metrické) a) spojité (např. výška, váha) b) diskrétní (znaky, např. počet dětí, počet výborně v indexu)

Transkript

1 . LEKCE 0. ÚVOD Stuace: Měme obektů (subektů, statstckých edotek, vků, osob). Na každém z těchto obektů změříme ebo aozoueme velč (oměých, vlastostí, ukazatelů, zaků). Jedotlvá -ozměá ozoováí sou ezávslá (avíc často omálě ozděleá se steým oztyly). ěchto obektů může tvořt buď úlý soubo (základí soubo - eedá se o statstckou úlohu) ebo výbě z oulace (výběový soubo). Výběový soubo lze učt: a) áhodým výběem b) stuktuovaým výběem Velčy: ) kvattatví (metcké) a) soté (ař. výška, váha) b) dskétí (zaky, ař. očet dětí, očet výboě v dexu) a) oměové (ař. telota - K) b) tevalové (ař. telota - C, F) (takto data většou eozlšueme) ) kvaltatví (kategoálí) - ouze dskétí a) odálí (ořadové, ař. solečeská vstva, římová kategoe) b) omálí vícehodotové (ař. bava, odý stav) dvouhodotové (ař. ohlaví) Pozámka: Hodoty dskétí oměé se azývaí vaaty, kategoe ebo úově. Vymezeí oblast zkoumáí: Víceozměá statstcká aalýza e odvětvím statstky, kteé se zabývá vztahy mez skuam závslých oměých a mez obekty, a kteých se tyto oměé ozouí.

2 Děleí metod: ) Zobecěí edoozměých metod egese (více ásobá, víceozměá) aalýza oztylu MANOVA aalýza kovaací MANCOVA testy hyotéz odhady aametů kotgečí tabulky ) Původí mohoozměé metody a) Úloha: sížeí dmeze (očtu oměých), zedodušeí stuktuy oměých, hledáí skyté stuktuy, tříděí oměých do sku Postu: alezeí vhodé tasfomace oměých aalýza hlavích komoet (PCA) faktoová aalýza (FA) kaocké koelace (CC) b) Úloha: tříděí obektů do sku dskmačí aalýza (DA) shluková aalýza (CA) ) Symetcké ostaveí oměých aalýza hlavích komoet faktoová aalýza kaocké koelace shluková aalýza aalýza kovaací ) Nesymetcké ostaveí oměých egese aalýza oztylu dskmačí aalýza kotgečí tabulky Pozámka: ) euvažueme vlv časové oměé ) eostadatelost výočetího softwau 3) zobazováí dat - gafcké oekce do ov/ostou detekce odlehlých ozoováí 4) usořádáí ve více ozměech eexstue žádé řozeé usořádáí dat málo ořadových (eaametckých) metod

3 yy aalýz: X t... data =,..., - obekty, ozoováí, kde e očet ozoováí =,..., - oměé, kde e očet oměých, dmeze úlohy t=,..., - čas, kde e časový hozot... edoozměá statstka... kazustka 3... edoozměá časová řada 4... mohoozměá statstka 5... edoozměé logtudálí zšťováí 6... víceozměá časová řada 7... víceozměé logtudálí zšťováí Pozámka: Úlohy 5 a 7 lze řevést a úlohu 4 tak, že čas budeme uvažovat ako další oměou. Začeí: velča áhodá eáhodá kostata eáhodý aamet skalá vekto matce...v,w, X,Y,Z většou s dexem ako složky vektou(matce) a,b, c,...,,,...v,w, x, y,z a,b, c,...,, x=x,..., X a=a,...,a =,...,...V,W, X,Y,Z X =X Pozámka: ) eozlšueme áhodé velčy a ech ealzace ) vektoy sou vždy sloucové 3) řádky matce a... -tý řádek matce A x... -tý řádek matce X... -tý řádek matce (sou to sloucové vektoy) 4) slouce matce a... -tý slouec matce A x... -tý slouec matce X... -tý slouec matce A, B,C,... A=a, E... oeáto středí hodoty 3 B,M,, B= k M= k

4 5) dexy... obekty/ozoováí,k... oměé 6) ozměy X, x Náhodý vekto ebo X, x x=x,..., X... -ozměý áhodý vekto X, =,...,... áhodé velčy, odovídaí vlastostem Základí chaaktestky: E x =E X,...,E X va x... vaačí matce (oztyl) va x=cov X, X k, k=, kde cov X, X =va X x=x,..., X, y=y,...,y q, q = cov X,Y k =, k= cov x, y q latí: cov x, y=[cov y, x] Pavdla očítáí: ) c,d q, a,b R... kostaty E ac x=ac E x... ( E e leáí oeáto) va ac x=c va x c cov ac x,bd y=c cov x, y d ) C,D s q,a, b s... kostaty E ac x=ac E x va ac x=c va x C cov ac x,b D y=c cov x, yd Rozděleí áhodého vektou: x~f... -ozměá dstbuce (esecfkovaá) F x, x=x,..., x... dstbučí fukce x eáhodá fukce: R R (do 0, ) F x=px x,..., X x okud X e sotá, tak F e sotá dstbuce s hustotou f x... eáhodá fukce, R R (do 0, ), sdužeá hustota áhodého vektou x, f x x 4

5 Magálí hustota o X : f x =... f xdx...dx dx...dx, R R R R magálí hustota o X, X k f k x,x k =... R R f x l= l,k dx l obdobě o lbovolou kombac složek Podmíěá hustota: f x ař. X,..., X X... f x f ař. X, X k X k l x, x k,x l l... f l x l Jestlže X,..., X sou ezávslé, ak latí: ) f x= f x... faktozace hustoty = ) odmíěá hustota ezávsí a odmíce 5

6 . LEKCE Náhodý výbě ezávsle a sobě změříme obektů, čímž získáme elkací áhodého vektou x x,..., x... ezávslé, -ozměé vektoy okud sou avíc steě ozděleé: x,..., x... áhodý výbě (t. ezávslé, steě ozděleé áhodé vektoy,..d.) x =X,..., X... stav -tého obektu vzhledem k ozoovaým vlastostem usořádáme do datové matce: X =x = x X X X X edotlvá ozoováí v řádcích x =x (-tý řádek matce X, sou -ozměá) sdužeé ozděleí datové matce: o x soté: f X= f x, kde f e hustota x = o x..d. : f X = = většou e tva f x f zámý, tva učue odu ozděleí, odhaduí se aamety Základí výběové chaaktestky x,..., x... áhodý výbě, X ) Výběový ůmě x = = x, x=x,..., X x= X, kde =,..., latí: E x=e x va x= va x... datová matce x~ AN...asymtotcky (asymtotcky omálí ozděleí, -kát síží ůvodí oztyl - výběový ůmě) 6

7 ) Wshatova matce W = = x xx x = x x x x W =W k, kde W k = = = X X X k X k e to matce čtveců a vtřích součů odchylek od ůměu latí: W =X X X X = X X= X H X, kde =,...,, H =I I = Lemma: Nechť x,..., x sou ezávslé, A Pak E X A X = a va x EX A EX. = E X A X = E = ' ' a ' x x ' =E [ covx, x ' a ' E x E x x ' E x ' Důsledek: E W = va x =a ' e matce kostat. a ' [x E x x ' E x ' x E x ' E x x ' E x E x ' ]] = ' ' a ' E x E x ' Nechť x,..., x sou ezávslé, steě ozděleé H = = Ex, EX Ex E x = H = I = =0 EW =E X H X = = = h va x Ex H Ex =va x = 3) Výběová vaačí matce S := W, S=s k e to matce výběových oztylů a kovaací s k... kovaace mez -tou a k-tou oměou Platí: ES=va x... evychýleý odhad vaačí matce Někdy se oužívá modfkace: a va x EX A EX =va x S ' = W... vychýleý, ale maxmálě věohodý odhad (ML-odhad) 7

8 Pozámka: S,S ' sou aaloge edoozměého oztylu. Jako edoozměá chaaktestka se užívá detemat S ebo stoa S. Pozámka: V řadě aktckých úloh e třeba S vetovat a o stabltu řešeí musí být matce ee eguláí, ale s detematem dost ůzým od uly. 4) Výběová koelačí matce = k... výběové koelačí koefcety R R=Dag S S Dag S s k k = s s kk Platí: ER co x... odhad e vychýleý Geometcká eezetace Q-eezetace: shluk bodů v -ozměém ostou, oměé=souřadce =, učíme oblak dat okud data vycházeí z omálího ozděleí, otom má oblak dat tva elsy ovedeme tasfomac a ezávslost, kde Y,Y sou ezávslé (ebo alesoň ekoelovaé) dále ás zaímá: Máme ěaká odlehlá ozoováí? Rozadaí se data a odlehlé skuy? Leží data v ostou žší dmeze? P-eezetace: shluk bodů v -ozměém ostou, obekty=souřadce bod P =X X,..., X X, =,..., čtveec vzdáleost od očátku: OP = = X X... výběový oztyl -té oměé kosus úhlu mez OP,OP k : cos k = OP,OP k OP OP k = k výběová koelace mez -tou a k-tou oměou Vektoy učuí -ozměý osto vořeý do -ozměého. Jech stuktua udává míu vzáemých závslostí oměých. k ~0... těsá závslost k ~90... ezávslost 8

9 I. MNOHOROZMĚRNÉ NORMÁLNÍ ROZDĚLENÍ x=x,..., X, x...áhodý vekto, X... áhodé velčy Defce: Řekeme, že x má mohoozměé (-ozměé) omálí ozděleí, estlže c : c x má edoozměé omálí ozděleí (začíme x~n ). Pozámka: ) Rozděleí -ozměého vektou z e lě učeo edoozměým ozděleím eho leáích kombací c z, c (Camé & Wold) ) edoozměé ozděleí N,N e defováo omocí hustoty: f x,, = x e = ex x, kde x R, R, 0 3) N ozděleí lze defovat omocí hustoty: f x,,= ex { x x }, kde s R, R,.d. I. Vlastost omálího ozděleí Věta: Nechť x~n. Pak exstue eho středí hodota a oztyl (t. maí koečé vky) a latí: c :c x~n c E x,c va x c. Je třeba dokázat koečost mometů. víme: c :c x~n s kostatí středí hodotou a kostatím oztylem zvolíme c :=0,..., 0,,0,...,0 ( e a -té ozc) c x= X ~N EX,va X zvolíme c k :=0,...,0,,0,...,0,,0,...,0 c k x= X X k ~N EX EX k,va X va X k covx, X k cov X, X k Schwaz va X va X k Začeí: =,..., :=Ex=EX,..., EX = k :=va x=cov X, X k x~n, Pozámka: N e lě učeo aamety a. 9

10 Pozámka: Chaaktestcká fukce x t=ex { t t t } e defováo o ( t R, e komlexí edotka) sguláí. obecě: o z~f latí z t =E F ex{t z}. Věta: (o leáí tasfomac) Nechť x~n,, d q,b q sou kostaty. Potom y :=db x~n q db,b B. c q : c y=c dc B x=ae x, což e leáí kombace e x osuutá o kostatu a ~N z defce = x Začeí: (ozděleí a bloky) x x, = s s, = Věta: (o magálím ozděleí) Nechť x~n,. Potom x~n,. Magálí ozděleí e oět omálí., kde =s V ředchozí větě olož f =0, B =I 0. Potom x =db x Pozámka: Obdobě latí o lbovolou skuu oměých. Věta: x, x sou ezávslé =0. Nezávslost e ekvvaletí s ekoelovaostí. (Platí ouze u omálího ozděleí.) Pomocí chaaktestcké fukce. x t=ex { t t t } =ex { t = t t t t t t t t x, x sou ezávslé X t= x t xt =0 = t t t t } 0

11 3. LEKCE Věta: (chaaktezace omálího ozděleí) Nechť x~n,, h =m. Pak exstue matce V m a áhodý vekto z~n m 0, I m tak, že x=v z skoo stě. = V V m z:=v x, kde... skeletí ozklad, hv =h=m V m e seudovezí k V, t. V V V =V Zkoumeme z : leáí tasfomace x z~n m E z=0 va z=va V x=v va x V =V V V V =V V V V =: W m m Zkoumeme W : =m m m=hv =hv V V mhv,hv V m tedy ovost: hv V =m... lá hodost exstuí veze V V,W latí: V V W =V V V V V V =V V V V =W V V W =W W V V = I m W =I m a z~n m 0, I m zbývá dokázat: x=v z skoo stě ukážeme, že ozdíl levé a avé stay e kostata: va x V z =va x V z=va x V V x =va I V V x= =I V V V V I V V =V V V V V V V V = 0 V Pozámka: m=h se azývá řád ozděleí. Pokud e hodost lá m=, otom mluvíme o eguláím ozděleí. Jak mluvíme o sguláím ozděleí m. Věta: (eodukčí vlastost) Nechť x,..., x ~N, a,...,a R. Potom = a x ~N a E x, a a 'cov x, x '. '

12 Po = : y := x x ~N otom a x a x ~ N, otože a x a x =B y, kde B =a I a I. Leáí tasfomace zachovává omaltu. Důsledek: (áhodý výbě z N ) Nechť x,..., x ~N, sou ezávslé. Potom = Secálí říad: volíme a =, =,...,, otom x= = a x ~N a, a. x ~N,. Věta: (o hustotě) Nechť x~n,, h= (eguláí ozděleí). Potom exstue hustota a má tva: f x;,= ex { x x }, x R oměá, R, 0.d.. víme (z chaaktezačí věty): x=v z skoo stě, kde z~n 0, I, t. z=z,...,z, Z ~0, ezávslé sdužeá hustota: gz= gz = ex{ z = = } ex{ = z } z=v x skoo stě... vezí tasfomace víme: =V V V = akobá= dz dx = V = = hustota x : f x=gv x = { ex x V V ex { z z } = x } Pozámka: Po sguláí ozděleí eexstue hustota vzhledem k Lebesgueově míře. Dá se ale vyádřt hustota a adově dmeze m, kde m=h, t. řád ozděleí. Věta: Nechť x,..., x sou ezávslé, c=c,...,c,d=d,...,d, u := c x, v = := d x. = ) Nechť x,..., x ~N, steě ozděleé, c d=0. Potom u,v sou ezávslé. ) Nechť u,v sou ezávslé. Potom x ~N o s vlastostí c d =0. Přtom x emusí být steě ozděleé.

13 Důkaz ovedeme ouze o ví část. cov u,v=cov d ' x ' = c d va x =va x c d =0 c x, ' víme N : ekoelovaost ezávslost =c d=0 Věta: (odmíěé ozděleí) Nechť x~n, eguláí. Potom x x~n x,. uvažueme leáí tasfomac := x x y y s := x = y otom y y ~N 0,va y ukážeme, že y, y sou ezávslé: cov y, y=cov x x, x= = 0 s y, y sou ezávslé L y y=l y ezávsí a odmíce ( L začí ozděleí avděodobost) L y=n 0,va y va y=va x x= = =: L y y=n 0, osueme o kostatu: x t. x x~n x, ( y= x emá vlv a odmňováí) odmíěé ozděleí e eguláí, eboť =, Pozámka: ) středí hodota e leáí fukcí odmíky ) oztyl a odmíce ezávsí 3) odmíěé ozděleí e omálí 0 0 = 0 Začeí: := - odmíěý oztyl Alkace: Nomálí egese ebol egese X a X,..., X. Začeí: x =X =, x=x,..., X s= =, =,..., = X X,..., X ~ N x, 3

14 Podmíěá středí hodota: B x= X kde B =... leáí egese = =,..., = = odmíěý oztyl: tedy = B = X X,..., X ~ N... egesí aamety, kde = X, Secálí říad: = x=x, X, =, = = ϱ, kde ϱ= ϱ... koelačí koefcet =, = otom = ϱ ϱ ϱ = ϱ ϱ egesí římka X X ~N 0 X obdobě: egesí římka X X ~N 0 X, ϱ, kde = =ϱ =ϱ, 0 =, ϱ, kde =ϱ, 0 = Pozámka: Úhel mez egesím římkam e míou leáí závslost mez X a X, a latí cos = sou kolmé... X, X {0...římky sou ezávslé,ϱ=0... slývaí... X, X sou leáě závslé,ϱ=± Obecě: x x odmíěá středí hodota = egesí fukce B x, kde = = k... matce egesích aametů B s = B... vekto absolutích čleů odmíěý oztyl: ezdua z omálí egese: s = = x B x ezduálí oztyl: va =va x B x= B B B = = = t. odmíěý oztyl = ezduálí oztyl 4

15 Věta: (NNLP o x založeý a x ) Nechť x =B x, kde B=, = B. Nechť x = x e ý leáí edkto o x. Nechť 0. Potom x e evychýleý a latí: va x x va x x 0.s.d.. (NNLP - Neleší Nestaý Leáí Pedkto) E x =E B x= B B = = E x... evychýleost eve omocý výočet: cov x B x, x= = 0 s va x x va x B x=va x B x B x va x B x= =va x B x Bva x B cov x B x, B x va x B x= = B B 0 0 c 0: c B B c=d d 0 B B 0... (.s.d.) Pozámka: ) Leáí egesí fukce x= x = x má emeší ezduálí oztyl mez všem leáím edktoy založeým a x (secálě mez všem estaým edktoy), t. NNLP. ) U vychýleých edktoů e lée oovávat MSE=vaBasBas. 5

16 4. LEKCE Pacálí koelace =... vaačí matce odmíěého ozděleí x x ebo ezduálí vaačí matce x x x=x,..., X... eáhodé, fxovaé hodoty eovlvňuící vaabltu x... oztyly a kovaace očštěé od vlvu x, t. acálí oztyly a kovaace = k,...,,k= k,..., ϱ k,..., :=,..., k k,...,... acálí koelace mez X a X k ř evých X,..., X Víceásobá koelace Defce: Nechť {,...,}. Potom maxmálí koelac mez X a leáí kombací x azveme koefcetem víceásobé koelace. Začeí: ϱ X x=max c s Věta: Po koefcet víceásobé koelace latí ϱ X x=co X, x, kde B = s. s e -tý řádek matce latí: = Schwazova eovost: Nechť A e symetcká, oztvě semdeftí: a A b a A ab A b co X,c x= cov X,c x c c = [ c ] c c = [ c ] c c c c = c c = cov X, x va X va x =co X, x=ϱ X x 6

17 Platí: ϱ X x = = Lemma: ϱ X x ϱ X x =,..., = = =,..., Pozámka: Žádý acálí oztyl emůže být větší ež oztyl. Pozámka: Uvedeé vlastost egesí fukce x, t. NNLP a maxmálí koelace, ezávsí a omaltě. Elsy kostatí hustoty V exoetu hustoty N e výaz c :=x x, t. kvadatcká foma vzdáleost x od v Mahalaobsově metce. Geometcká ředstava: Kotuy elsodu se středem v, kde oloosy sou dáy ako c v, t., v sou vlastí čísla a otoomálí vlastí vektoy. f x=k... lochy kostatí hustoty okud e k dáo, doočt c = l [ k Secálí říad = : f x, x =k... elsy kostatí hustoty X, X sou ezávslé, tak osy elsy sou ovoběžé s osam souřadc X, X sou závslé, tak osy sou ootočey o úhel, kteý závsí a ϱ,, ] X, X ezávslé, ϱ=0 X, X závslé, = 7

18 I. Odhady aametů, echť x,..., x e áhodý výbě, ozač E x =,va x = x = víme: x, W =x xx x, E x=, ES=... estaé odhady S = Pozámka: ) E S k k, E k ϱ k tasfomace ezachovávaí estaost ) x e NNO o, S e NNO o Věta: x a S sou ekoelovaé. W víme = X H X, kde H h... -tý slouec: h = 0 = W l k =x l H x k =x l H H X k očíteme: cov H x k,x =H = e 0 0 = k k h 0 0 x k = X k, X k,..., X k,..., X k W, S' = W cov H x k, X = k h = 0,k = tedy { cov H x, x=0 k l,k cov W l k, x=0 W, x sou ekoelovaé S, x sou ekoelovaé. Pozámka: S', x sou ekoelovaé. symetcká demotetí matce Věta: Nechť x,..., x e áhodý výbě z N,. Potom x a S sou ezávslé. 8

19 Maxmálě věohodé odhady (ML-odhady): Předokládeme x,..., x ~N, sou ezávslé, 0. Věohodostí fukce = sdužeá hustota áhodého výběu, ale ako fukce aametů L... lkelhood L,= = f x,,= = = { ex = ex { x x } = x x } = latí st ABC =st BCA=st CAB l L,= l l x x = = l l st [ x x ] L,=! max, agmax L,=agmax l L, d x =! 0 d l L, = x =0 x =0 = x =x =x... evychýleý odhad ř devováí odle využeme ásleduících vztahů: X e čtvecová matce, ak: d X = X X d X d st AX= A d X d d l L,= dosaď: =x = x xx x =W = W =S'... míě vychýleý odhad dosaď zět I L, = W ex { st [ W W ex{ st [ = x x ]} x x = [ x x ] =! 0 ]} = W ex { } = e... věohodost ředokladu, že, =x,s', s ohledem a získaá data x,..., x W 9

20 5. LEKCE Obecé vlastost ML-odhadů (o esecfkovaé ozděleí F ) (slabá) kozstece asymtotcká evychýleost asymtotcká omalta vaace asymtotcká efcece (asymtotcká vydatost) Ivaace: Nechť e ML-odhad, echť e - (t. vzáemě edozačá) fukce. Potom e ML-odhad. Asymtotcká efcece Defce: Nechť y e áhodý vekto. Potom moža {u :u E y va y u E y= } se azývá kocetačí elsod vektou y. Pozámka: Rovoměé ozděleí řes vtřek kocetačího elsodu má steou středí hodotu a oztyl ako y. Defce: Nechť q e aamet ozděleí s hustotou f y,. Potom I := E d l f y, q q d [ d d ] l f y, se azývá Fsheova fomačí matce o aametu. q q Věta: Nechť t q e evychýleý odhad aametu (t. E t= ), ořízeý z áhodého výběu ozsahu. Potom elsod {u q : u I u =q} leží zcela uvtř kocetačího elsodu vektou t {u q : u va t u =q}. Nebol va t I 0, kde I e sodí mez o oztyl evychýleých odhadů. Defce: Odhad t se azývá efcetí, okud oba elsody slývaí ebol va t= I. Efcece odhadu e e omě obemů vího a duhého elsodu e. 0

21 Pozámka: Po eguláí hustoty latí: I = E d l f y,. d d Vlastost ML-odhadů secálě o =x, =S '= W, kde W = = ) (slabá) kozstece: P, P, ) E =... evychýleost ) víme N, x xx x E = E W = =... vychýleý odhad... vychýleí lm =0... asymtotcky evychýleý x~n, ebol x ~N 0, v) vaace k e ML-odhad ϱ k,k, eboť sada aametů {, k } e - tasfomací {,,ϱ k } v) efcece =x e efcetí, t. e = víme: E x=... estaý odhad, va x= x e efcetí, estlže va x= I... sodí mez hustota f x;, = ex{ x x } l f x ;, = l l x x d d l f x;,= x = x I = E [ x ] [ x ]= Ex x tedy I =... efcece va x= = eí estaý, elze očítat efcec ex,s=... asymtotcká efcece kde S= W e evychýleý odhad v), sou ostačuící statstky o,, eboť věohodostí fukce L, e fukcí ouze těchto statstk a aametů

22 I.3 esty a oblast solehlvost o ř zámém Věta: Nechť y~n, e eguláí. Potom y y~, kde aamet ecetalty =. Po =0 e ozděleí cetálí. Skeletí ozklad =C C, kde C eguláí. :=C y, z~n, E z=c, va z=c C =C C C C =I, z z = z z z=z,...,z, kde Z ~N, ezávslé, tedy ~ z z= y C C y= y y, kde := EZ =Ez E z= C C =. (koec důkazu) Nechť x,..., x e áhodý výbě z N,, e zámé, x~n, a x ~N 0,. dle věty: x x ~ cetálí ) H 0 := 0... test celého vektou aáz ktcký obo tvoří ty hodoty x,..., x, o kteé x 0 x 0 (edostaá ktcká hodota) ) oblast solehlvost o, a hladě {m : x m x m } Pozámka: (duálí vztah mez ) a ) ) Oblast solehlvost obsahue ty hodoty, kteé test hyotézy ezamítá. ) H 0 : = o ezávslé áhodé výběy o ozsazích, x x x x... zamítám H 0 va x x = = v) ozděleí za alteatví hyotézy H : 0 x ~N 0, x 0 x 0 ~ = 0 0

23 v) testováí složek vektou středích hodot okud zamíteme H 0 := 0, tak se zaímáme, kteé složky řsěly k zamítutí, t. testueme H 0 : = 0, =,..., řtom ale chceme zachovat ůvodí hladu staoveou o H 0 H 0 testueme a řísěší hladě, t. smultáí testy volíme =, =,..., odvozeí: omocí Bofeoho eovost ozač: A... ezamítutí H 0 P A P A (ovost o A dsuktí) A C... zamítutí H 0, latí P H 0 A C = A... ezamítáme H 0 A... ezamítáme a edu H 0 chceme: P H 0 A C, t. P H 0 A P A =P vol = A = P A C P Bofee P A C =! = 3

24 II. WISHAROVO ROZDĚLENÍ Předokládeme: x ~N,,..., x ~N, sou ezávslé... středí hodoty,... vaačí matce Začeí: M =, X, x x =x Y := X X = x x = Defce: Sdužeé ozděleí vků matce Y= X X se azývá -ozměé Wshatovo ozděleí o stuích volost a s aamety, M. Začeí: Y ~W,,M =0... Y ~W,... cetálí ozděleí M M 0... ecetálí ozděleí Secálí říad: = X ~N,,..., X ~N, sou ezávslé Y = X ~, = Pozámka: Wshatovo ozděleí e víceozměým zobecěím ozděleí. II. Vlastost Wshatova ozděleí Věta: Nechť Y~W,, M. Potom c 0,c c0: z := c Y c c c ~, kde = c M M c. c c Víme Y= X X= z= c x x c = c c U ~ = x x c x c c, kde x ~N, ezávslé. = U, kde U ~N ezávslé, va U = c c c c = 4

25 = = Důsledek: EU = c E x c c c = E x E x c = c c c c c c = c M M c c c vol c =0,...,0,,0,...,0 tá ozce, Z= Y ~ dagoálí vky Y maí ozděleí, mmodagoálí kolv. Poto W eí mohoozměým. 5

26 Věta: 6. LEKCE X A X~W,, N c : c c 0 latí z:= c X A X c ~ c, kde =h A. c Obě ozděleí sou záoveň buď cetálí ebo ecetálí. ' ' řešla ředcházeící věta ' ' echť z~, otom víme, že A e symetcká, demotetí, ha=, vlastí čísla sou ouze 0 a,,..., =,,..., =0. Sektálí ozklad: vektoy, P u = X = A= = =,...,. = = = x kde x ~N, ezávslé X = X A X= X u u = = u ~N, E u = EX =M, =,..., cov u,u k =cov = x, x ' ' '= k = =P P, kde sou otoomálí vlastí ' ' k cov x, x ' = = k = k = otoomálí = k u,u k sou ezávslé k, tedy X A X= u u =U U ~W,,N, kde = N= EU=P M, U =u u = c M A M c =0 A M =0 P P M =0 N =0 c c c Pozámka: ) X A X~W A e symetcká demotetí ) ozděleí e cetálí A M =0 6

27 Věta: Nechť A, A sou symetcké matce řádu a d e vekto kostat. Potom: ) X A X a X A X sou ezávslé s Wshatovým ozděleím c : c X A X c a c X A X c sou ezávslé s ozděleím k. ) X d a X A X sou ezávslé s ozděleím N a W c : c X d a c X A X c sou ezávslé s ozděleím N a k. ' ' zřemé: tasfomace zachovávaí ezávslost ' ' ) latí: A, A, symetcké, demotetí a avíc A A =0 sektálí ozklad: A = = s A = k= A A =P P QQ =0 P Q=0 ebol dále obdobě ako u ředchozího důkazu =P P, kde sou otoomálí vlastí vektoy q k q k =Q Q, kde q k sou otoomálí vlastí vektoy q k =0,k Pozámka: ) X A X~W, X A X~W ezávslé A A =0 ) X d~n, X A X ~W ezávslé A d=0... kolmost Důsledek: (áhodý výbě z N ) Nechť x ~N, ezávslé, =,...,. Potom x~n,, W = = x xx x ~W, a x,w sou ezávslé. víme: x~n,, W =X H X, kde H e symetcká, demotetí, hh = W~W,, N cetálí ozděleí o A M=0, kde A=H a M H M= I = = 0 = tedy W ~W, cetálí = = dle ozámky ) : x,w sou ezávslé, okud A d=0, kde A=H, d= eboť x= X =X d H d= I = = = 0 7

28 Věta: (eodukčí vlastost) Nechť Y ~W,, Y ~W, sou ezávslé. Potom Y Y ~W,. Y = = Y = = x x, x ~N 0, ezávslé y y, y ~N 0, ezávslé} solečý výbě: x,..., x, y,..., y =z,..., z Y Y = z, z ~N 0, ezávslé = Věta: (kvadatcká tasfomace) Nechť Y~W,, B q. Potom B Y B ~W q,b B. q q Y= = BY B = x x, x ~N 0, ezávslé. B x x B = u u =, kde u ~ N q 0,B B sou ezávslé. Lemma: (o emeších čtvecích) Nechť y~n K, I, kde K e matce kostat, e vekto aametů (omálí leáí egesí model). Potom R 0 :=m y K y K (RSČ) má ozděleí, kde =hk. Pozámka: R 0 = y K y K, kde R 0 = e e= y I P y, kde e MNČ-odhad. I P e oekce (symetcká, demotetí matce), P= K K K K, hp=, hi P=. Věta: Nechť Y~W,, 0,. Ozač Y k =Y, k = ) Y ~ a e ezávslé a Y k,k= ) c 0: c c c Y c ~. Potom: Pozámka: Rozděleí Y e steé =,...,. 8

29 ) Y= x x, x ~N 0, ezávslé, = omálí egese X a X,..., X, víme: X X,..., X, ~N = RSČ: R 0 = X X = = X, x =X,..., X, =,...,, =,..., ř evých X,..., X, : R 0 ~k (vz. lemma), kde k=, =hx,..., x, = s avděodobostí e stadadí ozděleí a ezávsí a X,..., X, Y k,k = tedy e to eodmíěé ozděleí: R 0 ~ zbývá ukázat: R 0 = ozačme X = U Y v, v=x egese v a U... RSČ R 0 =v I Pv=v I U U U U v=v v v U U U U v= záoveň: Y= X X= U U U v v U v v Y = U U v v v U U U U v = Y U U = Y ) uvažu B otogoálí, t. B B=B B =I echť c e ví řádek B, t. c=b víme: BY B ~W, B B ostuu dle ), vek (,) B Y B =B Y B... vek (,) e c Y c B B =B B... vek (,) e c c tedy c c c Y c ~ Začeí: (ozděleí a bloky) Y = X X = Y Y Y Y s s, = s, kde s =s Věta: (magálí ozděleí) Nechť Y~W,. Potom Y ~W,. 9

30 Y= = ezávslé. x x, x ~N 0, ezávslé, x = x x s, Y = = x x, kde x ~N 0, Věta: Nechť Y~W,. Potom Y Y Y Y ~W s, Hustota Wshatova ozděleí Y ~W, f Y,= E Y = Y ex { st Y } 4 =, kde Y symetcká, 0 chaaktestcká fukce: Y = I, kde e symetcká, e magáí edotka, může být sguláí o Y ~W,,M latí E Y =M M Defce: Nechť y~n, c,y~w k,, 0, echť y a Y sou ezávslé. Potom statstku =c k y Y y azýváme Hotellgovo -kvadát. Věta: Nechť k. Potom F= k =c y Y y= c y y y y k k ~F, k, kde =c., kde c y y~ a y y y Y y má ř evém y Y y k cetálí ozděleí (vz. věta část )) Ale k ezávsí a odmíce y, tedy eodmíěé ozděleí a e ezávslé a y y. Pozámka: Př =0 e F-ozděleí cetálí. y 30

31 7. LEKCE Lemma: Nechť B e symetcká, oztvě deftí. Pak o lbovolý vekto c latí ekvvalece: c B c c d d B d, d R. Nechť B e oztvě deftí B=B B, exstue B =B B. Schwazova eovost o vektoy: u v u u v v, u,v R zvolíme u=b c, v=b d c d c B c d B d, c,d ' ' echť c Bc, ak c d d B d, d ' ' zvolíme d=b c, otom c B c c B B B c=c B c vyděl c B c0 c B c Věta: (zobecěý Scheffé) Nechť y~n, c, Y ~W k,, echť y,y sou ezávslé, e oztvě deftí a k. Nechť A e t-ozměý odosto v R. Potom avděodobost, že eovost a y a t k t c F t,k t a Y a latí a A současě, e ova. a,..., a t... báze A, A :=a t a t latí A ={a : A d=a, d R t } víme: A y A ~N t 0, c A A }ezávslé A Y A ~W t k, A A Hotellgova statstka: =k ca y A A Y A A y A k t víme: ~F k t t,k t cetálí P { A y A c k t t A Y A A y A }= F t, k t ktcká hodota volíme akob zlemmatu =: c zlemmatu 3

32 Použeme lemma: P {[A y A d] d B d, d R t }= a= A d obíhá A, když d obíhá R t P { [ y a] t F t,k t a Y a, k t c a A} = Odmocím tvzeí věty. ebol P { a y a a Y a Důsledek: k t t c F t, k t, a A } = Nechť x,..., x e áhodý výbě z N,, tedy x~n, a W = x xx x ~W,. Víme, že x,w sou ezávslé, t. c=, k=, vol A =R, t. t=. { Potom P a x a F, a W a, a R =. Použtí: smultáí tevaly solehlvost o a = I a x± a F, a a W okyí skutečé hodoty současě a R smultáí testy hyotéz H a 0 : a =a 0, a R Pozámka: s testovým kté F a = a x a 0 a W a a t. F a F,... zamítám H 0 současě } s avděodobostí maí solečou hladu solehlvost, Je možé acovat s výběovou vaačí matcí S= W ebo s Wshatovou matcí W = S. 3

33 II. esty hyotéz a oblast solehlvost ř ezámém x ~N, ezávslé (áhodý výbě), ezámé x= x, W = x xx x, x,w ezávslé ) H 0 : = 0 Hotellgův test 0 = x 0 W x 0 F := 0 = x 0 W x 0 ~ H 0 F, FF,... zamítáme H 0 Pozámka: Za alteatvy H : 0 má F ecetálí F, est oměem věohodostí = max L 0, max, kde W 0 e L, = e = = ± x W 0 W ±x = W W 0 x 0 x 0 =W x 0 x 0 latí: l ~ dm dm dm... očet aametů v eomezeé věohodost dm... očet aametů ve věohodost omezeé hyotézou zde dokážeme ozděleí učt řesě: = W W 0 = W W x 0 x 0 = W W I W x 0 v = x 0 W x 0 = 0 Hottelogov statstky (v ředosledí ovost sme využl vztahu Iv v =v v ) 0 víme: ~ } ezávslé odtud: = 0 ~ ezávslé Pozámka: 0 = W x 0x 0 W x 0 W W... test oměem věohodostí e fukcí =Beta, eobsahue vez W Oblast solehlvost o { m R : x m W x m F, } elsod se středem x, osy sou učey vlastím vektoy W = 33

34 ) Smultáí hyotézy o složkách ř zamítutí H 0 : = 0 v bodě ) H 0 : = 0, =,...,, ř zachováí ůvodí hlady, t. smultáí testy Bofeo: -ozměé testy a řísěší hladě F B = X 0 = X o F W s,... zamítáme H 0, =,..., ekvvaletě B = F B = x 0 s t... zamítáme H 0 smultáí tevaly solehlvost o : X ± s t ekvvaletě X ± s, F Scheffé testueme: H a 0 : a =a 0 volíme: =a =0,...,0, a tá ozce,0,...,0 t. H 0 : = 0, =,..., F S = X 0 F s,... zamítáme H 0 smultáí teval solehlvost: X ± s F, Pozámka: Scheffého tevaly sou obecě delší ež Bofeoho. Měly by se oužít, okud ředem evíme, kolk leáích kombací a esektve kolk složek budeme chtít testovat. Pozámka: Pokud H 0 ezamítáme o žádé a řesto zamítáme H 0, ak e říčou eřatelá kombace složek. ) asfomace Hottelgovy statstky H C 0 : C =C 0, kde C q C = C x C 0 C W C C x C 0 latí: F c = C c q q ~H 0 Fq, q cetálí C F c F q, q... zamítáme H 0 C =I q O q q q test vích q složek (kolv smultáí) 34

35 t. C 0 0 = matce kotastů 0 0 H 0 C : =, =,..., ebol = =...= C q =I q I q... test symete, o = q H 0 C : = q, =,...,q v) Poováí dvou ezávslých áhodých výběů x,...,x ~N, ř shodě vaačích matc x,...,x ~N, } H 0 : = x x ~ H 0 N 0, W W =:W ~W, } ezávslé = c= 0 = x x W x x F= 0 = FF,... zamítáme H 0 Pozámka: Pokud x x ~ H 0 N 0, elze řeít a solečou matc W Pokud = =:, ak e oztyl steým zůsobem ako výše. smultáí testy složek ř zamítutí H 0 : = x x W x x s Wshatovým ozděleím a e možo sestavt W, 0,F t. H 0 : =, =,..., Boffeo: edoozměé testy = a řísěší hladě F B = X X F s,... zamítáme H 0 Scheffé:, F S = X X F W,... zamítáme H 0 kde s = W 35

36 H 0 : = ř eshodě vaačích matc a ř ůzém ozsahu Poblém: Nelze řeít a Hottelga a a F-ozděleí. Asymtotcký řístu:, K =x x S S x x ~ smultáí testy H 0 : =, =,..., X Scheffé: K = X Bofeo: K s s... zamítáme... zamítáme H 0 H 0 Poováí dvou závslých výběů (áový test) uvažu ozdíly z :=x x, =,..., dle ) testu H 0 : z =0 ebo X :=X X =x, x, x =, tasfomace Hottelga dle ) s matcí C =I I test symete: =, =,...,, ebol H 0 : = 36

37 esty vaačí matce v) H 0 : = 0 test oměem věohodostí = L, 0 L, = 8. LEKCE 0 ex{ st [ 0 W ]} W ex { st [ W W ] = 0 W ex { st 0 W } e K := l = l 0 W st 0 W l e latí: K~ dm dm dm= = = 3, dm = Pozámka: Př malém ozsahu výběu se testové ktéum kostatou. secálě H 0 : =Dag... test dagoalty t. H 0 : P=I... koelačí matce K = l R ~ odvozeí: 0 =Dag{ 0,..., 0 } l }= 0 = Dag{W,...,W } dagoálí vky W Dag {W } W DagW = R = R 0 W = výběová koelačímatce 0 ex{ st 0 e W W } K zde, u dalších testů ásobí zřesňuící st 0 W =st R= K = l R l = l l R l = l R = 37

38 secálě H 0 : = I... test sféčost K= l W l st W ~ odvozeí: 0 = I = W = st W, = 0 = I 0 W = W W = st W st 0 W = st W = st W K= l[ st W l = l l st W l W l = l W ] st W l W secálě H 0 : =I, t. 0 =I K ~ v) H 0 : = 0 = 0 test oměem věohodostí: K '=Kx 0 0 x 0 ~ 3 dm =0 = x = v) ověřeí ezávslost mez skuam oměých x x, va x= s s, =s H 0 : = 0 s test oměem věohodostí, t. x, x sou ezávslé = L, L, W L, =...= W W kde W l l = = W = = l x x l l x x x x x l x,l=, W K = l = l W W dm= 3, dm = s dm dm= s ~ s středí hodoty oztyly s s kovaace = 3 s 38

39 v) oováí dvou ezávslých výběů x ~ N,, =,...,, ezávslé x ~ N,, =,...,, ezávslé} ezávslé H 0 : = =: okud ezamíteme H 0, můžeme testovat shodu středích hodot dle v) ř steých vaačích matcích test oměem věohodostí: = W W = L,,, L,,, =...= S ' S ' S' kde W =W W, S'= W, S'... ML-odhady K = l ~ W, 39

40 III. MEODA HLAVNÍCH KOMPONEN PC, PCA... Pcal Comoets (Aalyss) Metoda hlavích komoet e učea k edukc fomace. Násto: Sektálí ozklad o eálou symetckou matc B=P P = P = B, kde =Dag {,..., },... sou vlastí čísla B =,...,... otoomálí vlastí vektoy B, t. k = k, t. P P=P P =I Pozámka: ) symetcká matce má eálá vlastí čísla ) B e.s.d. 0 hb= =...= =0 ) B e.d. 0, hb= v) Pokud e vlastí číslo m-ásobé, ak mu odovídá m vlastích vektoů z R m učey edozačě, lze volt otoomálí.. Nesou Pomocé lemma: B symetcká s vlastím čísly.... Potom ) d B d max d 0 d d =max d B d= d = agmax... d =... vlastí vekto ) d B d m d 0 d d =m d B d= d = agm...d =... vlastí vekto ) d B d max d: d d d =max d B d= d = =,..., d =0 =,..., agmax... d =... vlastí vekto v) d B d m d: d d d = m d B d= d = =,..., d =0 =,..., agm...d =... vlastí vekto v) max d,..., d d d k = d B d = d B d = = = max d d d,..., d d dk= k agmax...d,...,d =,..., 40

41 ) d : d= c =,...,... otoomálí báze R, k = k B= l l l l= d B d d d =... sektálí ozklad c l l l l k c k c k k = c k k c c k l l l k k l = c c k k k této hodoty e dosažeo o c =, c =...=c =0, tz.: d = ebo obecě: c =a, c =...=c =0, tz.: d =a v) d = k= d d k l= c k k, =,..., d = c k } = k = c l c kl =0, k C =c k otoomálí řádky dolíme C =c k otoomálí řádky t. latí C C=C C =I... otoomálí řádky slouce t. c k =, = k= C :=c k latí: = c k = k= d B d = = = c k = c k = c k = = k= k= = k c! k = k c k = k= k= = koefcety u k max evětším vlastím číslům řřaď evětší možé koefcety c k = c k = = ON, za odmíky k= = c k = vím vlastím číslům dáme koefcet ove, ostatím ove 0 tedy d B d k = k= ovost ř volbě: c =, =,...,, c k =0, k, k=,..., tz. d = 0 C = 0 stačí volt, aby ) C byla otogoálí, t. otoomálí řádky (a slouce) ) c k =0, k,k 4 c c c c =

42 9.LEKCE Úloha o metodu hlavích komoet: ahadt x=x,..., X meším očtem oměých (latetích, skytých), kteé by co evěě osovaly ůvodí soubo a to ve smyslu zachováí vaačí stuktuy. Postu: Omezíme se a leáí kombace ůvodích oměých. x y = D x, Nový soubo oměých y=y,...,y budeme vytvářet ostuě, tak aby se vyčeávalo maxmum zbývaící vaablty v x. Alteatva: Zvolt ový souřadcový systém, tak aby se zedodušla vaačí stuktua. Postu: otogoálí tasfomace a dagoálí stuktuu souřadce = hlaví osy elsodu= vlastí vektoy vaačí matce okud sou vlastí čísla ůzá, e řešeí edozačé otože chceme méě Y ež X, echal bychom e Y x=x,..., X... áhodý vekto, eředokládá se, že e omálě ozděleý Bez úmy a obecost ředokládeme, že E x=0 va x=... symetcká, oztvě semdeftí sektálí ozklad: = =P P, kde... 0 sou vlastí čísla matce, =,..., sou otoomálí vlastí vektoy matce a =Dag {,..., }. P P =P P= I Defce: Náhodou velču Y := x azveme -tou hlaví komoetou, =,...,. 4

43 Věta: va Y =, =,...,. va Y =va x= = k= k = k k k = = Pozámka: Jestlže h=m, tak osledích m hlavích komoet sou kostaty skoo stě, eboť m =...= =0. edy va Y m =...=va Y =0. Věta: Hlaví komoety sou ekoelovaé. cov Y,Y k =cov x, k x= k = l= Věta: Po hlaví komoety latí: ) max va c x=va Y = c = ) va c x=va Y = ) v) m c = max c = c,..., va c x=va Y = max c = c c k = k =,..., = Vz. omocé lemma. Věta: vac x= = Nechť h=m. Potom = = va Y = = m va X = va Y. = va X =st =st P P =st P P = Pozámka: st = = I l l l k = k = m = = va X... mía celkové vaablty v x. Přísěvek -té komoety: va Y = va X st 0,. k k= m = va Y = Obvykle se uvažue ěkolk evětších hlavích komoet. Naříklad aby vyčealy 60-80% celkové vaablty. 43

44 Neleší leáí edkto (NLP) o x založeý a y =D x x áhodý vekto, E y x y =0, va x y = D D D D víme, že eleší leáí edkto e tvau: x =E x y= D x= D D D D x... leáí egesí fukce vlastost NLP ezávsí a omaltě ezduálí oztyl: va x x =va x y=d x= D D D D =: míy řesost edkce: st = = ebo = k k? Jak volt D - souvslost s hlavím komoetam Věta: Nechť h=m. Pak st abývá mma, estlže áhodé velčy d x, =,..., sou ekoelovaé a každá z ch e leáí kombací vích hlavích komoet, t. d x= k= Povedeme o stou D =d d c k Y k = k= c k k x, =,...,, kde ) st =st st D D D D = = C =c k e eguláí. D D D D = =! max D =! m ukážeme, že se stačí omezt a ekoelovaé d x, =,...,, s edotkovým oztyly = cov X, D xva D x covd x, X D D echť hd D = =vad x...symetcká, oztvě semdeftí sektálí ozklad: D D =U M U D D =U M U defu: :=U D x... leáí tasfomace z I I E z=0, va z=u D D U =U U M U U =M... dagoálí t. z má ekoelovaé složky Z,...,Z cov X, z=cov X,U D x= D U D U M U D = covx, zva z covz, X cov X, z D 44

45 se ezměí, estlže Z c Z, c 0, eboť koefcety c se vykátí volíme c =, =,...,, kde M=Dag{,..., }, tedy va z=i lze tedy uvažovat: va D x=d D =I ) echť m=, t. = = k= d k d k oložíme e := d otom max e e k = k k= má lou hodost = d k k e vzlemma v k e k = k= a = D D = d = k k= d k d k = max d d k = k k, kde... sou vlastí čísla, e,...,e... vlastí vektoy, e = a d = e = ) za d lze římo bát, eboť cov x, k x= k = k koefcet emá vlv a ř volbě d = : d x= x=y... -tá hlaví komoeta D =, D =,..., =: P v) maxmum v e ověž dosažeo o C D, kde C e eguláí, eboť hc D D C =hd D = D D D D = D C C D D C C D = secálě o D =P ak C D =C P =: D d = c k k k= d x= k= c k k x= c k Y k k=... leáí kombace vích hlavích komoet v) m m hlavích komoet sou kostatí skoo stě okud m, tak vezm vích m hlavích komoet a dolň m kostat Pozámka: Aalýza hlavích komoet e vhodá, okud sou všechy složky edotkách. Pokud esou, může se oužít omováí U = X X = X X va X s ovede s koelačí matcí R amísto kovaačí matce S. Pozo: Změou měřítka se měí hlaví komoety. x měřey ve steých a aalýza se 45

46 Defce: Komoetí skóe o -tý obekt Y = x x, =,...,; =,...,. Iteetace hlavích komoet: Vzáemě ezávslé, zobecěé, skyté vlvy, kteé vyvolávaí vaabltu a ovlvňuí kovaačí stuktuu oměých. Využtí metody hlavích komoet v ých metodách: ) otogoalzace oměých v eges ) ozbo ostoového ozložeí dat ve shlukové aalýze 3) omocá metoda ve faktoové aalýze 46

47 IV. KANONICKÉ KORELACE CC... Caocal Coelatos Pomocé lemma: Nechť A,B sou symetcké matce řádu, B e oztvě deftí. Ozač... vlastí čísla B A, v,...,v odovídaící vlastí vektoy. Potom ) max c c A c A c=max c Bc= c 0 c B c =, c =v ) m c c A c A c=m c Bc= c 0 c B c =, c =v ) max c,..., c c Bc k = k B A, B A B c A c = max = c,..., c c Bc k =0 o k = c A c maí steá vlastí čísla c B c = = B e oztvě deftí exstuí B,B,B symetcké ) c B c=c B B d=b c, c=b d c=:d d max c Bc= c A c=max d B A B d=... evětší vlastí číslo B A B d d= hlavích komoet) (vz. lemma u d e vlastí vekto B A B c =B d c e vlastí vekto B A, eboť B A c =B A B d =B B A B d = =B d = c, c =v ), ) bez důkazu 47