Stochastické modely časových řad

Transkript

1 Stochastické modely časových řad RNDr. Marie Forbelská, Ph.D. Ústav matematiky a statistiky Přírodovědecká fakulta Masarykovy uiverzity Bro Podzimí semestr šk. roku 11/1

2 1 KAPITOLA 1 Teoretické základy áhodých procesů 1. Úvod V praktickém životě se setkáváme s velkým možstvím áhodých jevů, které se uskutečňují v čase. Matematickým modelem těchto jevů mohou být áhodé procesy. Obrázek 1. Ilustrativí obrázek Pojem áhodého procesu je zobecěím pojmu áhodé veličiy. Zatímco áhodá veličia je reálá fukce jedé proměé elemetárího jevu, je áhodý proces reálou fukcí dvou proměých elemetárího jevu a jedé reálé proměé. Tou obvykle bývá čas. K ejstarším zázamům ve tvaru časových řad patří astroomická pozorováí. Grafická zázorěí časových řad v podobě, a kterou jsme zvyklí teď, se začala objevovat a počátku 19. století (apř. zázamy zemědělské produkce - zámá Beveridgeova řada popisující ceový idex pšeice v západí Evropě v letech ). V praktických situacích se setkáváme s moha áhodými procesy. Například ve fyzikálích a techických vědách: seismický zázam v geofyzice, řada ejvyšších deích teplot v meterologii, průběh výstupího sigálu určitého elektrického přístroje, tezometrické měřeí povrchového apětí v provozu amáhaé strojí součástky, změy v tloušťce drátu v průběhu jeho délky, změy v počtu výzev a určité telefoí lice, atd.; v biologických vědách: sledováí růzých parametrů zečištěí ovzduší, EEG, EKG zázamy v mediciě, procesy možeí (apř. bakterií), apod. ve společeských vědách: změy v počtu obyvatelstva, procesy mortality a ivalidity obyvatelstva, aj.; vekoomice změy poptávky po určitém výrobku, aalýza vývoje kursu akcií a burze,

3 M51 Stochastické modely časových řad objem zemědělské produkce, počet čekajících v letecké dopravě, atd. Tyto procesy, apohled rozmaité, lze jedotě popsat matematickým pojmem áhodého (stochastického) procesu. Ta část matematické statistiky, která se zmíěými procesy zabývá, se také azývá statistickou dyamikou. Cílem aalýzy áhodých procesů je kostrukce odpovídajícího modelu, což umoží porozumět mechaismu, a jehož základě jsou geerováy sledovaé údaje. Zalost modelu dále umožňuje předpovídat budoucí vývoj a je-li možé řídit a optimalizovat čiost příslušého systému (vhodou volbou vstupích parametrů a počátečích podmíek).. Defiice áhodého procesu Defiice.1. Nechť je dá pravděpodobostí prostor (Ω, A, P ), idexová možia T R a reálá fukce X Ω T R defiovaá pro ω Ω a t T. Jestliže pro t T je X(ω, t) borelovsky měřitelá fukce vzhledem k A (tj. pro B B, t T platí X 1 (B) = {ω Ω X(ω, t) B} A, kde B je σ-algebra borelovských podmoži), pak tuto fukci azýváme (-rozměrým) áhodým procesem. Náhodý proces X(ω, t) při pevém ω Ω se azývá realizace (trajektorie) procesu. Pravděpodobostí míru P X (B) = P (X 1 (B)) azýváme rozděleí pravděpodobostí áhodého procesu X(ω, t). Pozámka.. Obdobě jako u áhodých veliči, kdy místo X(ω), ω Ω píšeme pouze X, u áhodých procesů místo {X(ω, t), ω Ω, t T } píšeme {X t, t T }. Defiice.3. Pokud idexová možia T = Z = {, ±1, ±,...} ebo T Z, mluvíme o procesu s diskrétím časem ebo o časové řadě či áhodé poslouposti. Pokud idexová možia T = t 1, t, kde t 1 < t +, říkáme, že {X t, t T } je áhodý proces se spojitým časem. Dvojice (S, S), kde S je možia hodot áhodých veliči X t a S je σ-algebra podmoži S, se azývá stavový prostor procesu {X t, t T }. Pokud áhodé veličiy X t abývají pouze diskrétích hodot, říkáme, že jde o proces s diskrétími stavy. Nabývá-li hodot z ějakého itervalu, mluvíme o procesu se spojitými stavy. Rozděleí pravděpodobostí P X áhodého procesu {X t, t T } jedozačě defiuje rozděleí každého -rozměrého áhodého vektoru X = (X t1,..., X t ), kde t 1,..., t jsou libovolé body z možiy T. Defiice.4. Nechť T je možia všech vektorů T = {t = (t 1,..., t ) t 1 t t ; t i T ; i = 1,..., }. Pak (koečě dimezioálí) distribučí fukcí áhodého procesu rozumíme fukci F t (x) = F t1,...,t (x 1,..., x ) = P (X t1 x 1,..., X t x ) = P Xt ((, x 1 >,..., (, x >) pro t = (t 1,..., t ) T a x = (x 1,..., x ) R. Pro růzá a pro růzé hodoty t 1,..., t dostáváme celý systém distribučích fukcí, ozačme jej F, který emůže být úplě libovolý, ale zřejmě musí splňovat tzv. Kolmogorovy podmíky kozistece (K1) Podmíka symetrie: pro libovolou permutaci i 1,..., i čísel 1,..., platí F ti1,...,t i (x i1,..., x i ) = F t1,...,t (x 1,..., x ). (K) Podmíka kozistece: F t1,...,t,t +1 (x 1,..., x, ) = F t1,...,t (x 1,..., x ).

4 RNDr. Marie Forbelská, Ph.D. 3 Každému áhodému procesu lze tedy přiřadit kozistetí systém distribučích fukcí. K daému kozistetímu systému distribučích fukcí existuje vždy takový áhodý proces, že jeho systém distribučích fukcí je totožý se zadaým systémem, což říká ásledující věta, kterou uvedeme bez důkazu (lze ajít v kize Neubru, Rieča, 1981, [41]). Věta.5. Kolmogorova věta K systému distribučích fukcí, které splňují Kolmogorovy podmíky kozistece, existuje pravděpodobostí prostor (Ω, A, P ) a áhodý proces {X t, t T } tak, že F je jeho systémem distribučích fukcí Striktí a slabá stacioarita. 3. Stochastické procesy druhého řádu Defiice 3.1. Řekeme, že áhodý proces {X t, t T } je striktě stacioárí, jestliže pro t = (t 1,..., t ) T a pro τ = (t 1 + h,..., t + h) T platí F t (x) = F t1,...,t (x 1,..., x ) = F τ1,...,τ (x 1,..., x ) = F τ (x). Rovost lze iterpretovat tak, že základí pravděpodobostí charakteristiky procesu se eměí při posuutí v čase. Defiice 3.. Existuje-li pro t T středí hodota EX t, pak azýváme fukci středí hodotu áhodého procesu. µ t = EX t Defiice 3.3. Náhodý proces {X t, t T } azýváme procesem druhého řádu, jestliže pro t T platí EX t < a říkáme, že áhodý proces má koečé druhé momety. Pozámka 3.4. Pokud EX t <, pak ze Schwarzovy erovosti plye E X t (E 1 E X t ) 1 = (E X t ) 1 <, tj. existuje středí hodota EX t = µ t a rozptyl DX t = EXt (EX t ) = σt. Defiice 3.5. Uvažujme áhodý proces {X t, t T }, který má koečé druhé momety. Pak fukci azveme autokovariačí fukcí a fukci azveme autokorelačí fukcí. γ(s, t) = C(X s, X t ) = E(X s EX s )(X t EX t ) ρ(s, t) = C(X s, X t ) DXs DX t = γ(s, t) γ(s, s)γ(t, t) Pozámka 3.6. Tyto reálé fukce dvou proměých dávají iformaci o lieárím vztahu mezi jakoukoliv dvojicí áhodých veliči X s a X t. Autokavariačí fukce abývá hodoty od míus do plus ekoeča a její velikost závisí a měrých jedotkách áhodých veliči. Naproti tomu autokorelačí fukce je ormovaou autokovariací, abývá hodot od míus jedé do jedé a eí závislá a měrých jedotkách. Defiice 3.7. Náhodý proces {X t, t T } azýváme stacioárí ve středí hodotě, pokud pro t T je středí hodota kostatí, tj. EX t = µ. Pokud EX t =, áhodý proces azýváme cetrovaým. Náhodý proces {X t, t T } se azývá kovariačě stacioárí, pokud pro t, s T platí γ(s, t) = γ(, s t ) což budeme také psát ve formě γ(s, t) = γ(s t), tj. autokovariačí fukce závisí a svých argumetech pouze prostředictvím jejich rozdílů.

5 4 M51 Stochastické modely časových řad Náhodý proces {X t, t T } se azývá (slabě) stacioárí, je-li stacioárí ve středí hodotě a kovariačě stacioárí. Pozámka 3.8. Bez újmy a obecosti můžeme pracovat s cetrovaými áhodými procesy, eboť pro libovolá reálá čísla a, b R platí C(X s + a, X t + b) = E[(X s + a) E(X s + a)][(x t + b) E(X t + b)] = E(X s EX s )(X t EX t ) = C(X s, X t ) = γ(s, t) Pozámka 3.9. Protože C(X s, X t ) = C(X t, X s ), pak pro kovariačě stacioárí procesy platí γ( t) = γ(t) a všechy áhodé veličiy X t mají tetýž koečý rozptyl Ze Schwarzovy erovosti dále plye DX t = C(X t, X t ) = γ(t t) = γ(). γ(t) = C(X, X t ) DX DX t = γ(). Pozámka 3.1. Přívlastek slabě se většiou vyechává. Lze sado ukázat, že je-li proces striktě stacioárí, je také stacioárí. Opačá implikace však eplatí. Pozámka Nechť áhodý proces {X t, t T } je stacioárí. Ozačme γ() = σ, pak autokorelačí fukce stacioárího áhodého procesu bude mít tvar ϱ(t) = γ(t) σ = γ(t) γ(). Defiujme yí áhodé procesy, které budou hrát důležitou roli v aplikacích. Defiice 3.1. Řekeme, že áhodý proces {ε t, t T } je bílým šumem (White Noise), jestliže ε t jsou ekorelovaé áhodé veličiy s ulovou středí hodotou, tj. Eε t =, Dε t = σ, C(ε t, ε s ) = (s t), začíme ε t W N(, σ ). Pokud jsou avíc eje ekolerovaé, ale i ezávislé, začíme je symbolem IID (idepedet idetical defied), píšeme ε t IID(, σ ). Věta Náhodé procesy ε t W N(, σ ) a ε t IID(, σ ) jsou stacioárími áhodými procesy. Důkaz. Zřejmý. Defiice Náhodý proces {X t, t T } se azývá gaussovským (ormálím), jestliže pro každé přirozeé a libovolá čísla t j T, j = 1,...,, je jeho -rozměrá distribučí fukce F t1,...,t (x 1,..., x ) distribučí fukcí -rozměrého ormálího rozděleí. Věta Gaussův áhodý proces {X t, t T } je stacioárí, právě když je striktě stacioárí. Důkaz. Je triviálí a plye z vlastostí ormálího rozděleí. Defiice Řekeme, že áhodý proces {X t, t T } splňuje lieárí regresí model, pokud pro jeho středí hodotu platí t T EX t = µ t = m β j f j (t), kde f,..., f m jsou zámé fukce defiovaé a T, β = (β,..., β m ) je ezámý vektor regresích koeficietů.

6 RNDr. Marie Forbelská, Ph.D Vlastosti autokovariačí fukce Třebaže v praktických situacích máme co čiit je s reálými áhodými veličiami, v teorii bývá výhodé pracovat ěkdy s komplexími áhodými veličiami. Komplexí veličiou rozumíme veličiu X = Y + iz, kde Y a Z jsou reálé áhodé veličiy. Komplexím áhodým procesem azveme systém komplexích áhodých veliči {X t, t T }. Moho dalších úvah se bude týkat právě komplexích procesů. Slovo komplexí se bude vyechávat, když bude zřejmé ze souvislosti. Existují-li středí hodoty EY a EZ, defiuje se středí hodota komplexí áhodé veličiy X = Y + iz EX = EY + iez. Budeme se yí zabývat základími vlastostmi autokovariačí fukce γ(s, t) = C(X s, X t ) = E(X s EX s )(X t EX t ). Přitom se samozřejmě předpokládá, že jde o proces s koečými druhými momety. Jelikož autokovariačí fukce procesu zůstává stejá při změě středí hodoty, budeme také pro jedoduchost předpokládat, že středí hodota procesu je rova ule, tj. že proces je cetrová. Věta 4.1. Nechť {X t, t T } je cetrovaý proces s autokovariačí fukcí γ(s, t). Pak platí: (1) Autokovariačí fukce γ(s, t) je pozitivě semidefiití fukce. () Autokovariačí fukce γ(s, t) je hermitovsky symetrická, tj. pro s, t T platí γ(s, t) = γ(t, s) (3) Je-li fukce γ(s, t) pozitivě semidefiití a hermitovsky symetrická, existuje takový áhodý proces (dokoce ormálí), že γ(s, t) je jeho autokovariačí fukcí. (4) Pro autokovariačí fukci γ(s, t) platí erovosti γ(s, s) a γ(s, t) γ(s, s) γ(t, t). (5) Součet dvou autokovariačích fukcí je opět autokovariačí fukcí. (6) Reálá část autokovariačí fukce je též autokovariačí fukcí. Imagiárí část je autokovariačí fukcí je tehdy, je-li rova ideticky ule. Důkaz. Postupě dokazujme jedotlivá tvrzeí. (1) Nejprve připomeeme defiici tzv. pozitivě semidefiití fukce. Nechť f(s, t) je fukce dvou proměých defiovaá a T T. Říkáme, že f je pozitivě semidefiití, platí-li pro jakékoli přirozeé číslo, pro libovolá komplexí čísla c 1,..., c a libovolé body t 1,..., t T vztah f(t j, t k )c j c k. (1) j=1 k=1 Fukce jedé proměé g(t), t T se azývá pozitivě semidefiití, platí-li pro každé přirozeé, libovolá komplexí čísla c 1,..., c a libovolé body t 1,..., t T a t j t k T pro j, k = 1,..., vztah g(t j t k )c j c k. () j=1 k=1 Nechť {X t, t T } je cetrovaý proces s autokovariačí fukcí γ(s, t). Pak zřejmě platí E c j X tj = E [ c j X tj j=1 j=1 k=1 c k Xtk ] = c j c k E(X tj Xtk ) = c j c k γ(t j, t k ). j=1 k=1 j=1 k=1

7 6 M51 Stochastické modely časových řad () Platí γ(s, t) = E(X s Xt ) = E(X t Xs ) = γ(t, s), takže autokovariačí fukce je hermitovsky symetrická. (3) Důkaz třetího tvrzeí lze ajít apříklad v kize Doob (1953, [3]). (4) Prví erovost γ(s, s) plye z defiice autokovariačí fukce a druhá γ(s, t) γ(s, s) γ(t, t) je důsledkem Schwarzovy erovosti. (5) Abychom mohli dokázat páté tvrzeí, připomeňme si, že součet dvou pozitivě semidefiitích hermitovsky symetrických fukcí je opět fukce pozitivě semidefiití a hermitovsky symetrická. Nechť f 1 (s, t) a f (s, t) jsou pozitivě semidefiití. Položme Pro libovolá komplexí čísla c 1,..., c platí f(s, t) = f 1 (s, t) + f (s, t). c j c k f(t j, t k ) = c j c k f 1 (t j, t k ) + c j c k f (t j, t k ). j=1 k=1 j=1 k=1 j=1 k=1 Každý z obou výrazů a pravé straě je ezáporý. Musí být tudíž ezáporý i výraz vlevo, čímž je zaručea pozitiví semidefiitost fukce f. Odtud plye páté tvrzeí věty. (6) Nechť {Z t, t T } je komplexí áhodý proces s autokovariačí fukcí γ(s, t) = C(Z s, Z t ) = E(Z s EZ s )(Z t EZ t ). Bez újmy a obecosti budeme předpokládat, že áhodý proces má ulovou středí hodotu, tj. = EZ t = E(X t + iy t ) = EX t + iey t, což implikuje, že Počítejme EX t = EY t =. Reálá část γ Z (s, t) je rova γ Z (s, t) = EZ s Zt = E(X s + iy s )(X t iy t ) = EX s X t + EY s Y t + i(ey s X t EX s Y t ) Re(γ Z (s, t)) = EX s X t + EY s Y t = γ X (s, t) + γ Y (s, t). Je tedy rova součtu autokovariačí fukce procesu {X t, t T } a autokovariačí fukce procesu {Y t, t T } a je podle pátého tvrzeí autokovariačí fukcí. Imagiárí část γ Z (s, t) je rova Im(γ Z (s, t)) = EY s X t EX s Y t. Připomeňme, že pro libovolou autokovariačí fukce γ(s, t) musí platit: (i) γ(s, s) (ii) γ(s, t) γ(s, s) γ(t, t). V bodech s = t dostaeme Im(γ Z (s, s)) = EY s X s EX s Y s =. Druhá erovost však je splěa je tehdy, je-li stále rova ule. Na druhé straě fukce ideticky rová ule je autokovariačí fukcí apř. procesu, který je stále rove ule.

8 RNDr. Marie Forbelská, Ph.D Spojitost a derivace áhodého procesu 5.1. Spojitost áhodého procesu. Pokud se zajímáme o spojitost procesu {X t, t T } v bodě t T, budeme studovat chováí áhodých veliči X t při t t. Jestliže X t kovergují v ějakém smyslu k X t, je možo mluvit o spojitosti procesu X t v bodě t. Z růzých typů kovergecí se ukazuje v tomto případě jako ejužitečější kovergece podle kvadratického středu. Defiice 5.1. Řekeme, že áhodý proces {X t, t T } je spojitý podle středu v bodě t T, jestliže při t t kovergují X t k X t podle kvadratického středu, tj. když V tom případě píšeme E X t X t pro t t. X t = l.i.m. t t (zkratka z aglického "limit i the mea"). Je-li proces {X t, t T } spojitý v každém bodě možiy T, říkáme stručě, že je spojitý. Pozámka 5.. Z teorie pravděpodobosti je zámo, že kovergece podle kvadratického středu implikuje kovergeci podle pravděpodobosti. Věta 5.3 (kritérium spojitosti procesu). Proces {X t, t T } je spojitý právě tehdy, když je jeho autokovariačí fukce γ(s, t) spojitá v bodech (s, t), pro ěž s = t. Důkaz. Bez újmy a obecosti můžeme předpokládat, že proces je cetrovaý. Je-li proces {X t, t T } spojitý, pak platí pro s, t, s, t T γ(s, t) γ(s, t ) = EX s Xt EX s Xt = E(X s X s )( X t X t ) + EX s ( X t X t ) + E(X s X s ) X t (1) () (3) trojúhel.er. Schwarz.er. X t E(X s X s )( X t X t ) + EX s ( X t X t ) + E(X s X s ) X t E X s X s E X t X t + E X s E X t X t + E X s X s E X t pro s s, t t 1 (využili jsme vlastosti spojitosti skalárího součiu). Fukce γ(s, t, ) je tudíž spojitá všude, a tedy také a diagoále s = t. Předpokládejme yí, že γ(s, t, ) je spojitá a diagoále s = t. Máme E X s X t = E(X s X t )( X s X t ) 1 1 = EX s Xs EX s Xt EX t Xs + EX t Xt = γ(s, s) γ(s, t) γ(t, s) + γ(t, t) Při pevém t a při s t z ašeho předpokladu vyplývá γ(s, s) γ(t, t), γ(s, t) γ(t, t), γ(t, s) γ(t, t), takže E X s X t pro s t, tj. koverguje podle kvadratického středu.

9 8 M51 Stochastické modely časových řad 5.. Derivace áhodého procesu. Derivaci áhodého procesu budeme defiovat obdobě, jako se defiuje derivace fukce. Defiice 5.4. Řekeme, že áhodý proces {X t, t T } má v bodě t T derivaci X t, jestliže platí X t +h X t l.i.m. = X t h h pro t + h T. Má-li áhodý proces {X t, t T } derivaci ve všech bodech t T, říkáme stručě, že má derivaci. Věty, které dávají utou a postačující podmíku pro existeci derivace áhodého procesu, lze ajít v kize Aděl, J.: Statistická aalýza časových řad. Praha. SNTL Spektrálí rozklad autokovariačích fukcí stacioárích procesů 6.1. Herglotzova a Bocherova věta. V celém odstavci budeme předpokládat, že áhodý proces {X t, t T } je stacioárí, cetrovaý a druhého řádu (tj. s koečými druhými momety). Výzamou vlastostí stacioárích áhodých procesů je vlastost, že jeho autokovariačí fukci lze vyjádřit jako (espočetý) součet harmoických fukcí s růzými frekvecemi a amplitudami. Věta 6.1 (Herglotzova věta). Je-li {X t, t Z} stacioárí posloupost, pak se její autokovariačí fukce γ(t) dá vyjádřit ve tvaru γ(t) = kde F (λ) je eklesající, zprava spojitá fukce taková, že Přitom F (λ) je jediá. π π e itλ df (λ), F ( π) = a F (π) = γ(). Důkaz. Lze ajít apříklad v Forbelská (9). Věta 6. (Bocherova věta). Je-li {X t, t R} stacioárí proces spojitý podle středu, pak se jeho autokovariačí fukce γ(t) dá vyjádřit ve tvaru γ(t) = kde F (λ) je taková eklesající, zprava spojitá fukce, že Přitom F (λ) je jediá. Vzorci e itλ df (λ), F ( ) = a F () = γ(). Důkaz. Lze ajít apříklad v Forbelská (9). γ(t) = π π e itλ df (λ) resp. γ(t) = e itλ df (λ) se říká spektrálí rozklad kovariačí fukce. Fukce F (λ) se azývá spektrálí distribučí fukce. Je-li F (λ) absolutě spojitá, pak existuje taková fukce f(λ), že pro áhodé stacioárí poslouposti, resp. pro stacioárí áhodé procesy platí F (λ) = λ π f(x)dx resp. F (λ) = λ f(x)dx. (3) Jelikož F (λ) je eklesající, je f(λ) skoro všude ezáporá. Je-li třeba, pozměíme ji a možiě míry ula tak, aby byla všude ezáporá. Tím se itegrál (3) ezměí. Fukce f(λ) se azývá spektrálí hustota. Existuje-li spektrálí hustota, pak můžeme psát γ(t) = π π e itλ f(λ)dλ resp. γ(t) = e itλ f(λ)dλ. (4)

10 RNDr. Marie Forbelská, Ph.D. 9 Všiměme si ještě, zda a jak se dá a základě ějaké jedoduché vlastosti kovariačí fukce γ(t) pozat, zda vůbec spektrálí hustota existuje. Věta 6.3. K existeci spektrálí hustoty stacioárí áhodé poslouposti stačí, aby pro její kovariačí fukci platilo γ(t) < t= K existeci spektrálí hustoty spojitého stacioárí áhodého procesu stačí, aby pro její kovariačí fukci platilo γ(t) dt <. Důkaz. Lze ajít apříklad v publikaci autorů Gichma a Skorochod (1971, viz [7]). V ásledujících dvou větách je zodpovězea otázka, jak vypočítat spektrálí hustotu z kovariačí fukce. Věta 6.4. Existuje-li spektrálí hustota f(λ) stacioárí poslouposti a má-li variaci koečou a π, π, pak platí f(λ) = 1 e itλ γ(t) (5) π t= ve všech bodech spojitosti fukce f(λ), což je skoro všude vzhledem k Lebesgueově míře. Důkaz. Ze vzorce (4) a straě 8 vidíme, že až a ormující kostatu 1 π jsou γ(t) Fourierovy koeficiety fukce f(λ) vzhledem k ortogoálímu systému fukcí {e itλ }. Zbytek tvrzeí plye z faktu, že fukce s koečou variací má ejvýše spočetě bodů espojitosti (variace je difiováa takto b a (f) = sup D k=1 f(x k ) f(x k 1 ), kde D = {a = x < x 1 < < x = b} je děleí itervalu a, b.) Věta 6.5. Existuje-li spektrálí hustota f(λ) spojitého stacioárího procesu a je-li autokovariačí fukce absolutě itegrovatelá, tj. pak γ(t) dt <, f(λ) = 1 π e itλ γ(t) dt. (6) Důkaz. Ze vzorce (4) a straě 8 vidíme, že až a ormující kostatu 1 π je mezi γ(t) a f(λ) stejý vztah jako mezi charakteristickou fukcí a hustotou rozděleí. Proto lze přímo převzít vzorec pro výpočet hustoty z charakteristické fukce. Věta 6.6. Spektrálí hustota f(λ) reálého spojitého stacioárího procesu ebo reálé stacioárí poslouposti je sudá fukce v tom smyslu, že pro i platí skoro všude vzhledem k Lebesgueově míře. f(λ) = f( λ) (7) Důkaz. Nechť {X t, t T } je spojitý stacioárí proces. Jelikož je reálý, platí pro každé t T, že γ(t) = γ( t). Proto vzhledem k (4) γ(t) = eitλ f(λ)dλ = e itλ f(λ)dλ = γ( t). Substitucí se sado zjistí, že pravá straa je rova eitλ f( λ)dλ takže e itλ f(λ)dλ = e itλ f( λ)dλ. (8) Je-li f(λ) = skoro všude, je tvrzeí věty zřejmé. Předpokládejme tedy, že f(λ)dλ = C >.

11 1 M51 Stochastické modely časových řad Bez újmy a obecosti můžeme položit C = 1 (jiak stačí místo f(λ) uvažovat f(λ) C ). Pak vzorec (8) ukazuje, že charakteristické fukce příslušející hustotám f(λ) a f( λ) jsou totožé. Vzhledem k vzájemě jedozačému vztahu mezi rozděleím pravděpodobosti a charakteristickou fukcí odtud vyplývá tvrzeí věty. Pro stacioárí poslouposti je důkaz obdobý. 7. Odhady středích hodot a autokovariací Stochastický proces je matematickým modelem reálého děje áhodého charakteru, který probíhá epřetržitě v čase. Můžeme jej však pozorovat je v koečých časových itervalech a a základě těchto pozorováí určit odhady hodot charakteristik tohoto procesu - středí hodoty, rozptylu, autokovariačí fukce, atd. Jestliže máme k dispozici dostatečý počet pozorováí realizací áhodého procesu, můžeme (1) Přibližě určit charakteristiky každé realizace áhodého procesu. () Přibližé celkové charakteristiky lze získat zprůměrováím předchozích. Tato metoda zpracováí je však poměrě složitá a vziká otázka, či by ebylo možé pro stacioárí áhodý proces zaměit teto složitý přístup za mohem jedodušší, který se zakládá a předpokladu, že středí hodota ezávisí a čase a korelačí fukce a začátku výpočtu. Kromě toho vziká otázka, zda při zpracováí pozorováí stacioárího áhodého procesu je třeba dispoovat ěkolika jejich realizacemi. Protože áhodý proces je stacioárí a homogeí v čase, je přirozeé předpokládat, že jeda jediá realizace s dostatečou délkou je postačujícím materiálem a získáí charakteristik áhodého procesu. Při podrobějším zkoumáí této otázky se ukázalo, že existuje takováto možost, ale e pro všechy stacioárí áhodé procesy. Tedy jestliže jediá realizace áhodého procesu pozorovaá v dostatečě dlouhém čase může být považovaá za určitého reprezetata všech možých realizací, říkáme, že takovéto stacioárí stochastické procesy mají ergodickou vlastost. Jestliže určitý áhodý proces emá tuto vlastost ergodičosti, i když je stacioárí, potom jeho růzé realizace, které se vyskytují s určitými pravděpodobostmi, mají růzý charakter průběhů. V tomto duchu, jako by šlo o realizace růzých jedodušších stacioárích procesů, které mají svoje idividuálí charakteristiky. V ěkterých případech a eergodičost stacioárího procesu může působit už je výskyt jediého áhodého sčítace (tj. áhodé proměé ezávislé a čase). Pozámka 7.1. Nechť {Y (t) = X(t) + Z, t R} je áhodý proces, kde {X(t), t R} je ergodický stacioárí proces defiovaý a pravděpodobostím prostoru (Ω, A, P ) a Z áhodá veličia defiovaá a témže pravděpodobostím prostoru se středí hodotou µ Z, rozptylem σz a pro iž pro každé t R platí Potom µ Y (t) = µ X + µ Z C(X(t), Z) =. γ Y (t) = C(Y (s), Y (s + t)) = C(X(s) + Z, X(s + t) + Z) = = C(X(s), X(s + t)) + C(X(s + t), Z) + C(Z, X(s + t)) + C(Z, Z) γ X (t) = = σz = γ X (t) + σ Z.

12 RNDr. Marie Forbelská, Ph.D. 11 Tedy áhodý proces {Y (t), t R} je stacioárí proces, ale emůžeme ho považovat za ergodický, eboť se dá očekávat, že každá jeho realizace se bude charakterem svého průběhu lišit od jiých - v závislosti od toho jakou hodotu při daé realizaci abyla áhodá veličia Z. Autokovariačí fukce stacioárího procesu Y (t), t R se od autokovariačí fukce stacioárího ergodického procesu {X(t), t R} liší o kladou složku σ Z. Takže pro t se hodoty γ Y (t) ezmešují k ule, ale od určitého času t m zůstávají kostatí (= σ Z ). Nyí budeme defiovat ergodičost stacioárích procesů přesěji matematicky v souvislosti s kostrukcí odhadů ěkterých charakteristik stacioárích procesů Odhady středí hodoty. Nechť {Y (t), t R} je stochastický proces. řádu, který pozorujeme v časovém itervalu, T. Nechť jeho kostatí středí hodota µ je ezámá a je třeba ji odhadout. Defiice 7.. Odhad středí hodoty ˆµ stacioárího áhodého procesu {Y (t), t, T } pomocí metody ejmeších čtverců (MNČ) je defiová vztahem: T ˆµ = arg mi (Y (t) µ) dt. µ R Pozámka 7.3. Stále budeme předpokládat, že itegrály vystupující v jedotlivých vztazích existují a dají se v ich zaměit pořadí itegrováí a středí hodoty. Sado lze odvodit, že odhad středí hodoty pomocí MNČ je rove eboť = d T dµ = T µ ˆµ = 1 T T Y (t)dt (9) (Y (t) µy (t) + µ ) dt = T Y (t) dt. T Y (t)dt + µ dt =T Věta 7.4. Odhad středí hodoty pomocí metody ejmeších čtverců je estraý a jeho středí kvadratická chyba je rova Důkaz. Nestraost: MSE(ˆµ) = T T (1 u T ) γ Y (u) du. (1) E ˆµ = E ( 1 T T Y (t)dt) = 1 T T EY (t) dt = µ 1 T T =µ(stac.) =T T dt = µ. Středí kvadratická chyba v případě estraého odhadu je rozptylem tohoto odhadu MSE(ˆµ) = E [(ˆµ µ) ] = E [(ˆµ E ˆµ) ] = D(ˆµ).

13 1 M51 Stochastické modely časových řad Počítejme Uvažujme trasformaci MSE(ˆµ) = E [(ˆµ µ) ] = E {[ 1 T T = E {[ 1 T T = 1 T E { = 1 T T = 1 T T T (Y (t) µ) dt] } T T T Y (t) dt µ] } (Y (s) µ)(y (t) µ) ds dt} E [(Y (s) µ)(y (t) µ)] γ Y (t s)(stac.) γ Y (t s) ds dt u = t s v = t s Jakobiáem J = 1. Protože s, t, T, pak platí a tudíž tedy Tak dostaeme MSE(ˆµ) = 1 T T T = 1 T [ = 1 T [ = 1 T T u T v = t T u v = s + u T + u, max{, u} v mi{t, T + u}. T T T T mi{t,t +u} max{,u} (γ Y (u) γ Y (u) dv du T +u dv) du + γ Y (u)(t + u) du + γ Y (u)(t u ) du = T T T (γ Y (u) ds u T γ Y (u)(t u) du] T (T u)γ Y (u) du dv) du] = T T (1 u T ) γ Y (u) du = D(ˆµ) = D [ 1 T T Y (t) dt]. Pro další studium ergodických procesů je vhodé vyslovit ásledující defiici: Defiice 7.5. Řekeme, že stacioárí proces {Y (t), t R} je ergodický ve středí hodotě, pokud platí lim D [ 1 T T T Y (t) dt] =. (11) Věta 7.6. Nechť pro stacioárí proces {Y (t), t R} s autokovariačí fukcí γ Y (t) platí lim t 1 T T (1 u T ) γ Y (u) du =. Potom je áhodý proces {Y (t), t R} ergodický ve středí hodotě.

14 RNDr. Marie Forbelská, Ph.D. 13 Důkaz. Tvrzeí věty plye ze vztahů (1), (11) a erovosti T (1 u T ) γ Y (u)du T (1 u T ) γ Y (u) du. Důsledek 7.7. Nechť lim t γ Y (t) =. Pak stacioárí proces s autokovariačí fukcí γ Y (t) je ergodický ve středí hodotě. Důkaz. Jestliže lim γ Y (t) =, t pak také lim γ Y (t) =. t Pak pro libovolě malé ε > existují dostatečé velká T, T R (T < T ) taková, že pro každé t > T, platí γ Y (t) < ε. Pak lim D [ 1 T T T T Y (t) dt] = lim T T (1 u T ) γ Y (u) du T lim T T (1 u T ) γ Y (u) du T lim T T γ Y (u) du Pozameejme, že jestliže platí pak také pro autokorelačí fukci platí = lim T T T γ Y (u) γ Y () du + lim T [ T T γ Y () + (1 T T ) ε] = T ergodicita ve středí hodotě. lim γ Y (t) =, t lim ρ γ Y (t) Y (t) = lim t t γ Y () =, T γ Y (u) < ε což zameá, že síla lieárích vazeb mezi jedotlivými áhodými veličiami, které tvoří daý stacioárí proces {Y (t), t R}, jakmile se tyto od sebe eustále vzdalují, postupě slábe, tj. jejich korelačí koeficiet DISKRÉTNÍ NÁHODNÉ PROCESY. Při pozorováí stacioárích procesů {Y (t), t R} druhého řadu se spojitým časem ejčastěji pozorujeme je určitou jejich koečou diskrétí část, tj. pro N v diskrétích časových okamžicích t 1,..., t R pozorujeme je áhodý vektor Y = (Y t1,..., Y t ) = (Y 1,..., Y ), který azýváme diskrétím pozorováím áhodého procesu {Y (t), t R} (aebo diskretizací áhodého procesu {Y (t), t R} se spojitým časem), kde jsme položili t i = i, i = 1,...,. du

15 14 M51 Stochastické modely časových řad Pak lze sado ukázat, že obdobým diskrétím ekvivaletem odhadu středí hodoty je odhad Ȳ = 1 T i=1 Y ti T t i + t/ t i t/ Y (t)dt = 1 t=1 Y t, kde t = T. 7.. Odhady autokovariačí a autokorelačí fukce. Odhad autokovariačí fukce lze aalogicky jako v případě středí hodoty alézt ve tvaru ˆγ Y (τ) = 1 T τ T τ [(Y (t) ˆµ) (Y (t + τ) ˆµ)] dt. Podobě jak jsme výše defiovali ergodičost ve středí hodotě pro stacioárí proces {Y (t), t R}, můžeme defiovat i jeho ergodičost v rozptylu, pokud platí lim D [ 1 T T T (Y (t) µ) dt] = a jeho ergodičost v autokovariačí fukci, jestliže platí lim D [ 1 T τ T T (Y (τ + t) µ) (Y (t) µ) dt] =. Sado lze ukázat, že obdobými diskrétími ekvivalety jsou ásledující odhady: Odhad autokovariačí fukce: c k = k 1 k pro k =, 1,..., 1. Odhad autokorelačí fukce ACF: pro k =, 1,..., 1. t=1 (Y t Ȳ )(Y t+k Ȳ ) r k = c k c Aby tyto odhady měly praktický výzam, požaduje se obvykle a eboť odhady {c k } 1 k= > 5 k < 4, resp. ejsou lieárě ezávislé a s rostoucím k roste i jejich rozptyl. {r k } 1 k= 8. Odhady spektrálí hustoty 8.1. Úvod. Pojem spektra se vyskytuje eje v teorii áhodých procesů, ale také v matematice, fyzice a techice. Jestliže ějaký proces vlěí je součtem harmoických vlěí (tzv. harmoik), tak spektrum procesu vlěí se azývá fukce, která popisuje rozděleí amplitud podle jedotlivých frekvecí. Spektrum ukazuje, která vlěí převládají v daém procesu a jaká je jeho vitří struktura. Spektrum v případě stacioárího áhodého procesu dává rozděleí rozptylů áhodých amplitud podle růzých frekvecí vlěí. V celém tomto odstavci proto budeme předpokládat, že áhodý proces {Y t, t T } je stacioárí, cetrovaý a druhého řádu (tj. s koečými druhými momety).

16 RNDr. Marie Forbelská, Ph.D Periodogram. V dalším budeme předpokládat, že {Y t, t Z} je cetrovaá stacioárí áhodá posloupost. Defiice 8.1. Nechť Y 1,..., Y jsou pozorováí áhodé poslouposti {Y t, t Z}. Pak periodogram defiujeme vztahem Lemma 8.. Položme I (ω) = 1 π Y t e itω t=1 ω π, π. pak platí Důkaz. A (ω) = t=1 Y t cos tω B (ω) = I (ω) = 1 4π [A (ω) + B (ω)]. I (ω) = 1 π Y t e itω = 1 t=1 π Y t cos tω i t=1 t=1 = 1 π ( Y t cos tω) + ( t=1 t=1 t=1 Y t si tω, Y t si tω = Y t si tω) = 1 4π [A (ω) + B(ω)]. Pozámka 8.3. Někteří autoři defiují periodogram poěkud jiak: I(ω) = Y t e itω = [A (ω) + B(ω)] = 4πI (ω). t=1 Lemma 8.4. Pokud ozačíme pro k =, 1,..., 1 pak platí Důkaz. C k = C k = 1 k 1 k t=1 k Y t Y t+k t=1 Y t Y t+k I (ω) = 1 1 π [C + (1 k ) C k cos kω] = 1 1 π [C + ( t=1 = 1 π [( I (ω) = 1 π = 1 π = 1 π t=1 k=1 Y t cos tω) + ( t=1 Y t si tω) Ck k=1 cos kω]. Y t cos tω) ( Y s cos sω) + ( Y t si tω) ( Y s si sω)] s=1 t=1 Y t Y s (cos tω cos sω + si tω si sω) t=1 s=1 Y t Y s cos ω(s t) t=1 s=1 s=1

17 16 M51 Stochastické modely časových řad Zavedeme-li dále substituci k = s t, pak + 1 k 1 a a pak platí 1 t 1 s=t+k 1 k t k I (ω) = 1 π 1 k= +1 týká se kladých k max(1, 1 k ) t mi(, k ). týká se záporých k cos kω mi(, k) t=max(1,1 k) Y t Y t+k. Nyí vezměme zvlášť případy, kdy k = a ostatí, přičemž využijme faktu, že fukce cos je sudou fukcí. Dostaeme proto I (ω) = 1 π = 1 π I (ω) = 1 π 1 Yt t=1 C + 1 π 1 k cos kω k= k 1 cos kω π k=1 k t=1 1 Y t Y t+k k t=1 k C k =C k Y t Y t+k = k C k 1 (1 k k= ( 1) ) C k cos kω = 1 1 Yt t=1 C π + 1 π 1 k=1 cos kω 1 k= +1 cos kω 1 k t=1 1 π [C + t=1 k Y t Y t+k = 1 C k Y t Y t+k C k =C k k=1 1 π (C + (1 k ) C k cos kω] Ck k=1 cos kω). Pozámka 8.5. K umerickému výpočtu hodot periodogramu se často používají právě předchozí vzorce. Pozámka 8.6. Pro teoretické účely bývá výhodější tato variata I (ω) = 1 π 1 (1 k ) C k cos kω = 1 k= ( 1) π Pro áhodou posloupost {Y t, t T Z} platí f(ω) = 1 γ(t) cos tω. π t= 1 Ck cos kω. k= ( 1) Veličiy (1 k ) C k, (resp. Ck ) můžeme považovat za jakýsi odhad γ(k) a periodogram se tudíž dá považovat za empirický odhad spektrálí hustoty. Vlastosti tohoto odhadu udává ásledující věta. Věta 8.7. Jestliže {Y t, t T Z} je stacioárí áhodá posloupost s ulovou středí hodotou a se spojitou spektrálí hustotou f(ω), pak má periodogram I (ω) ásledující vlastosti: lim EI (ω) = f(ω) lim DI (ω) = { f (ω) f (ω) ω π, π. ω, ω ( π, π), ω =, ±π.

18 RNDr. Marie Forbelská, Ph.D. 17 Důkaz. viz Forbelská(9). Z předchozí věty vyplývá (1) Periodogram I (ω) je asymptoticky estraým odhadem spektrálí hustoty. () Periodogram I (ω) eí kozistetím odhadem spektrálí hustoty, eboť jeho rozptyl ekoverguje k ule, vzrůstá-li eomezeě délka poslouposti Neparametrické odhady spektrálí hustoty (Widow Spectral Estimatio). Neparametrické odhady spektrálí hustoty cetrovaé stacioárí áhodé poslouposti {Y t, t Z} jsou založey a zlepšeí vlastostí periodogramu. Periodogram je empirickým odhadem spektrálí hustoty, který je asymptoticky estraý, avšak ekozistetí. Připomeňme, že platí (viz lemma 8.4) Využijme dále vztahů a Upravujme postupě I (ω) = 1 π Y t e itω = 1 π [C + 1 t=1 C k = C k, kde C k = 1 Ck k=1 cos kω]. k Y t Y t+k pro k =, ±1, ±,..., ±( 1) t=1 cos kω = 1 (eikω + e ikω ). I (ω) = 1 π [C + 1 Ck eikω + 1 Ck e ikω ] = 1 π [C + k=1 1 s= ( 1) k=1 C se isω + 1 Ck e ikω ] k=1 = 1 1 π Ck e ikω. k= ( 1) Periodogram (jakožto odhad spektrálí hustoty) je založe a všech možých odhadech autokovariačí fukce v bodech k =,±1,±,...,±( 1), tj. C = 1 (Y Y ) čleů C1 = C 1 = 1 (Y 1Y + + Y 1 Y + Y 3 Y ) 1 čleů C 3 = C = 1 ( 3) (Y 1Y + Y Y 1 + Y 3 Y ) 3 čley C = C = 1 ( ) (Y 1Y 1 + Y Y ) čley C 1 = C = 1 ( 1) Y 1Y 1 čle a tedy je založe i a velmi málo kvalitích odhadech. K určitému zlepšeí jistě dojde, pokud budeme používat je m ejkvalitějších odhadů. Mluvíme pak o prostém usekutém periodogramu což lze také zapsat takto ˆf (ω) = 1 π kde ˆf (ω) = 1 π m C 1 k cos kω = π k= m 1 w(k)c 1 k cos kω = π k= ( 1) Ozačme Fourierovu trasformaci fukce w(k) w(k) = { 1 k m k > m. m Ck e ikω, k= m 1 w(k)ck e ikω, k= ( 1)

19 18 M51 Stochastické modely časových řad W (ω) = 1 π w(k)e ikω = 1 m π e ikω k= k= m a řadu přeidexujeme tak, aby idexy šly od 1 do m + 1, tj. položme s = k + m + 1, pak k = s m 1 a (a) pro ω kπ je W (ω) = 1 π = 1 π m+1 e i(s m 1)ω s=1 m+1 ei(m+1)ω e isω s=1 = 1 π eimω 1 e i(m+1)ω 1 e m+1 iω i e = 1 π eimω ω m+1 ei m+1 ω i e ω 1 e i ω 1 1 ei ω e i ω = 1 si(m+ 1 )ω π si 1 = D m (ω), ω kde D m (ω) je tzv. Dirichletovo jádro, (b) pro ω = kπ je W (ω) = m + 1. Vzhledem k tomu, že lze psát I (ω) = 1 1 π Ck e ikω, k= ( 1) vidíme, že I (ω) je Fourierovou trasformací Ck, takže aopak lze pomocí iverzí Fourierovy trasformace psát Počítejme postupě ˆf (ω) = 1 π = 1 π Ck = π I (θ)e ikθ d θ. π 1 k= ( 1) 1 k= ( 1) = π I (θ) 1 π π w(k)c k e ikω w(k) π π 1 k= ( 1) I (θ)e ikθ d θe ikω w(k)e ik(ω θ) W (ω θ) = π I (θ)w (ω θ)d θ. π Jde o tzv. vyhlazeý periodogram (smoothed periodogram). Fukce W (ω) se azývá spektrálí okéko (spectral widow). Tato fukce má do jisté míry aproximovat Diracovu δ fukci a platí pro i π W (ω)dω = 1. π Takto počítat odhad spektrálí hustoty by však bylo (vzhledem k málo hladkému průběhu periodogramu) epohodlé, proto se obvykle odhad počítá podle vzorce ˆf (ω) = 1 1 π w(k)ck e ikω, k= ( 1) přičemž iverzí Fourierova trasformace w(k) = π π W (θ)e ikθ dθ, k =, ±1, ±,... ± ( 1) se azývá korelačí okéko (covariace lag widow, ebo time-domaig widow). Typickými korelačími okéky jsou tzv. usekutá okéka, pro která existuje takové přirozeé číslo m (bod usekutí, trucatio poit) tak, že w(k)= pro k >m (m se obvykle volí v rozmezí od 6 do 5 ). d θ

20 RNDr. Marie Forbelská, Ph.D. 19 Příklady korelačích a spektrálích okéek Prostý usekutý odhad: w(k) = { 1 < k m k > m W (ω) = 1 si(m+ 1 )ω π si 1 ω Lag widow w(k) Spectral widow W(ω) Dirichlet kerel π/7 4π/7 6π/7 π/7 π/ Obrázek. Korelačí a spektrálí okéko pro prostý usekutý odhad. 6π/7 Bartletovo okéko: w(k) = (1 k m ) < k m k > m W (ω) = 1 si m ω πm si ω W (ω) je v tomto případě Fejérovým jádrem. = F m (ω) Lag widow w(k).8 Spectral widow W(ω) Fejer kerel Obrázek 3. Bartletovo korelačí a spektrálí okéko.

21 M51 Stochastické modely časových řad Parzeovo okéko: kde m je ějaké sudé číslo. w(k) = W (ω) = ( k m ) + 6 ( k m )3 k < m (1 k m )3 m < k m k > m 8πm ( si m ω si ω ) 4 (1 3 si ω ) Lag widow w(k) 1 Spectral widow W(ω) Obrázek 4. Parzeovo korelačí a spektrálí okéko. Obecé Tukeovo okéko: w(k) = { πk 1 a + a cos m k m k > m W (ω) = ad m (ω π m ) + (1 a)d m(ω) + ad m (ω + π m ) kde a (, 1 4. Pokud a = 1 4, pak se azývá Tukey-Haigovo okéko. Lag widow w(k).8 Spectral widow W(ω) Obrázek 5. Tukey-Haigovo korelačí a spektrálí okéko.

22 RNDr. Marie Forbelská, Ph.D. 1 Tukey-Hammigovo okéko: w(k) = { πk cos m k m k > m W (ω) =.3D m (ω π m ) +.54D m(ω) +.3D m (ω + π m ) Lag widow w(k) Spectral widow W(ω) Obrázek 6. Tukey-Hammigovo korelačí a spektrálí okéko. Daiellovo okéko: Na závěr ještě uvedeme jedo eusekuté korelačí okéko. Mějme pro δ (, π) ásledující spektrálí okéko 1 δ ω < δ W (ω) = { ω > δ, které je vlastě hustotou áhodé veličiy s rovoměrě spojitým rozděleím a itervalu ( δ, δ). Pro k = ±1, ±,... ± ( 1) počítejme ejprve odpovídající korelačí okéko: w(k) = π π W (ω)e ikω dω = δ δ 1 δ eikω dω = 1 δ δ [eikω ik ] = 1 1 i kδ (eikδ e ikδ si kδ ) = δ kδ. si kδ Pro k = je zřejmě rovo jedé, celkově tedy w k = 1 k = si kδ kδ k = ±1, ±,.... Lag widow w(k).5 Spectral widow W(ω) Obrázek 7. Daiellovo korelačí a spektrálí okéko. 4 4

23

24 3 KAPITOLA Predikce v časových řadách Budoucí vývoj sledovaé veličiy je možé odhadovat růzými predikčími metodami. Většiou vycházejí ze skutečosti, že pokud záme časový průběh hodot veličiy v miulosti (hodotu v miulém kroku, ale častěji posloupost historických vzorků z řady miulých kroků), můžeme s větší či meší přesostí předvídat její vývoj v budoucosti. Abychom mohli matematicky predikci zavést, budeme potřebovat defiovat Hilbertův prostor. Je to úplý ormovaý lieárí prostor, v ěmž je orma defiováa pomocí tzv. skalárího součiu. Proto v ěm můžeme využívat všech pozatků z metrických prostorů ebo ormovaých lieárích prostorů. Skalárí souči umožuje zavést v prostoru se skalárím součiem avíc kolmost (ortogoalitu) prvků. D. Hilbert ( ) položil základy studia této struktury. Vzik teorie abstraktího Hilbertova prostoru se však klade až do roku 197 a je spoje se jméem J. vo Neuma ( ). Látka o Hilberově prostoru patří do tzv. fukcioálí aalýzy. 1. Základí metrické a topologické pojmy Připomeňme ásledující pojmy a vlastosti: UNITÁRNÍ PROSTORY: Komplexí lieárí prostor H se azývá uitárí, jestliže pro každé dva prvky x a y z H existuje komplexí číslo x, y, azývaé skalárí či vitří souči, tak že pro každé x, y, z H a α C platí (a) x, y = y, x ; (b) x + y, z = x, z + y, z ; (c) αx, y = α x, y ; (d) x, x ; (e) x, x = x =. NORMA: V uitárím prostoru H defiujeme ormu vztahem x = x, x. CAUCHY-SCHWARZOVA NEROVNOST: v uitárím prostoru platí: x, y x y a x, y = x y x = x,y y,y y. ORTOGONALITA: řekeme, že x a y z uitárího prostoru H jsou ortogoálí, pokud platí x, y = a začíme x y. ORTOGONÁLNÍ A ORTONORMÁLNÍ MNOŽINY: řekeme, že možia M H je ortogoálí, jestliže pro každé růzé prvky x, y M platí x y. Jestliže avíc pro x M platí x = 1, pak možia M se azývá ortoormálí. Pozámka: Je-li M ortogoálí možia, pak možia { x x x M} je ortoormálí. VLASTNOSTI NORMY: mějme uitárí prostor H s ormou defiovaou vztahem x = x, x. Pak pro každé x, y H a pro každé α C platí (a) x + y = x + y + x, y + y, x ; (b) x + y x + y (tzv. trojúhelíková erovost); (c) αx = α x ; (d) x ; (e) x = x = ; (f) x + y + x y = x + y (tzv. rovoběžíková rovost);

25 4 M51 Stochastické modely časových řad KONVERGENCE PODLE NORMY: řekeme že posloupost prvků {x } z uitárího prostoru H koverguje podle ormy k x H, jestliže x x pro. SPOJITOST SKALÁRNÍHO SOUČINU: jestliže {x } a {y } jsou prvky z uitárího prostoru H takové, že x x a y y pro, pak platí (a) x x (b) x, y x, y pro. CAUCHYOVSKÁ POSLOUPNOST: řekeme, že posloupost prvků {x } z uitárího prostoru H je cauchyovská, pokud x x m pro, m. HILBERTOVY PROSTORY: Hilbertův prostor je úplý uitárí prostor, tj. takový, ve kterém každá cauchyovská posloupost {x } koverguje podle ormy k ějakému prvku x H, tj. x x m x H x x.,m UZAVŘENÝ PODPROSTOR: řekeme, že lieárí podprostor M Hilbertova prostoru H je uzavřeým podprostorem H, jestliže M obsahuje všechy limití body, tj. jestliže platí, že x x, pak x M. ORTOGONÁLNÍ KOMPLEMENT: ortogoálí komplemet možiy M je možia M všech prvků H, které jsou ortogoálí ke každému prvku z M. Tedy ortogoálí komplemet je tvaru M = {y H x, y =, tj. x y, x M}. PROJEKČNÍ VĚTA: jestliže M je uzavřeý podprostor Hilbertova prostoru a x H, pak (a) existuje jediý prvek ˆx M takový, že x ˆx = if x y y M (b) ˆx M a x ˆx = if x y ˆx M a (x ˆx) y M M. Prvek ˆx se azývá ortogoálí projekcí prvku x z H do M a začíme ˆx = P M (x) a zobrazeí P M H M se azývá projekcí H do M. VLASTNOSTI PROJEKCE: echť H je Hilbertův prostor a P M je projekcí H do M. Pak pro každé x, y, x H a pro každé α, β C platí (a) Každý prvek x H má jediou reprezetaci jako součet prvku z M a prvku z M, tj. x = P M (x) + (I P M )(x), kde I začí idetické zobrazeí (b) P M (αx + βy) = αp M (x) + βp M (y) (c) x = P M (x) + (I P M )(x) (d) x x P M(x ) P M(x) (e) x M P M (x) = x (f) x M P M (x) = (g) jestliže M 1 a M jsou dva podprostory H takové, že M 1 M, pak P M1 (P M (x)) = P M1 (x). UZÁVĚR: echť M je podprostor Hilbertova prostoru H. Uzávěrem M (také budeme začit sp(m), aglicky closed spa ) možiy M azveme ejmeší uzavřeou možiu obsahující M. Pozámka: Platí M=sp(M)={x H x x, x L(M)}, kde L(M) je možia všech lieárích kombiací prvků možiy M, tzv. lieárí obal možiy M. PROJEKCE NA KONEČNÉ ORTONORMÁLNÍ MNOŽINĚ: jestliže {e 1,..., e } je ortoormálí podmožia Hilbertova prostoru H a M = sp{e 1,..., e }, pak pro každé x H platí (a) P M (x) = i=1 x, e i e i (b) P M (x) = i=1 x, e i (c) x i=1 x, e i e i x i=1 α i e i pro α 1,..., α C (d) x i=1 x, e i e i = x i=1 α i e i α i = x, e i pro i = 1,..., (e) i=1 x, e i x (tzv. Besselova erovost) Pozámka: koeficiety α i = x, e i se azývají Fourierovy koeficiety vzhledem k možiě {e 1,..., e }.

26 RNDr. Marie Forbelská, Ph.D. 5 SEPARABILITA: Hilbertův prostor H azveme separabilím, právě když H = sp{e t, t T }, kde T je spočetá idexová možia. ORTONORMÁLNÍ REPREZENTACE V SEPARABILNÍM: HILBERTOVĚ PROS Nechť H = sp{e 1, e,...} je separabilí Hilbertův prostor, kde {e i } i=1 je ortoormálí možia. Pak pro každé x, y H platí (a) Možia všech koečých lieárích kombiací {e 1,..., e } je hustá, tj. pro x H a ε > N a α 1,..., α C taková, že platí x i=1 α i e i < ε. (b) x = i=1 x, e i e i pro x H, tj. x i=1 x, e i e i (c) x = i=1 x, e i (tzv. Parsevalova idetita) (d) x, y = i=1 x, e i e i, y (e) x = x, e i = i = 1,,.... Hilbertův prostor áhodých veliči druhého řádu Zaveďme ásledující prostory áhodých veliči: Ozačme L (Ω, A, P ), resp. L C (Ω, A, P ) možiu všech reálých, resp. komplexích áhodých veliči defiovaých ad týmž pravděpodobostím prostorem (Ω, A, P ), které mají koečé druhé momety, tj. platí EX <, resp. E X <. Do tohoto prostoru zahrujeme také všechy kostaty z R, resp. z C, které považujeme za áhodé veličiy s ulovým rozptylem. V tomto prostoru vytvoříme třídy ekvivaletích áhodých veliči takto: řekeme, že dvě áhodé veličiy jsou ekvivaletí, pokud se liší je a možiě míry ula. Zřejmě X a Y jsou ekvivaletí právě tehdy, platí-li E X Y =. V takto defiovaém prostoru tříd ekvivaletích áhodých veliči defiujeme pro každé X, Y L (Ω, A, P ), resp. X, Y L C (Ω, A, P ), skalárí souči předpisem a odpovídající ormu X, Y = E(XY ) resp. X, Y = E(XȲ ) X = X, X = EX, resp. X = X, X = E(X X)= E X. Přechod ke třídám je utý proto, abychom zaručili platost požadavku x, x = x =. Věta.1. Prostory L (Ω, A, P ) a L C (Ω, A, P ) jsou Hilbertovy prostory. Důkaz. Lze ajít apříklad v publikaci autorů Brockwell a Davis, 1991, [15]. Již dříve jsme defiovali pojem spojitosti podle středu v bodě t T takto E X t X t pro t t. což jsme začili X t = l.i.m. X t t t (zkratka z aglického limit i the mea) a je-li proces {X t, t T } spojitý v každém bodě možiy T, říkali jsme stručě, že je spojitý. Tutéž spojitost můžeme defiovat i pomocí výše uvedeé ormy takto X t X t = E X t X t pro t t a pro každý uzavřeý podprostor M L C (Ω, A, P ) díky projekčí větě můžeme defiovat ejlepší středí kvadratickou predikci prvku Y L C (Ω, A, P ) pomocí M.

27 6 M51 Stochastické modely časových řad Defiice.. Jestliže M je uzavřeý podprostor H, kde H = L (Ω, A, P ), resp. H = L C (Ω, A, P ), pak ejlepší středí kvadratická predikce Y H v M je prvek Ŷ M takový, že Y Ŷ = if Z M Y Z = if Z M E Y Z tj. Ŷ = P M (Y ). Nyí se vrátíme k teoretických základům regresí aalýzy. Hlaví úlohou regresí aalýzy je provést predikci ějaké závisle proměé áhodé veličiy Y a základě iformace, kterou poskytují měřeí ějakých jiých áhodých veliči, řekěme X 1,..., X. Predikce spočívá v alezeí ějaké fukce g(x 1,..., X ), která vhodě aproximuje (predikuje) áhodou veličiu Y. Kvalitu predikce posoudíme pomocí středí kvadratické chyby predikce E[Y g(x 1,..., X )]. Za optimálí budeme považovat takovou volbu predikčí fukce g, která uvedeou středí kvadratickou chybu miimalizuje. Připomeňme ejprve tvrzeí: Věta.3. Nechť Y, X 1,..., X jsou áhodé veličiy. Ozačme X = (X 1,..., X ) a echť platí EY <. Pak pro každou měřitelou fukci g R k R platí E(Y g(x)) E[Y E(Y X)] a rovost v uvedeé erovosti astává právě když P (g(x) = E(Y X)) = 1. Důkaz. Musíme uvážit dva případy. (a) Předpokládejme ejprve, že E(g(X)) =. Pak totiž, pokud dokážeme že E(Y g(x)) =, potom tvrzeí věty je zřejmé. Potřebé tvrzeí dokážeme sporem. Jestliže platí, že E(Y g(x)) <, pak vzhledem k požadavku EY < by musela být středí hodota kvadrátu lieárí kombiace [Y g(x)] Y = g(x) dvou áhodých veliči Y g(x) a Y (s koečými druhými momety) také koečá, což je ve sporu s předpokladem, E(g(X)) = (eboť jestliže E(g(X)) =, tím spíše E(g(X)) = ). (b) Nyí budeme předpokládat, že E(g(X)) <. Potom po jedoduchých úpravách dostaeme E(Y g(x)) = E {[Y E(Y X)] [g(x) E(Y X)]} = E[Y E(Y X)] E[Y E(Y X)][g(X) E(Y X)] + E[g(X) E(Y X)] V dalších využijeme vlastostí podmíěých středích hodot, a to E [E(Z X)] = EZ a E [H(X)G(X, Y ) X] = H(X)E(G(X, Y ) X)). E [Y E(Y X)][g(X) E(Y X)] = E E (Y E(Y X))(g(X) E(Y X)) X =Z =Z = E [g(x) E(Y X)] E [Y E(Y X) X] =H(X) = E [g(x) E(Y X)] [E(Y X) E(Y X)] = = Protože prostředí čle je ulový a E[g(X) E(Y X)], důkaz erovosti je jasý. Rovost ve zkoumaé erovosti astae právě tehdy, když E[g(X) E(Y X)] =,

28 RNDr. Marie Forbelská, Ph.D. 7 což je právě když P (g(x) E(Y X) = ) = 1. Z tvrzeí věty plye, že ejlepší predikci áhodé veličiy Y pomocí áhodých veliči X 1,..., X, která miimalizuje středí kvadratickou chybu E(Y g(x)), dostaeme, když položíme g(x) = E(Y X). V této souvislosti potom ejlepší prediktor g(x) = E(Y X) azýváme regresí fukcí áhodé veličiy Y a áhodých veličiách X 1,..., X. Z předchozích úvah a z faktu, že v Hilbertově prostoru H = L (Ω, A, P ), resp. H = L C (Ω, A, P ) (tvořeém áhodými veličiami s koečými druhými momety) je kvadrát ormy X Y = E X Y středí kvadratickou chybou, vyplývá, že projekcemi jsou podmíěé středí hodoty. Proto vyslovíme ásledující dvě defiice. Defiice.4. Jestliže M je uzavřeý podprostor H, kde H = L (Ω, A, P ), resp. H = L C (Ω, A, P ), a X H, pak defiujme podmíěou středí hodotu při daé M předpisem Dále defiujme E M X = E(X Y M) = P M (X). Defiice.5. Nechť X, Z 1,..., Z H, kde H = L (Ω, A, P ), resp. H = L C (Ω, A, P ). Pak podmíěá středí hodota X při daém áhodém vektoru Z = (Z 1,..., Z ) je dáa vztahem E(X Z) = E M(Z) X = E(X Y M(Z)), kde M(Z) je uzavřeý podprostor všech áhodých veliči φ(z) z H, které jsou borelovskou fukcí áhodého vektoru Z, tj. φ R C, resp. φ C R. Na základě předchozích výsledků můžeme tedy říci, že úloha predikce je teoreticky vyřešea tak, že za ejlepší prediktor stačí zvolit podmíěou středí hodotu E(X Z). Ovšem výpočet podmíěé středí hodoty E(X Z) vyžaduje zalost sdružeého rozděleí áhodého vektoru W = (X, Z 1,..., Z ), což čií hlaví potíž při praktickém využití předchozích výsledků. V aplikacích ebývá sdružeé rozděleí vektoru W = (X, Z 1,..., Z k ) zámé, proto se, pokud to praktická situace dovolí, uvažují pouze lieárí modely typu tj. omezíme se a podprostor g(z) = α + α 1 Z α Z, M = sp{1, Z 1,..., Z } = {1, Z 1,..., Z }. Připomeňme ejprve důležitou vlastost predikce ˆx M prvku x H. Platí tožiž ˆx = P M (x) M ˆx M (x ˆx) M tj. pro každé y M platí x ˆx, y = x, y ˆx, y = a odtud dostaeme tzv. projekčí rovice ˆx, y = x, y. Dále již uvažujme Hilbertův prostor H = L (Ω, A, P ) a jeho podprostor M = sp{1, Z 1,..., Z } = {1, Z 1,..., Z },

29 8 M51 Stochastické modely časových řad kde Z 1,..., Z L (Ω, A, P ). Pak projekce je dáa vztahem X = P M (X) = E M X = arg if X Y Y M = arg if E(X Y ) Y M a projekčí rovice jsou tvaru E (Y E M X) = E(Y X). Pro každý prvek z M (tedy i pro 1, Z 1,..., Z ) platí tyto rovice, tj. pro Y = 1 máme a pro Y = Z j, j = 1,..., dostaeme Celkem dostáváme systém + 1 rovic. E(1 E M X) = E(1 X) E(1 α i Z i ) = EX i= i= α i EZ i = EX E(Z j E M X) = E(Z j X) E(Z j i= i= α i Z i ) = E(Z j X) α i E(Z i Z j ) = E(Z j X) Defiujme proto yí ejlepší lieárí predikci pomocí obecějších systémů áhodých veliči druhého řádu {Z t, t T }. Defiice.6. Nechť X H a pro každé t T také Z t H, kde T je idexová možia, H = L (Ω, A, P ), resp. H = L C (Ω, A, P ). Pak ejlepší lieárí predikcí áhodé veličiy X pomocí {Z t, t T } rozumíme P sp{zt,t T }(X). Uvědomíme li si, že C(Z i, Z j ) = E(Z i Z j ) EZ i EZ j, vidíme, že při hledáí ejlepší lieárí predikce vystačíme se zalostí kovariačí fukce a eí třeba zát ai momety vyšších řádů. 3. Predikce v případě ormálě rozděleých áhodých veliči. Je-li sdružeé rozděleí áhodých veliči X, Z 1,..., Z ormálí, tj. kde a (X, Z 1,..., Z ) N +1 (µ, Σ), µ = µ X µ Z1 µ Z µ Z = ( µ X µ Z ) σx σ XZ 1 σ XZ σ XZ σ XZ1 σz 1 σ Z1 Z σ Z1 Z Σ = σ XZ σ Z1 Z σz σ Z Z = ( σ X Σ XZ ). Σ XZ Σ ZZ σ XZ σz Pak rozděleí áhodé veličiy X při daém Z má opět ormálí rozděleí X Z N (µ X Z, σ X Z ),

30 RNDr. Marie Forbelská, Ph.D. 9 kde a µ X Z = µ X + Σ XZΣ 1 ZZ(Z µ Z ) σ X Z = σ X + Σ XZΣ 1 ZZΣ ZX Odtud vidíme, že podmíěá středí hodota je lieárí fukcí áhodého vektoru Z = (Z 1,..., Z ). To zameá, že v případě vícerozměrého ormálího rozděleí je ejlepší lieárí predikce totožá s optimálí predikcí (ve smyslu miimálí středí kvadratické chyby) založeé a podmíěých středích hodotách.

31

32 KAPITOLA 3 Jedorozměré stacioárí procesy 1. Základí pojmy V dalším budeme uvažovat cetrovaé stacioárí áhodé poslouposti {Y t, t Z}, kde Y t L (Ω, A, P ), což je Hilbertův prostor reálých áhodých veliči s koečými druhými momety, ve kterém dvě áhodé veličiy X a Y považujeme za ekvivaletí, pokud 1.1. Operátor zpětého posuutí. P (X = Y ) = 1. Defiice 1.1. Nechť {Y t, t Z} je posloupost áhodých veliči. Operátor zpětého posuutí je defiová pomocí výrazu BY t = Y t 1, přičemž jej lze aplikovat ěkolikaásobě jako B j Y t = Y t j. 1.. Lieárí proces. Než zavedeme pojem lieárího procesu, vyslovme větu, která zabezpečuje jeho korektost. Věta 1.. Nechť {ε t, t Z} W N(, σ ε) je bílým šumem, dále mějme posloupost reálých čísel {ψ j } takovou, že ψj <. Pak řada ψ j ε j áhodá veličia Y L (Ω, A, P ) a platí Y = l.i.m. N koverguje podle kvadratického středu, tj. existuje Důkaz. Víme, že bílý šum ε t L (Ω, A, P ). Pro libovolá přirozeá čísla k, N N platí N+k ψ j ε j N t= ψ t ε t N+k = E = E ( = N+k j=n+1 N+k j=n+1 ψ j ε j N+k h=n+1 N N t= ψ j ε j ) ( ψ j ε j. ψ t ε t N+k h=n+1 = E ψ h ε h ) N+k j=n+1 ψ j ψ h E ε j ε h = σε ekorel. Posloupost částečých součtů je tedy cauchyovská, tj. existuje k í limita Y = l.i.m. N N ψ j ε j. ψ j ε j N+k ψj N j=n+1 Defiice 1.3. Mějme {ε t, t Z} W N(, σε) a posloupost reálých čísel {ψ j } takovou, že ψj <, pak lieárí proces je defiová vztahem Y t = 31 ψ j ε t j.