ACTA UNIVERSITATIS AGRICULTURAE ET SILVICULTURAE MENDELIANAE BRUNENSIS SBORNÍK MENDELOVY ZEMĚDĚLSKÉ A LESNICKÉ UNIVERZITY V BRNĚ

Transkript

1 ACTA UNIVERSITATIS AGRICULTURAE ET SILVICULTURAE MENDELIANAE BRUNENSIS SBORNÍK MENDELOVY ZEMĚDĚLSKÉ A LESNICKÉ UNIVERZITY V BRNĚ Ročník LII 6 Číslo 3, 2004 Gasser-Müllerův odhad J. Poměnková Došlo: 8. listopadu 2002 Abstract POMĚNKOVÁ, J.: The Gasser-Müller estimator. Acta univ. agric. et silvic. Mendel. Brun., 2004, LII, No. 3, pp Kernel smoothing provides a simple way for finding structure in data. The idea of the kernel smoothing can be applied to a simple fixed design regression model and a random design regression model. This article is focused on kernel smoothing for fixed design regression model with using special type of estimator, the Gasser-Müller estimator, and on choice of the bandwidth. At the end of this article figures for ilustration described methods on two data sets are shown. The first data set contains simulated values of function sin(2πx), the second contains January average temperatures measured in Basel kernel smoothing, Gasser-Müller estimator, bandwidth. Základní definice a věty Nechť (x i, Y i ) n, n N je posloupnost pozorování i = dvojice (x, Y), kde x R a Y je reálná nebo simulovaná náhodná veličina. Jestliže hodnoty nezávislé proměnné x jsou pevně zvolené experimentátorem (tzn. nejsou náhodné veličiny), pak hovoříme o tzv. modelu s pevným plánem. Závislost hodnot Y na hodnotách x lze popsat tzv. regresní křivkou a příslušný funkční vztah mezi proměnnými (x, Y), nazývaný regresní model, zapisujeme ve tvaru Y i = m(x i ) + є i, i =,..., n, () + x i i ƒ(x)dx = ; ƒ(x)dx = ; i =,..., n. (2) n Označme Lip[a, b] třídu spojitých funkcí splňujících Lipschitzovu podmínku na [a, b]: g(x) g(y) L x y x, y [a, b], L > 0, L = konstanta. Konstrukci jádrového odhadu funkce mˆ (x) budeme i provádět v bodech plánu x i, i =, n, kde x i = n, 0 x i. Zaveďme si nyní definici jádra. kde m je neznámá funkce, kterou budeme odhadovat, x i je bod plánu, Y i je pozorování a platí E(є i ) = 0, i =,..., n D(є i ) = σ 2 > 0, i =,..., n, Hodnoty x i, i =, n můžeme zadat nezápornou integrovatelnou funkcí f 67 Definice..: Nechť ν, k jsou nezáporná celá čísla, 0 ν < k. Nechť K Lip [, ], nosič (K) = [, ]. Nechť K splňuje následující momentové podmínky 0 0 j < k, j ν x j K(x)dx = ( ) ν ν! j = ν, (3) β k j = k. Funkce s těmito vlastnostmi se nazývá jádro. Je-li

2 68 J. Poměnková β k 0 říkáme, že jádro K je řádu (ν, k) a píšeme K м ν,k. Definice.2.: Nechť μ N, k, ν + k je sudé číslo a nechť K je jádro splňující následující podmínky ) K C μ [, ], 2) K м ν,k, 3) K (j) () = K (j) ( ) = 0, j = 0,..., μ, μ, 0 ν k 2, ν + k sudé. Toto jádro nazýváme jádro hladkosti μ a označujeme K м μ ν,k. Věta.3.: ) Nechť K splňuje požadavky z výše uvedené definice, pak K (μ) м ν + μ, k + μ, μ 2) Pro libovolnou funkci ψ м ν + μ, k + μ existuje právě jedna funkce q C μ [, ] taková, že q (μ) = ψ, q (j) ( ) = 0, j = 0,..., μ, q м ν,k. Z obecného hlediska lze jádrový odhad zapsat jako mˆ (x) = n W(x, h) Y, kde W (x, h) označuje váhovou funkci. Označme K h i = i i i ( ) = K ( h h ), h = h n je kladná konstanta. Omezíme-li se na odhady v bodech plánu, pak můžeme jádrový odhad zapsat jako mˆ (x ) W(x, h) W (x n, h) Y mˆ= = SY =, mˆ (x n ) W n (x, h) W n (x n, h) Y n kde mˆ= (mˆ (x ),, mˆ (x n )) T je vektor odhadů funkce m, Y = (Y,, Y n ) T je vektor pozorování, x = (x,, x n ) T je vektor bodů plánu a S = (s ij ), i, j =,, n je vyhlazovací matice. Tato matice je dána tzv. váhovými funkcemi, které budeme v našem případě označovat S = (s ij ), s ij = W i (x j, h) a závisí na h, i, x a K; h je šířka vyhlazovacího okna a řídí hladkost odhadu. 2. Gasser-Müllerův odhad Mějme regresní model popsaný v. kapitole. Gasser-Müllerův odhad definujeme následovně x u mˆ (x) = n s i n Y i si K du = Yi W i (x, h). (4) i= h h i= Body plánu x i, i =, n jsou vzestupně uspořádané a pro body s i x, i =, n platí s 0 = 0, s i = i+ +x i 2, i =, n a s n =. Pro prvky vyhlazovací matice s ij = W i (x j, h), i, j =, n v bodě plánu x j s šířkou vyhlazovacího okna h platí vztah s i x j u W i (x j, h) = si K du. (5) h h V další části uvedeme vztah pro odhad derivace funkce m. : Konstrukce váhy

3 Gasser-Müllerův odhad 69 Graf ukazuje konstrukci váhy pro Gasser-Müllerův odhad na příkladě simulovaných dat funkce ƒ(x) = sin(2πx). Měření jsou označena symboly +, Y i je měření v bodě x i a parabola je Epanečnikovo jádro K(x) = ¾( x 2 ). Šedě vyznačená oblast je po přenásobení koeficientem /h n váha odpovídající bodu plánu, měření a Epanečnikovu jádru v konkrétním případě. Věta 2..: Nechť je dán regresní model s pevným plánem a nechť dále platí. m C k ([0, ]), k N 2. K м ν,k, 3. lim n h n = 0 a lim n nh n 2ν+ = Pak pro odhad ν-té derivace funkce m, a každé x (0, ) je mˆ (ν) (x) = n Y i W i (x) = h ν + i= x u = n s i Y i si K du (6) h ν + i= h konzistentním odhadem m (ν) (x). Pro rozptyl tohoto odhadu platí σ 2 var(mˆ (ν) (x)) = (C K + o()), (7) nh 2ν+ kde C K = K2 (x)dx, (8) a pro jeho vychýlení platí Emˆ (ν) (x) m (ν) (x) = h k ν m (k) (x) B K + O([nh] ) + + o(h k ν ), (9) kde β k BK = ( ) k, β k = x k K(x)dx. (0) k! 3. Volba optimální šířky vyhlazovacího okna Vhodným nástrojem pro posouzení kvality odhadu je střední kvadratická chyba. Vyjdeme proto z tvaru střední kvadratické chyby MSE(mˆ (ν) (x)), který je dán vztahem MSE(mˆ (ν) (x)) = E (mˆ (ν) (x) m (ν) (x)) 2, a který lze zapsat také ve tvaru MSE(mˆ (ν) (x)) = var(mˆ (ν) (x)) + E (mˆ (ν) (x) m (ν) (x)) 2 Nechť platí předpoklady věty 2.., potom střední kvadratickou chybu MSE(mˆ (ν) (x)) můžeme vyjádřit ve tvaru σ 2 C K MSE(mˆ (ν) (x)) + h 2(k ν) [m (k) (x) B K ] 2, () nh 2ν+ kde β k BK = ( ) k, β k = x k K(x)dx, C K = K2 (x)dx. k! Šířka vyhlazovacího okna v bodě x (h MSE (mˆ(ν) (x)) ), která minimalizuje MSE(mˆ (ν) (x)) je dána vztahem MSE(mˆ (ν) (x)) = 0 h a nazýváme ji optimální šířkou. Jde však o asymptotickou optimalitu mezi všemi možnými volbami hodnoty h, zvoleným typem a řádem jádra K. Obdržíme h MSE (mˆ (ν) (x)) 2ν + σ 2 C K (2) 2 2 (k ν) B K (m (k) (x)) 2 n Ze vzorců () a (2) můžeme vidět, že s rostoucím h klesá rozptyl odhadu a roste kvadrát jeho vychýlení a naopak. Ze vzorce (2) je také patrné, že tento vztah lze použít pro nalezení vhodné šířky vyhlazovacího okna, když známe odhadovanou funkci. Analogicky lze získat šířku vyhlazovacího okna pro celý interval vyhlazované funkce z průměrné střední kvadratické chyby AMSE. Jestliže odhadovanou funkci neznáme, nalezneme řešení vhodné šířky vyhlazovacího okna pomocí metody křížového ověřování. V případě této metody půjde o odhad optimální hodnoty. Vyjděme opět z věty 2.., z předpokladů a tvaru vychýlení a rozptylu pro odhad mˆ (ν) (x). Označme mˆ (ν) = (mˆ (ν) (x ),..., mˆ (ν) (x n )) T. Pak průměrnou střední kvadratickou chybu můžeme vyjádřit ve tvaru AMSE (mˆ (ν), h) = n E (mˆ (ν) (x j ) m (ν) (x j )) 2 n j= C K σ 2 n + h 2(k ν) 2 B K (m (k) (x j )) 2 n j= nh 2ν+ a C K, B K jsou definovány ve větě 2.. Optimalizací získáme vyjádření pro optimální šířku vyhlazovacího okna ve tvaru (2ν + )C K 2k+ν+ hopt, AMSE. (3) 2 2n (k ν) B K (m (k) ) 2 2k+

4 70 J. Poměnková 2: Závislost AMSE na h Metoda křížového ověřování Chceme-li tedy odhadnout šířku vyhlazovacího okna h, vypočteme hodnotu funkce křížového ověřování CV(h) = n (Y i mˆ i (x i )) 2, (4) n i= kde (x mˆ i i ) je označení odhadu v bodě x i, při kterém jsme vynechali bod x i a odpovídající hodnotu Y i, přičemž hledáme minimum této funkce na množině H n = [a k n, b k n 2k+ 2k+], pro nějaké 0 < a k < b k <, tj. ĥ optcv = arg min h H CV(h). (5) n Vztah (4) lze zjednodušit a zobecnit do vhodnějšího tvaru 2 Y i mˆ (x i ) GCV(h) = n, (6) n i= tr(w)/n kde tr(w) = trace(w) = n W i (x, h), kde W je definováno v (5). Upravená metoda, která využívá vztahu (6) se nazývá zobecněná metoda křížového ověřování. 3: Závislost GCV na h

5 Gasser-Müllerův odhad 7 Ukázka typů jader ν k μ jádro ( x 2 ) ( 2x 2 + x 4 ) (3 5x 2 8 ) (3 0x 2 + 7x 4 32 ) ( 5x 2 + 7x 4 3x 6 64 ) x 5 3 (x x 3 4 ) ( x + 2x 3 x 5 ) ( 5x + 7x 3 8 ) ( 5x + 4x 3 9x 5 ) ( 5x + 2x 3 27x 5 + x 7 ) Aplikace Gasser-Müllerova odhadu V této části je provedena aplikace poznatků jádrového vyhlazování s užitím Gasser-Müllerova estimátoru na konkrétní data. V první části jde o aplikaci na simulované hodnoty, ve druhé na reálná data. Pro simulaci byla vybrána známá funkce sin(2πx) o rozsahu n = 0, σ 2 = 0,3. Reálná data tvořil soubor průměrných lednových teplot naměřených v Basileji mezi lety Simulovaná data Pro ukázku jádrového vyhlazování byla simulována data funkce m=sin(2πx). 4: Odhad mˆ, K м 0,4, h = 0.4 5: Odhad mˆ (), K м,3, h = 0,5

6 72 J. Poměnková 6: Odhad mˆ (2), K м 2,4, h = Vliv výběru šířky vyhlazovacího okna na simulovaná data 7: Odhad funkce s optimální hodnotou šířky vyhlazovacího okna 8: Odhad funkce s malou hodnotou šířky vyhlazovacího okna

7 Gasser-Müllerův odhad 73 9: Odhad funkce s velkou hodnotou šířky vyhlazovacího okna 5.3. Výběr optimální hodnoty h Užitím AMSE a metody Cross-validation 0.: Závislost AMSE na h.: Závislost GCV na h 0.2: Odhad funkce m s h opt, AMSE.2: Odhad funkce m s ĥ optgcv

8 74 J. Poměnková 2: Odhad funkce sin(2 x) (čárkovaně) s h AMSE (tečkovaně) a ĥ opt,gcv (plnou čarou), n = 0 3: Odhad funkce sin(2 x) (čárkovaně) s h AMSE (tečkovaně) a ĥ opt,gcv (plnou čarou), n = Aplikace na reálná data Pro aplikace jádrového vyhlazování na reálných datech byly vybrány průměrné lednové teploty naměřené v Basileji mezi lety Tyto hodnoty byly rovněž otestovány Kendalovým τ testem náhodnosti a jsou nezávislé.

9 Gasser-Müllerův odhad 75 4: Odhad průměrných lednových teplot, K м 0,2, h optgcv = : Odhad první derivace funkce popisující průměrné lednové teploty, K м 0,2, h optgcv = Závěr Předkládaný článek se věnuje problematice popsání struktury dat, a to prostřednictvím jádrového vyhlazování s užitím Gasser-Müllerova odhadu. Dále se zaměřuje na problematiku volby šířky vyhlazovacího okna, která významnou měrou ovlivňuje kvalitu výsledného odhadu. V programovém prostředí MATLAB byl rovněž zpracován výpočtový program a s jeho pomocí byly následně popsány dvě struktury dat. První byla tvořena simulovanými hodnotami funkce sin(2πx), druhá průměrnými lednovými teplotami naměřenými v Basileji mezi lety Získané výsledky jsou graficky znázorněny. Graf číslo 5 ukazuje nalezenou křivku, která popisuje odhad vývoje průměrných lednových teplot naměřených v Basileji mezi lety Graf číslo 6 ukazuje nalezenou křivku, která popisuje odhad první derivace vývoje lednových teplot naměřených v Basileji mezi lety

10 76 J. Poměnková SOUHRN Jádrové vyhlazování nabízí jednoduchý způsob jak najít a popsat strukturu dat. Myšlenka jádrového vyhlazování může být aplikována na regresní model s pevným i náhodným plánem. Předložný článek se zaměřil na jádrové vyhlazování s užitím speciálního typu odhadu, a to Gasser-Müllerova odhadu, a na výber šířky vyhlazovacího okna. Na konci článku jsou připojeny ilustrativní grafy uvedených metod Pro grafické zpracování bylo využito jak simulovaných hodnot funkce sin(2πx), tak reálných hodnot, kterými byly průměrné lednové teploty naměřené v Basileji mezi lety jádrové vyhlazování, Gasser-Müllerův odhad, šířka vyhlazovacího okna LITERATURA GASSER, T., EGEL, J.: The choice of weights in kernel regression estimation. Biometrika 990. HOROVÁ, I.: Some Remarks on Kernels, journal of Computational Analysis, Vol.2., No HOROVÁ, I., ZELINKA, J.: Základy a aplikace jádrových odhadů. Analýza dat 2000/II.Moderní statistické metody, Lázně Bohdaneč , 4-66 str. HÄRDLE, W.: Applied Nonparametric Regression. Cambridge University Press, 990. HÄRDLE, W., SCHIMEK, M. G.: Statistical Theory and Computational Aspects of Smoothing 994. WAND, M. P., JONES, M. S.: Kernel Smoothing. Chapman \& Hall, London,995. Adresa Mgr. Jitka Poměnková, Ústav statistiky a operačního výzkumu, Mendelova zemědělská a lesnická univerzita v Brně, Zemědělská 5, Brno, Česká republika