MASARYKOVA UNIVERZITA PŘÍRODOVĚDECKÁ FAKULTA ÚSTAV MATEMATIKY A STATISTIKY DIPLOMOVÁ PRÁCE VYHLAZOVÁNÍ A REGRESE

MASARYKOVA UNIVERZITA PŘÍRODOVĚDECKÁ FAKULTA ÚSTAV MATEMATIKY A STATISTIKY DIPLOMOVÁ PRÁCE VYHLAZOVÁNÍ A REGRESE BRNO 9 MARCELA HENZLOVÁ

Anotace Diplomovápráce Vhlazováníaregrese sezabývározboremdvoupřístupů k neparametrické regresi a neparametrickému vhlazování, konkrétně jádrových odhadů a vhlazovacích splajnů Obě tto metod jsou v práci zasazen do kontetu regresní analýz a čtenář je seznámen s jejich základními vlastnostmi a parametr, které ovlivňují fungování těchto metod Dále jsou odvozen asmptotick optimální hodnot těchto parametrů a také algoritmické přístup k hledání těchto optimálních hodnot Praktická část práce se věnuje implementaci zkoumaných metod v jazce MATLAB a srovnáním jejich výsledků s užitím simulovaných dat Annotation Diplomathesis Smoothingandregression isfocusedontwoapproachesto nonparametric regression, particularl kernel estimates and smoothing splines Both of these methods are introduced and set up within the contet of regression analsis The reader is also introduced to their basic properties and the parameters, which affect their performance and output Asmptoticall optimal values of these parameters are derived and algorithms for finding these values are also presented Practicall part of this thesis focuses on implementation of these methods in MATLAB language and comparing their performance using simulated data

Poděkování Chtěla bch tímto poděkovat vedoucí své diplomové práce prof RNDr Ivance Horové,CSczÚstavumatematikastatistikPřFMUvBrnězacennérada připomínk při psaní práce, za čas strávený při jejím čtení a za trpělivost

Prohlášení Prohlašuji, že jsem zadanou diplomovou práci vpracovala somostatně pod vedením prof RNDr Ivank Horové, CSc a veškerou použitou literaturu uvedla v seznamu literatur V Brně dne Marcela Henzlová

Obsah Úvod 6 Regresní model 7 Jádrové odhad 9 Úvodnípojm 9 Hledáníoptimálníšířkvhlazovacíhookna h 6 3 Asmptotickévlastnostijádrovýchodhadů 4 Hledáníoptimálníhojádra K 3 5 Hledáníoptimálníhořádujádra k 39 3 Vhlazovací splajn 45 3 Úvodnípojm 45 3 Hledání optimálního parametru vhlazení λ a parametru k 56 33 Hledáníbázeprostoru N S k (,, n ) 6 34 Asmptotickévlastnostivhlazovacíchsplajnů 65 4 Simulační studie 7 Závěr 78 5

Úvod Regresní analýza tvoří nedílnou součást matematické statistik, která nachází v prai četná vužití Obor, pro něž je nutností zpracovávat množství dat, jako je například analýza finančních trhů, predikce časových řad, průzkumové studie, nebo různé technické obor, b si bez metod regresní analýz jen těžko věděl rad Regresní analýza představuje nástroj ke zkoumání dat, na které nahlížíme jako na realizace náhodné veličin Umožňuje nám v datech hledat trend, různé periodicit, zkoumat vlastnosti a chování procesů, které tato data vgeneroval, a také jejich chování předvídat Základním přístupem regresní analýz je předpoklad, že naměřené nebo jinak získané hodnot náhodné veličin lze rozdělit na deterministickou část a aditivní nekorelovanou chbu střední hodnot nula Tento předpoklad lze skutečně v mnoha případech v prai uplatnit Právě deterministickou složku jsme schopni metodami regresní analýz odhadovat, zkoumat a modelovat Z pohledu základního dělení rozlišujeme regresní analýzu parametrickou a neparametrickou Parametrická regrese zkoumá případ, kd je charakter regresní funkce dopředu znám a její tvar ovlivňuje předem daná skupina parametrů Příkladem budiž polnomiální regrese, jejíž cílem je odhadnout koeficient polnomu, který regresní funkci modeluje Není-li však charakter regresní funkce dopředu znám, používáme metod neparametrické regrese, jíž je věnována tato práce Konkrétně se budeme zabývat jádrovými odhad a vhlazovacími splajn V první kapitole si zopakujeme několik základních pojmů z oblasti regresní analýz Druhá kapitola se bude věnovat jádrovým odhadům, konkrétně jejich definicí a představením základních vlastností Dále se budeme věnovat rozborem parametrů, které kvalitu jádrových metod ovlivňují a hledání jejich optimálních hodnot Třetí kapitola se zabývá podobným způsobem vhlazovacími splajn Ve čtvrté kapitole budou srovnán výsledk obou metod na simulovaných datech za vužití asmptotických vlastností obou metod Tato kapitola se opírá o implementaci oboumetodvjazcematlab,kterájekdispozicinapřiloženémcd 6

Kapitola Regresní model Mějme regresní model s pevným plánem: i = m( i )+ε i, i=,, n, () kde ȳ=(,, n ) T jevektorzávislýchproměnných, i bodplánutakové,že platí < < < n,a ε=(ε,, ε n ) T vektorchb,přičemžpředpokládáme,že ε i, i=,, njsounezávislé,stejněrozdělenéažeplatí E(ε i )=, var(ε i )=σ >, i=,,n Proces hledání vhodné aproimace m neznámé funkce m bývá označován jako vhlazování Přístup k problematice aproimace funkce m na základě uvedeného regresního modelu lze rozdělit do dvou kategorií Parametrické přístup: Hledání aproimace neznámé funkce m se provádí v třídě funkcí zvoleného tvaru F(; p,, p m ),závislýchnaparametrech p,, p m znějakémnožin MKvýběruvhodnéfunkcezezvolenétřídsečastopoužívámetoda nejmenších čtverců To znamená, že se hledají takové hodnot parametrů p,, p m M,proněžjevýraz ( i F( i ; p,,p m )) i= minimální Tuto metodu používáme, známe-li tvar aproimované funkce Neparametrické přístup: Nesprávnouvolboutřídfunkcí F(; p,,p m )můžemepřiparametrickém postupu obdržet velmi špatné výsledk V takových případech je lepší volit některý z neparametrických přístupů, kd se vužívá pouze obecných vlastností funkce m, například její hladkosti Mezi nejběžnější postup neparametrické regrese patří jádrové odhad či splajnové vhlazování, kterým se budeme podrobněji věnovat v následujících kapitolách 7

KAPITOLA REGRESNÍ MODEL 8 Vhodným nástrojem pro posouzení kvalit odhadu je střední kvadratická chba Definice Nechť m() je odhad funkce m() Střední kvadratická chba odhadu m() je definována vztahem Věta Platí Důkaz MSE( m())=e(m() m()) MSE( m())=e m () E m() +(E m() m()) } {{ } } {{ } rozptl bm() (vchýlení bm()) MSE( m())=e(m() m()) = E(m () m() m()+ m ())= = m () m()e m()+e m ()+E m() E m()= = E m () E m()+m () m()e m()+e m()= = E m () E m()+(e m() m())

Kapitola Jádrové odhad Úvodní pojm V této kapitole se budeme zabývat jádrovými odhad Definujme ted nní jádro Definice Nechť reálná funkce K definovaná na R splňuje tto vlastnosti: funkce K splňuje Lipschitzovu podmínku na intervalu[, ], tj pro každé, [,]platí K() K() L, kde Ljekonstanta, L >, pronosičfunkce Kplatísupp(K)=[,], 3prodanácelánezápornáčísla ν, kmajícístejnouparitua ν < kplatí pro j < k, j ν j K()d= ( ) ν ν! pro j= ν β k pro j= k Pakfunkci Knazývámejádremřádu katříduvšechtakovýchjaderznačíme K νk Poznámka Třetí vlastnost z definice nazýváme momentové podmínk PoznámkaOznačíme-lijádrosmbolem K h,rozumímetím,že K h ()= h K ( h ), kde h R, h >, přičemžjádru Kpříslušínosič[,],zatímcojádru K h příslušínosič[ h, h] 9

KAPITOLA JÁDROVÉ ODHADY Příklad jader(viz Obr ): Obdélníkovéjádro: K()= pro [,] Epanečnikovojádro: K()= 3 4 ( ) pro [,] 3Kvartickéjádro: K()= 5 6 ( ) pro [,] obdelnikove jadro Epanecnikovo jadro kvarticke jadro 5 5 5 5 5 5 5 5 5 5 5 5 5 (a) obdélníkové jádro 5 5 5 5 (b) Epanečnikovo jádro 5 5 5 5 (c) kvartické jádro Obr : Druh jader Proodhadregresnífunkcepoužívámejadertříd K k,proodhad ν-téderivace regresnífunkcejsouvhodnéjádratříd K νk Nní definujme některé pojm a dokažme pomocná tvrzení DefiniceNechť β=(β,, β p ) T a ā=(a,,a p ) T jsouvektortakové, žeplatí ā, β R p+ Nechť g( β)jeskalárnífunkcevektoru βderivacífunkce g( β) podlevektoru βrozumímevektor Lemma 3 Platí tto vztah: āt β β = β T ā β = ā, β T A β β ( g( β) g( β) β =,, g( β) ) T β β p =A β,kde Ajesmetrickámaticetpu(p+) (p+)

KAPITOLA JÁDROVÉ ODHADY DůkazNechť g( β)=ā T β= a β + a β + +a p β p = β T ā,pak g( β) β =(a, a,,a p ) T = ā Nechť g( β)= β T A β= p i= a iiβ i + p g( β) β i = i,j= i j p a ii β i + i= a ij β i β j,pakpro i=,, pplatí p a ij β j, i,j= i j ted g( β) β =A β Vraťme se k modelu() Neznámou funkci m() lze aproimovat pomocí polnomu β + β ( i )+ + β p ( i ) p stupně pnalokálnímintervalušířk h, ted p m()= β j ( i ) j, pro [ i + h, i h] j= Odhad m(; p, h)= β tétofunkcenaleznemepomocíváženémetodnejmenších čtverců,tedhledámeargmin β S( β),kde S( β)= [ i β β ( i ) β p ( i ) p ] K h ( i ), i= přičemžrolivahplníjádro K h Předpokládejme, že K je nezáporné jádro Označme: ȳ=, n β ( ) ( ) p β β=, X= ( ) ( ) p, ( n ) ( n ) p β p K h ( ) K h ( ) W= K h ( n )

KAPITOLA JÁDROVÉ ODHADY Můžeme ted zapsat váženou metodu nejmenších čtverců maticově takto: S( β)=(ȳ X β) T W(ȳ X β)=ȳ T Wȳ ȳ T WX β (X β) T Wȳ+(X β) T WX β Abchom minimalizovali funkci S( β)přes β, položímejejí derivaci podleproměnné βrovnuasvužitímlemmatu3získáme = S( β) β = ȳt Wȳ β ȳt WX β β } {{ } = = X T Wȳ+X T WX β (X β) T Wȳ β + (X β) T WX β β = Nnízrovnice X T WX β= X T Wȳzískámeodhad βparametru β,tj β=(x T WX) X T Wȳ Věta4Nechť X T WX jeregulárnímaticeanechť ē =(,,,) T Pak m(; p, h)= β = ē T (XT WX) X T Wȳ Důkaz Víme, že platí: β β β= =(XT WX) X T Wȳ β p Ted ē T (X T WX) X T Wȳ=ē T β β β β =(,,,) = β β p β p Důsledek5Je-li X T WXpozitivnědefinitnímatice,pakjeminimumjediné DůkazPředpokládejme,žeeistujívzájemněrůzné β, β,jenžoběminimalizují S( β),tj X T WX β = X T Wȳ a X T WX β = X T Wȳ Odečteme-lidruhourovniciodprvní,dostaneme,že(X T WX)( β β )=,a jelikožjepodlepředpokladu X T WXpozitivnědefinitnímatice,musínutněplatit β β Nní se seznámíme s nejznámějšími tp jádrových odhadů

KAPITOLA JÁDROVÉ ODHADY 3 Nadaraa-Watsonov odhad: Jsouspeciálnímpřípadem,kd p=,ted m NW (; h):= m(;, h) K h ( ) X T K h ( ) WX=(,,,) = K h ( n ) = K h ( i ) i= Inverznímaticepakmátvar(X T WX) = n i= K h( i ) Dáleplatí K h ( ) X T K h ( ) Wȳ=(,,,) = K h ( n ) n = K h ( i ) i i= Výsledný odhad je ted m NW (; h)= n i= K h( i ) i n i= K h( i ) Na Obr je pro lepší představu znázorněna konstrukce Nadaraa-Watsonova odhadu 5 5 5 5 5 5 5 5 5 5 5 5 3 4 5 6 7 8 9 (a) jádra vnásobená hodnotami bodů pozorování 3 4 5 6 7 8 9 (b) součet jader 3 4 5 6 7 8 9 (c) jádrový odhad Obr : Konstrukce Nadaraa-Watsonova odhadu

KAPITOLA JÁDROVÉ ODHADY 4 Lokální lineární odhad: Jsouspeciálnímpřípadem,kd p=,ted m LL (; h):= m(;, h) X T WX= ( ) K h ( ) = n = K h ( n ) n ( ) K = h ( ) K h ( n ) ( )K h ( ) ( n )K h ( n ) = n ( n = i= K h( i ) n i= ( ) i )K h ( i ) n i= ( i )K h ( i ) n i= ( i ) K h ( i ) Definujme pomocné funkce: ŝ r (; h)= n ( i ) r K h ( i ), r=,,, i= Pak platí X T WX= n (X T WX) = ) (ŝ (; h) ŝ (; h), ŝ (; h) ŝ (; h) n(ŝ (; h)ŝ (; h) ŝ (; h)) ( ) ŝ (; h) ŝ (; h), ŝ (; h) ŝ (; h) kde ŝ (; h)ŝ (; h) ŝ (; h)= ( n i j ) K h ( i )K h ( j ) i,j i j Dále platí X T Wȳ= ( ) K h ( ) n K h ( n ) ( = = K h ( ) K h ( n ) ( )K h ( ) ( n )K h ( n ) ( n i= ) ik h ( i ) n i= i( i )K h ( i ) ) n = n =

KAPITOLA JÁDROVÉ ODHADY 5 Výsledný odhad je m LL (; h)= n i= (ŝ (; h) ŝ (; h)( i )) K h ( i ) i ŝ (; h)ŝ (; h) ŝ (; h) 3 Gasser-Müllerov odhad: m GM (; h)= i= i s i s i K h (t )dt, kde s =, s i = ( i+ i+ ) pro i=,, n, s n = Pro odhad derivace regresní funkce je vhodné použít Gasser-Müllerova odhadu ve tvaru: m (ν) GM (; h)= s i h ν i i= s i K h (t )dt, kde K K νk

KAPITOLA JÁDROVÉ ODHADY 6 Hledání optimální šířk vhlazovacího okna h Volba šířk vhlazovacího okna má výrazný vliv na kvalitu odhadu Zvolíme-li h příliš malé, odhad bude méně vchýlen, avšak na úkor velké variabilit Říkáme, že výsledný odhad je podhlazený Při příliš velkém h, bude rozptl odhadu malý, což však bude mít za následek nárust jeho vchýlení od skutečné hodnot Říkáme, že výsledný odhad je přehlazený Pro volbu optimální šířk vhlazovacího okna se obvkle vužívá metod křížového ověřování, kterou popíšeme v následující podkapitole Odhad regresních funkcí lze zapsat ve tvaru m(; h)= w i (; h) i, i= kde w i (; h)jetzvváhováfunkce Příslušná váhová funkce je u Nadaraa-Watsonových odhadů m NW (; h)= n i= K h( i ) i n i= K h( i ) tvaru wi NW (; h)= K h ( i ) n i= K h( i ), u lokalních lineárních odhadů m LL (; h)= (ŝ (; h) ŝ (; h)( i )) K h ( i ) i n ŝ (; h)ŝ (; h) ŝ (; h) tvaru i= w LL i (; h)= (ŝ (; h) ŝ (; h)( i )) K h ( i ) n(ŝ (; h)ŝ (; h) ŝ (; h) ) a u Gasser-Müllerových odhadů tvaru m GM (; h)= i= wi GM (; h)= i s i s i s i K h (t )dt, s i K h (t )dt,

KAPITOLA JÁDROVÉ ODHADY 7 kde s =, s i = ( i+ i+ ) pro i=,, n, s n = Odhadfunkce mvbodě j, j=,,njeroven m( j ; h)= w i ( j ; h) i, i= j=,,n, ted m( ; h)=w ( ; h) + w ( ; h) + +w n ( ; h) n m( ; h)=w ( ; h) + w ( ; h) + +w n ( ; h) n m( n ; h)=w ( n ; h) + w ( n ; h) + +w n ( n ; h) n To lze maticově zapsat takto: m( ; h) w ( ; h) w ( ; h) w n ( ; h) m( ; h) m( ; h)= = w ( ; h) w ( ; h) w n ( ; h) = S hȳ, m( n ; h) w ( n ; h) w ( n ; h) w n ( n ; h) kde S h = {s ijh } n i,j= jevhlazovací(klobouková)matice(vizobr3),prokterou s ijh = w j ( i ; h) n vhlazovaci matice jadra, h = vhlazovaci matice jadra, h = 6 35 4 3 5 hodnot matice 5 hodnot matice 8 6 4 5 5 5 5 5 5 5 radk matice S h 5 5 radk matice S h sloupce matice S h sloupce matice S h (a) h=, (b) h=,6 Obr 3: Vhlazovací matice

KAPITOLA JÁDROVÉ ODHADY 8 Definujmenníodhadfunkce m()vbodě i bezpoužitíbodu i : m i ( i ; h)= j= j i s ijh s iih j, kde j= j i s ijh s iih = Definice Funkce křížového ověřování je definovaná vztahem CV(h)= n ( i m i ( i ; h)) i= VětaNechť m(; h)jeodhad m()anechťplatí,že m i ( i ; h)= s ijh j + s iih m i ( i ; h) j= j i Předpokládejme,že s iih pro i=,,npakfunkci CV(h)můžemevjádřit ve tvaru CV(h)= ( ) i m( i ; h) () n s iih i= DůkazVjdemenejprvezodhadufunkce mvbodě i svnechánímtohotobodu, přičemž požadujeme, ab konstanta bla zachována Toto vjádříme následujícím způsobem: přičemž platí j= j i s ijh s iih = m i ( i ; h)= s iih j= j i s ijh = j= j i Malou úpravou dostaneme z rovnosti(): ( s iih ) m i ( i ; h)= m i ( i ; h)= s ijh s iih j, () s ijh j, j= j i s iih ( s iih )= s ijh j + s iih m i ( i ; h) j= j i

KAPITOLA JÁDROVÉ ODHADY 9 Nní i m i ( i ; h)= i j= j i s ijh s iih j = ( = i s iih s iih s ijh j )= j= i s iih i s ijh j = j= j i s iih ( i m( i ; h)) Odtud plne, že ( ) i m( i ; h) CV(h)= n i= s iih Chceme-li odhadnout optimální šířku vhlazovacího okna, hledáme argument minimafunkce CV(h)namnožině H n =[a k n k+, bk n k+ ],kde < ak < b k <, tj ĥ CV,,k =argmin CV(h), K K,k (3) h H n Poznámka Vztah() můžeme zobecnit na tvar GCV(h)= n i= ( ) i m( i ; h), tr(s h )/n kde tr(s h )jestopamatice S h = {s ijh } n i,j=,tjplatí tr(s h)= n i= s ii h Metoda se pak v tomto případě nazývá zobecněná metoda křížového ověřování Odhad šířk vhlazovacího okna v případě odhadu derivace funkce m dostaneme ze vztahu CV () (h)= n ( () i m () {i,i+} n (() i ; h)), kde i= () i = i, () i = ( ) () i+ () i, () i = i, () i = () i+ () i () i+ () i pro i =,, n a m () {i,i+} (() i ; h)jegasser-müllerůvodhadvbodě () i konstruovanýnadatech(, ),,( i, i ),( i+, i+ ),,( n, n ),

KAPITOLA JÁDROVÉ ODHADY Vtomtopřípaděsmbolem ĥcv,,koznačmečíslo,kteréminimalizuje CV () (h) () navhodnémnožině H n () (zpravidla H n () =[,]),tj n ĥ CV,,k=argmin CV () (h), () K K,k (4) h H n () Číslo ĥcv (),,k jetedodhadoptimálníhovhlazovacíhoparametruproodhad derivace funkce m

KAPITOLA JÁDROVÉ ODHADY 3 Asmptotické vlastnosti jádrových odhadů Pro zjednodušení se v této podkapitole zabývejme jádr řádu Připomeňme, že jádrem řádu nazveme reálnou funkci K definovanou na R splňující tto podmínk: funkce K splňuje Lipschitzovu podmínku na intervalu[, ], tj pro každé, [,]platí K() K() L,kde LjekonstantaaL >, pronosičfunkce Kplatísupp(K)=[,], 3 K()d=, K()d=a K()d=β Zaveďme nní označení, které budeme nadále používat Předpokládejme,že a n a b n jsouposloupnostireálnýchčíselpak a n = O(b n ),pro n tehdajentehd,jestliželimsup n an b n <, a n = o(b n ),pro n tehdajentehd,jestliželimsup n an b n = Následující lemma a důsledek je užitečný pro důkaz vět o tvaru vchýlení a rozptlu Lemma3Jestliže < h < < ha i = i, i=,,n,pakprovšechna n r N platí: kde h ŝ r (; h)=h r r K()d+O(n ), ŝ r (; h)= n ( i ) r K h ( i ), i= K ()d+o(n )= n Kh ( i ), i= 3 h r r K ()d+o(n )= n ( i ) r Kh( i ) (3) i=

KAPITOLA JÁDROVÉ ODHADY DůkazViz[] Důsledek 3 ŝ (; h)= ŝ (; h)=h ŝ (; h)=h K()d+O(n )=+O(n ), ŝ 3 (; h)=h 3 K()d+O(n )=O(n ), K()d+O(n )=h β + O(n ), 3 K()d+O(n )=O(n ) Důkaz Plne z podmínk předchozího lemmatu a z definice jádra řádu Věta 33(O tvaru vchýlení a rozptlu) Nechť jsou splněn následující předpoklad: Šířkavhlazovacíhookna h=h n splňujelim n h=alim n nh= Probododhaduuvnitřintervalu[,]platí,že h < < hprovšechna n n,kde n jepevné 3Předpokládejme,žeprobodplánuplatí: i = i, i=,, n n 4Funkce msplňuje m C [,],tj mmáspojitéderivaceaždořáduvčetně 5Funkce Kjejádrořádu Pakproodhad m LL (; h):= m(,, h)vbodě platí vchýlení m LL (; h)= h β m ()+o(h )+O(n ) a rozptl m LL (; h)= σ V(K) nh + o((nh) ), kde V(K)= K ()d

KAPITOLA JÁDROVÉ ODHADY 3 Důkaz a) vchýlení odhadu: Víme, že Dokážeme, že vchýlení m LL (; h)=e m LL (; h) m() E m LL (; h) m()= h β m ()(+o())+o(n ) Označme m( )=(m( ),,m( n )) T Podlevět4platí Jelikož Eȳ= m( ),pak m LL (; h)=e T (XT WX) X T Wȳ E m LL (; h)=e T (XT WX) X T WEȳ=e T (XT WX) X T Wm( ) Talorůvrozvojfunkce mvbodě i jevetvaru: m( i )=m()+( i )m ()+ ( i ) m ()+ Pomocí Talorova rozvoje můžeme ted maticově vjádřit m( ) takto: m( ) ( ) m() m( ) = = m + ( ) () m () m( n ) n ( n ) } {{ } X Ted ( ) E m LL (; h)=(,)(x T WX) X T m() W X m + ( ) () m () = ( n ) ( ) m() =(,) m +(,)(X T WX) X T W ( ) () m () = ( n ) = m()+(,)(x T WX) X T W ( ) m () ( n ) Dále, jelikož ( ) X T W =n ( n ) ) (ŝ (; h), ŝ 3 (; h)

KAPITOLA JÁDROVÉ ODHADY 4 pak E m LL (; h) m()= = ( ) m ()(,)(X T WX) X T W = ( n ) = ( ) ) ŝ (; h) ŝ m ()(,) (; h) (ŝ (; h) = ŝ (; h)ŝ (; h) ŝ (; h) ŝ (; h) ŝ (; h) ŝ 3 (; h) = m () ŝ (; h) ŝ 3(; h)ŝ (; h) ŝ (; h)ŝ (; h) ŝ (; h) Podle důsledku 3 platí ŝ (; h) ŝ 3(; h)ŝ (; h)= ( h β + O(n ) ) O(n )O(n ), ŝ (; h)ŝ (; h) ŝ (; h)= ( +O(n ) )( h β + O(n ) ) ( O(n ) ) Zanedbáme-ličlen O(n ),dostaneme E m LL (; h) m()= = m () = m () (h β + O(n )) (+O(n ))(h β + O(n )) = m () h β + O(n ) = +O(n ) h β (+O(n )) h β O(n )+O(n ) = +O(n ) = m () h β h O(n ) β +O(n ) + O(n ) +O(n ) = = h β m ()+o(h )+O(n ) b) rozptl odhadu: Víme, že rozptl m LL (; h)=e( m LL (; h)) E m LL (; h)=e( m LL (; h) E m LL (; h)) Dokážeme, že E( m LL (; h) E m LL (; h)) = σ V(K) +o((nh) ), nh Platí kde V(K)= m LL (; h) E m LL (; h)=(,)(x T WX) X T W(ȳ m( ))= =(,)(X T WX) X T W ε= = wi LL (; h)ε i i= K ()d

KAPITOLA JÁDROVÉ ODHADY 5 Dále ( ) rozptl m LL (; h)=e w i (; h)ε i = = E = ( i= i= w i (; h)w j (; h)ε i ε j )= j= wi(; h)eε i= σ wi(; h)= i= i= ( ) = σ (ŝ (; h) ŝ (; h)( i )) K h ( i ) = n ŝ i= (; h)ŝ (; h) ŝ (; h) σ [ŝ = n (ŝ (; h)ŝ (; h) ŝ (; (; h)kh( i ) h)) i= i= ŝ (; h)ŝ (; h)( i )Kh ( i )+ŝ (; h)( i ) Kh ( i ) ] = [ σ = ŝ n (ŝ (; h)ŝ (; h) ŝ (; h)) (; h) Kh( i ) i= ] ŝ (; h)ŝ (; h) ( i )Kh( i )+ŝ (; h) ( i ) Kh( i ) Svužitímvztahu(3),důsledku3azanedbáme-ličlen O(n ),dostaneme = rozptl m LL (; h)= σ n(ŝ (; h)ŝ (; h) ŝ (; h)) ŝ (; h)ŝ (; h) + ŝ (; h) h = σ n = σ n i= [ ( ) ŝ (; h) h V(K)+O(n ) K ()d+o(n ) + K ()d+o(n ) = (h β + O(n )) ( h V(K)+O(n ) ) [(+O(n ))(h β + O(n )) (O(n ))] =σ n h V(K)(+O(n )) h V(K)O(n )+O(n ) +O(n ) = h V(K)+O(n ) = +O(n ) = σ σ V(K) nh nh V(K) O(n ) +O(n ) + σ O(n ) n+o(n ) = σ V(K) + o((nh) ) nh

KAPITOLA JÁDROVÉ ODHADY 6 Důsledek 34 Nechť jsou splněn předpoklad vět 33 Pro střední kvadratickouchbuodhadu m LL (; h)vbodě platí ( ) MSE( m LL (; h))= σ V(K) + o((nh) )+ nh h β m ()+o(h )+O(n ) Poznámka Hlavní člen MSE se značí MSE, ted ( ) MSE( m LL (; h))= σ V(K) + nh h β m () = σ V(K) + nh 4 h4 β [m ()] PoznámkaLzeukázat,žeodhad m NW (; h), m LL (; h)a m GM (; h)jsouasmptotick ekvivalentní, tj MSE( m NW (; h))=mse( m LL (; h))=mse( m GM (; h)) Věta 35 Nechť jsou splněn předpoklad vět 33 Pak asmptotick optimální šířka vhlazovacího okna je dána vztahem ( σ ) 5 V(K) h opt, = n 5 β[m ()] Důkaz Pro pevné spočítáme derivaci střední kvadratické chb odhadu podle h apoložímejirovnu,ted MSE( m(; h)) = σ V(K) + h 3 β h nh [m ()] = Vjádříme-li nní z poslední rovnosti h, dostaneme ( σ V(K) h=n 5 β [m ()] ) 5 Důsledek 36 MSE( m(; h opt, ))= 5 ( 4 n 4 5 σ V(K) ( )4 5 β [m ()] ) 5, tjasmptotickárchlostkonvergence MSE je n 4 5 Důkaz = MSE( m(; h opt, ))= n ( n 5 σ V(K) ( σ V(K) β [m ()] ) 5)+ 4 ( n 5 ( σ V(K) β [m ()] ) ) 4 5 β [m ()] = ( = n 4 5 σ V(K) ( )4 5 β[m ()] ) 5 + ( 4 n 4 5 σ V(K) ( )4 5 β[m ()] ) 5 = = 5 ( 4 n 4 5 σ V(K) ( )4 5 β[m ()] ) 5

KAPITOLA JÁDROVÉ ODHADY 7 Důsledek37Pro h opt, platí (vchýlení m(; h opt, )) rozptl m(; h opt, ) = 4 Důkaz Plne z důkazu předchozí vět, neboť MSE( m(; h opt, ))= ( = n 4 5 σ V(K) ( )4 5 β [m ()] ) 5+ ( } {{ } 4 n 4 5 σ V(K) ( )4 5 β [m ()] ) 5 } {{ } rozptl bm(;h opt, ) (vchýlení bm(;h opt, )) Střední kvadratická chba určuje chbu odhadu v konkrétním bodě, je ted pouze lokálníhocharakterupokudchcemezjistit,jaksechová celý odhad,jevhodné použít integrální střední kvadratickou chbu 38 Definice Integrální střední kvadratická chba odhadu m(; h) je definována vztahem MISE( m(h)) = MSE( m(; h))d Poznámka Hlavní člen MISE značíme MISE, obdobně jako u MSE Věta 39 MISE( m(h))= σ V(K) nh Důkaz Plne přímo z definice MISE + 4 h4 β [m ()] d Dosudjsmesezabývalijádrtříd K Nnísezabývejmeobecnějijádrtříd K k Věta3Nechť K K k, m C k [,]anechť h, nh pro n Pak ( MSE( m(; h))= σ V(K) + ( ) k nh k! hk β k m ()) (k), MISE( m(h))= σ V(K) nh + β k k! hk [m (k) ()] d

KAPITOLA JÁDROVÉ ODHADY 8 DůkazViz[] Věta 3 Asmptotick optimální hodnota vhlazovacího parametru je dána vztahem σ V(K) h opt,k = kn β k [m k! (k) ()] d Důkaz Spočítáme derivaci integrální střední kvadratické chb odhadu podle h a položíme ji rovnu, ted MISE( m(h)) h = σ V(K) nh +k β k k! hk Vjádříme-li nní z poslední rovnosti h, dostaneme Důsledek 3 kde σ V(K) h= kn β k [m k! (k) ()] d MISE( m(h opt,k ))=n k k+ D k = +k (k) k k+ ( ) m (k) () d, k! k+ [m (k) ()] d= k+ ( ) (σ V(K)) k k+ β k+ k D k, tjasmptotickárchlostkonvergence MISE je n k k+ Důkaz MISE( m(h opt,k ))= σ V(K) ( σ V(K) n knβk D k ) k+ = (kn) k+ ( σ V(K) ) k ( ) k+ β k+ n kd k + = n k k+ +k (k) k k+ (σ V(K)) k k+ ( β k D k ) k+ + β k (kn) k k+ ( σ V(K) knβ k D k ) k k+ Dk = ( σ V(K) ) k k+ ( β kd k ) k+ =

KAPITOLA JÁDROVÉ ODHADY 9 Důsledek33Pro h opt,k platí (vchýlení m(; h opt,k )) rozptl m(; h opt,k ) = k Důkaz Plne z důkazu předchozí vět, neboť: a MISE( m(h opt,k ))= = (kn) k+ n ( σ V(K) ) k k+ ( β kd k ) k+ } {{ } rozptl bm(;h opt,k ) (kn) k k+ + : (kn) k+ n (kn) k k+ ( σ V(K) ) k k+ ( β kd k ) k+ } {{ } (vchýlení bm(;h opt,k )) = k Pro odhad derivace regresní funkce platí následující vět a důsledk Věta34Nechť K K νk, m C k [,]anechť h, nh ν+ pro n, ν < kpak DůkazViz[] ( MSE( m (ν) GM (; h))= σ V(K) nh + ( ) k ν+ k! h(k ν) β k m ()) (k), MISE( m (ν) GM (h))= σ V(K) nh ν+ + β k k! h(k ν) [m (k) ()] d Věta 35 Asmptotick optimální hodnota vhlazovacího parametru je dána vztahem (ν+)σ V(K) h opt,ν,k = (k ν)n β k [m k! (k) ()] d Důkaz Spočítáme derivaci integrální střední kvadratické chb odhadu podle h a položíme ji rovnu, ted MISE( m (ν) GM (h)) h k+ = (ν+)σ V(K) nh (ν+) +(k ν) β k k! h(k ν) [m (k) ()] d=

KAPITOLA JÁDROVÉ ODHADY 3 Vjádříme-li nní z poslední rovnosti h, dostaneme Důsledek 36 MISE( m (ν) = n (k ν) k+ (ν+)σ V(K) h= (k ν)n β k [m k! (k) ()] d GM (h opt,ν,k))= k+ ( + ν+ ) ( )ν+ (k ν) k+ ( (σ V(K)) (k ν) )ν+ k+ β k+ (k ν) ν+ k D k, kde D k = ( ) m (k) () d, k! tjasmptotickárchlostkonvergence MISE je n (k ν) k+ Důkaz MISE( m (ν) GM (h opt,ν,k))= ( σ V(K) (ν+)σ = ( + β V(K) (ν+)σ )ν+ k k+ V(K) (k ν)nβk D k n (k ν)nβk D k [ ((k )ν+ ( ] )(ν k) ν) k+ (k ν) k+ = + ν+ ν+ ( = n (k ν) k+ + ν+ (k ν) Důsledek37Pro h opt,ν,k platí ) (k ν) k+ Dk = ( n (k ν) k+ σ V(K) ) (k ν) ( k+ βkd )ν+ k+ k = )( )ν+ (k ν) k+ ( (σ V(K)) (k ν) )ν+ k+ β k+ ν+ k D k (vchýlení m(; h opt,ν,k )) rozptl m(; h opt,ν,k ) = ν+ (k ν) Důkaz Plne z důkazu předchozí vět, neboť: ( )(ν k) (k ν) k+ ν+ : ( )ν+ (k ν) k+ ν+ = ν+ (k ν)

KAPITOLA JÁDROVÉ ODHADY 3 4 Hledání optimálního jádra K 4 Definice Řekneme, že reálná funkce f definovaná na konečném nebo nekonečnémintervalu[a, b]má rznaménkovýchzměnna[a, b],jestližeeistuje r+ subintervalů[ i, i ] [a, b], i=,,r+, = a, r+ = btakových,žeplatí: f()f() prokaždé, [ i, i ], i=,, r+,přičemž f()f() > nastávápro, D i [ i, i ],kde D i mánenulovoulebesgueovoumíru, f()f() prokaždé [ i, i ]a [ i, i+ ], i=,,r Označme ch(f) počet znaménkových změn na[a, b] Věta4Pro K K νk, ν < kplatí ch(k) k DůkazViz[] 43DefiniceLegendreovpolnom P n jsouortogonálnípolnomnaintervalu [,]sváhou w()=,přičemžplatí P n ()P m ()d= { m n m=n, n+ P n+ ()= n+ n+ P n() n n+ P n (), kde P ()=, P ()= 44 DefiniceNechť K K ν,k Funkce,kteréjsouřešenímminimalizačního problému min V(K), K K ν,k se nazývají jádra s minimálním rozptlem kde V(K)= K ()d, Věta 45 Jádra s minimálním rozptlem jsou jednoznačně určené polnom stupně k omezenénaintervalu[,]ttopolnomjsousudéfunkcepro k sudéalichéfunkcepro k lichémajíprávě k různýchreálnýchkořenůna intervalu(, ) a jejich eplicitní formule je dána vztahem kde K()= ( )ν ν! je Legendreův polnom stupně r P r ()= k (r+)p r ν P r(), r=ν r p r i i i=

KAPITOLA JÁDROVÉ ODHADY 3 DůkazViz[] 46DefiniceNechť K K ν,k N k,kde N k jetřídafunkcíintegrovatelných sdruhoumocninou,kterémajíprávě k znaménkovýchzměnna[,]funkce, které jsou řešením minimalizačního problému kde T(K)=(V(K) k ν β k ν+ ) k+ = se nazývají optimální jádra min K K ν,k N k T(K), K ()d k ν ν+ k K()d Věta 47 Optimální jádra jsou polnom stupně k Tto polnom jsou sudé funkcepro ksudéalichéfunkcepro klichémajíprávě k různýchreálných kořenů na intervalu(, ) a bod, jsou rovněž kořen Eplicitní vjádření jevetvaru K opt ()= ( )ν ν! k (r+)p r ν (P r() P k ()), r=ν kde P r ()jelegendreůvpolnomstupně rap k ()Legendreůvpolnomstupně k DůkazViz[] Poznámka Optimální jádra jsou jádra, která minimalizují integrální střední kvadratickou chbu odhadu funkce m(viz podkapitola 5) Definujmenníekvivalentníjádro K δ kjádru Ktakto: K δ ()= ( ) δ ν+k, kde δ R, δ >, δ přičemžjádru Kpříslušínosič[,],zatímcojádru K δ příslušínosič[ δ, δ] Věta 48 Funkcionál T(K) je invariantní vzhledem k transformaci K() K δ ()= δ ν+k( δ ) k+,

KAPITOLA JÁDROVÉ ODHADY 33 Důkaz T(K δ )= = = = δ δ δ δ = T(K) K k ν δ (t)dt δ δ ( k ν t δ ν+k δ )dt ν+ t k K δ (t)dt δ δ t δ = dt=d δ ()δd k ν δ ν+k K ()d k ν Pro důkaz vět 4 je užitečné následující lemma: k+ = ν+ t k δ ν+k(t δ )dt k+ ν+ k δ k K()δd δν+ k+ = = ν+ k+ ( k K()d δ (k ν)(ν+) δ (ν+)(k ν) ) k+ Lemma49Nechť P r jelegendreůvpolnomstupně r, ν k aν, k mají stejnou paritu Pak = DůkazViz[] νp k ν= k r=ν (r+)p r ν, (4) P r ()= r+ (P r+() P r ()) (4) Věta4Nechť K() K ν+,k+ jejádrosminimálnímrozptlemak opt () K ν,k N k jeoptimálníjádropak d d K opt()= K(), (,)

KAPITOLA JÁDROVÉ ODHADY 34 Důkaz Jádro s minimálním rozptlem je tvaru K()= ( )ν+ (ν+)! zatímco optimální jádro má tvar K opt ()= ( )ν ν! k r=ν+ (r+)p r ν+p r (), (43) k (r+)p r ν (P r() P k ()) r=ν Derivujeme-li předešlou rovnici podle, pak d d K opt()= ( )ν ν! k (r+)p r ν (P r () P k ()) (44) r=ν Dále vužijeme-li vztah(4), dostaneme P r() P k()= =(P r() P r+())+(p r+() P r+4())+ +(P k () P k())= = ((r+i )+)P r+i () k r i= a dosazením do(44) máme d d K opt()= ( )ν+ ν! k (r+)p r ν r=ν ((r+i )+)P r+i () Porovnáme-likoeficientuP ν+j+ ()vevýrazech(43)a(45),tj a k r i= ( ) ν+ (ν+)! ((ν+j+)+)p ν+j+ ν+ ( ) ν+ j+ν ν! ((ν+j+)+) (r+)p r ν, zjistíme, že jsou si rovn, neboť podle(4) r=ν j+ν (ν+)p ν+j+ ν+ = (r+)p r ν r=ν (45) NaObr4aObr6jevobrazenojádrosminimálnímrozptlemprorůzné hodnot kaν,zatímconaobr8aobrjevobrazenooptimálníjádropro různé hodnot k a ν, přičemž Epanečnikovo jádro je speciálním případ optimálního jádrapro k=aν=

KAPITOLA JÁDROVÉ ODHADY 35 jadro s minimalnim rozptlem k =, ν = 8 6 4 4 6 8 5 5 5 5 (a) k=, ν= jadro s minimalnim rozptlem k = 4, ν = jadro s minimalnim rozptlem k = 4, ν = 5 8 6 4 5 5 4 6 5 8 5 5 5 5 (b) k=4, ν= 5 5 5 5 (c) k=4, ν= 3 jadro s minimalnim rozptlem k = 6, ν = 4 jadro s minimalnim rozptlem k = 6, ν = 8 jadro s minimalnim rozptlem k = 6, ν = 4 3 6 4 4 3 6 3 5 5 5 5 4 5 5 5 5 8 5 5 5 5 (e) k=6, ν= (f) k=6, ν= (g) k=6, ν=4 Obr4:Jádrosminimálnímrozptlemprorůznéparametr kaνsudé k \ ν 4 4 3 8 (5 3) 5 4 (3 ) 6 5 8 (634 7 +5) 5 3 (454 4 +5) 945 6 (354 3 +3) Tab5:Jádrosminimálnímrozptlemprorůznéparametr ka νsudé

KAPITOLA JÁDROVÉ ODHADY 36 jadro s minimalnim rozptlem k = 3, ν = 5 5 5 5 5 5 5 5 (a) k=3, ν= 6 jadro s minimalnim rozptlem k = 5, ν = jadro s minimalnim rozptlem k = 5, ν = 3 8 4 6 4 4 4 6 8 6 5 5 5 5 (b) k=5, ν= 5 5 5 5 (c) k=5, ν=3 jadro s minimalnim rozptlem k = 7, ν = 3 jadro s minimalnim rozptlem k = 7, ν = 3 5 jadro s minimalnim rozptlem k = 7, ν = 5 8 4 6 3 4 4 6 3 8 4 5 5 5 5 3 5 5 5 5 5 5 5 5 5 (e) k=7, ν= (f) k=7, ν=3 (g) k=7, ν=5 Obr6:Jádrosminimálnímrozptlemprorůznéparametr kaνliché k \ ν 3 5 3 3 5 5 6 (43 ) 5 4 (53 3) 7 5 8 (995 6 3 +35) 945 3 (775 9 3 +) 395 6 (635 7 3 +5) Tab7:Jádrosminimálnímrozptlemprorůznéparametr ka νliché

KAPITOLA JÁDROVÉ ODHADY 37 optimalni jadro k =, ν = 5 5 5 5 5 5 5 5 (a) k=, ν= 4 optimalni jadro k = 4, ν = optimalni jadro k = 4, ν = 3 8 6 4 4 6 3 8 4 5 5 5 5 (b) k=4, ν= 5 5 5 5 (c) k=4, ν= 4 optimalni jadro k = 6, ν = 4 optimalni jadro k = 6, ν = 6 optimalni jadro k = 6, ν = 4 3 3 4 3 3 4 4 5 5 5 5 4 5 5 5 5 6 5 5 5 5 (e) k=6, ν= (f) k=6, ν= (g) k=6, ν=4 Obr8:Optimálníjádroprorůznéparametr ka νsudé k \ ν 4 3 4 ( ) 4 5 3 (74 +3) 5 6 (54 6 +) 6 5 56 (336 63 4 +35 5) 35 64 (776 35 4 +63 5) 395 3 (6 35 4 +5 ) Tab9:Optimálníjádroprorůznéparametr ka νsudé

KAPITOLA JÁDROVÉ ODHADY 38 4 optimalni jadro k = 3, ν = 3 3 4 5 5 5 5 (a) k=3, ν= optimalni jadro k = 5, ν = 6 optimalni jadro k = 5, ν = 3 8 6 4 4 4 6 4 8 5 5 5 5 (b) k=5, ν= 6 5 5 5 5 (c) k=5, ν=3 5 optimalni jadro k = 7, ν = 3 optimalni jadro k = 7, ν = 3 4 optimalni jadro k = 7, ν = 5 3 5 5 3 5 5 5 5 5 3 5 5 5 5 4 5 5 5 5 (e) k=7, ν= (f) k=7, ν=3 (g) k=7, ν=5 Obr:Optimálníjádroprorůznéparametr kaνliché k \ ν 3 5 3 5 4 ( 3 ) 5 5 3 (95 4 3 +5) 945 6 (75 3 +3) 7 35 56 (437 97 5 +89 3 35) 395 64 (397 77 5 +45 3 7) 3535 (33 7 63 5 +35 3 5) 3 Tab:Optimálníjádroprorůznéparametr ka νliché

KAPITOLA JÁDROVÉ ODHADY 39 5 Hledání optimálního řádu jádra k Na kvalitu výsledného odhadu má vliv nejen šířka vhlazovacího okna, ale i řád jádra V následující podkapitole je popsán algoritmus pro nalezení optimálního řádu jádra Nejprve ale dokážeme několik tvrzení s užitím Gasser-Müllerova odhadu Věta 5 Množství vhlazenísjádrem K aparametrem hjestejnéjako množství vhlazenísjádrem K δ aparametrem h = h δ,tj Důkaz m (ν) GM (; K, h)= = Y h ν+ i = h ν+ i= i= Y i s i s i K s i s i m (ν) GM (; K, h)= m(ν) GM (; K δ, h ) ( ) t dt= h δ ν+k h ν+ δ ν+ ( t ) δ dt= h h ν+ i= i= Y i Y i s i K s i s i s i K δ ( ) t dt= h δ ( ) t dt= h = m (ν) GM (; K δ, h ) Věta5Tvarintegrálnístředníkvadratickéchbodhadu m (ν) GM sjádrem K δ asparametrem h je δ MISE( m (ν) GM (K δ, h ))= σ nh ν+ kde D k = Důkaz Plne přímo z vět 34 δ Kδ ()d+h (k ν) D k ( ) m (k) () d k! δ δ k K δ ()d Věta53Nechť K K νk anechť δ k+ = V(K) Pak příspěvek jádra K k βk oběma částem chb je stejný, tj δ Kδ ()d= δ k K δ ()d, δ δ

KAPITOLA JÁDROVÉ ODHADY 4 Důkaz δ δ δ δ K δ()d= k K δ ()d = δ δ = = ( ) d= δ ν+k δ δ = t d=dt = δ (t)δdt=δ (ν+) δ ν+k δ δ k ( ) δ ν+k δ t k δ k δ ν+k(t)δd d = = δ (k ν) K (t)dt, } {{ } V(K) δ = t = δ t k K(t)dt } {{ } βk Vpřípadě,žebplatilarovnost δ (ν+) V(K)=δ (k ν) βk,pakbtaképlatila rovnost δ k+ = V(K), což je původní předpoklad βk Poznámka Číslo δ = ( V(K) β k ) k+ senazývákanonickýfaktoraznačíse γ Věta 54Nechť K K νk, m C k [,]anechť h, nh ν+ pro n Pak ( ) MISE( m (ν) σ GM (K γ, h ))=T(K) nh ν++ h (k ν) D k, kde a γjekanonickýfaktor D k = Důkaz Užitím vět 53 dostaneme γ MISE( m (ν) GM (K γ, h ))= σ nh ν+ = γ ( ) m (k) () d k! Kγ()d+h (k ν) D k γ γ γ ( ) σ Kγ()d nh ν++ h (k ν) D k } {{ } V(K γ) γ k K γ ()d =

KAPITOLA JÁDROVÉ ODHADY 4 Nníupravíme V(K γ ): V(K γ )= γ γ γ Kγ ()d= = γ ν+v(k)= γ γ ν+k ( γ )d= γ = t d=dt = γ γ ν+k (t)dt= ( )ν+ β k+ k V(K)=(β V(K) k ) ν+ k+ V(K) (k ν) k+ = T(K) Důsledek55Prooptimálníhodnotu h opt,ν,k platí: ( ) (ν+)σ h opt,ν,k = k+ (k ν)nd k Důkaz Spočítáme derivaci integrální střední kvadratické chb odhadu podle h a položíme ji rovnu, ted MISE( m (ν) GM (K ) γ, h )) = T(K) ( (ν+)σ +(k ν)h (k ν) D h nh ν+ k = Nní vjádříme-li z poslední rovnosti h, dostaneme ( ) (ν+)σ h k+ = (k ν)nd k Důsledek56 Nechť ν, kjsousudáčísla, ν k,pak (h opt,ν,k )k+ = (ν+)k (h opt,,k k ν )k+ (5) Nechť ν, kjsoulicháčísla, ν k,pak Důkaz ted (h opt,ν,k) k+ = h opt,,k (ν+)(k ) (h 3(k ν) opt,,k) k+ (5) (h opt,,k )k+ = σ nkd k, ( ) k+ h opt,ν,k = (ν+)σ nkd k = (ν+)k, (k ν)nd k σ k ν ted ( h opt,ν,k h opt,,k (h opt,,k )k+ = 3σ n(k )D k, ) k+ = (ν+)σ (k ν)nd k n(k )D k 3σ = (ν+)(k ) 3(k ν)

KAPITOLA JÁDROVÉ ODHADY 4 Důsledek 57 Platí Důkaz odtud MISE( m (ν) GM (K γ, h opt,ν,k ))=T(K) k+ n(k ν) (h opt,ν,k) k+ = (ν+)σ (k ν)nd k D k = ( σ σ (h opt,ν,k )ν+ (ν+)σ (k ν)n(h opt,ν,k )k+, MISE( m (ν) GM (K γ, h opt,ν,k))=t(k) opt,ν,k) (k ν) D n(h k opt,ν,k ( )ν++(h ) σ (ν+)σ = T(K) n(h opt,ν,k )ν++(h opt,ν,k )(k ν) = (k ν)n(h opt,ν,k ( )k+ T(K)σ = + ν+ ) k+ σ = T(K) (k ν) n(k ν) n(h opt,ν,k )ν+ (h opt,ν,k )ν+ ) = Definujme veličinu aoznačme Pro ν=dostaneme k+ L(k)=T(K opt,ν,k ) ( ) n(k ν) h ν+ opt,ν,k I ν (k )= { ν+j; j=,, L(k)=T(K opt,ν,k ) k+ nk [ k ν h opt,,k ]} a I(k )= { j; j=,, [ ]} k

KAPITOLA JÁDROVÉ ODHADY 43 Algoritmus pro nalezení optimální hodnot k: prosudé ν:nechť k I ν (k )aν, kjsousudá (a)prokaždé k I(k )najdemeoptimálníjádro K opt,ν,k (b)prokaždé k I(k )akaždéoptimálníjádro K opt,ν,k najdememetodou křížovéhoověřování(3)optimálníhodnotu ĥcv,,k Dále ĥ opt,,k = ĥ CV,,k γ,k azevztahu(5)vpočteme ĥ opt,ν,k (c) Jako kritérium pro volbu optimálního řádu k jádra budeme minimalizovatfunkci L(k)vzhledemke k,tj k=argmin L(k) k I ν(k ) proliché ν:nechť k I ν (k )aν, kjsoulichá (a)prokaždé k I(k )najdemeoptimálníjádro K opt,ν,k (b)prokaždé k I(k )akaždéoptimálníjádro K opt,ν,k najdememetodou křížovéhoověřování(4)optimálníhodnotu ĥcv (),,k Dále ĥ opt,,k = ĥ CV (),,k γ,k azevztahu(5)vpočteme ĥ opt,ν,k (c) Jako kritérium pro volbu optimálního řádu k jádra budeme minimalizovatfunkci L(k)vzhledemke k,tj k=argmin L(k) k I ν(k ) Odhad mfunkce mpaksestrojímepomocí k, K opt,ν, b k a ĥopt,ν, b k Vhlazení optimálním jádrem pro různý jádrový odhad a různý řád k při stejné hodnotě h můžeme porovnat z Obr

KAPITOLA JÁDROVÉ ODHADY 44 3 vhlazeni optimalnim jadrem k=, ν=, h=59 3 vhlazeni optimalnim jadrem k=4, ν=, h=59 3 vhlazeni optimalnim jadrem k=6, ν=, h=59 3 3 4 5 6 7 8 9 (a) k= 3 3 4 5 6 7 8 9 (b) k=4 3 3 4 5 6 7 8 9 (c) k=6 Nadaraa-Watsonov odhad 3 vhlazeni optimalnim jadrem k=, ν=, h=59 3 vhlazeni optimalnim jadrem k=4, ν=, h=59 3 vhlazeni optimalnim jadrem k=6, ν=, h=59 3 3 4 5 6 7 8 9 (d) k= 3 3 4 5 6 7 8 9 (e) k=4 3 3 4 5 6 7 8 9 (f) k=6 Lokální-lineární odhad 3 vhlazeni optimalnim jadrem k=, ν=, h=59 3 vhlazeni optimalnim jadrem k=4, ν=, h=59 3 vhlazeni optimalnim jadrem k=6, ν=, h=59 3 3 4 5 6 7 8 9 (g) k= 3 3 4 5 6 7 8 9 (h) k=4 3 3 4 5 6 7 8 9 (i) k=6 3 Gasser-Müllerov odhad Obr : Vhlazení optimálním jádrem pro různý jádrový odhad, různý řád k a stejnou šířku okna h

Kapitola 3 Vhlazovací splajn 3 Úvodní pojm V této kapitole budeme předpokládat, že odhadovaná funkce m je dostatečně hladká, přesněji, že funkce m je prvkem Sobolevova prostoru 3DefiniceNechť L [a, b]jemnožinavšechfunkcí f,jejichždruhámocnina je integrovatelná na intervalu[a, b] Pak Sobolevovým prostorem nazveme množinu W k [a, b]={f; f, f (),, f (k ) absolutněspojité, f (k) L [a, b]} 3DefiniceNechť k Naλ >Funkci,kteráminimalizujefunkcionál Φ n,λ,k (f)=n ( i f( i )) +λ i= } {{ } Φ SUM (f) b a (f (k) ()) d } {{ } Φ INTk (f) přesvšechna f W k [a, b],nazývámevhlazovacímsplajnemhodnot,, n Parametr λ se nazývá parametr vhlazení Funkcionál Φ n,λ,k (f)jesoučtemdvoučlenů,přičemžprvníznichudávákvadrát vzdálenostimezivektoremdat,, n avektoremhodnotfunkce f()vbodech,, n adruhývjadřujeurčitoumíruporušenípodmínkhladkostipomocí parametru λ lze oběma členům přisoudit různou váhu Při větších hodnotách λ bude preferována hladkost, při menších hodnotách bude výsledný splajn více kopírovat data 33DefiniceNechť θ,,θ r, δ,,δ l RSplajnemřádursuzlvξ,,ξ l nazveme funkci tvaru r s()= θ i i + i= 45 l i= δ i ( ξ i ) r +, (3)

KAPITOLA 3 VYHLAZOVACÍ SPLAJNY 46 kde se nazývá useknutá funkce ( ξ i ) + = { ξ i pro ξ i pro ξ i < Věta 34Funkce sjesplajnřádu r suzlvξ,,ξ l,tj slzevjádřitve tvaru(3), právě tehd, kdž platí následující podmínk: funkce sjepočástechpolnomiálnístupně r napodintervalu[ξ i, ξ i+ ), funkce smá r spojitýchderivacínacelémdefiničnímoboru, 3funkce smáderivaci r,kterájeskokováfunkceseskokvξ,,ξ l Důkaz Dokažme nejprve, že za platnosti všech třech podmínek, má funkce s() tvar(3)platí-lipodmínka,pakeistujípolnom p (), p (),, p l () definovanénacelémdefiničnímoborustupně r takové,že s()lzevjádřitna podintervalech(, ξ ),[ξ, ξ ),,[ξ l, )takto: p () pro (, ξ ), p ()+p () pro [ξ, ξ ), s()= p ()+p ()+ +p l () pro [ξ l, ) Zpodmínkplne,že ted lim ξ lim ξ p (i) ()= lim ξ + s (i) ()= lim ξ + Toznamená,želim ξ + p (i) p (i) ()+ lim ξ + p(i) s (i) () provšechna i=,,r, p (i) () provšechna i=,, r ()=provšechna i=,,r,neboťfunkce p (i) l ()=pro ()jespojitávξ Analogicklim ξ + p(i) ()=,,lim ξ + l všechna i=,, r Jelikožpolnom p ()má r derivacízpravarovných nulevbodě ξ,pak p ()má r -násobnýkořenvξ Analogick p ()má r - násobnýkořenvξ, p 3 ()má r -násobnýkořenvξ 3,atdDále,nechťplatí podmínka 3, pak ted lim ξ lim ξ p (r ) () lim ξ + s (r ) () lim ξ + s (r ) (), p (r ) ()+ lim ξ + p (r ) ()

KAPITOLA 3 VYHLAZOVACÍ SPLAJNY 47 Pakalelim ξ + p(r ) (),neboťfunkce p (r ) ()jespojitávξ Analogick lim ξ + p(r ) (),,lim ξ + p (r ) l l () Nní,jelikožlim ξ + p(r ) () ap ()má r -násobnýkořenvξ,pakfunkci p ()můžemenapsatvetvaru p ()=δ ( ξ ) r, kde δ jenějakákonstantaanalogickmůžemenapsatpolnom p (),,p l () Definujmennífunkce f,, f l takto: { pro (, ξ ) f ()=, p () pro [ξ, ) { pro (, ξ ) f ()=, p () pro [ξ, ) Pak platí, že f l ()= { pro (, ξ l ) p l () pro [ξ l, ) s()=p ()+f ()+ +f l () provšechna R NaObr3jeilustračnípříklad,kdesekpolnumu p ()přičítajídvěuseknuté funkce 3 p () f () f () s() 3 3 4 5 6 7 8 9 Obr3:Znázorněnífunkce s()jakosoučetfunkcí p (), f ()af ()

KAPITOLA 3 VYHLAZOVACÍ SPLAJNY 48 Funkce f i, i=,,llzepřepsatdotvaru f i ()=δ i ( ξ i ) r +, i=,,l,a jelikožje p ()polnomstupně r,můžemehovjadřittakto: r p ()= θ i i Funkci s() ted můžeme vjádřit ve tvaru i= r s()= θ i i + i= l i= δ i ( ξ i ) r + Nní dokažme opačný směr ekvivalence, tj je-li funkce s() tvaru(3), platí podmínkaž3jelikož f i ()=δ i ( ξ i ) r +, i=,, l,zřejmě lim ξ i lim ξ + i f (r ) i ()= lim ξ i f (r ) i ()= lim ξ + i =, δ i (r )!( ξ i )=, ted f (r ) i ()jespojitávbodě ξ i, i=,,lamusínutněplatitidále lim ξ i lim ξ + i f (r ) i ()= lim ξ i f (r ) i ()= lim ξ + i =, δ i (r )!=δ i (r )!, azároveňje f (r ) i ()=δ i (r )!provšechna [ξ i, ),coždokazujeplatnost podmínk 3 NaObr3jeilustračnípříklad,kdesekpolnumu p ()přičítajídvěuseknuté funkce 5 9 8 p (3) () f (3) () f (3) () s (3) () 7 6 5 4 3 3 4 5 6 7 8 9 Obr3:Znázorněníderivace r funkce s()jakosoučetderivací r funkcí p (), f ()af ()

KAPITOLA 3 VYHLAZOVACÍ SPLAJNY 49 Podmínkaplnepřímoztoho,žeprokaždé [ξ j, ξ j+ )platí r s()= θ i i + i= j δ i ( ξ i ) r, ted,že s()jepolnomstupně r natomtointervalu Jinými slov, splajn je po částech polnomiální funkce, jejíž jednotlivé polnomiálnísegmentjsounasebenavázanvuzlovýchbodech ξ,,ξ l takovýmzpůsobem, že zaručují určitá kritéria hladkosti Pokud bchom požadovali, ab i derivace řádu r blaspojitá,pakbtentosplajnbljedinýmpolnomemstupně r Prolepšípochopenífunkce δ i ( ξ i ) r + je vhodný Obr 33, který znázorňuje konstrukcisplajnu4řádusuzlemvξ i,kterýjepočástechpolnomiálnístupně3 i= ( 5)( 5)( 75) 3 * ( 5) 3 + 3( 5) + 3 + ( 5)( 5)( 75) 3 3 3 4 3 4 5 6 7 8 9 (a) =( 3 3 + 6 3 3 ) 4 3 4 5 6 7 8 9 (b) = 3( )3 + 4 3 4 5 6 7 8 9 (c) součet obou funkcí Obr33:Významfunkce δ i ( ξ i ) 3 + přikonstrukcisplajnu4řádusuzlemvξ i Označmesmbolem S r (ξ,,ξ l )množinuvšechfunkcítvaru(3) PoznámkaNeníobtížnédokázat,že S r (ξ,,ξ l )jevektorovýprostorjelikož funkce,,, r,( ξ ) r +,,( ξ l ) r + jsou lineárně nezávislé, má tento prostordimenzi r+ l Nadálesebudemezabývatpřirozenýmisplajn,přičemžzauzl ξ,,ξ l budeme brátbodplánu,, n zregresníhomodelu(),ted l=n 35DefiniceNechťplatípodmínkzvět34pro r=ksuzlv,, n anavícičtvrtá podmínka,žefunkce sjepolnonomstupně k mimo interval[, n ],paksplajn(3)nazvemepřirozenýmsplajnemřáduksuzl v,, n Poznámka Název přirozeného splajnu plne z toho, že platí-li čtvrtá podmínka, jsou také splněn přirozené hraniční podmínk s (i) (a)==s (i) (b), i=k,,k

KAPITOLA 3 VYHLAZOVACÍ SPLAJNY 5 Označmesmbolem N S k (,, n )množinuvšechpřirozenýchsplajnůřáduk suzlv,, n PoznámkaProstor N S k (,, n )mádimenzi najepodprostoremvektorovéhoprostoru S k (,, n )Navíczečtvrtépodmínkplne,žeje-li spřirozený splajn, musí platit θ k = = θ k = (3) v(3),jelikož smusíbýtpolnomstupně k pro < NaObr34vidímepřirozenýsplajnpro k=,kterýnazývámekubickýsplajn, neboťjepočástechpolnomiálnístupně3naintervalu[ξ, ξ l ]Jelikožsejednáo přirozenýsplajn,taknaintervalech[a, ξ ]a[ξ l, b]jepolnomiálnístupně,ted lineární Zejména si všimněme, že platí přirozené hraniční podmínk prirozen splajn, k = 8 prirozen splajn derivace, k = 5 6 4 5 5 4 6 5 8 4 6 8 (a) kubický splajn 4 6 8 (b) derivace kubického splajnu 5 prirozen splajn derivace, k = 5 4 prirozen splajn 3 derivace, k = 4 3 5 5 5 3 4 4 6 8 (c) derivace kubického splajnu 5 4 6 8 (d) 3 derivace kubického splajnu Obr34:Přirozenýsplajnpro k=(kubickýsplajn)

KAPITOLA 3 VYHLAZOVACÍ SPLAJNY 5 Dokažme nní následující pomocné lemma Lemma36(LcheaSchumaker)Nechťfunkce g,,g n tvoříbáziprostoru N S k (,, n )Pakeistujíkoeficient θ,j,,θ k,j, δ,j,,δ n,j takové,že platí k g j ()= θ i,j i + Jestliže s()= n j= β jg j ()af W k [a, b],pakplatí b a i= i= f (k) ()s (k) ()d=( ) k (k )! δ i,j ( i ) k + (33) f( i ) i= β j δ i,j (34) DůkazRovnost (33) je pouhé přeformulování toho, že N S k (,, n ) S k (,, n )ažeplatí(3) Zbývá ted dokázat, žeplatí (34) Nejprve si všimněme, že derivace s (k+j), j=,,k jsounulovémimointerval[, n ],cožplnezečtvrtépodmínk Dálepoložme = a, n+ = baupravmenásledujícíintegrál: b a b f (k) ()s (k) ()d=( ) k =( ) k i= =( ) k n i+ i a j= f ()s (k ) ()d= n f()s (k ) ()d=( ) k i= [ ( (f( i+ ) f( i )) β j (k )! i= j= i+ i f()s (k ) ()d= i δ r,j )]= r= [ ( i n =( ) k (k )! β j f( i ) δ r,j f( i ) j= i= r= i= =( ) k (k )! f( i )δ i,j j= β j i= Vposlednímkrokujsmevužilitoho,žepro > n platí g (k ) j ()=(k )! δ i,j =, což plne ze čtvrté podmínk j= i δ r,j )]= Nní se zabývejme konstrukcí odhadu m(; λ) funkce m, který minimalizuje funkcionál Φ n,λ,k (f)definovanýv3přitombudemepředpokládat,žeparametr λ jepevnězvolenaplatí < < n,ted a=ab= r=

KAPITOLA 3 VYHLAZOVACÍ SPLAJNY 5 Nechť ωjenějakákonstantaaflibovolnáfunkcetaková,že f W k [,]Zaveďme následující označení: Ψ( m(; λ), f(); ω)= [Φ SUM( m(; λ)+ωf())+λφ INTk ( m(; λ)+ωf())]= = n ( i m( i ; λ) ωf( i )) + λ ( m (k) (; λ)+ωf (k) ()) d, i= (35) kde Φ SUM a Φ INTk jsoudefinovánv3jelikož mjeminimalizátor,musíplatit Ψ( m(; λ), f();) Ψ( m(; λ), f(); ω) provšechna ω Je zřejmé, že(35) je diferencovatelná funkce podle ω a platí Ψ ( m(; λ), f(); ω)= Ψ( m(; λ), f(); ω) = ω = n f( i )( i m( i ; λ) ωf( i ))+λ i= f (k) ()( m (k) (; λ)+ωf (k) ())d (36) Nutnoupodmínkou,abfunkce m(; λ)minimalizovalafunkcionál Φ n,λ,k (f)definovanýv3,je Ψ( m(; λ), f(); ω) Ψ ( m(; λ), f();)= ω = (37) ω= Nní můžeme dokázat následující větu Věta37Nechť g,,g n jebázeprostoru N S k (,, n )apředpokládejme, že n kpropevné<λ< eistujejedináfunkce m(; λ)minimalizujícífunkcionál Φ n,λ,k (f)na W k [,]Navíc m(; λ) N Sk (,, n ),aprotolzenapsat m(; λ)= n j= β j λ g j Koeficient β λ =(β λ,,β nλ ) T jsouřešenímrovnice kde a (G+nλH) β λ = ȳ, (38) G={g j ( i )} n i,j=, H= { ( ) k (k )!δ i,j } n i,j=, kde δ i,j jsoukoeficientprobázovéfunkce g,,g n definovanév(33)

KAPITOLA 3 VYHLAZOVACÍ SPLAJNY 53 DůkazNejprvesivšimneme,žeprolibovolnéfunkce f, f W k [,],obdobně jako v(36), platí Ψ (f, f ;)= n i= f ( i )( i f ( i ))+λ f (k) ()f (k) ()d Ted,nutnápodmínka,abfunkce f minimalizovalafunkcionál Φ n,λ,k (f)definovanýv3,je nλ f ( i )( i f ( i ))= i= f (k) ()f (k) ()d provšechn f W k [,] Kdb f blpřirozenýsplajn,pakbchomhomohlinapsatvetvaru f = n j= β jg j pronějakékoeficient β,,β n Užitímlemmatu36můžemenutnoupodmínku přepsat ve tvaru nλ f ( i )( i i= β j g j ( i ))=( ) k (k )! j= f ( i ) i= β j δ i,j Jelikožtotomusíplatitprovšechnfunkce f,jetatopodmínkaekvivalentnítomu, že β j splňuje ( ) gj ( i )+nλ( ) k (k )!δ i,j βj = i, j= což je(38) Jestliže dokážeme, že eistuje jediný vektor β λ, který je řešením (38), pak budeme moci ukázat, že eistuje přirozený splajn, který splňuje nutnou podmínku(37)prominimalizacifunkcionálu Φ n,λ,k (f)abchomověřili,ževektor β λ jejednoznačnědefinovánrovnicí(38),vužijemepoznatku,žesstém A = b májedinéřešeníprávětehd,kdž =jejedinéřešenísstému A =Jelikož m(; λ) W k [,],prototaképlatínutnápodmínka(37)prominimalizaci funkcionálu Φ n,λ,k (f),vtomtopřípadě Ψ ( m(; λ), m(; λ);)=n i= ( m( i ; λ)) + λ j= ( m(; λ) (k) () ) d= Proto( m( i ; λ)) =, i=,,na m (k) (; λ)=skorovšudetoznamená, že m(; λ)jepolnomstupně k,kterýjerovennulevn kbodechated m(; λ) Nicméně,jelikož g,,g n jebázeprostoru N S k (,, n ),jsou g,, g n lineárněnezávislé,cožimplikuje,že m(; λ)= n j= β j λ g j ()=právě tehd,kdž β λ = =β nλ =Ztohoplne,že(38)májedinéřešení

KAPITOLA 3 VYHLAZOVACÍ SPLAJNY 54 Nnízbývádokázat,že m(; λ)= n j= β j λ g j minimalizuje Φ n,λ,k (f)užitímtoho, že Ψ ( m(; λ), f();)=pro f W k [,]dostaneme n i= ( i f( i )) + λ = n ( i m( i ; λ)) + λ i= ( f (k) () ) d= + n ( m( i ; λ) f( i )) + λ i= n i= ( i m( i ; λ)) + λ ( m (k) (; λ) ) d+ψ ( m(; λ), m(; λ) f();)+ ( m (k) (; λ) f (k) () ) d ( m (k) (; λ) ) d, (39) neboť m(; λ) f() W[,]aΨ k ( m(; λ), m(; λ) f();)=všechn ostatnísčítancemusíbýtnezáporné,protoprožadnoujinoufunkcizw k[,] nemůže být hodnota funkcionálu Φ n,λ,k (f) menší Ted m(; λ) = n j= β j λ g j opravduminimalizuje Φ n,λ,k (f)abchomsepřesvědčili,žetentominimalizátor je jediný, předpokládejme, že funkce m(; λ) a f() dávají stejnou hodnotu funkcionálu Pak z(39) plne, že ( m (k) (; λ) f (k) () ) d= a ( m( i ; λ) f( i )) = i= Prvníztěchtovztahůmázadůsledek,že k-táderivace m(; λ) f()jenulová skorovšude Toznamená,že m(; λ) f()musíbýtpolnomstupně k Druhárovnostzaručuje,že m( i ; λ) f( i )=, i=,,najelikož n kplatí m(; λ) f() Předchozí věta je pro naše účel poměrně důležitá, neboť zaručuje eistenci a jednoznačnost odhadu m(; λ) vhlazovacím splajnem a také nám dává návod na jeho konstrukci Konkrétně, odhad m vhlazovacím splajnem je přirozený splajn řáduk,tj m(; λ)= β jλ g j () s β jλ získanýchz(38) j=

KAPITOLA 3 VYHLAZOVACÍ SPLAJNY 55 Podívejme se blíže na vhlazovací parametr λ ve větě 37 Mohou nastat dva etrémnípřípad,kd λ=aλ= Je-li λ=,pakhledanýpřirozenýsplajn splňuje podmínku i = β j g j ( i ), i=,,n j= Takovémusplajnu,říkámepřirozenýinterpolačnísplajnpro,, n Zdůkazu vět 37 lze odvodit následující důsledek Důsledek38Jestliže n k,přirozenýinterpolačnísplajnpro,, n je funkce f,kterájednoznačněminimalizuje Φ INTk (f)namnožině W k [,]zapodmínk f( i )= i, i=,,n Situace,kd λ= převedeproblémhledáníodhadu m(; λ)naběžnoupolnomiálníregresiřádu k,neboťvtomtopřípaděplatí Φ INTk (f)=aminimalizujeme tedpouze Φ SUM (f),kde Φ SUM a Φ INTk jsoudefinovánv3

KAPITOLA 3 VYHLAZOVACÍ SPLAJNY 56 3 Hledání optimálního parametru vhlazení λ a parametru k Vraťme se opět k větě 37 Rovnice(38) lze přepsat do vhodnějšího tvaru Vnásobíme-lijizlevamaticí G T dostaneme ated G T H= (G T G+nλG T H) β λ = G T ȳ, { ( ) k (k )! } n g r ( i )δ i,j i,j= r= To lze ovšem podle lemmatu 36 zapsat jako g (k) i ()g (k) j () d Důsledek3Pro n kjeminimalizátorfunkcionálu Φ n,λ,k (f)na W k[,] funkce m(; λ)= n j= β j λ g j,kdekoeficint β λ =(β λ,,β nλ ) T jsouřešením rovnice (G T G+nλΩ) β λ = G T ȳ, (3) kde Ω= g (k) i n i,j= ()g (k) j () d Tvar rovnice(3) můžeme dále upravit následovně: n i,j= (G T G+nλΩ) β λ = G T ȳ β λ =(G T G+nλΩ) G T ȳ G β }{{} λ = G(G T G+nλΩ) G T ȳ bm(;λ) Odhad m( ; λ)=( m( ; λ),, m( n ; λ)) T můžemetednapsatvetvaru kde m( ; λ)=s λ ȳ, S λ = G(G T G+nλΩ) G T Matici S λ senazývá,stejnějakoujádrovýchodhadech,vhlazovací(klobouková) matice(vizobr35)kloboukovámatice S λ = {s ijλ } n i,j= jesmetrickáapozitivně definitní

KAPITOLA 3 VYHLAZOVACÍ SPLAJNY 57 vhlazovaci matice splajnu, λ = vhlazovaci matice splajnu, λ = 6 5 5 4 5 hodnot matice 3 hodnot matice 5 5 5 5 5 5 radk matice S λ 5 5 5 5 radk matice S λ sloupce matice S λ sloupce matice S λ (a) λ=, (b) λ=, Obr 35: Vhlazovací matice Pozitivní definitnost matice S λ = G(G T G+nλΩ) G T není na první pohled zřejmá, tudíž si tuto vlastnost nní ověříme O pozitivně definitních maticích platí následující vlastnosti: nechť RjeregulárnímaticeaSjepozitivnědefinitnímatice,pak R T SRje také pozitivně definitní matice, součet pozitivně definitních matic je také pozitivně definitní matice, 3je-li Spozitivnědefinitnímatice,pakinverznímatice S jetaképozitivně definitní matice Stačí ted dokázat, že Ω je pozitivně definitní Definujeme-linaprostoru W k [,]skalárnísoučinfunkcí f a f následovně: pak f, f = g (k) i f ()f ()d, ()g (k) () d jeskalárnísoučinfunkcí g (k) i ()ag (k) j (),kde g i, i=,, njsoubázovéfunkce prostoru W[,]Jelikožfunkce k g i, i=,,njsoulineárněnezávislé,jsoui funkce g (k) i, i=,, nlineárněnezávislédále Ω= g (k) i j ()g (k) j () d n i,j=,

KAPITOLA 3 VYHLAZOVACÍ SPLAJNY 58 tedωjegrammovamaticeprosstémfunkcí g (k) i, i=,,n,kterájevžd pozitivně definitní, a proto Ω je pozitivně definitní matice K volbě optimálního parametru vhlazení, můžeme opět vužít metod křížového ověřování, kterou jsme definovali již v podkapitole Chceme-li odhadnout vhlazovací parametr λ, hledáme argument minimuma funkce křížovéhoověřování CV(λ)namnožiněvšechnezápornýchreálnýchčísel R + kde přičemž CV(λ)= n λ CV =argmin CV(λ), (3) λ R + (Y i m i ( i ; λ)), i= m i ( i ; λ)= j= j i s ijλ s iiλ j, jeodhadfunkce m()vbodě i bezpoužitíbodu i Věta3Nechť m(; λ)jeodhad m()anechťplatí,že m i ( i ; λ)= s ijλ Y j + s iiλ m i ( i ; λ) j= j i Předpokládejme,že s iiλ pro i=,,npakfunkci CV(λ)můžemevjádřit ve tvaru ( ) Yi m( i ; λ) (33) CV(λ)= n Důkaz Viz důkaz vět i= s iiλ Poznámka Vztah(33) můžeme opět zobecnit na tvar GCV(λ)= n i= ( ) Yi m( i ; λ), tr(s λ )/n kde tr(s λ )jestopamatice S λ =(s ijλ ),tjplatí tr(s λ )= n i= s ii λ,azískattak zobecněnou metodu křížového ověřování

KAPITOLA 3 VYHLAZOVACÍ SPLAJNY 59 Nás ovšem nezajímá pouze parametr λ, ale také hodnota parametru k, která ovlivňuje řád splajnu Tuto dvojici parametrů odhadneme jako argument minima funkce GCV(λ, k)namnožině R + {,, n},ted ( λ GCV, k GCV )= argmin λ R +, k {,,n} GCV(λ, k) Zavedeme-li množinu kde pak Λ={ λ GCVk ; k=,,n}, λ GCVk =argmingcv(λ, k), λ R + k=argmin GCV( λ GCVk, k) bλ GCVk bλ Poznámka Volbou k = získáme lineární splajn, volbou k = kubické splajn T se v prai používají převážně Vhlazení splajnem pro různý řád k a stejný vhlazovací parametr λ můžeme porovnatzobr36 3 vhlazeni splajnem k =, λ = 3 vhlazeni splajnem k =, λ = 3 vhlazeni splajnem k = 3, λ = 3 3 4 5 6 7 8 9 (a) k= 3 3 4 5 6 7 8 9 (b) k= 3 3 4 5 6 7 8 9 (c) k=3 Obr 36: Vhlazení splajnem pro různý řád k a stejný vhlazovací parametr λ