ASYMPTOTICKÉ VLASTNOSTI ODHADŮ S MINIMÁLNÍ KOLMOGOROVSKOU VZDÁLENOSTÍ

Transkript

1 ASYMPTOTICKÉ VLASTNOSTI ODHADŮ S MINIMÁLNÍ KOLMOGOROVSKOU VZDÁLENOSTÍ Bc. Jtka Hanousková 1 Abstrakt: Příspěvek se zabývá postačujícím podmínkam pro konzstenc odhadů s mnmální Kolmogorovskou vzdáleností a mnmální zobecněnou Kolmogorov-Smrnovovou vzdáleností. A porovnává výsledky Vapnk-Chervonenksov teore a teore založené na stupn varace, za kterých postačující podmínky vyvozujeme. 1. Úvod Zaved me značení, které budeme v dalším textu používat. Necht λ je σ fntní míra na (R, B), kde B je borelovská σ algebra na R. Bud F(R) množna všech dstrbučních funkcí na (R, B). Označme F λ podmnožnu všech rozdělení absolutně spojtých vzhledem k míře λ na (R, B). Označme D λ množnu v Banachově prostoru L 1 (R, dλ) obsahující hustoty odpovídající dstrbučním funkcím z F λ, D její lbovolnou neprázdnou podmnožnu a F podmnožnu F λ, obsahující dstrbuční funkce odpovídající hustotám z podmnožny D. V dalším textu bude F n označovat dstrbuční funkce odpovídající odhadu hustoty f n. Dále bud te X 1,.., X n stejně a nezávsle rozdělená pozorování, symbolem F n budeme označovat emprckou dstrbuční funkc na založenou na (X 1,.., X n ) a symbolem ν n (A) budeme označovat emprckou dstrbuc založenou na (X 1,.., X n ) F n (x) = 1 n I Xj x, ν n (A) = 1 n I Xj A, A R, (1.1) n n kde I Xj x je ndkátor jevu X j (, x] a I Xj A je ndkátor jevu X j A. Defnce 1. Řekneme, že odhad f n hustoty f D je Kolmogorovským odhadem právě tehdy, když odpovídající dstrbuční funkce F n F vyhovuje podmínce: K( F n, F n ) = nf F F K(F, F n) s. j., (1.2) kde K je Kolmogorovská vzdálenost na F(R) defnována níže. Každá mercká vzdálenost D na F(R) defnuje psedometrku ρ D na D λ tímto způsobem: ρ D (f, g) = D(F, G), kde F, G F λ jsou dstrbuční funkce odpovídající hustotám f, g D λ. Na faktorprostoru, jehož prvky jsou třídy ekvvalence (f g ρ D (f, g) = 0), stane se ρ D metrkou. Takto vznklý metrcký prostor budeme nadále značt D λ. Defnce 2. Říkáme, že odhad f n hustoty f D je konzstentní v dané ρ D vzdálenost, respektve v její střední hodnotě, právě když ρ D ( f n, f) 0 skoro jstě, respektve když Eρ D ( f n, f) 0. Říkáme, že odhad f n je konzstentní řádu r n 0 ve vzdálenost ρ D, respektve v její střední hodnotě, právě tehdy, když ρ D ( f n, f) = O p (r n ), respektve když Eρ D ( f n, f) = O(r n ). 1 KM FJFI ČVUT Praha, Trojanova 13, Praha 2., hanoujt@fjf.cvut.cz

2 Nebudeme se zabývat obecným vzdálenostm D a ρ D, ale pouze Kolmogorovskou vzdáleností na D (ρ K ) a vzdáleností v totální varac na D (ρ V ) defnovaným jako: ρ K (f, g) = K(F, G) = sup F (x) G(x), ρ V (f, g) = V (F, G) = f g dλ, (1.3) x R kde F, G F λ a f, g jsou jm odpovídající hustoty. 2. Konzstence v L 1 -normě Krátce shrňme defnce a dokázané věty z článku [1] které budeme zobecňovat. Defnce 3. Řekneme, že ρ K domnuje ρ V na D (ozn. ρ K ρ V ) právě, když pro každou posloupnost f, f 1, f 2, D konvergence f n f v ρ K pro n mplkuje konvergenc f n f v ρ V. A řekneme, že ρ K stejnoměrně domnuje ρ V lokálně vzhledem k ρ K na D (ozn. ρ K u ρ V /ρ K ) právě, když pro každou hustotu g D exstuje c > 0 a Kolmogorovské okolí hustoty g, B K (g) D takové, že ρ K (f, g) c ρ V (f, g) pro všechny f B K (g). Věta 1. Necht ρ K ρ V na D, potom každý Kolmogorovský odhad hustoty z D je konzstentní v L 1 -normě. Pokud ρ K u ρ V /ρ K na D, potom každý Kolmogorovský odhad hustoty z D je konzstentní s rychlostí řádu n 1/2 v L 1 normě střední hodnotě L 1 normy. Je známo, že každá dvojce hustot f, g D λ defnuje fntní míru ν s hustotou dν = f g. Tato míra je rozdílem dvou fntních měr na (R, B), horní varace ν+ dλ a dolní varace ν dν+ s hustotam dλ = (f g) + = max0, f g a ν s hustotou = (f g) = max0, g f. dν dλ Defnce 4. Řekneme, že A B separuje ν+ a ν, právě když platí bud ν + (A) = ν + (R) a ν (R A) = ν (R), a nebo ν + (R A) = ν + (R) a ν (A) = ν (R). Defnce 5. Bud te f, g D λ. Potom stupeň varace DV (f, g) [0, + ] je defnován takto: DV (f, g) = 0, když A separuje ν + a ν a λ(a) = 0. Jnak m DV (f, g) = nf m N : A = J j, A separuje ν +, ν, (2.1) kde J 1,..., J m jsou neprázdné ntervaly v R. Je-l mnmalzovaná množna prázdná, tj. neexstuje-l žádné m s požadovaným vlastnostm, pokládáme DV (f, g) = +. Defnce 6. Pro danou f D D λ a δ > 0 defnujeme lokální stupeň varace LDV δ (f) hustoty f vzhledem ke Kolmogorovské vzdálenost v D jako: LDV δ (f) = sup DV (f, g) : g B K,δ (f) D, (2.2) kde B K,δ (f) je Kolmogorovská koule v D o poloměru δ se středem v f. Dále stupněm varace DV (D) rodny D D λ nazveme: DV (D) = sup DV (f, g) : f, g D. (2.3) Věta 2. Bud D D λ, necht pro každou hustotu f D exstuje δ > 0 tak, že LDV δ (f) < +. Potom ρ K stejnoměrně domnuje ρ V lokálně vzhledem k ρ K na D (ozn. ρ K u ρ V /ρ K ). R

3 3. Konzstence v L 1 -normě za obecnějších předpokladů Nyní zobecníme teor předchozích částí tak, abychom v konečném důsledku dokázal, že Kolmogorovské odhady, pro které LDV δ (f) nemusí být konečný a které splňují jsté dodatečné předpoklady, jsou konzstentní v L 1 -normě a její střední hodnotě. Za tímto účelem zavedeme nové typy domnancí. Defnce 7. Řekneme, že ρ K asymptotcky domnuje ρ V řádu a n lokálně s ohledem na ρ K na D (označme ρ K ρ V /ρ K (a n 0)) právě tehdy, když ( f D) ( B K (f)) takové, že ( (f n ) 1 B K (f), f n f v ρ K ) ( c>0) tak, že ρ K (f n, f) cρ V (f n, f) a n, kde B K (f) je Kolmogorovské okolí hustoty f a a n je nezáporná posloupnost splňující lm n + a n = 0. Následující příklad ukáže, že nově defnovaná domnance je zobecněním původní. Příklad 1. Necht rodnu D tvoří rovnoměrná hustota g na ntervalu [a, b] a funkce fn d,h defnované na [a, b] takto: h sn(n fn d,h 2 π(x d)) + 1 x [d, d + 2 (x) = ] b a n 1 x [a, d) (d + 2, b], (3.1) b a n kde n N a konstanty d, h splňují podmínky d [a, b 2], 0 h 1. Vdíme, že b a ρ K (fn d,h, g) = 2h n 2 π, ρ V (fn d,h, g) = 4h nπ, (3.2) což odporuje domnanc ρ K ρ V /ρ K. Ale domnance ρ K ρ V /ρ K (a n 0) je splněna např. pro volbu posloupnost a n = 4h 2h a konstanty c = 1 v defnc 7. nπ n 2 π Důkazy dále uvedených vět lze nalézt v [6]. Věta 3. Necht ρ K ρ V /ρ K (a n 0) na D, potom každý Kolmogorovský odhad hustoty z D je konzstentní v L 1 -normě. Pokud navíc a n = o(n 1/2 ), potom Kolmogorovský odhad hustoty z D je konzstentní řádu n 1/2 v L 1 -normě. Věta 4. Necht ρ K ρ V /ρ K (a n 0) na D. Potom každý Kolmogorovský odhad f n hustoty f z D je konzstentní ve střední hodnotě L 1 -normy. Pokud navíc a n = o(n 1/2 ), potom každý Kolmogorovský odhad hustoty f z D je konzstentní řádu n 1/2 ve střední hodnotě L 1 -normy. Nyní budeme formulovat podmínky, za kterých rodna D D λ vyhoví podmínkám domnance předpokládaným ve větách 3 a 4. Defnujme zobecněnou podobu stupně varace a podívejme se na jeho vztah k dříve defnovanému stupn varace. Defnce 8. Bud te f, g D λ a necht a [0, + ]. Potom parcální stupeň varace DV a (f, g) [0, + ] je defnován takto: m DV a (f, g) = nf m N 0 : A = J j + I, A separuje ν +, ν, (3.3) kde J 1,..., J m jsou neprázdné dsjunktní ntervaly v R a I R množna taková, že ν + (I) a a ν (I) a přčemž m J j I =. Je-l mnmalzovaná množna prázdná, tj. neexstuje-l žádné m a množna I s požadovaným vlastnostm, potom pokládáme DV a (f, g) = +.

4 Poznámka 1. Pokud a > b > 0, potom DV a DV b DV 0 = DV. Parcální stupeň varace je vždy menší nebo roven dříve zmíněnému stupn varace DV. Ten nás nformuje o počtu znaménkových změn rozdílu f g. Z parcálního stupně varace nezjstíme počet znaménkových změn, víme jen, že pokud DV a (f, g) < +, potom až na konečný počet výjmek se všechny znaménkové změny odehrávají na množně I. Věta 5. Bud D D λ. Necht pro každou hustotu f D exstuje Kolmogorovské okolí B K (f) a konstanta K [0, ) a nezáporná posloupnost a n, taková, že lm a n = 0 tak, n že ( (f n ) 1 B K (f), f n f v ρ K ) platí, že n N je DV an (f n, f) < K. Potom ρ K asymptotcky stejnoměrně domnuje ρ V řádu a n lokálně s ohledem na ρ K na D. 4. Vapnk-Chervonenksova dmenze Krátce zmňme jný přístup pro ověřování konzstence Kolmogorovských odhadů. Defnce 9. Bud A třída měřtelných množn. Pro (z 1,.., z n ) R d n ozn. N A (z 1,..z n ) počet různých množn ve třídě z 1,..z n A; A A. Dále n-tý shatter koefcent defnujme jako s(a, n) = max N A (z 1,..z n ). Tedy shatter koefcent je maxmální (z 1,..z n) R d n počet různých podmnožn z n bodů, které mohou být vybrány pomocí třídy množn A. Defnce 10. Bud A třída množn A 2 ( A je počet prvků množny A). Největší přrozené číslo k 1, pro které platí s(a, k) = 2 k nazývejme Vapnk-Chervonenksovou (VC) dmenzí třídy A, označme V A. Pokud s(a, n) = 2 n pro každé n, položme V A =. Defnce 11. Bud F Θ = f θ : θ Θ parametrcká třída hustot v R d (Θ R k ) a X 1,..X n stejně nezávsle rozdělená pozorování na f θ F Θ. Defnujme třídu množn A = x R d : f θ1 > f θ2 θ 1, θ 2 Θ (4.1) a následně parametru θ s mnmální D A vzdáleností vztahem θ n = arg mn A(P θ, ν n ), θ Θ (pokud nějaká taková X měřtelná statstka splňující θ n = θ n (X) exstuje a je funkcí X) kde P θ je dstrbuce odpovídající hustotě f θ a D A je zobecněná Kolmogorov-Smrnovova vzdálenost D A (P, Q) = sup P (A) Q(A). (4.2) A A Věta 6. Pokud A má konečnou VC dmenz pak odhad f bθn je konzstentní řádu (n 1/2 ) ve střední hodnotě L 1 -normy. Kde všechny symboly jsou zavedeny v předchozí defnc. 5. Vapnk-Chervonenksova dmenze a stupeň varace Na příkladech porovnejme oba zmíněné přístupy a podívejme se na vzájemný vztah jm odpovídajících charakterstk: stupně varace, parcálního stupně varace a VC dmenze. Nejprve poznamenejme, že VC dmenze je ctlvá na změny hustot na množnách nulové míry, zatímco stupně varace ne. Proto v této část uvažujme rodny hustot D obsahující hustoty různící se na množnách nenulové míry. Na jednoduchém příkladě snadno ověříme, že v obecném případě z konečnost VC dmenze neplyne konečnost stupně varace.

5 Příklad 2. Necht rodna hustot D obsahuje rovnoměrnou hustotu g ntervalu (0, 1) a hustoty f n defnované takto n x ( 1 1, ), = 1, 2,.. n n f n = x (, ), = 1, 2,.. (5.1) n x ( 1, 1) 2 Potom DV (D) =, protože například DV (g, f 1 ) =, zatímco V A <, protože třída množn A obsahuje pouze dvě různé množny. Tento příklad demonstruje stuac, kdy je možné použít Vapnk-Chervonenksovu teor, ale teor založenou na stupn varace ne. Podívejme se ještě, je-l možné použít teor parcálního stupně varace vybudovanou v část 3. Snadno zjstíme, že exstuje posloupnost a n, lm a n = 0 taková, že DV an (f n, g) < K <, n N a tedy je možné n tuto teor použít. V následujících dvou příkladech zkonstruujeme rodnu hustot, na které bude možné použít obě teore (tj. DV (D) < V A < ), a rodnu hustot, na které obě teore selžou (tj. DV (D) = V A = ). Příklad 3. Uvažujme rodnu D všech hustot Gaussova normálního rozdělení. Potom zřejmě DV (D) = 1 a V A = 3. Příklad 4. Zvolme k N lbovolně a vyberme k různých bodů z 1,.., z k v ntervalu (2k, 2k + 1) a označme z (1),..z (k) jejch vzestupné přerovnání. Pro j = 1,..k defnujme ntervaly U j = (u j 1, u j ) (2k, 2k + 1), kde u j = z (j+1) + z (j) pro j = 1,.., k 1 (5.2) 2 u 0 = 2k, u k = 2k + 1. Exstuje 2 k různých podmnožn množny 1,.., k, označme je M k, = 1,.., 2 k a defnujme hustoty ) 1 λ( j M U f M k = k j na j M U k j (5.3) 0 jnde na R, kde λ(a) je Lebesqueova míra množny A. Defnujme rodnu hustot D = f M k : = 1,..2 k, k N. Z konstrukce je zřejmé, že pro každé k N exstuje množna z 1,.., z k, která je roztříděna třídou množn A = x R : f M k > f M k j,, j 1,..2 k, k N, a tedy V A =. Ovšem v tomto případě také DV (D) =. Následující příklad ukáže, že z konečnost stupně varace neplyne konečnost VC dmenze. Příklad 5. 2 Zvolme k N lbovolně a vyberme k různých bodů z 1,.., z k v ntervalu (2k 1, 2k) a označme z (1),..z (k) jejch vzestupné přerovnání a Z k = z 1,..z k. Pro j = 1,..k defnujme ntervaly 2 Příklad je převzat z [1].

6 U = (u 1, u ), kde u = z (j+1) + z (j) 2 pro = 1,..k 1 u 0 = 2k 1, u k = 2k. (5.4) Exstuje 2 k různých podmnožn S j Z k j = 1,..2 k. Pro j = 1,..2 k a = 1,.., k defnujme hustoty 1 1 pro x U gj k 2 j, když U S j = (x) = 1 1 pro x U 2 j+1, když U S j 1, (5.5) k =1 α jd pro x (2k 2,..2k 1) kde d = u u 1 je délka ntervalu U a 1 αj 1 když U = 2 j S j = 1 1 když U 2 j+1 S j. (5.6) Defnujme rodnu hustot D = g k j : j = 1,.., 2 k, k N f k, k N, (5.7) kde f k je rovnoměrná hustota na ntervalu (2k 1, 2k). Vdíme, že DV (D) = 1, zatímco VC dmenze třídy množn A = x R : f(x) > g(x), f, g D je V A =, protože z konstrukce je jasné, že pro každé k N exstuje množna Z k = z 1,.., z k, která je roztříděna třídou množn A. Je tedy vdět, že podmínka DV (D) < pro Kolmogorovské odhady je přímo neporovnatelná s podmínkou V A < pro zobecněné Kolmogorovské odhady bez omezujících požadavků na rodny D. Ncméně zobecněný Kolmogorovský odhad je výpočetně značně náročnější než Kolmogorovský odhad, nebot mnmalzac provádí přes mnohem větší třídu množn. Také ověření podmínky DV (D) < je snažší, než ověřování podmínky V A <. 6. Závěr V část 3. jsme zavedl obecnější typy domnancí a za předpokladu jejch splnění jsme pro Kolmogorovské odhady dokázal konzstenc řádu n 1/2, dále jsme dokázal postačující podmínku pro splnění těchto domnancí. Povedlo se nám tedy rozšířt teor článku [1]. Na příkladech jsme porovnal všechny zmíněné přístupy. 7. Lteratura [1] KŮS, V.: Nonparametrc densty estmates consstent of the order of n 1/2 n the L 1 -norm. In. Metrka, 2004, s [2] DEVROYE, L. - GYÖRFI, L. - LUGOSI, G.: A Probablstc Theory of Pattern Recognton, New York: SPRINGER, 1996 [3] YATRACOS, Y. G.: Rates of Convergence of Mnmum Dstance Estmators and Kolmogorov s Entropy. In: Annals of Statstcs,č. 2, 1985, s [4] DEVROYE, L. - GYÖRFI, L.: Nonparametrc densty Estmate, the L 1 vew, New York: WILEY, 1985 [5] [6] GYÖRFI, L. - VAJDA I. - VAN DER MEULEN, E.: Mnmum Kolmogorov Dstance Estmates of Parameters and Parametrzed Dstrbutons. In. Metrka, 1996, s HANOUSKOVÁ, J.: Asymptotcké vlastnost Kolmogorovských odhadů hustot pravděpodobnost, Katedra matematky FJFI ČVUT Praha, 2008.