Robustní statistické metody

Transkript

1 Populární úvod Ústav teoretické fyziky a astrofyziky, MU Brno 28. říjen 2006, Vlašim

2 O co jde? Robustní znamená: necitlivý k malým odchylkám od ideálních předpokladů na který je metoda odhadu optimalizována. Praktický rozdíl pro PCVista vs. DAOPHOT. Tento způsob nazírání zavedl do statistiky G.E.P. Box v roce Životně důležitá metoda pro hromadné zpracování dat bez jakéhokoli zásahu obsluhy. Slovem robustní se označují často též metody numericky stabilní (řešení normálních rovnic singulárním nebo QR rozkladem místo LL eliminace).

3 Klasické metody Někdy fungují dobře, jindy ne. Aritmerický průměr x, střední odchylka, σ. Předpoklad: data mají normální rozdělení. Problém odlehlých hodnot se řeší filtrováním, např. σ-clipping. σ = 3.3 i x (i) σ (i) σ = 2.0 i x (i) σ (i)

4 Klasické metody BL Lac Část měřených magnitud t JD m i σ i t JD m i σ i

5 Metoda největší věrohodnosti Maximum likehood method N L = f (x; t) i=1 (max.) Metoda nejmenších čtverců f (x i ; x) = 1 2π e (x i x) 2 /2 N (x i x) 2 = 0 i=1 N x = 1 N i=1 x i

6 Metoda největší věrohodnosti rozdělovací funkce Substituce funkcí ln L( x) = ln f (x i x) = ϱ(x i x) ψ(xi x) = 0 Normální rozdělení aritmerický průměr f (x) = exp( x 2 /2), ϱ = x 2 Exponenciální rozdělení medián f (x) = exp( x ), ϱ = x, ψ = 2, ψ = x { 1, x 0 1, x < 0

7 Robustní metody Princip: minimalizujeme L pro speciální funkce. { x ϱ(x) = 2 /2, x a a = a x a 2 /2, x > a

8 Robustní aritmetický průměr Postup řešení 0 i N i=1 ψ( x i x ) = 0 s x (0) = med(x i ), s = med(x i x (0) )/ x (i+1) = x (i) + s ψ( x i x (i) s ) ψ ( x i x (i) s ) σ 2 = s 2 n ψ 2 n 1 ( ψ ) 2

9 Robustní metody přehled Huberova klasifikace M-odhady představují odhady založené na metodě největší věrohodnosti (Maximum likelihood). L-odhady jsou Lineární kombinace několika statistik, například průměr, median, kvantily a pod. R-odhady jsou na základě fitování parametrů distribucí buď v histogramu nebo distribuční funkci, (Rank test).

10 Použití robustních metod flat field originál

11 Použití robustních metod flat field průměr

12 Použití robustních metod BL Lac Průměrná magnituda Aritmetický průměr: ± Vážený aritmetický průměr: ± σ clip bez vah: ± Robustní průměr bez vah : i x (i) σ (i)

13 Použití robustních metod jas oblohy Úroveň oblohy aritmetický průměr: ± 33.6 robustní průměr: ± 1.6 Histogram intenzit náhodně vybrané části snímku.

14 ve více rozměrech Změny Medián je transformován na součet absolutních hodnot odchylek (minimalizace negradientní metodou). Vícerozměrná metoda řešení rovnic MINPACK (QR + Marquart Levendberg).

15 Použití robustních metod ve více rozměrech profil (1) G(x, y x 0, y 0, d x, d y, B, G 0 ) = G 0 e [( (x x 0) 2 /2d 2 x (y y 0 ) 2 /2d 2 y )] + B

16 Použití robustních metod ve více rozměrech profil (2) LM+LL* MINPACK+QR* x ± 6.9 y ± 7.3 d x ± 6.6 d y ± 7.3 G ± 1170 B ± 390 S * Levendberg Marquartova metoda + LL rozklad při výpočtu matic. x ± 2.7 y ± 0.16 d x ± d y ± G ± B ± S *Upravená Levendberg Marquartova metoda + QR rozklad při výpočtu matic.

17 Literatura S. Brandt: Statistical and Computational Methods in data analysis, Elsevier 1970 P. J. Huber: Robust Statistics, Wiley, New York 1981 R. L. Lauer, G. N. Wilkinson (eds.): Robustness in statistics, Academic Press 1979 W. H. Press, B. P. Flannery, S. A. Teukolsky, W. T. Vetterling: Numerical Recipes, Cambridge University Press 1986