Zpracování dat z experimentů fyziky vysokých energií

Transkript

1 Zpracování dat z experimentů fyziky vysokých energií Kód přednášky: JSF109p1a RNDr. Peter Kodyš, CSc. 1, Ústav částicové a jaderné fyziky, MFF UK Připraveno pro školní rok , datum poslední aktualizace: 26. října 2008 Za obsahové i formální připomínky i korekce budu vždy vděčný. 1 peter.kodys@mff.cuni.cz, Trója, KO, 9. patro č.dv. 906, tel: (22191)2453,2761

2 Rozsah v ZS: 2/0 Zk, školní rok: 2005/2006, počet míst: neomezen, určeno: 3,4,5 ročník Základní cíl: na konci přednášky by student měl být schopen posoudit kvalitu nabraných dat a měl by rozumět typickým postupům spojeným s vyhodnocováním dat a měl by být schopný mnohé kroky zrealizovat vlastními silami. Vymezení přednášky: statistické metody nutné pro vyhodnocování dat z moderních detektorů, jejich použití např. pro měření vlastností detektoru, rekonstrukce dráhy částic a jejich průsečíků vertexů, metody fitování a určování chyby měření, programový analytický balík ROOT. Data Evaluation in High Energy Physics Experiments Course Objective: after taking this course, students should be able to evaluate quality of acquired data and understand the typical data evaluation methodology as well as to carry out many steps single-handed. Course Layout: statistics in evaluation of data acquired in modern detectors, its implementation methods, e.g. detector properties assessment, particle tracks and their intersections (vertices) reconstruction, fitting, measurement error evaluation and evaluation tools program framework ROOT. Osnova: 1. Programovací techniky a programy pro vyhodnocování dat (ROOT a jeho použití). 2. Druhy a způsoby nabírání dat, jejich organizace, analogové a digitální zdroje dat. 3. Vlastnosti nabíraných dat a jejich zdrojů, rovnice odezvy, signál / šum, S-křivky, časová odezva signálu, synchronizace, triggering, určováni chyb měření. 4. Signál z detektorů: přechod od signálu detektoru k bodu v prostoru, rekonstrukce dráhy částice, rekonstrukce vertexu rozpadu částice, polohování detektorů (alignment), použití metody nejmenších čtverců. 5. Analogové zpracování signálu, základy vyhodnocování spekter, neurální sítě. 6. Práce na software velkých experimentů a jeho organizace, světová výpočetní distribuovaná sít grid, Athena. Doporučené doplňující přednášky: JSF081 Výpočetní technika ve fyzice vysokých energií (T. Davídek) JSF101 Polovodičové detektory v jaderné a subjaderné fyzice (Z. Doležal) JSF075 Detektory pro fyziku vysokych energii (J. Hladký) Rozsah: 12 přednášek. Příklady jsou prováděny s daty z vnitřního detektoru experimentu ATLAS v letech s použitím testovacích svazků, praktika UČJF v Tróji (spektrum) a z testů v Paříži (analogový detektor). 1

3 2 Seznam přednášek: 1. Úvod do přednášky a její náplň, shrnutí statistických metod. 2. C++ a ROOT - rychlokurz. 3. Druhy nabírání dat a elektronika. 4. Vlastnosti nabíraných dat a jejich zdrojů. 5. Chyba měření, neurální sítě. 6. Příklad výpočtu účinnosti detektorů. 7. Od signálu detektoru k bodu v prostoru, dráhy částice, místo rozpadu částice. 8. Zpracování signálu analogového detektoru, vyhodnocování spekter. 9. Polohování detektorů (alignment). 10. Fitování funkcí, automatizace analýzy. 11. Fitování dráhy částice, chyba fitu, nalezení vertexu častice. 12. Práce na velkých experimentech, jeho organizace, světová výpočetní distribuovaná sít grid, Athena. Na závěr: seznam řešených příkladů, poděkování a doporučená a rozšiřující literatura. Příklady k přednáškám: 1. Úvod do práce s C++ a ROOT - základy, fitování, ntuple. 2. Příklad jak se dají různě volat funkce na fitování v ROOT. 3. Zkouška práce s cernlib knihovnami. 4. Příklad zpracování SCT ATLAS detektorů z testbeamu ze zdrojových ROOT souborů. 5. Příklad vyhodnocení účinnosti SCT ATLAS detektorů z testbeamu. 6. Příklad jemného alignmentu teleskopů z reálných dat ATLAS SCT testbeam. 7. Příklad jemného alignmentu detektorů z reálných dat ATLAS SCT testbeam. 8. Příklad volání minimalizačního balíku Minuit v sobě samém, Minuit volá funkci, která sama volá nezávisle Minuit i pro sebe. 9. Příklad vyhodnocení analogového signálu z detektorů. 10. Zobrazení různých funkcí z nabídky ROOT. 11. Příklad použití neurálních sítí. 12. Příklad práce se spektrem a jeho zpracováním. 13. Příklad různých způsobů proložení bodů přímkou metodami nejmenších čtverců. 14. Ukázka dvou způsobů ohraničení regresní závislosti: pásem predikce a pásem spolehlivosti.

4 Obsah 1 Shrnutí statistických metod Značení Důležitý koeficient: korelační Popis dat Průměr Rozptyl Víc proměnných Typy rozdělení Obecné Binomické Poissonovo Gaussovo Jiné Chyby Práce s chybami Kombinace více chyb Systematické chyby Odhady Maximální pravděpodobnost Nejmenší čtverce χ 2 distribuce Pravděpodobnost a důvěryhodnost Studentovo rozdělení Rozhodování Seřazovací metody

5 OBSAH Mann-Whitneyův test Měření shody ROOT - rychlokurz Úvod do jazyka C/C++ jazyka Základní operace Příklad kódu s hlavičkovým souborem Příslušný hlavičkový soubor Úvod do práce v prostředí ROOT Instalace ROOT Spouštění maker a práce s externími knihovnami Příklad makra a některých operací s daty v ROOT Fitování funkcí a práce s ntuple Jak vyrobit class třídu DLL v prostředí ROOT na čtení dat z detektorů a pro připojení CERNLIB knihoven Výroba DLL knihovny s třídou na čtení TTree formátu dat v ROOT Výroba DLL knihovny s třídou na používání CERNLIB knihoven Druhy nabírání dat a elektronika Jaká data se sbírají a jak? (trochu elektroniky) Organizace nabíraných dat - ukládaný formát Zdroje dat Využití počítačů při měření fyzikálních veličin v jaderné a subjaderné fyzice Úvod Připojení přes sériový, paralelní nebo USB port Speciální karty Univerzální karty Standardní systémy Popis jednotlivých systémů Vlastnosti nabíraných dat a jejich zdrojů Účinnost odezvy v závislosti od předpětí na detektoru Účinnost sběru náboje detektoru Šum Poměr signál k šumu Cluster size

6 OBSAH Odezva detektoru mezi detekčními diodami a na okrajích Odezva na magnetické pole, vliv Lorenzova úhlu Měření šikmého dopadu částic Odezva a změny vlastnosti po ozáření detektorů, jeho degradace (R&D, irradiation) Odezva na různé druhy částic, různé energie částic Rekonstrukce těchto charakteristik z měření na jednotlivých prazích Kalibrace, rovnice odezvy Časová odezva detektoru Chyba měření, neurální sítě Určení chyby při vynesení změřeného bodu Standardní určení chyby (gaussovské, symetrické) Pravděpodobnostní určení chyby (F-rozdělení, nesymetrické) Příklady Neurální sítě při vyhodnocování experimentů Úvod Terminologie při použití neurálních sítí MLP - vícevrstvé sítě - třídění, vlastnosti a učení Před použitím sítě Po použití sítě Proč vlastně požívat neurální sítě Použití NN v ROOTu Příklad výpočtu účinnosti detektorů Od raw data do ROOT trees Jak číst ROOT trees, příprava class dll pro čtení První krok: hitmapa teleskopů a testovaných detektoru (DUT) Teleskopy: od adjustace k dráze částice a mapě testovacího svazku DUT: vyčistění odezvy, maskování kanálů Polohovaní detektorů - alignment Reziduály - odchylky dráhy částice od odezvy detektoru Účinnost a šumová obsazenost kanálů a chyba jejich určení S-křivka a medián Příklad analýzy binárního detektoru

7 OBSAH 6 7 Od signálu detektoru k bodu v prostoru, dráhy částice, místo rozpadu částice Geometrie detektoru a přesnosti z výroby Rekonstrukce bodu v prostoru Hledání drah v detektoru Základ hledání drah Principy hledání drah Vlastnosti hledání drah Metody hledání drah Rekonstrukce dráhy v prostoru, fitování, algoritmy Hledání průsečíků (vertexů) v detektoru Zpracování signálu analogového detektoru, vyhodnocování spekter Analogové zdroje signálu Software pro analýzu šumu Definice základních veličin Testy detektorů SiLCu pomocí beta zářiče Výpočet poměru signál-šum (S/N) stripovývh detektorů Další funkce programu Výsledky Závěr Spektra Eliminace pozadí Dekonvoluce multipletů Vyhlazení šumu Najít píky v spektru a jejich identifikace Fitování Analýza dat ortogonálními transformacemi, filtrování Vícerozměrná spektra Příklad vyhodnocení analogového detektoru Příklad vyhodnocení spektra Polohování detektorů (alignment) Podmínky - selekce vhodných eventů Minimalizace kvadrátů odchylek a alignment teleskopů

8 OBSAH Alignment detektorů (DUT) Užitečné rady a doporučení Příklad v MS Excell Příklad v ROOT Fitování funkcí, automatizace analýzi Ruční určení chyby při regresi - univerzální návod Fitování funkcí v prostředí Excel - ručně Fitování funkcí v prostředí ROOT Automatizace procesu fitování funkcí Fitování dráhy částice Fitování dráhy částice přímkou I Fitování dráhy částice přímkou II Určování chyby polohy dráhy v libovolném bodě Fitování zakřivených drah Hledání průsečíků dvou drah, vertexů Práce na velkých experimentech Software na velkých exerimentech Programový rámec Athena Úvod Struktura souborů ATLAS SW Struktura adresáře balíčků Spouštění úlohy v Athene Generátory Simulace + Digitizace Rekonstrukce Datové soubory Analýza Správa a vývoj SW v Athene CASTOR Výpočetní světová sít : Grid Závěrečné komentáře Seznam řešených příkladů 148

9 Kapitola 1 Shrnutí statistických metod Podle toho co srovnáváme a vyhodnocujeme můžeme rozdělit testy na χ 2 - test, F-test, T-test nebo vyhodnocování gaussovského rozdělení. Důležité je také si uvědomit, že χ 2, F a T testy při dostatečně velkém souboru vyhodnocovaných dat přecházejí do podmínek pro Gausovo rozdělení. Skutečnou užitečnost testy ukazují při menších souborech dat a při jejich nejednoznačné příslušnosti k vyhodnocované podmínce. V dalších kapitolách shrneme základní vztahy, které nám pomáhají ve využívání statistických metod při vyhodnocování dat. 1.1 Značení N, n, m - počet vyhodnocovaných dat, událostí, events X i, Y i - vyhodnocovaná data X, Ȳ - výběrový průměr: X = 1 N N X i (1.1) 1 s x, s y - směrodatná odchylka výběrového průměru s 2 x, s 2 y - rozptyl z měřených hodnot s 2 = 1 N 1 N (X i X) 2 = 1 N 1 N 1 ( Xi 2 2N X 1 N X i + N 2 X2 ) (1.2) 1 8

10 KAPITOLA 1. SHRNUTÍ STATISTICKÝCH METOD 9 µ - střední hodnota σ - směrodatná odchylka σ 2 - rozptyl α - pravděpodobnost nastání jevu α (0, 1), α jev již nenastane, α jev se uděje LI - levostranný interval PI - pravostranný interval OI - oboustranný interval N(µ, σ 2 ) - normální rozdělení pravděpodobnosti µ(α) - kritická hodnota pro N(0, 1) χ 2 k(α) - kritická hodnota rozdělení (číslo, které náhodná veličina s rozdělením χ 2 k překročí s pravděpodobností α) T k (α) - Studentovo rozdělení pro k-stupňů volnosti na hladině pravděpodobnosti α r k (α) - kritická hodnota pro korelační koeficient r w k (α) - kritická hodnota pro jedno výběrový Wilcoxonův test F m,n (α) - kritická hodnota shodnosti rozptylu (Fisher-Snedecorov test) w m,n (α) - kritická hodnota dvou výběrového Wilcoxonovho testu 1.2 Důležitý koeficient: korelační Korelační koeficient ukazuje stupeň provázanosti dvou veličin navzájem, stupeň jejich vzájemné korelace, souvislosti mezi sebou. Platí: ρ = σ XY σ 2 Xσ 2 Y (1.3) r = r = S XY SXS 2 Y 2 Xi Y i N XȲ ( Xi 2 N X 2 )( Yi 2 NȲ 2 ) (1.4) (1.5) kde ρ je stupeň korelace mezi X a Y, r je výběrový korelační koeficient z rozsahu r 1, 1

11 KAPITOLA 1. SHRNUTÍ STATISTICKÝCH METOD Popis dat Data můžeme rozdělit na diskrétní (nabývající jen některé hodnoty) nebo spojité. Při jejich popisu můžeme použít nejrůznější kritéria, nejobvyklejší je určení průměru hodnot, rozptylu hodnot a vztah mezi více proměnnými, pokud jsou Průměr Průměr (avarage) je obvykle určen jedním z následujících spůsobů: 1. aritmetický (arithmetic mean) se používá při použití statistických testů když máme symetrické rozdělení, data jsou spojitá. Aritmetický průměr z pruměrů: x = xi N (1.6) x = Ni x i Ni (1.7) Aritmetický průměr když měření mají četnost f i : x = fi x i fi (1.8) 2. geometrický (geometric mean) 3. harmonický (harmonic mean) x = N x i x 2 x 3...x n (1.9) x = N 1/xi (1.10) 4. medián (median) Když seřadíme měření x i podle velikosti (podle velikosti hodnoty x i ), platí: Me = 0.5(x N/2 + x N/2+1 ) pro sudé N (1.11) Me = x N/2 pro liché N (1.12) Použití má hlavně když jsou data hodně zešikmené (nesymetrické rozdělení) nebo jsou v ních odlehlé hodnoty a chceme znát střed rozdělení dat.

12 KAPITOLA 1. SHRNUTÍ STATISTICKÝCH METOD modus (mode) Mo nebo x je hodnota x i která se vyskytuje nejčastěji, u spojitého histogramu hodnota, kde je maximum, pokud je maxim víc, děla se jejich vážený průměr. Používá se hlavně pro diskrétní data, když existuje víc vrcholů, když nám stačí orientační přehled nebo hledáme nejčastější hodnotu. 6. středních čtverců (root mean square) x = x 2 i N (1.13) Dále je důležité si uvědomit, jesli máme pravdivý průměr µ nebo změřený průměr x Rozptyl To, že měřené hodnoty dat nedávají stejné číslo způsobuje jejich rozptyl (spread). Když vyneseme hodnoty měření na x-ovou osu grafu rozděleného na chlívky, vždy spadnou do některého z chlívků, dostaneme obyčejně některé chlívky víc naplněné a jiné míň. Takový typ grafů nazýváme histogram a pozorujeme na něm obvykle maximum, kde hodnoty měření dopadali nejčastěji doprostřed kopečka. Když postupujeme histogramem zleva a počítáme, kolik z celkového počtu měření jsme už zaznamenali, budeme přecházet přes některé zajímavé hodnoty zvane percentily: 1. percentil s hladinou 2.5% resp. 97.5% : krajní hodnoty důležité pro určování hranic ve fyzice 2. percentil s hladinou 5% resp. 95% : podobně, krajní hodnoty důležité pro určování hranic ve fyzice 3. percentil s hladinou 25% : první, dolní kvantil Q I, q = 25% 4. percentil s hladinou 50% : druhý, střední kvantil, medián Q II, q = 50% 5. percentil s hladinou 75% : třetí, horní kvantil Q III, q = 75% Dále je zadefinovaný centrální moment (central moment) m, k-tého stupně z n počtu dat: (xi x) k m k = (1.14) N

13 KAPITOLA 1. SHRNUTÍ STATISTICKÝCH METOD 12 Dále je důležité, podobně, jako u střední hodnoty, si uvědomit, jesli máme pravdivou skutečnou střední odchylku σ nebo střední odchylku z měření s. Rozptyl obvykle určujeme nebo popisujeme jako: 1. standardní směrodatná odchylka (standard deviation) je definovaná jako odmocnina z rozptylu: σ = (xi x) 2 N (1.15) (xi x) s = 2 (1.16) N 1 Když hrozí pomíchání nebo nejasnost, je dobré použít explicitně, který vztah použijeme, formou třeba: σ N, σ N 1 Standardní směrodatná odchylka je silně ovlivňována odlehlými hodnotami a nesymetrií rozdělení. 2. rozptyl (variation) σ 2 = (xi x) 2 N = x 2 i N x 2 N (1.17) 3. jiný alternativní popis: FWHM, FW(1/5)M, špičatost, symetričnost,... (a) FWHM - full width at half of maxima, celá šířka píku v polovině výšky maxima (b) FW(1/5)M - celá šířka píku v jedné pětině výšky maxima (c) špičatost (sharpnes): leptokurtická = špičatější než normální, platykurtická = méně špičaté než normální, dá se kvantifikovat: S 1 = m 4 2 kde: m m 2 k je centrální moment (1.18) 2 (d) symetričnost: zešikmení (skew) zprava nebo zleva, míra zešikmení se vyjadřuje více spůsoby: S 2 pomocí 2. a 3. centrálního momentu: KS pomocí kvartilů: KS = Q III + Q I 2 x Q S 2 = m 3 m 3/2 2 (1.19) kde Q je kvantilové rozpětí (1.20)

14 KAPITOLA 1. SHRNUTÍ STATISTICKÝCH METOD 13 SK podle K. Pearsona: SK = 3( x Me) s (1.21) využívá při zešikmení nerovnost mediánu M e a aritmetického průměru x Víc proměnných Pokud vyhodnocujeme víc proměnných, zajímá nás víc vlastností: hlavně do jaké míry a jakým způsobem spolu souvisí nebo jsou nezavislé. K tomu máme vytvořené některé nástroje, jako: 1. kovariance - souvislost mezi daty (covariance): cov(x, y) = 1 = 0 nezávislé (x i x)(y i ȳ) = xy xȳ = > 0 přímá úměra N i < 0 nepřímá úměra (1.22) 2. korelace (correlation): ρ = cov(x, y) = σ x σ y = (1.23) 3. pro víc proměnných je nutné prověřit vzájemný vztah různých kombinací proměnných a vytvořit tak kovarianční matici (taky nazývanou odchylkovou nebo chybovou maticí) a kovarianční matici. 1.4 Typy rozdělení Obecné Ve statistice platí zákon velkých čísel: při zvyšování počtu měření se výsledek blíží výsledku získanému z nekonečného počtu měření, nebo očekávaná hodnota r označená jako r nebo i µ konverguje ke středu (mean) je určená: r = µ = r rp (r) (1.24)

15 KAPITOLA 1. SHRNUTÍ STATISTICKÝCH METOD 14 kde P (r) je rozložení pravděpodobnostní funkce (hustoty pravděpodobnosti) (probability density distribution). Pro kontinuální rozložení dat pak platí, ža pravděpodobnost s jakou dostaneme nějakou hodnotu měření v hranicích < x 1, x 2 > je určená vztahem: nebo inverzně: P ravdepodobnost = x2 P (x) = lim δx 0 P ravdepodobnost δx x 1 P (x)dx (1.25) (1.26) Binomické Binomial probability distribution: pravděpodobnost P počtu r úspěchů z n pokusů, z nichž každý bude úspěšný s pravděpodobností p, bude: P (r; p, n) = p r (1 p) n p n! r!(n r)! = pr (1 p) n p nc r (1.27) kde máme r úspěchů z n pokusů, p je pravděpodobnost lokálního úspěchu, nc r je binomický koeficient. Střední hodnota úspěchu bude: Standardní odchylka: σ = r = np (1.28) np(1 p) (1.29) Binomické rozdělení poskytuje informaci o úspěchu i neúspěchu Poissonovo Poissonovo rozdělení poskytuje informaci jen o úspěchu. To znamená, že např. víme kolikrát částice prolétla detektorem, ale samozřejmě se nemůžeme vyjádřit k tomu, kolikrát neprolétla. Pravděpodobnost P pozorování r událostí, když očekáváme střední hodnotu λ, je: Střední hodnota úspěchu bude: P (r; λ) = e λ λ r r! (1.30) r = λ (1.31)

16 KAPITOLA 1. SHRNUTÍ STATISTICKÝCH METOD 15 Standardní odchylka: σ = λ (1.32) Pro λ > 10 se rozdělení už podobá Gaussovu rozdělení. Pro součet dvou Poissonových distribucí platí: λ vysledne = λ 1 + λ Gaussovo P (x; µ, σ) = 1 σ 2π e (x µ)2 /(2σ2 ) (1.33) Pokud z = (x µ)/σ, pak se rovnice upraví na jednotkové normalizované rozdělení: P (z) = 1 2π e x2 /2) Některé důležité vlastnosti Gaussova rozdělení jsou v tabulce 1.1. (1.34) Obsah plochy uvnitř ohraničení σ Ohraničení σ obsahu plochy hranice v σ plocha v % plocha v % hranice v σ Tabulka 1.1: Vybrané vlastnosti Gaussova rozdělení Jiné 1. Pravoúhlé jednotkové: P (x) = { 1 b a pro a x b 0 jinde (1.35) Střední hodnota bude: Standardní odchylka: r = a + b 2 (1.36) σ = b a 12 (1.37) 2. Weibull rozdělení umožňující popsat ostrost funkce (parametr β): P (x; α, β) = αβ(αx) β 1 e (αx)β (1.38)

17 KAPITOLA 1. SHRNUTÍ STATISTICKÝCH METOD Breit-Wigner nebo Cauchy rozdělení dává pravděpodobost přechodu částice o hmotnosti m do resonance hmotnosti M s šířkou Γ. Funkce nemá rozptyl, protože její celkový integrál diverguje. nebo v Cauchyho redukci: 1.5 Chyby Práce s chybami F (m; M, Γ) = 1 Γ (1.39) 2π (m M) 2 + (Γ/2) 2 F (z) = 1 π z 2 (1.40) Platí centrální limitní teorém: Pro výběr N nezávislých hodnot x i z dat rozložených podle rozdělení se středem µ i a rozptylem σi 2 platí pro součet: očekávaná hodnota: bude mít rozptyl: N X = x i (1.41) i=0 X = µ i = Nµ (1.42) σ 2 = σ 2 i (1.43) pro N Pro N měření se chyba vylepší 1/ N, dostaneme standardní chybu průměru: Pro vážené měření s různými σ i platí: σ nove = σ jednomereni (1.44) N x = xi /σ 2 i 1/σ 2 i (1.45) σ 2 = 1 1/σ 2 i (1.46)

18 KAPITOLA 1. SHRNUTÍ STATISTICKÝCH METOD Kombinace více chyb Pro určení rozptylu funkce s více proměnnými zatížených chybou platí: f(x, y) : σ 2 f(x,y) = ( ) 2 δf σx 2 + δx ( ) 2 δf σy δy ( δf δx ) ( ) δf ρσ x σ y (1.47) δy Systematické chyby Systematické chyby se objevují, když náš metr nemá stejnou vzdálenost mezi vrypy, nebo když měření nejsou nezávislá. Je důležité je najít, rozpoznat, vyhodnotit a odstranit. Pokud se podaří je vyhodnotit, zapisujeme je jako: A = ± 3.2 ± 5.3, kde ±3.2 je statistická chyba a ±5.3 je složka od systematické chyby. 1.6 Odhady Odhady (estimations) jsme nuceni dělat vždy, když nemůžeme měřit přesně, nebo když nám přesnost měření je málo a chceme se dozvědět víc. Odhad je procedura, dělaná nad souborem měřených dat v numerické formě, za účelem zjištění skutečného (nebo alespoň jeho odhadu) rozdělení dat, z kterého jsou vzorky vybrané. Odhadová funkce L (Gauss, Landau,...) má obecně tvar: L(x 1, x 2,..., x N ; a) = P (x i ; a) P (x, a)dx = 1 (1.48) kde a je vlastnost rozdělení na které závisí rozptyl hodnot x i a kterou měřím. Základní očekávané vlastnosti odhadu jsou (pokud nebudou splněny, odhad bude špatný ): 1. konzistentnost (consistency): zvyšováním počtu měření se blížíme skutečné hodnotě, nesklouzneme mimo: lim â = a (1.49) N 2. nezatíženost (unbiased): skutečná hodnota je očekávanou hodnotou: â = a (1.50) 3. účinnost (efficiency): snažíme se měřit účinně, tj. s malým rozptylem

19 KAPITOLA 1. SHRNUTÍ STATISTICKÝCH METOD 18 Existuje hranice maximální přesnosti odhadu, nazývaná minimální variační rozptyl (minimum variance bound, MVB) pro L podle 1.48: σ 2 1 (d ln L/da) 2 = 1 (d 2 ln L/da 2 ) (1.51) Pro Gausse je např.: MV B = σ2 N pro mean µ (1.52) MV B = 2σ4 N a z toho pak pro chybu σ a ρ: pro standardní odchylku σ (1.53) σ σ = σ 2N (1.54) σ ρ = 1 ρ N 1 (1.55) Poslední vztah je víc gaussovský, když použijeme substituci: z = 1 2 ln 1 + ρ 1 ρ (1.56) pak: σ z = 1 N 3 (1.57) Maximální pravděpodobnost Pro zjednodušení vztahu 1.48 je výhodné zavést maximální pravděpodobnost z podmínky derivace (maximal likelihood, ML): d ln L da = 0 (1.58) což umožňuje citlivěji nastavovat odhady a i pro malá N nejsou data zatížená. Když nahradíme P nenormalizovanou funkcí Q, dostaneme rozšířenou maximální pravděpodobnost (extended maximal likelihood, EML) Další přístupy jsou například: Q(x, a)dx = ν (1.59)

20 KAPITOLA 1. SHRNUTÍ STATISTICKÝCH METOD metoda momentů (method of moments) x = xp (x; a)dx = xp (x; â)dx = ˆx pro normalizaci: P (x; â i )dx = 1 (1.60) 2. metoda nejmenších čtverců (least squares) je užitečná, když máme data uspořádaná do dvojic x i, y i, x i známe a y i měříme, y = f(x) kde f(x) je Gaussian, pak můžeme napsat: P (y i ; a) = 1 e [y i f(x i ;a)]2/2σ2 i pravděpodobnost pro y i a dané x i σ i 2π (1.61) ln L = 1 [ ] 2 y i f(x i ) ln σ i 2π pravděpodobnost pro datový soubor 2 σ i (1.62) [ ] 2 y i f(x i ; a) = 0 minimalizační podmínka (1.63) σ i Víc detailů a praktické použití v příkladech je na: 1.7, 11.1 (str. 124). 3. metoda přímého strategického výběru (stratified sampling - beating N) umožňuje zlepšit statistiku využitím znalosti dalších souvislotí ve výběru, např. součet kluků a dívek v souboru je konstanta. 1.7 Nejmenší čtverce Metoda nejmenších čtverců (Least Squares) se využívá k nalezení neznámého parametru ze souboru měřených dat. Podmínkou uspěchu je soubor dobře určených x hodnot, odpovídající soubor y hodnot měřených s přesností σ a funkce f(x; a) předpovídající y pro libovolné x, parametr a je známý svou úlohou ve funkci ale neznámý svou hodnotou, a tento tedy budeme hledat. Princip metody nejmenších čtverců je odvozen od maximální pravděpodobnostní funkce a využívá minimalizaci součtu čtverců y-ových odchylek od optimální fitované přímky, vzdáleností y i od f(x i ; a). Minimalizovaný součet nazýváme χ 2 : [ ] N 2 χ 2 yi f(x i ; a) dχ 2 = xa = 0 (1.64) i=1 σ i

21 KAPITOLA 1. SHRNUTÍ STATISTICKÝCH METOD 20 Pak platí: 1 df(x i ; a) [y σi 2 i f(x i ; a)] = 0 (1.65) da Sumarizace důsledků fitu přímkou je: a k tomu vyjádření chyby: ˆm = σ 2 m = V ( ˆm) = xy xȳ x 2 x 2 (1.66) ĉ = ȳ ˆm x (1.67) σ 2 N(x 2 x 2 ) (1.68) σ 2 c = V (ĉ) = σ 2 x 2 N(x 2 x 2 ) σ 2 x cov( ˆm, ĉ) = N(x 2 x 2 ) ρ ˆm,ĉ = x x 2 (1.69) (1.70) (1.71) a pro χ 2 je nejlepší fit: χ 2 = V (y) σ (1 2 ρ2 x,y) V (y) = y 2 ȳ 2 (1.72) Pokud se liší σ i pro jednotlivá měření, musíme nahradit (vážené hodnoty): yi nahradit yi /σi 2 (1.73) N 1/σ 2 i Pro extrapolování chyby σ Y σ 2 = pro dané X N 1/σ 2 i (1.74) σy 2 = V (Y ) = σ2 (X ˆx) 2 N(x 2 x 2 ) + σ2 N (1.75) Pro regresní křivku můžeme výslednou přímku napsat matematicky stejně, důležitý rozdíl je však z pohledu filozofického: zpřesňováním měření nedosáhneme přesnější fit protože vstupní data mají přirozený rozptyl hodnot, regresní analýza je tedy popisná statistika reálného stavu, podobně jako třeba korelace, zatímco výsledný fit je formou odhadu, typicky: výsledek není v rámci chyby jednotlivého měření. Rozšíření a určité zobecnění metody nejmenších čtverců je dál ukázané v části 11.1 (str. 124).

22 KAPITOLA 1. SHRNUTÍ STATISTICKÝCH METOD χ 2 distribuce Všeobecně se χ 2 -test používá při určování, jestli náhodný výběr dat je, nebo není, podle gaussovského rozdělení. χ 2 -distribuce popisuje rozdíl mezi měřenou hodnotou a její teoretickou předpovědí. Teoretická předpověd vychází z tvaru Gaussova rozdělení. [ ] N 2 χ 2 yi f(x i ; a) N = = yaktualní i y idealní 2 i i=1 σ i i=1 očekávaná chyba P (χ 2 ; n) = 2 n/2 Γ(n/2) χn 2 e χ2 /2 (1.76) (1.77) kde n je počet stupňů volnosti: n = N p, p je počet proměnných laděných pomocí χ 2. χ 2 má pak maximum v n a σ χ 2 = 2n. Pokud máme chybu v x aj y, platí: ˆm = σ x σ y (A ± A 2 + 1) (1.78) kde: A = σ2 xv (y) σ 2 yv (x) 2σ x σ y cov(x, y) (1.79) Speciální případ orogonální regrese je popsán taky v části 11.1 (str. 124). Pokud máme chybu v x aj y, ale je pro každou hodnotu i jiná (σ xi σ xi+1, σ yj σ yj+1 ), existuje jenom numerické řešení. 1.8 Pravděpodobnost a důvěryhodnost Existují čtyři definice pravděpodobnosti: 1. matematická (Kolmogorov), zavedená pomocí axiom: (a) P (E) 0 (b) P (E 1 ore 2 ) = P (E 1 )+P (E 2 ), pokud E 1 a E 2 se vzájemně vylučují (c) P (E i ) = 1 přes všechny vzájemně se vylučující možnosti (vždy se něco stane)

23 KAPITOLA 1. SHRNUTÍ STATISTICKÝCH METOD empirická frekvenční definice (Richard von Mises): N pokusů, M úspěchů, když N, M/N poměr definuje pravděpodobnost P (A) úspěchu v A 3. objektivní (tendence) (C.S.Peirce, 1910) - jako vnitřní vlastnost hmoty a jevů kolem a platí, že by se měla projevovat, to znamená, že se dřív nebo později projevit musí, příklad: smrt přijde subjektivní pravděpodobnost - Bayesianova statistika: podmiňovaná pravděpodobnost P (a/b), že bude a, když b bude pravda. Bayes teorem (1763): p(a/b)p(b) = p(aandb) = p(b/a)p(a) p(a/b) = p(b/a)p(a) p(b) (1.80) Důležité je dávat pozor na to, se kterou pravděpodobností pracujeme a nemíchat je Studentovo rozdělení Interval spolehlivosti odhadu(confidence levels) popisuje Studentovo rozdělení t popsané Gossettem: t = x µ (1.81) ˆσ a znamená: jak blízko je měřené x skutečné hodnotě µ a z toho jakou teda mám chybu měření ˆσ, za předpokladu že jsme tak blízko µ jak jen to umožňuje χ 2. Pro N měření platí: t = ˆx µ ˆσ/ (1.82) N t-test umožňuje zjistit, jestli dva náhodné výběry podle Gaussova rozdělení X i a Y i jsou vůči sobě nezávislé, a tedy náhodné, nebo spolu souvisí. Na toto rozhodnutí se využije podmínka pomocí χ 2 rozhodnutí. 1.9 Rozhodování V rozhodování (taking decisions) se většinou jedná o testování hypotézy, což můžeme dělat následujícími způsoby: