Návrh a vyhodnocování experimentů

Transkript

1 Návrh a vyhodnocování experimentů Petr Holub a Radka Svobodová-Vařeková <hopet@ics.muni.cz>, <4056@mail.muni.cz> DUVOD /61

2 Přehled přednášky Motivace Měření Zpracování měření Regresní metody Zadání Literatura 2/61

3 Délka zpracování obrázku 3/61

4 velikost obrázku čas běhu , , , , /61

5 velikost obrázku čas běhu , , , , /61

6 Měříme délku výpočtu v Javě 6/61

7 ~$ R... > library(psych) > runlength <- read.csv(file="java-example.table", head=false, sep=",") > summary(runlength$v1) Min. 1st Qu. Median Mean 3rd Qu. Max > describe(runlength$v1) var n mean sd median trimmed mad min max range skew kurtosis se /61

8 Javové měření N = 30 x = 166,82 sx = 113,67 s x = sx N = 20,75 t 0,05;29 = 2,045 x ± t 0,05;N 1 s x = 167 ± 42 ms Četnost Čas [ms] 8/61

9 Javové měření N = 30 x = 166,82 sx = 113,67 s x = sx N = 20,75 t 0,05;29 = 2,045 x ± t 0,05;N 1 s x = 167 ± 42 ms Četnost Čas [ms] 9/61

10 Javové měření Čas [ms] Měření 10/61

11 Javové měření Čas [ms] HotSpot garbage collector Měření 11/61

12 Proč experimenty? Informatika má silné nástroje pro zjišťování faktů důkazy výpočty simulace Praktické studium vlastností systémů některé vlastnosti neumíme nebo z důvodu obtížnosti nemůžeme simulovat Podpoření nebo vyvrácení hypotézy pozor... nedokazujeme! 12/61

13 Soustava jednotek pro informatiky Zdroj: 13/61

14 Soustava jednotek pro informatiky Předpony nejen speciálně informatické yocto y zepto z atto a femto f pico p nano n micro µ milli m kilo k kibi 2 10 Ki mega M mebi 2 20 Mi giga G gibi 2 30 Gi tera T tebi 2 40 Ti peta P pebi 2 50 Pi exa E exbi 2 60 Ei zetta Z zebi 2 70 Zi yotta Y yobi 2 80 Yi Amendment 2 to IEC : Letter symbols to be used in electrical technology Part 2: Telecommunications and electronics (1999) 14/61

15 Typy měřících metod Subjektivní objektivní metody subjektivní: působí bezprostředně na lidské smysly objektivní: působí na měřící zařízení Přímé nepřímé metody přímé: přímé srovnání se známou hodnotou veličiny nepřímé: na základě jiných veličin, pomocí nichž lze měřenou veličinu spočítat Absolutní relativní metody absolutní: měření přímo v příslušné jednotce relativní: měření srovnáním Statické dynamické metody statické: z klidového stavu přístroje dynamické: na základě dynamiky měřícího přístroje 15/61

16 Výsledky měření Rozlišení měření Chyby měření skládání většího počtu mikroskopických jevů subjektivní vliv u měřících metod Jedno číslo zdaleka nepostihuje tyto informace 16/61

17 Výsledky měření x = (ˆµ x ± z x ) [jednotka] ˆµ x... nejpravděpodobnější hodnota měřené veličiny z x... interval spolehlivosti / přesnost jak tyto věci spočítat / odhadnout? 17/61

18 Výsledky měření Protokolování podmínek, na nichž měření probíhalo zachycení všech podmínek, které mohou mít na měření vliv konfigurace hardware popis síťové topologie instalovaný operační systém instalovaný software popis konfigurace a souběžně běžících procesů uschování vlastního měřeného software/hardware přesný popis použitých měřících metod přesná identifikace měřících nástrojů/přístrojů důležité pro reprodukovatelnost měření 18/61

19 Chyby měření Klasifikace chyb podle místa vzniku instrumentální (přístrojové) chyby metodické chyby teoretické chyby (principy, model) chyby zpracování Klasifikace chyb podle původu hrubé (omyly) systematické náhodné 19/61

20 Chyby měření /61

21 Chyby měření dle norem Metrologické normy ČSN Statistické metody v průmyslové praxi. Všeobecné základy ČSN Vzájemná shoda výsledků zkušebních metod. Stanovení opakovatelnosti a reprodukovatelnosti normalizované zkušební metody pomocí mezilaboratorních zkoušek ČSN Metrológia. Chyby primárnych etalónov. Spôsoby vyjadrovania ČSN Posuvná měřidla. Technické požadavky ČSN Mikrometrická měřidla na vnější měření. Technické požadavky ČSN Provozní termoelektrické snímače teploty ČSN Prevádzkové termoelektrické snímače teploty. Metody skúšania pri úradnom overování ČSN Provozní odporové snímače teploty ČSN Prevádzkové odporové snímače teploty. Metody overovania ČSN Elektronické měřicí přístroje. Všeobecné technické podmínky... a mnoho dalších 21/61

22 Chyby měření dle norem Termíny z ČSN Chyba rozdíl mezi údajem přístroje a skutečnou hodnotou Absolutní chyba Relativní chyba v % Vztažná hodnota k níž se vztahuje relativní chyba Základní chyba stanovená v referenčních podmínkách Přídavná chyba jedna z hodnot nabývá libovolné hodnoty, ostatní jsou mají referenční hodnoty (a pak se neuvažuje základní chyba) Chyba stálosti (stabilita) průběh chyby vytvářené samotným přístrojem v čase Meze chyb maximální hodnoty chyb pro jakýkoli parametr ve stanovených podmínkách (referenčních, jmenovitých, pracovních,...) 22/61

23 Chyby měření dle norem Termíny z ČSN Naměřená hodnota Referenční podmínky souhrn podmínek arozsahů pro parametry a ovlivňující veličiny, při nichž přístroj splňuje ustanovení o dovolených chybách, při kterých se u přístroje ověřuje základní chyba a/nebo se přístroje nastavují. Jmenovitý rozsah použití rozsah hodnot, u nichž přístroj splňuje požadavky na chyby Jmenovité pracovní podmínky souhrn pracovního hodnot, rozsahů, parametrů a ovlivňujících veličin, pro něž jsou udány technické vlastnosti přístroje Doba náběhu přístroje 23/61

24 Přesnost měřících nástrojů Přesnost přístroje... náhodná chyba Správnost přístroje... systematická chyba Aditivní vs. multiplikativní chyby Mezní hodnota chyb Třída přesnosti přístroje Aditivní model Multiplikativní model Kombinovaný model změřená hodnota změřená hodnota změřená hodnota skutečná hodnota skutečná hodnota skutečná hodnota 24/61

25 Přesnost měření času v počítači gettimeofday() unixové API přesnost závislá na použitém HW v patologických případech může přeskočit i zpět potenciální režie systémového volání clock_gettime() POSIXové API přesnost lze zjistit pomocí clock_getres() CLOCK_REALTIME ve standardu CLOCK_MONOTONIC jsou běžně dostupné různé systémy poskytují různá rozšíření typu hodin (např. CLOCK_REALTIME_FAST, CLOCK_REALTIME_PRECISE, CLOCK_PROCESS_CPUTIME_ID, CLOCK_THREAD_CPUTIME_ID) potenciální režie systémového volání 25/61

26 Přesnost měření času v počítači TSC přístup k čítači x86 procesorů (od Pentia) frekvence tiků rovna frekvenci procesoru nízká režie přímý přístup k čítači z ASM problém absence synchronizace mezi procesory nastavit afinitu problém s dynamickou změnou frekvence procesoru příznak constant_tsc v /proc/cpuinfo na Linuxu problém s out-of-order vykonáváním instrukcí předřadit serializující CPUID instrukci problém resetu při uspání ne všechny procesory jej mají (např. Cyrix 6x86) 26/61

27 Přesnost měření času v počítači QueryPerformanceCounter Windows frekvenci lze zjistit pomocí QueryPerformanceFrequency opět třeba zamknout na procesor System.currentTimeMillis() Java ekvivalent gettimeofday()/clock_gettime(clock_realtime) nominální rozlišení 1 ms, fakticky i 10 ms v závislosti na OS System.nanoTime() Java přidání od JDK 1.5 aproximace TSC 27/61

28 Hrubé chyby Hrubé chyby se musí ze sady měření vyloučit 28/61

29 Hrubé chyby Volba měřící metody / měřících metod příklad pro Javu Problém garbage collection -verbose:gc krátká měření: vybrat pouze běhy, v nichž nedošlo ke GC dlouhé běhy: dostatečně dlouhé, aby se přítomnost GC projevila representativně Problém HotSpot kompilace -XX:+PrintCompilation dostatečný warm-up (minuty!) mohou se vyskytovat rekompilace (optimalizace, nahrání nové třídy která zruší dosavadní předpoklady) housekeeping tasks: oddělení nesouvisejících měření pauzou nebo restartem JVM 29/61

30 Náhodné chyby aneb proč se běžně pracuje s normálním rozdělením chyb? Hypotéza elementárních chyb [1] každá náhodná chyba v měření je složena z řady malých chyb při velkém počtu měření se vyskytne zhruba stejný počet chyb kladných i záporných a malé chyby jsou početnější než velké 1. m elementárních náhodných vlivů 2. každý elementární vliv generuje chybu α (dále označováno jako případ a) nebo α (dále případ b) 3. chyby a a b jsou stejně časté dostáváme binomické rozdělení kumulace vlivů elementárních chyb ( m 0 )am,( m 1 )am 1 b,...,( m l )am l b l,...,( m m )bm P(0) = 1 2 m ( m m/2 ) P(ε l) = 1 2 m (m l ), ε l = (l (m l))α = (2l m)α = 2sα 30/61

31 Náhodné chyby aneb proč se běžně pracuje s normálním rozdělením chyb? Co se stane, pokud m? pro sudá m = 2k k (sudá, abychom měli P(0)) P(2sα) P(0) pro s k ) k+s ( 2k k = ( 2k ln P(2sα) P(0) = 1 k 2 k P(ε) = P(2sα) = 1 2k ( 22k k + s ) k(k 1) (k s + 1) = ) (k + 1)(k + 2) (k + s) = (1 1 ) (1 2 s 1 ) (1 k k (1 + 1 ) (1 + 2 ) (1 + s ) k k k ln(1 + x) = x x2 2 + x3 3 x s 1 1 k k 2 k s k = 2 k P(2sα) = P(0)e s2 k = P(0)e ε2 4kα 2 k ) s(s 1) s 2 k = s2 k 31/61

32 Náhodné chyby aneb proč se běžně pracuje s normálním rozdělením chyb? Co se stane, pokud m? převod na spojité rozdělení h 2 = lim k 1 4kα2, η(ε) = h π e h2 ε 2 šikmost binomického rozdělení 1 2p np(1 p), lim n 1 2p np(1 p) = 0 a také 0 pro p = 0,5 další studium: Central Limit Theorem, [2] 32/61

33 Binomické vs. normální rozdělení Binomické rozdělení ( n k )pk (1 p) n k p=0.5 and n=20 p=0.7 and n=20 p=0.5 and n= Zdroj: 33/61

34 Binomické vs. normální rozdělení Normální rozdělení (x µ)2 1 e 2σ 2 2πσ μ= 0, μ= 0, μ= 0, μ= 2, 2 σ = 0.2, 2 σ = 1.0, 2 σ = 5.0, 2 σ = 0.5, φ μ,σ 2( x) Zdroj: x 34/61

35 Binomické vs. normální rozdělení Srovnání binomického a normálního rozdělení pro p = 0,5 a n = P[X=k] k Zdroj: 35/61

36 Studentovo rozdělení t Používá se pro normální rozdělení při malém vzorku (neznámé směrodatné odchylky) f(t) = Γ ( ν+1 2 ) νπγ ( ν 2 kde ν je počet stupňů volnosti. odhad průměrů a chyby t-test odlišení průměrů (ν+1)/2 t2 (1 + ) ν ) 36/61

37 Studentovo rozdělení t Srovnání s normálním rozdělením (modré) počet stupňů volnosti ν = 3 Zdroj: 37/61

38 Poissonovo rozdělení Počty událostí v daném časovém okně, odehrávají se nezávisle se známou průměrnou rychlostí f(k; λ) = λk e λ k... počet výskytů událostí, λ... očekávaný počet událostí ve studovaném intervalu Příklady Poissonovské procesy počet telefonních hovorů na ústředně za minutu počet přístupů k webovému serveru (nemění-li se λ v čase předpoklad homogenity) radioaktivní rozpad atomů Pro λ je opět dobrou aproximací normální rozdělení k! 38/61

39 Poissonovo rozdělení Zdroj: 39/61

40 Weibullovo Jiná rozdělení f(x; λ,k) = { k λ ( x λ )k 1 e (x/λ)k x 0, 0 x < 0. používá se k popisu času do selhání, úmrtí k < 1 rychlost selhání klesá v čase, jak z vzorku mizí kusy (např. úmrtnost novorozenců) k = 1 rychlost selhání je konstantní v čase, typicky způsobena vnějšími vlivy (např. úmrtnost vojáků ve válce) k > 1 selhání vzrůstá v čase, typický proces stárnutí komponent Zdroj: wiki/file:weibull_pdf.svg 40/61

41 Jiná rozdělení modely rozdělení specifické pro aplikace Rayleighovo rozdělení rychlost větru ve 2D složkách záření černého tělesa nejedná se o,,chyby, ale o charakteristiku 41/61

42 Normalizace rozdělení chyb Ověření normality rozdělení vizuální šikmost vzorku (sample skewness) 1 n g 1 = i=1 N(x i x) 3 ( 1 n i=1 N(x i x) 2 ) 3/2 Zdroj: 42/61

43 Normalizace rozdělení chyb Ověření normality rozdělení špičatost vzorku (sample kurtosis) g 2 = 1 n i=1 N(x i x) 4 ( 1 n i=1 N(x i x) 2 ) 3 2 lehké konce (leptokurtic), g 2 > 0 těžké konce (platycurtic), g 2 < 0 Zdroj: 43/61

44 Normalizace rozdělení chyb Techniky normalizace šikmá rozdělení g 1 > 0: transformace hodnot n x log(x) 1 x šikmá rozdělení g 1 < 0: převrácení hodnot (reflection) x + c s vhodně zvolenou konstantou c špičatá rozdělení: problém další čtení: [3] 44/61

45 Odhad spolehlivosti x = (ˆµ x ± z x ) [jednotka] Statistická definice [4]: Je-li výsledek měření ˆµ x a z x je chyba tohoto měření odpovídající míře jistoty p, pak skutečná hodnota měřené veličiny leží v intervalu (ˆµ x ± z x ) s pravděpodobností p. Intervaly 0,68 střední kvadratická chyba 0,95 0,99 krajní chyba Zaokrouhlování z xnejvýše na 2 platná místa ˆµ xpodle z x 45/61

46 Odhad spolehlivosti Pro normální rozdělení chyby x = (ˆµ x ± z x ) [jednotka] ˆµ x = x = N i=1 x i n s směrodatná odchylka jednoho měření, D rozptyl s = N D = i=1(x x i ) 2 n 1 s x = N i=1( 1 n )2 s xi a protože měření byly prováděny za stejných podmínek s x = s x = N i=1(x x i ) 2 n n(n 1) 46/61

47 Odhad spolehlivosti Pro normální rozdělení chyby z x = t (p;n 1) s x P n x = (ˆµ x ± z x ) [jednotka] 0,683 0,954 0,99 n P 0,683 0,954 0,99 1 1, , , ,0329 2,1633 2, ,3224 4,5001 9, ,0292 2,1433 2, ,1978 3,2923 5, ,0263 2,1276 2, ,1425 2,8585 4, ,0176 2,0817 2,75 5 1,1113 2,6396 4, ,0133 2,0595 2, ,0913 2,5084 3, ,0108 2,0463 2, ,0775 2,4214 3, ,0091 2,0377 2, ,0673 2,3594 3, ,0078 2,0315 2, ,0594 2,3131 3, ,0069 2,0269 2, ,0533 2,2773 3, ,0062 2,0234 2, ,0441 2,2253 3, ,0057 2,0206 2, ,0377 2,1895 2, /61

48 Odhad spolehlivosti Příklad měření výšky válečku [4]: x = (ˆµ x ± z x ) [jednotka] výška v [mm] 4,6 4,5 4,7 4,4 4,5 4,6 4,4 4,4 4,3 4,5 n = 10 v = 4,49 [mm] s v = 0,038 [mm] t (0,68;9) = 1,059 t (0,99;9) = 3,250 v = (4,49 ± 0,04) mm pro p = 0,68 v = (4,49 ± 0,12) mm pro p = 0,99 48/61

49 Chyba nepřímo měřené veličiny K odhadu střední hodnoty a rozptylu lze použít Taylorův rozvoj funkce f(x + ε) = f(x) + n=1 kde f (n) (x) je n-tá derivace f, dvoubodovou aproximaci y = f(x 1,...,x m) f (n) (x) ε n n! y = m i=1 f(x i + s xi ) + f(x i + s xi ) 2m s 2 y = m i=1 [f(x i + s xi ) f(x i s xi )] 2 4m Monte Carlo simulace 49/61

50 Zákon přenosu chyb Na základě Taylorova rozvoje do druhého členu s 2 N z = i=1 ( z 2 ) x i s 2 N 1 x i + 2 i=1 N j=i+1 z x i z x j s xi s xj ϱ ij, kde s 2 x i je rozptyl (variance) x i a ϱ ij je kovariance x i a x j. Pro jednoduché případy, kdy x a y jsou nezávislé (ϱ ij = 0): aditivní funkce z = ax ± by multiplikativní funkce z = ax b y c kde z = ax b y c, protože s z = a 2 s 2 x + b2 s 2 y, (1) 2 s z = z bs x ( x ) + ( cs y y ) 2. (2) N i=1 ( z 2 ) s 2 = x i i abx b y c s x x 2 + ax b cy c s y y 2 = z 2 (( bs x x ) 2 + ( cs y y ) 2 ) Příklad použití: 50/61

51 Model Mapování matematického modelu na naměřené hodnoty hledáme parametry modelu minimalizujeme odchylky (rezidua) modelu od naměřených dat r i (x) = y i M(x) příp. vyjádřeno jako minimalizace normy vektoru r(x) = (r 1(x),...,r m(x)) T nejčastěji pracujeme s euklidovskou L 2 normou (metoda nejmenších čtverců) f(x) = r(x) T r(x) = m i=1 r i (x) 2 lze použít např. i L 1 (součet absolutních hodnot méně citlivé na data s větší kumulací chyb, příp. zatížená hrubou chybou) či L (maximum z absolutních hodnot) 51/61

52 Model Metoda nejmenších čtverců mějme data (x i,y i ), kde x i je nezávislá proměnná a y i je závislá (měřená proměnná) minimalizujeme S = n i=1 ri 2 = n i=1(y i f(x i,c)) 2, kde c je vektor parametrů hledáme minimum vzhledem k c, tedy S r i f(x i,c) = 2 r i = 2 r i = 0 j = 1,...,m c j i c j i c j 52/61

53 Model Lineární kombinace elementárních funkcí f(x i,c) = m j=1 c j φ j (x i ) φ j mohou být polynomy, podíly polynomů, trigonometrické funkce, exponenciální funkce,... X ij = f(x i,c) c j = φ j (x i ) ĉ = (X T X) 1 X T y 53/61

54 Model Příklad lineární funkce minimalizujeme f(x i,(a,b)) = a + bx i Q = n i=1 (y i a bx i ) 2 n Q a = 2na + ( 2y i + 2bx i ) = 0 (3) i=1 n Q b = ( 2y i x i + 2ax i + 2bx 2 i ) = 0 (4) dvě rovnice (3) a (4) o dvou neznámých a a b i=1 a = n i=1 y i n i=1 x i 2 + n i=1 x i n i=1 y i x i n n i=1 x i2 ( n i=1 x i ) 2 b = n n i=1 y i x i n i=1 x i n i=1 y i n n i=1 x i2 ( n i=1 x i ) 2 54/61

55 Pearsonův korelační koeficient Hodnocení modelu r x,y = n i=1((x i x)(y i y)) n i=1 (x i x) 2 n i=1(y i y) 2 lineární závislost dvou veličin x a y a nabývá hodnot [-1;1] 1... přesná souhlasná závislost, přesná inverzní závislost, 0 nezávislé využívá se často jako rx,y 2 Root mean square deviation RMSD n RMSD x,y = i=1(x i y i ) 2 n srovnání mezi získaným modelem a originálními hodnotami 55/61

56 Zadání vlastní práce Zadání: Změřte chování chemického programu solver na sadě vstupů specifikujících strukturu molekul (soubory *.mol). Experimentálně ověřte, že složitost implementace odpovídá teoretickému předpokladu O(n 3 ). Zpracujte protokol o měření. 56/61

57 Zdroje wget tar zxvf solver.tgz cd solver cc -lm -o eem_solver_proteins eem_solver_proteins.c./eem_solver_proteins molecule_9.mol params_out.txt 0 57/61

58 Literatura I Zdeněk Horák. Praktická fysika. Státní nakladatelství technické literatury, Praha, Patrick L. Brockett. On the misuse of the central limit theorem in some risk calculations. The Journal of Risk and Insurance, 50(4): , December Jason W. Osborne. Normalizing data transformations. ERIC digest. Technical report, ERIC Clearinghouse on Assessment and Evaluation College Park MD, August /61

59 Literatura II František Šťastný. Zpracování experimentálních dat. Katedra obecné fyziky PřF MU, Brno, zed.pdf. Milan Meloun and Jiří Militký. Data analysis in the chemical laboratory part 1. analysis of indirect measurements. Analytica Chimica Acta, 293(1-2): , B6TF4-44HT11Y-6D/2/ eb0dc71f565eaf cb31425a66a. George E. P. Box, J. Stuart Hunter, and William G. Hunter. Statistics for Experimenters: Design, Innovation, and Discovery. Wiley-Interscience, second edition, May /61

60 Literatura III C. F. Jeff Wu and Michael Hamada. Experiments: Planning, Analysis, and Parameter Design Optimization. Wiley-Interscience, April William G. Cochran and Gertrude M. Cox. Experimental Designs. Wiley, second edition, April /61

61 Inovace doktorského studia na Fakultě informatiky MU (IDSnaFI) (CZ.1.07/2.2.00/ ) 61/61