Regrese. používáme tehdy, jestliže je vysvětlující proměnná kontinuální pokud je kategoriální, jde o ANOVA

Transkript

1 Regrese používáme tehd, jestliže je vsvětlující proměnná kontinuální pokud je kategoriální, jde o ANOVA

2 Specifikace modelu = a + bx a závisle proměnná b x vsvětlující proměnná

3 Cíl analýz Odhadnout hodnot parametrů a a b Odhadnout standardní chb parametrů Použít standardní chb k odhadu, které parametr modelu jsou důležité Odhadnout, jaká část rozptlu dat je Odhadnout, jaká část rozptlu dat je modelem vsvětlena (určení koeficientu determinace r )

4 Prvý krok: explorace dat Mají data sestupný či vzestupný trend? Pokud takový trend existuje, je lineární či nelineární? Je rozptl dat kolem modelu homogenní, a nebo se sstematick mění s hodnotou x?

5 Závislost váh housenek na obsahu taninu Váhov vý přírůstek (mg) Obsah taninu (%)

6 Závislost váh housenek na obsahu taninu klesá s rostoucí x trend je lineární rozptl se sstematick nemění s hodnotou x O bsah taninu (% )

7 Závislost váh housenek na obsahu taninu: očekávání průsečík a je větší než nula sklon b je negativní rozptl kolem je konstantní a relativně malý O bsah taninu (% )

8 Metoda nejmenších čtverců Slouží k definici přímk nejlepší shod, která minimalizuje sumu čtverců odchlek hodnot od přímk nejlepší shod O bsah taninu (% )

9 Předpoklad modelu Chb jsou omezené na závisle proměnnou ; jsou nezávislé na úrovni vsvětlující proměnné x; mají normální rozložení Rozptl je homogenní

10 Metoda nejmenších čtverců Slouží k definici přímk nejlepší shod, která minimalizuje sumu čtverců odchlek hodnot od přímk nejlepší shod O bsah taninu (% )

11 1 Metoda nejmenších čtverců SST ( ) = d = Obsah taninu (%)

12 1. Kde b měla být umístěna?. Jaký b měla mít sklon? Přímka nejlepší shod Umístění: přímka nejlepší shod b měla procházet průměrnými hodnotami x a : Sklon: přímka b měla být otáčena kolem bodu x, až do dosažení sklonu nejlepší shod: Váhový přírůste ek (mg) 1 1 x 6 8 Obsah taninu (%)

13 Váhový přírůste ek (mg) = a + a = SSE SSE 1 1 Přímka nejlepší shod: formalizace bx b n a = = min min n x e = x = n x n ( a bx) b e = Sklon nejlepší shod b se získá derivací rovnice pro SSE x = a + bx 6 8 Obsah taninu (%)

14 Sklon nejlepší shod: výpočet hledáme funkci, která minimalizuje hodnotu b v rovnici derivujeme rovnici podle b: dsse db = x( a bx) SSE ( a bx) = min dsse db = ( x ax bx ) konstantu dáme před závorku a čísla v závorce násobíme x: sumujeme každý člen zvlášť, nalézáme minimum funkce tím, že pokládáme derivaci podle b rovnou nule a zbavujeme se konstant tím, že obě stran rovnice dělíme dvěma: x ax bx = rovnici nemůžeme přímo řešit, protože obsahuje dvě neznámé, a a b. Hodnotu a jsme si však již definovali rovnicí x a = b n n dosazením za a a přepsáním ax = a x, bx = b x dostaneme: x b x b x = x n n ( ) x x x b x = n x x = b n ( ) x x : n násobením členů v závorce x x + b n obě člen obsahující b dáme na stejnou stranu rovnice: odhad b získáme vdělením obou stran rovnice x x = n b ( x) x n x b ( x) n

15 přírůstek (mg) Váhový a 1 Přímka nejlepší shod: význam b = SSXY SSX d = e = SSE = min = a + bx SST b ( ) = ( a bx) x 6 8 Obsah taninu (%)

16 Metoda nejmenších čtverců: tři důležité vzorce SST = ( ) n ( x) SSX = x n = x SSXY x n SST měří celkový rozptl hodnot kolem průměru ru (rozptl d) SSX měří stejným způsobem rozptl hodnot x kolem průměru x; měří rozsah hodnot x regresního grafu SSXY měří korelaci hodnot x a. SSXY je negativní, pokud klesá s rostoucí hodnotou x; je pozitivní, pokud roste s x; je nula, pokud a x nejsou korelované

17 Testování významnosti Test je založen na standardních chbách parametrů Standardní chb závisejí na rozptlu chb a na stupních volnosti O bsah taninu (% )

18 Standardní chba regresního sklonu Naše důvěra v odhadnutou hodnotu regresního sklonu bude velká, kdž: budeme mít velký počet opakování; budeme mít velký rozsah hodnot x (SSX bude veliká); rozptl chb bude malý O bsah taninu (% )

19 přírůstek (mg) Váhový a 1 Standardní chba regresního sklonu Jaká b sklon bla statistick relativní průkazně d = hodnota nelišil d a od e nul?, kdb se e = ležet na přímce, bude SST=SSE Jaká je hodnota, kdž se sklon statistick průkazně liší od nul? (Konkrétně, je průkazně negativní?) SSE<SST V hraničním případě, kd budou všechn bod SSE= x 6 8 Obsah taninu (%)

20 Standardní chba regresního sklonu: regresní suma čtverců SSR = SST SSE SSR bude veliká, jestliže fitovaná přímka vsvětlí velkou část variabilit SSR bude malá, pokud lineární trend bude málo patrný SSR se bude rovnat SST, pokud bude shoda regresní přímk s fitovanými dat dokonalá, protože SSE bude nulová. SSR bude nulová, jestliže bude nezávislé na x O bsah taninu (% )

21 ANOVA tabulka lineární regrese Zdroj SS d.f. MS F-test P Regrese SSR 1 SSR SSR Tabulk Chba SSE n - Celkem SST n - 1 s = SSE n s

22 Výpočet regresní sum čtverců Tento výpočet je nepraktický; lépe je nejprve spočítat SSR = b.ssx (odvození viz Sokal a Rohlf, Biometr, 1994, 3. vdání, s ) a pak SSE podle vztahu: SSE = SST - SSR O bsah taninu (% )

23 SE b = Standardní chba regresního sklonu b s (odvození viz Sokal a Rohlf, Biometr, 1994, SSX 3. vd., s ) standardní chba roste s rostoucí hodnotou chbového rozptlu standardní chba klesá, jestliže roste rozsah hodnot, přes které bla měřena hodnota x; to dává dobrý intuitivní smsl čím větší rozsah hodnot x bl pokrt, tím důvěrhodnější bude odhad sklonu O bsah taninu (% )

24 Interval spolehlivosti (konfidenční interval CI) regresního sklonu CI b = t tabulk SE b (odvození viz Sokal a Rohlf, Biometr, 1994, 3. vd., s ) Pro normální rozložení to je hodnota z tabulek t-testu, pro dvoustranou hpotézu na % hladině významnosti to je α =, O bsah taninu (% )

25 SE a = Standardní chba průsečíku a s x (odvození Sokal a Rohlf, Biometr, 1994, 3. vd., nssx s ) standardní chba a má ted stejné závislosti jako standardní chba b, ale navíc závisí na: 1. Čtverci vzdálenosti mezi mezi průměrnou hodnotou x a hodnotou bodu, pro kterou je predikce dělána; důvěra v predikci klesá se vzdáleností od průměrné hodnot,tj. s ( x x). Střední chba průsečíku klesá s rostoucím počtem bodů na grafu, tj. s hodnotou n O bsah taninu (% )

26 Interval spolehlivosti (konfidenční interval CI) průsečíku CI a = t tabulk SE a (odvození viz Sokal a Rohlf, Biometr, 1994, 3. vd., s ) Pro normální rozložení to je hodnota z tabulek t-testu, pro dvoustranou hpotézu na % hladině významnosti to je α =, O bsah taninu (% )

27 Standardní chba libovolné předvídané hodnot ( x x) 1 (odvození Sokal a Rohlf, Biometr, 1994, 3. SE = s + n SSX vd., s ) standardní chba průsečíku je ted jen speciálním případem standardní chb libovolné předvídané hodnot pro x = O bsah taninu (% )

28 Lineární regrese: numerický příklad Tanin (%) x Váhový přírůstek (mg) X = 36, X = 4, Y = 6, Y = 36, XY = 17 ( XY je (x1)+(1x1)+ +(8x3) = O bsah taninu (% )

29 Lineární regrese: numerický příklad X = 36, X = 4, Y = 6, Y = 36, XY = 17 ( XY je (x1)+(1x1)+ +(8x3) = 17 b = SSXY SSX = 1, SST = 36 = 18,889 9 a = bx = 11, SSX = 4 = 6 = = 6,889; x = = 4, x6 SSR = b. SSXY = 1,167 x( 73) = 88,8 SSXY = 17 = 73 SSE = SST SSR = 18,89 88,8 =, O bsah taninu (% )

30 ANOVA tabulka lineární regrese Zdroj SS d.f. MS F-test P Regrese 88,8 1 88,8 3,98,8 Chba,7 7,867 Celkem 18,89 8

31 Střední chb sklonu a průsečíku s,867 SE b = = =,186 SSX 6 s x SE a = nssx,867x4 9x6 = = 1,41 CI b = t tabulk SE b =,867,36 =,47 6,867 x4 CI a = t tabulk SE a =,36 9x6 =, O bsah taninu (% )

32 9% CI parametrů a a b a = 11,76 ±,463 b = -1,17 ±, O bsah taninu (% )

33 Stupeň roztroušenosti (scatter) Data mohou mít stejný sklon přímk nejlepší shod (PNS), ale velmi různý stupeň roztroušenosti kolem této přímk Vedle sklonu PNS je potřeba definovat, jakou část variabilit tato přímka vsvětluje PNS vsvětluje skoro všechen rozptl PNS vsvětluje velmi málo rozptlu PNS vsvětluje všechen rozptl PNS nevsvětluje žádný rozptl x

34 Měřítko stupně roztroušenosti Mělo b nabývat hodnot mezi nulou a jednou. Lze ho definovat jako část SST, vsvětlené modelem. Přitom víme, že SSE je variabilita, která nebla vsvětlena modelem a SSR je variabilita vsvětlená modelem. Měřítko roztroušenosti se nazývá koeficient determinace r a je dán jako poměr SSR a SST: r = SSR SST

35 Stupeň roztroušenosti (scatter) SSE = SSR = SST r = 1 SSE = SST r = x r je korelační koeficient: SSXY r = SSX. SST (odvození Sokal a Rohlf, 1994, 3. vd., 9-66)

36 Regrese v S-Plus 1. Seznámení s dat. Navržení modelu 3. Fitování modelu 4. Kritika modelu. Analýza odlehlých hodnot 6. Zjednodušení modelu

37 Prvý krok: explorace dat Mají data sestupný či vzestupný trend? Pokud takový trend existuje, je lineární či nelineární? Je rozptl dat kolem modelu homogenní, a nebo se sstematick mění s hodnotou x? O bsah taninu (% )