AVDAT Nelineární regresní model

Transkript

1 AVDAT Nelineární regresní model Josef Tvrdík Katedra informatiky Přírodovědecká fakulta Ostravská univerzita

2 Nelineární regresní model Ey i = f (x i, β) kde x i je k-členný vektor vysvětlujících proměnných (x T i je i-tý řádek matice regresorů X, matice X je typu n k) a β je p-členný vektor parametrů. Základní úlohou nelineární regrese je pro daná data [y, X] a daný tvar funkce f (x i, β) odhadnout hodnoty parametrů β tak, aby model co nejlépe vysvětloval pozorované hodnoty náhodného vektoru y.

3 Nelineární regresní model Zda je model opravdu nelineární v parametrech poznáme podle parciálních derivací g j = f (x i, β) β j Pokud g j = const pro všechna j = 1, 2,..., p tzn. parciální derivace nejsou závislé na β j, pak model je lineární v parametrech, pokud alespoň pro jeden z parametrů β j podmínka neplatí, je model nelineární. Pokud podmínka není splněna pro žádný z parametrů modelu, říkáme, že model je neseparabilní.

4 Nelineární regresní model To je např. následující model s jedním regresorem (k = 1) f (x i, β) = exp(β 1 x i ) + exp(β 2 x i ). Pokud pro některé parametry je podmínka splněna, je model separabilní, např. f (x i, β) = β 1 + β 2 exp(β 3 x i ). To je model, který je nelineární jen vzhledem k parametru β 3.

5 Nelineární regresní model Aditivní model pro náhodnou složku y i = f (x i, β) + ε i Předpokládejme, že pro i = 1, 2,..., n ε i jsou vzájemně nezávislé náhodné veličiny (nejsou korelovány), E(ε i ) = 0, hodnoty y i náhodně kolísají okolo prokládané plochy, střední hodnota tohoto kolísání je nulová, var ε i = σ 2, tzn. mají konstantní rozptyl σ 2.

6 Nelineární regresní model Potom součet čtverců rozdílů pozorovaných a modelových hodnot vyjádřený jako funkce parametrů je Q(β) = n [y i f (x i, β)] 2 i=1 Odhad metodou nejmenších čtverců znamená nalézt takové odhady ˆβ parametrů β, aby Q(β) bylo minimální. Zderivujeme-li Q(β) podle β j, j = 1, 2,..., p a položíme-li derivace rovny nule, dostaneme soustavu p rovnic n i=1 [ y i f (x i, ˆβ) ] f (xi, β) β j β = ˆβ = 0

7 Nelineární regresní model Na rozdíl od lineární regresní funkce, kdy je soustava normálních rovnic lineární (parciální derivace jsou konstantní) a Q(β) eliptický paraboloid s minimem v bodě ˆβ = b, které lze jednoznačně určit, je u nelineárního modelu soustava normálních rovnic nelineární. Její řešení je náročné, nebot nemusí vždy existovat jednoznačně, navíc je nutno užívat iterativních metod, které nezaručují nalezení globálního minima funkce.

8 Nelineární regresní model Numerické metody odhadu regresních parametrů minimalizují Q(β) iterativně. Vycházejí z počátečního nástřelu hodnot parametrů. Řešení probíhá po krocích β (0), β (1),..., β (H). Změna mezi jednotlivými iteračními kroky přičtení přírůstkového vektoru h β (h+1) = β (h) + h, při čemž iterační proces by měl splňovat podmínku: Přírůstkový vektor Q(β (h+1) ) < Q(β h ) h = α h v h Jednotlivé algoritmy se liší ve volbě směrového vektoru v h a způsobu adaptace koeficientu α h během výpočtu.

9 Nelineární regresní model příklad Proložit tuto závislost funkcí, která bude mít vlastnosti: v čase t = 0 má mít koncentrace hodnotu rovnou nule f (0) = 0 v čase t má mít koncentrace hodnotu rovnou jedné funkce má dobře prokládat empirickou závislost

10 Nelineární regresní model příklad Počáteční (rostoucí) část závislosti i za ní následující prudký pokles bychom mohli vystihnout součinem dvou funkcí: závislosti procházející počátkem, např. ve tvaru y = A t, kde A je neznámý parametr nebo funkcí s dvěma parametry y 1 = A t B, která umožní rychlost růstu aproximovat pružněji. exponenciální funkce ve tvaru y 2 = exp(c t), která může dobře prokládat klesající část závislosti koncentrace na čase, C je opět parametr modelu. (Exponenciální závislost y 2 klesá rychleji než roste y 1 ). Pak nám ještě zbývá vyřešit to, aby s rostoucím časem se funkce blížila hodnotě jedna. Potřebujeme přičíst funkci y 3, která má malé hodnoty při malých hodnotách t a lim y 3 (t) = 1 pro t. Tomuto požadavku vyhovuje např. funkce ve tvaru y 3 = 1 1 exp(d t)

11 Nelineární regresní model příklad Empirickou závislost tedy můžeme zkusit modelovat funkcí f (t) = y 1 y 2 + y 3 = A t B exp(c t) exp(d t), kde A, B, C, D jsou čtyři neznámé parametry, jejichž hodnoty odhadneme z dat metodou nejmenších čtverců. Je důležité vhodně volit jejich počáteční nástřely a dovolený obor hodnot, tj. minimum a maximum. Při tom musíme vzít v úvahu jak tvar funkce, tak i obor hodnot nezávisle proměnné t.

12 Nelineární regresní model příklad U parametru A je to snadné: hodnoty koncentrace jsou nezáporné, i hodnota A musí být nezáporná. Hodnoty koncentrace jsou menší než 4, maximální hodnota parametru A nemůže být příliš velká, interval [0, 20] a startovací hodnota A = 1 může být dobrá volba. U parametru B musíme uvážit, jak rychle má funkce růst. Pokud by B = 1, pak by růst podle y 2 byl lineární, pro B < 1 pomalejší, pro B > 1 rychlejší. Počáteční hodnota B = 1 a hodnoty z intervalu [0, 2].

13 Nelineární regresní model příklad U parametrů C a D musíme být opatrnější. Oba parametry jsou v exponentu, navíc v součinu s veličinou t z intervalu [0, 160], numerické problémy přetečení. Hodnoty C a D musí být kladné, ale malé. Tedy zkusíme C = 0.01 a D = 0.01 a interval pro oba parametry [0, 0.1] a zjistíme, že v průběhu iterací došlo k přetečení (overflow). Změníme-li nástřel na D = 0.001, iterační proces konverguje po 25 krocích a dostaneme následující výsledky:

14 Nelineární regresní model příklad Model conc = (A T B ) EXP( C T ) + 1 1/EXP(D T ) R-Squared Iterations 25 Estimated Model (( ) (T ) ( )) EXP( ( E 02) (T )) +1 1/EXP(( E 02) (T ))

15 Nelineární regresní model příklad