AVDAT Nelineární regresní model Josef Tvrdík Katedra informatiky Přírodovědecká fakulta Ostravská univerzita
Nelineární regresní model Ey i = f (x i, β) kde x i je k-členný vektor vysvětlujících proměnných (x T i je i-tý řádek matice regresorů X, matice X je typu n k) a β je p-členný vektor parametrů. Základní úlohou nelineární regrese je pro daná data [y, X] a daný tvar funkce f (x i, β) odhadnout hodnoty parametrů β tak, aby model co nejlépe vysvětloval pozorované hodnoty náhodného vektoru y.
Nelineární regresní model Zda je model opravdu nelineární v parametrech poznáme podle parciálních derivací g j = f (x i, β) β j Pokud g j = const pro všechna j = 1, 2,..., p tzn. parciální derivace nejsou závislé na β j, pak model je lineární v parametrech, pokud alespoň pro jeden z parametrů β j podmínka neplatí, je model nelineární. Pokud podmínka není splněna pro žádný z parametrů modelu, říkáme, že model je neseparabilní.
Nelineární regresní model To je např. následující model s jedním regresorem (k = 1) f (x i, β) = exp(β 1 x i ) + exp(β 2 x i ). Pokud pro některé parametry je podmínka splněna, je model separabilní, např. f (x i, β) = β 1 + β 2 exp(β 3 x i ). To je model, který je nelineární jen vzhledem k parametru β 3.
Nelineární regresní model Aditivní model pro náhodnou složku y i = f (x i, β) + ε i Předpokládejme, že pro i = 1, 2,..., n ε i jsou vzájemně nezávislé náhodné veličiny (nejsou korelovány), E(ε i ) = 0, hodnoty y i náhodně kolísají okolo prokládané plochy, střední hodnota tohoto kolísání je nulová, var ε i = σ 2, tzn. mají konstantní rozptyl σ 2.
Nelineární regresní model Potom součet čtverců rozdílů pozorovaných a modelových hodnot vyjádřený jako funkce parametrů je Q(β) = n [y i f (x i, β)] 2 i=1 Odhad metodou nejmenších čtverců znamená nalézt takové odhady ˆβ parametrů β, aby Q(β) bylo minimální. Zderivujeme-li Q(β) podle β j, j = 1, 2,..., p a položíme-li derivace rovny nule, dostaneme soustavu p rovnic n i=1 [ y i f (x i, ˆβ) ] f (xi, β) β j β = ˆβ = 0
Nelineární regresní model Na rozdíl od lineární regresní funkce, kdy je soustava normálních rovnic lineární (parciální derivace jsou konstantní) a Q(β) eliptický paraboloid s minimem v bodě ˆβ = b, které lze jednoznačně určit, je u nelineárního modelu soustava normálních rovnic nelineární. Její řešení je náročné, nebot nemusí vždy existovat jednoznačně, navíc je nutno užívat iterativních metod, které nezaručují nalezení globálního minima funkce.
Nelineární regresní model Numerické metody odhadu regresních parametrů minimalizují Q(β) iterativně. Vycházejí z počátečního nástřelu hodnot parametrů. Řešení probíhá po krocích β (0), β (1),..., β (H). Změna mezi jednotlivými iteračními kroky přičtení přírůstkového vektoru h β (h+1) = β (h) + h, při čemž iterační proces by měl splňovat podmínku: Přírůstkový vektor Q(β (h+1) ) < Q(β h ) h = α h v h Jednotlivé algoritmy se liší ve volbě směrového vektoru v h a způsobu adaptace koeficientu α h během výpočtu.
Nelineární regresní model příklad Proložit tuto závislost funkcí, která bude mít vlastnosti: v čase t = 0 má mít koncentrace hodnotu rovnou nule f (0) = 0 v čase t má mít koncentrace hodnotu rovnou jedné funkce má dobře prokládat empirickou závislost
Nelineární regresní model příklad Počáteční (rostoucí) část závislosti i za ní následující prudký pokles bychom mohli vystihnout součinem dvou funkcí: závislosti procházející počátkem, např. ve tvaru y = A t, kde A je neznámý parametr nebo funkcí s dvěma parametry y 1 = A t B, která umožní rychlost růstu aproximovat pružněji. exponenciální funkce ve tvaru y 2 = exp(c t), která může dobře prokládat klesající část závislosti koncentrace na čase, C je opět parametr modelu. (Exponenciální závislost y 2 klesá rychleji než roste y 1 ). Pak nám ještě zbývá vyřešit to, aby s rostoucím časem se funkce blížila hodnotě jedna. Potřebujeme přičíst funkci y 3, která má malé hodnoty při malých hodnotách t a lim y 3 (t) = 1 pro t. Tomuto požadavku vyhovuje např. funkce ve tvaru y 3 = 1 1 exp(d t)
Nelineární regresní model příklad Empirickou závislost tedy můžeme zkusit modelovat funkcí f (t) = y 1 y 2 + y 3 = A t B exp(c t) + 1 1 exp(d t), kde A, B, C, D jsou čtyři neznámé parametry, jejichž hodnoty odhadneme z dat metodou nejmenších čtverců. Je důležité vhodně volit jejich počáteční nástřely a dovolený obor hodnot, tj. minimum a maximum. Při tom musíme vzít v úvahu jak tvar funkce, tak i obor hodnot nezávisle proměnné t.
Nelineární regresní model příklad U parametru A je to snadné: hodnoty koncentrace jsou nezáporné, i hodnota A musí být nezáporná. Hodnoty koncentrace jsou menší než 4, maximální hodnota parametru A nemůže být příliš velká, interval [0, 20] a startovací hodnota A = 1 může být dobrá volba. U parametru B musíme uvážit, jak rychle má funkce růst. Pokud by B = 1, pak by růst podle y 2 byl lineární, pro B < 1 pomalejší, pro B > 1 rychlejší. Počáteční hodnota B = 1 a hodnoty z intervalu [0, 2].
Nelineární regresní model příklad U parametrů C a D musíme být opatrnější. Oba parametry jsou v exponentu, navíc v součinu s veličinou t z intervalu [0, 160], numerické problémy přetečení. Hodnoty C a D musí být kladné, ale malé. Tedy zkusíme C = 0.01 a D = 0.01 a interval pro oba parametry [0, 0.1] a zjistíme, že v průběhu iterací došlo k přetečení (overflow). Změníme-li nástřel na D = 0.001, iterační proces konverguje po 25 krocích a dostaneme následující výsledky:
Nelineární regresní model příklad Model conc = (A T B ) EXP( C T ) + 1 1/EXP(D T ) R-Squared 0.963863 Iterations 25 Estimated Model ((1.685585) (T ) (.5552467)) EXP( (5.248904E 02) (T )) +1 1/EXP((2.545075E 02) (T ))
Nelineární regresní model příklad