Matematika pro chemické inženýry

Transkript

1 Matematika pro chemické inženýry Drahoslava Janovská Lineární a nelineární regrese Přednášky ZS Sponzorováno grantem VŠCHT Praha, PIGA , 2016

2 Povinná látka. Bude v písemkách a bude se zkoušet při ústní zkoušce (žádné označení) Řešené příklady k procvičení - dobrovolné Pro studenty, kteří chtějí vědět víc. Tato látka se nebude přednášet, nebude v písemkách, nebude se zkoušet.

3 Obsah 1 Vyhodnocování experimentálních dat Náhodná veličina, distribuční funkce Střední hodnota a rozptyl náhodné veličiny Kovariance náhodných veličin 2 Základy regresní analýzy Základní model lineární regrese Ekvivalentní model Metoda nejmenších čtverců 3 Nelineární regrese 4 Literatura k dalšímu studiu

4 Vyhodnocování experimentálních dat - Při řešení chemicko-inženýrských problémů jsme obvykle schopni odvodit model procesu nebo děje probíhajícího v zařízení, ale... - Často nejsme schopni určit numerické hodnoty parametrů, které v modelu vystupují Z matematického hlediska mohou být modely různé povahy: lineární nebo nelineární algebraické rovnice, obyčejné diferenciální rovnice nebo parciální diferenciální rovnice. Zajímá nás závislost modelu na množině bezrozměrných parametrů. Předpokládáme závislost ve tvaru y = f (x, a), (1) kde x = (x 1, x 2,..., x n) je vektor nezávisle proměnných, a = (a 1,..., a P ) je vektor parametrů, jejichž hodnoty je třeba určit, a y je závisle proměnná (odezva). Předpokládáme, že nezávisle proměnné x i se měří s prakticky zanedbatelnou chybou ve srovnání s chybou měření závisle proměnné y.

5 Náhodná veličina, distribuční funkce Náhodná veličina Náhodná veličina X je reálná funkce, definovaná na množině všech elementárních jevů Ω s hodnotami v R. Je to tedy funkce, která přiřazuje každému náhodnému pokusu ω Ω reálné číslo X(ω). Náhodné veličiny dělíme na diskrétní jejich obor hodnot je konečná nebo spočetná množina, a na spojité jejich obor hodnot je nespočetná množina. Pravděpodobnost, se kterou náhodná proměnná nabývá určité hodnoty nebo je obsažena v určitém intervalu hodnot, se nazývá rozdělení pravděpodobnosti. Základní možnost, jak popsat pravděpodobnostní rozdělení náhodné veličiny X, je určit její distribuční funkci. Distribuční funkcí náhodné veličiny X nazveme reálnou funkci F(x), x R, definovanou vztahem F(x) = P(X x). Tedy hodnota distribuční funkce v bodě x je pravděpodobnost toho, že náhodná veličina X bude mít hodnotu menší nebo rovnou tomuto x.

6 Náhodná veličina, distribuční funkce Příklad Příklad: Hraní rulety Sledujme dva hody kuličkou a pozorujme, kolikrát přitom padne lichá. Diskrétní náhodná veličina X má za hodnoty počet kol, v nichž padlo liché číslo. Prostor elementárních jevů tohoto náhodného pokusu (označíme S sudou a L lichou) má čtyři prvky: ω 1 = SS, ω 2 = SL, ω 3 = LS, ω 4 = LL a náhodná veličina má tyto hodnoty: X(ω 1 ) = 0, X(ω 2 ) = X(ω 3 ) = 1, X(ω 4 ) = 2.

7 Náhodná veličina, distribuční funkce Vlastnosti distribuční funkce Vlastnosti distribuční funkce: 0 F(x) 1, je neklesající, je zprava spojitá, ma konečně nebo nejvýše spočetně mnoho bodů nespojitosti lim x F(x) = 0, lim x F(x) = 1.

8 Náhodná veličina, distribuční funkce Pravděpodobnostní funkce Diskrétní náhodná veličina X má konečně nebo nejvýše spočetně mnoho hodnot {x 1, x 2,..., x n,... }. Pravděpodobnosti, že tyto hodnoty náhodná veličina nabude, jsou kladné, tj. P(X = x i ) > 0 a platí pro ně x i P(X = x i ) = 1. Říkáme také, že náhodná veličina X ma rozdělení diskrétniho typu. Funkce p(x) = P(X = x) se nazývá pravděpodobnostní funkce diskrétní náhodné veličiny X. Je definovaná pouze na oboru hodnot {x 1, x 2,..., x n,... } náhodné veličiny X a platí p(x i ) > 0, p(x i ) = 1. x i Pravděpodobnostní funkce umožňuje určit distribuční funkci F náhodné veličiny X: F(x) = xi x P(X = x i ) = xi x p(x i ), < x <.

9 Náhodná veličina, distribuční funkce Tedy distribuční funkce diskrétní náhodné veličiny je nespojitá v bodech x 1, x 2,... v každém x i má skok velikosti P(X = x i ), v intervalech x i ; x i+1 ) je vždy konstantní. Spojitá náhodná veličina X má rozdělení pravděpodobnosti spojitého typu, existuje-li nezáporná reálná funkce f (x) taková, že distribuční funkci F(x) lze vyjádřit ve tvaru F(x) = f (t)dt, < x <. Funkce f (x) je definovaná pro všechna reálná x a nazývá se hustota pravděpodobnosti náhodné veličiny X. Lze ukázat, že takto definovaná distribuční funkce F spojité náhodné veličiny je spojitá pro všechna x a ve všech bodech, v nichž má derivaci, je f (x) = F (x).

10 Střední hodnota a rozptyl náhodné veličiny Číselné charakteristiky náhodných veličin Střední hodnota náhodné veličiny X je charakteristikou její polohy (myšleno ve smyslu polohy hodnot veličiny X na číselné ose), je to jistá průměrná hodnota, kolem níž náhodná veličina náhodně kolísá. Je-li X náhodná veličina s diskrétním rozdělením pravděpodobnosti, která nabývá hodnoty x 1, x 2,... a má pravděpodobnostní funkci p(x), pak její střední hodnota je číslo E(X) = x i x i p(x i ). Je-li X náhodná veličina se spojitým rozdělením pravděpodobnosti a s hustotu f (x), je její střední hodnota číslo E(X) = xf (x)dx.

11 Střední hodnota a rozptyl náhodné veličiny Rozptyl charakterizuje kolísání náhodné veličiny kolem její střední hodnoty. Rozptylem náhodné veličiny X nazveme číslo: D(X) = E(X E(X)) 2. Dosadíme-li do tohoto vztahu vzorec pro střední hodnotu pro veličinu s diskrétním a potom se spojitým rozdělením, dostaneme pro rozptyl: Je-li X diskrétní náhodná veličina, je D(X) = x i (x i E(X)) 2 p(x i ). Je-li X spojitá náhodná veličina, je D(X) = Vždy platí D(X) 0. (x E(X)) 2 f (x)dx.

12 Střední hodnota a rozptyl náhodné veličiny Rozptyl se také značí σ 2. Odmocnině z rozptylu se říká směrodatná odchylka. Tedy σ = D(X). Je-li σ malé, nabývá náhodná veličina s velkou pravděpodobností hodnot, velmi blízkých své střední hodnotě E(X). Rozptyl se často počítá podle vzorce D(X) = E(X 2 ) (E(X)) 2, tedy pro veličinu s diskrétním rozdělením D(X) = xi 2 p(x i ) (E(X)) 2, x i pro veličinu se spojitým rozdělením D(X) = x 2 f (x)dx (E(X)) 2.

13 Dvojice náhodných veličin Uvažujme dvojici náhodných veličin, někdy říkáme, že tvoří náhodný vektor (X, Y ) nebo také dvourozměrnou náhodnou veličinu. Distribuční funkcí náhodné veličiny (X, Y ) nazveme reálnou funkci F(x.y) definovanou v R 2 vztahem F(x, y) = P(X x, Y y). Střední hodnotou dvourozměrné náhodné veličiny (X, Y ) budeme nazývat dvojici (E(X), E(Y )).

14 Kovariance náhodných veličin Kovariance náhodných veličin Kromě číselných charakteristik jednotlivých náhodných veličin X a Y jsou důležité číselné charakteristiky, které vyjadřují jejich vzájemnou souvislost: Kovariance náhodných veličin X a Y je číslo cov(x, Y ) = E([X E(X)] [Y E(Y )]) cov(x, X) = E([X E(X)] 2 ) = D(X). K výpočtu kovariance slouží nejčastěji vzorec cov(x, Y ) = E(X Y ) E(X) E(Y ), kde E(X Y ) = x i y j x i y j p(x i, y j ). Kovariance je mírou lineární závislosti veličin X a Y. Pro zhodnocení takové závislosti je ale většinou vhodnější tzv. korelační koeficient ϱ(x, Y ), ϱ(x, Y ) = cov(x, Y ) D(X) D(Y ).

15 Kovariance náhodných veličin Kovarianční matice Pro korelační koeficient vždy platí 1 ϱ 1. Například závisí-li Y na X lineárně, tj. Y = ax + b, platí: 1 je-li grafem této závislosti rostoucí přímka, čili a > 0, je ϱ = 1, 2 je-li grafem této závislosti klesající přímka, čili a < 0, je ϱ = 1 Je-li kovariance X a Y rovna nule, je také jejich korelační koeficient roven nule a takové veličiny nazýváme nekorelované. Pro takové veličiny pak platí E(X Y ) = E(X) E(Y ). Matice [ cov(x, X) cov(x, Y ) cov(y, X) cov(y, Y ) ] [ = D(X) cov(x, Y ) cov(y, X) D(Y ) ] se nazývá kovarianční matice dvojice náhodných veličin X a Y. Kovarianční matice je analogie k jednorozměrnému rozptylu náhodné veličiny X.

16 Regresní funkce Funkci η(x) = E(Y (x)) definovanou na definičním oboru A R proměnné x nazveme regresní funkcí. Regresí rozumíme závislost střední hodnoty náhodné veličiny Y (x) na veličině x. Předpokládáme, že známe tvar regresní funkce, a na základě náhodného výběru odhadujeme její neznámé parametry: Vybereme n hodnot x j, j = 1,..., n, x j A, nezávisle proměnné. Pro každé x j napozorujeme (naměříme) realizaci (hodnotu) y j náhodné veličiny Y j : x j, j = 1,..., n, A y j = Y (x j ). Získané dvojice hodnot (x 1, y 1 ),..., (x n, y n) nám poslouží k odhadu neznámých parametrů regresní funkce. Speciální případ: Jednoduchá lineární regresní funkce má tvar η(x) = β 1 + β 2 x, kde β 1, β 2 jsou parametry této funkce, jejichž hodnoty hledáme. Grafem jednoduché lineární regresní funkce je přímka se směrnicí β 2, říkáme, že jde o přímkovou regresi.

17 Základní model lineární regrese Základní model lineární regrese Model lineární regrese by měl splňovat: 1. Regresní funkce η(x) je lineární funkcí tvaru η(x) = p β k f k (x), k=1 kde f k (x) jsou známé funkce a β k, k = 1,..., p, neznámé parametry. Funkce η je lineární vzhledem k parametrům. 2. Hodnotě x j je přiřazena náhodná veličina Y j, pro kterou platí E(Y j ) = η(x j ), D(Y j ) = σ 2, j = 1,..., n, Druhá rovnice znamená, že rozptyl náhodné veličiny Y nezávisí na x j a je tedy konstantní, což může např. znamenat, že všechny realizace y 1,..., y n náhodných veličin Y 1,..., Y n jsou naměřeny se stejnou přesností. 3. Hodnoty nezávisle proměnné x j, j = 1,..., n, nejsou všechny stejné.

18 Základní model lineární regrese 4. Matice F = (f ij ), kde f ij = f i (x j ), i = 1,..., p, j = 1,..., n. má hodnost p. Poznamenejme, že počet n dvojic (x j, y j ) musí být větší než počet neznámých parametrů p, přesněji, mělo by platit n p > Náhodné veličiny Y 1,..., Y n jsou nekorelované, t.j. Maticově zapsáno cov(y i, Y j ) = 0, i, j = 1,..., n, i j. C y = σ 2 E n, kde E n je jednotková matice řádu n, C y je matice kovariance veličin Y 1,..., Y n. Příklad Pro regresní přímku, tj. regresní funkci tvaru η(x) = α + βx je počet neznámých parametrů p = 2 a β 1 = α, f 1 = 1, β 2 = β, f 2 = x.

19 Ekvivalentní model Ekvivalentní model Popsaný model v ekvivalentním tvaru Y j = η(x j ) + ε j = p β k f kj + ε j, j = 1,..., n, (2) k=1 kde hodnoty x 1,..., x n jsou hodnotami nenáhodné proměnné, hodnoty f kj = f k (x j ) splňují podmínku 3. modelu. Pro náhodné chyby ε j, j = 1,..., n, a pro kovarianční matici C ε náhodného vektoru ε = (ε 1,..., ε n) platí E(ε j ) = 0, j = 1,..., n, C ε = σ 2 E n = C y. Rovnici (2) lze zapsat maticově Y = F T β + ε.

20 Metoda nejmenších čtverců Metoda nejmenších čtverců Odhady neznámých parametrů β 1,..., β p v popsaném modelu lineární regrese budeme hledat metodou nejmenších čtverců. Označme tyto odhady b 1,..., b p, což jsou výběrové funkce náhodného výběru Y 1,..., Y n. Minimalizujeme součet čtverců odchylek napozorovaných hodnot y j od středních hodnot η j = η(x j ), tedy součet čtverců Q(β 1,..., β p) = n (y j η j ) 2 = j=1 ( n y j Odhady b 1,..., b p tedy najdeme jako řešení soustavy rovnic j=1 Q β k = 0, k = 1,..., p. Tato soustava se nazývá soustavou normálních rovnic. ) 2 p β k f kj. k=1

21 Metoda nejmenších čtverců Soustavu pro hledané odhady b 1,..., b p zapíšeme v přehledném tvaru kde b 1 S 11 + b 2 S b ps 1p = S 1y b 1 S 21 + b 2 S b ps 2p = S 2y. b 1 S p1 + b 2 S p2 + + b ps pp = S py, S ki = S ky = n f kj f ij, i, k = 1,..., p, j=1 n f kj y j, k = 1,..., p. j=1 Zřejmě S ik = S ki pro i, k = 1,..., p.

22 Metoda nejmenších čtverců Maticově: Je-li y = (y 1,..., y n) T, b = (b 1,..., b p) T, pak normální rovnice lze zapsat ve tvaru F F T b = F y. (3) Podle předpokladu je h(f ) = p, pak také h(f F T ) = p a F F T je typu p p, regulární = existuje (F F T ) 1, a tedy z rovnice (3) lze vyjádřit vektor b : b = (F F T ) 1 F y, vektor b je jednoznačně určen a jeho jednotlivé složky jsou lineárními kombinacemi hodnot y 1,..., y n. Pozor! Výpočet je extrémně numericky nestabilní, viz přednáška Lineární algebra.

23 Metoda nejmenších čtverců Příklad Necht regresní přímka prochází počátkem, η(x) = a x, pak f ij = x a β 1 = a. Označme x = (x 1,..., x n) T, F = (x 1,..., x n). Pak F F T = (x 1,..., x n) (x 1,..., x n) T = n j=1 xj 2 = (FF T ) 1 1 = n j=1 x. j 2 Odhad parametru a je a = (F F T ) 1 F y = ( ) n 1 n x T j=1 x jy j y = j=1 x j 2 n j=1 x. j 2

24 Metoda nejmenších čtverců Příklad Růst ledových krystalů Ledové krystaly byly uloženy do boxu s konstantní teplotou -5 C. Cílem bylo analyzovat růst krystalů jako funkci času. V následující tabulce jsou uvedena naměřená data, y je délka krystalů v mikronech, x je čas v sekundách. Uvedena jsou i opakovaná měření. S využitím přímkové regrese y = β 0 + β 1 x určete parametry β 0 a β 1. x[s] y[mm] x[s] y[mm] , , , , , , , 25, , , 29, , , , 30, , 28, , 36, , 25,

25 Metoda nejmenších čtverců Řešení Experimentální data zapíšeme maticově y = X = , kde y R n je vektor a X R n p matice. Celkový počet měřicích bodů je n = 43 a p reprezentuje počet parametrů, v tomto případě dva: β 0, β 1. První sloupec matice X má v každém řádku jen 1. Počet navzájem různých měřicích bodů je m = 22. Protože se mnoho experimentů opakuje, je m podstatně menší, než celkový počet měřicích bodů n. Označme n i počet měření pro každé x i, i = 1,..., m, přičemž n = m i=1 n i. Parametry modelu můžeme spočítat následovně: b = [ β 0, β 1 ] = (X T X) 1 X T y = Získali jsme model y = x. [ ].

26 Metoda nejmenších čtverců Nejlepší nestranný odhad lineární parametrické funkce Úloha Hledáme nejlepší nestranný odhad lineární funkce parametrů β = (β1,..., β p) T. Uvažujme parametrickou funkci γ = p c k β k = c T β, k=1 kde c = (c 1,..., c p) T je známý nenulový vektor ( c 0). Tvrzení Nejlepším nestranným lineárním odhadem parametrické funkce c T β je výběrová funkce (statistika) g = c T b, kde b je řešením normálních rovnic. E(g) = γ a nejlepší znamená, že rozptyl D(g) je minimální ve třídě nestranných odhadů.

27 Nelineární regrese Cíl: odhad parametrů a 1,..., a n v nelineární empirické formuli y = f (x, a). Budeme minimalizovat součet čtverců odchylek S(a) = m (f (x j, a) y j) 2 m = qj 2 (a), j=1 j=1 kde q j je residuum j tého měřeného bodu. Označme a + bod, v němž součet čtverců S(a) nabývá svého minima. Hodnotu a + hledáme jako limitu tzv. minimizující posloupnosti a k tak, aby platilo S(a k+1 ) < S(a k ).

28 Taylorův rozvoj funkce f (zanedbáme členy vyššího řádu než 1): f (x, a) f (x, a k ) + grad T a f (x, ak ) (a a k ) f (x, a) f (x, a k ) + Vyhodnot me aproximativní formuli n j=1 f (x, a k ) a j (a j a k j ). y f (x, a k ) = n j=1 f (x, a k ) a j a k j. Označme Γ(a) Jacobiovu matici, f (x 1, a) f (x 1, a)... a 1 a 2 Γ(a) =. f (x m, a) f (x 1, a)... a 1 a 2 f (x 1, a) a n. f (x m, a) a n.

29 Hledané řešení: ( 1 + a k = Γ T (a k ) Γ(a )) k Γ T (a k )q(a k ), kde q = (q 1,..., q m). Pomocí + a k vypočteme další iteraci a k+1 = a k + λ + a k, λ (0, 1. První hodnota: λ = 1. Je-li S(a k+1 ) S(a k ), zmenšíme λ. Výpočet provádíme pro Γ T (a k ) Γ(a k ) }{{} + a k = Γ T (a k ) q(a k ). matice n n Proces ukončíme, je-li + a k menší, než zadaná přesnost.

30 Literatura k dalšímu studiu D. R. Cox, Christl A. Donnelly: Principles of Applied Statistics. Cambridge University Press, Kubíček M., Dubcová M., Janovská D.: Numerické metody a algoritmy, VŠCHT Praha, 2005 (second edition). Harvey Motulsky, Arthur Christopoulos: Fitting Models to Biological Data using Linear and Nonlinear Regression. A practical guide to curve fitting. 2003, GraohPad Software Inc. San Diego CA, J. Pavlík a kol.: Aplikovaná statistika. Vysoká škola chemicko-technologická v Praze, Praha Anders Rasmuson, Bengt Andersson, Louise Olsson, Ronnie Andersson: Mathematical Modeling in Chemical Engineering. Cambridge University Press, 2014.