Matematika pro chemické inženýry

Transkript

1 Matematika pro chemické inženýry Drahoslava Janovská Lineární algebra Přednášky ZS Sponzorováno grantem VŠCHT Praha, PIGA , 2016

2 Povinná látka. Bude v písemkách a bude se zkoušet při ústní zkoušce (žádné označení) Řešené příklady k procvičení - dobrovolné Pro studenty, kteří chtějí vědět víc. Tato látka se nebude přednášet, nebude v písemkách, nebude se zkoušet.

3 Obsah 1 Maticové rovnice, inverzní matice. Vlastní čísla a vlastní vektory matice, zobecněné vlastní vektory. Řešení soustav lineárních algebraických rovnic. Řešení soustav lineárních algebraických rovnic Inverzní matice Maticové rovnice Vlastní čísla a vlastní vektory matice 2 Redukce matice Givensovy matice rovinné rotace Householderovy matice zrcadlení 3 Singulární rozklad matice Singulární hodnoty matice Singulární rozklad matice Řešení soustavy lineárních rovnic ve smyslu nejmenších čtverců Řešení normálních rovnic s využitím singulárního rozkladu Singulární rozvoj matice 4 Příklad: Komprese dat 5 Doporučená literatura

4 Řešení soustav lineárních algebraických rovnic Řešení problému látkové bilance Mějme následující separační systém: Chceme vypočítat neznámý hmotnostní tok [kg/s] každého výstupního proudu. Definujeme neznámé x 1 = 2 F[kg/s], x 2 = 4 F[kg/s] a x 3 = 5 F[kg/s].

5 Řešení soustav lineárních algebraických rovnic Hmotnostní bilance Poznámka: Systém se třemi složkami má právě tři nezávislé bilance, víme tedy, že musíme sestavit tři nezávislé rovnice. Zápisem hmotnostní bilance pro (a) Celkový hmotnostní průtok, (b) hmotnostní průtok složky A, a (c), hmotnostní průtok složky B, dostaneme soustavu tří lineárních algebraických rovnic pro tři neznámé toky: x 1 + x 2 + x 3 = x x x 3 = x x 2 = 6 Zapíšeme maticově x 1 x 2 x 3 =

6 Řešení soustav lineárních algebraických rovnic Řešíme Gaussovou eliminací. Přímý chod [A b] = Zpětný chod x 3 = x 3 = , 0.69x = 3.3 x 2 = x = 10 x 1 = Podle Frobeniovy věty má soustava řešení, nebot h(a) = h(a b) = 3. Protože počet neznámých je také 3, má soustava právě jedno řešení. Hmotnostní toky jsou 2 F = [kg/s], 4 F = [kg/s] a 5 F = [kg/s].

7 Řešení soustav lineárních algebraických rovnic Příklad K výrobě určité směsi jsou zapotřebí tři složky A, B, a C, které se nejprve musí rozpustit každá zvlášt ve vodě. Předpokládejme, že smícháním roztoku o hustotě 1, 5g/cm 3 složky A s roztokem o hustotě 3, 6g/cm 3 složky B a roztokem o hustotě 5, 3g/cm 3 složky C získáme g směsi. Pokud bude hustota roztoků složek A, B, C v jednotlivých roztocích 2, 5; 4, 3, a 2, 4g/cm 3 v daném pořadí, pak při smíchání stejných objemů jako v předchozím případě získáme 22,36 g výsledné směsi. Je-li hustota roztoků složek 2, 7; 5, 5 a 3, 2g/cm 3, pak (opět při použití stejných objemů) vznikne 28,14 g výsledné směsi. Jaké jsou objemy (v krychlových centimetrech) roztoků obsahujících složky A, B, a C za předpokladu aditivity objemu?

8 Řešení soustav lineárních algebraických rovnic Řešení Necht x, y, z jsou odpovídající objemy (v cm 3 ) roztoků obsahujících složky A, B, C. Dostaneme soustavu tří algebraických rovnic 1.5x + 3.6y + 5.3z = x + 4.3y + 2.4z = x + 5.5y + 3.2z = Matice soustavy a rozšířená matice soustavy mají hodnost 3, počet neznámých je také 3, tedy soustava má právě jedno řešení, a to x = 1.5cm 3, y = 3.1cm 3, z = 2.2cm 3.

9 Řešení soustav lineárních algebraických rovnic Řešení soustav lineárních algebraických rovnic. Řešme soustavu lineárních algebraických rovnic Metody: Ax = b, A R m n, x R n, b R m přímé... po konečném počtu kroků získáme x iterační... x získáme jako limitu posloupnosti iterací x n : x = lim n xn Důležité kritérium pro ukončení iteračního procesu ( stopping criterion )

10 Řešení soustav lineárních algebraických rovnic Přímé metody 1. Gaussova eliminace A B, B v horním trojúhelníkovém tvaru (HT-tvaru)... přímý chod x x x 0 x x... zpětný chod 0 0 x Frobeniova věta Soustava lineárních algebraických rovnic Ax = b má řešení Počet řešení: Je-li h(a) = h(a b) = n h(a) = h(a b) = soustava má právě jedno řešení Je-li h(a) = h(a b) < n = dim V h = n h(a) > 0 = soustava má nekonečně mnoho řešení.

11 Řešení soustav lineárních algebraických rovnic Rozkladové metody řešení soustavy Ax = b 2.a) LU rozklad (Gaussova eliminace je speciálním případem LU rozkladu) A = LU L... dolní (lower) trojúhelníková s jedničkami na diagonále, U... horní (upper) trojúhelníková, u ii 0 (pokud toto neplatí, je třeba permutovat řádky matice A maticí P a rozklad provádíme pro matici PA). Protože L = x x... x 1 U = x x x 0 x x Ax = b (LU)x = b L(Ux) = b, řešíme dvě soustavy s trojúhelníkovou maticí: nejprve Ly = b, pak Ux = y.

12 Řešení soustav lineárních algebraických rovnic 2.b) QR rozklad A = QR Q... ortogonální matice: QQ T = E Q 1 = Q T R... horní trojúhelníková Rovnost (QR)x = b vynásobíme zleva maticí Q T, a dostaneme Q T Q }{{} Rx = QT b E Rx = Q T b a opět máme soustavu s trojúhelníkovou maticí. Jak už jsme poznamenali, LU rozklad nemusí existovat. QR rozklad existuje vždy. LU rozklad je výhodný, řešíme-li mnoho lineárních soustav se stejnou maticí soustavy a s pravými stranami, které se mění během výpočtu. Matice L a U pak stačí spočítat jen pro první soustavu.

13 Řešení soustav lineárních algebraických rovnic Další přímé metody 3. Cramerovo pravidlo ideální pro regulární matice 2 2, pro větší soustavy nepoužitelné. 4. Pomocí inverzní matice Ax }{{ = b }, A regulární = A 1 : A A 1 = A 1 A = E. nejjednodušší maticová rovnice Rovnici Ax = b vynásobíme zleva maticí A 1 : A } 1 {{ A } x = A 1 b = x = A 1 b E Numerický výpočet je nedoporučeníhodný, výpočet je velmi nestabilní. Vhodné pro důkazy teoretických výsledků.

14 Řešení soustav lineárních algebraických rovnic Iterační metody 5. Jacobiova metoda Princip: Matici soustavy A rozepíšeme na součet matic A = D L U, kde (1) D = a ii a 11 x x x L ostře dolní trojúhelníková matice A = x a 22 x x x x a 33 x U ostře horní trojúhelníková matice x x x a 44 Necht a ii 0, i = 1,..., n, naopak L + U má diagonální prvky všechny nulové. Pak Ax = b (D L U)x = b D }{{} x = b + (L + U) }{{} x = x (k+1) = D 1 (b + (L + U)x (k) ) }{{} (k + 1) ní iterace k tá iterace Jacobiova metoda

15 Řešení soustav lineárních algebraických rovnic Iterační metody 6. Gaussova-Seidelova metoda Rovnici (1) opět dosadíme do řešené soustavy a rozepíšeme, tentokrát jako (D L U)x = b (D L) x }{{} = b + U x }{{} = (k + 1)-ní iterace k tá iterace Gaussova-Seidelova metoda : x (k+1) = (D L) 1 (b + Ux (k) ).

16 Řešení soustav lineárních algebraických rovnic Metoda SOR 7. Metoda SOR Tentokrát matici A zapíšeme jako A = B + (A B), (2) kde B je regulární. Pak Bx = (B A)x + b. Dostaneme tak iterační metodu ( ) x (k+1) = B 1 (B A)x (k) + b. (3) Vynásobíme-li rovnost (2) reálným číslem ω, tzv. relaxačním parametrem, a položíme-li B = D ωl, dostaneme rozklad matice A ve tvaru ωa = (D ωl) (ωu + (1 ω)d). Vznikne tak metoda SOR, jejíž iterace jsou definovány předpisem (D ωl)x (k+1) = (ωu + (1 ω)d) x (k) + ωb, neboli x (k+1) = (D ωl) 1 ((1 ω)d + ωu) x (k) + ω(d ωl) 1 b. (4)

17 Inverzní matice Inverzní matice Necht A je čtvercová matice n n. Říkáme, že matice B je inverzní k matici A, jestliže AB = BA = E. Inverzní matici k matici A obvykle značíme A 1, tedy AA 1 = A 1 A = E. Inverzní matice k matici A existuje A je regulární (deta 0). Necht A = (a ij ) n n, det A 0 (A je regulární). Pak T A 11,... A 1n A 1 = 1 A 21,... A 2n det A, kde A. ij = ( 1) i+j M ij,. A n1,... A nn A ij je algebraický doplněk prvku a ij, M ij je minor příslušný prvku a ij, tj. determinant matice o řád menší, která vznikne z původní matice vynecháním i tého řádku a j tého sloupce. Gaussova-Jordanova metoda Nemusíme předem vědět, že matice A je regulární. Pomocí ekvivalentních úprav: (A E) (E A 1 ).

18 Maticové rovnice Koncentrace meziproduktů v reakčním systému Příklad V daném reakčním systému jsou časově nezávislé (stacionární) koncentrace meziproduktů určeny maticovou rovnicí ν 11 ν ν 1R w 1 0 ν 21 ν ν 2R.. w 2. = 0, kde (5). ν N1 ν N2... ν NR w R 0 {ν ij }, i = 1,..., N, j = 1..., R, je stechiometrická matice, ν ij je stechiometrický koeficient i té složky v j té reakci, a {w j } je sloupcový vektor neznámých reakčních rychlostí. Tedy složek je N, reakcí R. Poznamenejme, že reakce zahrnuje i přítoky (což jsou efektivně reakce nultého řádu) a odtoky (efektivní reakce prvního řádu). Přítoky/odtoky (nebo ekvivalentně reakce nultého/prvního řádu) tam musí být, pokud hledáme netriviální (=termodynamicky nerovnovážné) stacionární stavy.

19 Maticové rovnice Hledáme řešení homogenní soustavy lineárních algebraických rovnic (5). Lineárně nezávislá řešení této soustavy jsou označována jako reakční cesty, ke kterým přiřazujme nějaké sít ové reakce. Abychom tyto sít ové reakční rovnice vytvořili, vynásobíme R reakcí stechiometrické matice (které obsahují stále reaktanty, produkty a meziprodukty) jedním z lineárně nezávislých řešení (w 1, w 2,..., w R ) T a přidáme získané rovnice. Sít ové reakční rovnice už neobsahují meziprodukty. Příklad Brusselátor Brusselátor je oscilující autokatalytická chemická reakce popsaná rovnicemi A X B + X Y + D 2X + Y 3X X E meziprodukty: X, Y (6) První reakce je vlastně efektivní přítok X a čtvrtá reakce je efektivní odtok X, tedy systém je otevřený a může mít (nerovnovážný) stacionární stav.

20 Maticové rovnice Příklad Brusselátor Stechiometrická matice pro meziprodukty X, Y je X Y a soustava rovnic pro stacionární stavy meziproduktů je [ ] Sw = w 1 w 2 w 3 w 4 = [ 0 0 Hodnost matice S je h(s) = 2, počet neznámých je n = 4, tedy dimenze prostoru V H je 2. Soustava má 2 lineárně nezávislá řešení, která tvoří bázi V H. Vypočteme je. ] (7)

21 Maticové rovnice Volíme 2 neznámé jako parametry: w 4 = t, w 3 = s. Všechna řešení soustavy (7) jsou w w w = t s 1, t, s R. w Tedy V H = {(1, 0, 0, 1) T, (0, 1, 1, 0) T } 2 LN řešení (báze V H ), tedy 2 reakční cesty. Vynásobením celkové (produkty i meziprodukty) stechiometrické matice reakčními cestami dostaneme odpovídající sít ové reakce: X Y A B D E X Y A B D E = = A = E B = D

22 Maticové rovnice Příklad Zjistěte hodnost stechiometrické matice, najděte lineárně nezávislé chemické reakce v systému a určete bázi Cl 2 2 Cl 2 Cl Cl 2 Cl + CO COCl COCl Cl + CO COCl + Cl 2 COCl 2 + Cl COCl 2 + Cl COCl + Cl 2 Tenhle systém je rovnovážný (tři vratné reakce) a uzavřený, takže výsledkem jsou rovnovážné stacionární stavy = reakční cesty.

23 Maticové rovnice Řešení Stechiometrická matice ν Cl Cl 2 CO COCl COCl 2 ν T = h(ν T ) = h(ν) = 3. Lineárně nezávislé jsou například reakce 1., 3., 5. nebo reakce 2., 4., 6.

24 Maticové rovnice Soustava ν T w = 0 má nekonečně mnoho řešení, volíme 2 neznámé jako parametry: w 4 = t, w 5 = s. Pak lineární prostor V H = {w R 5, w = t s , t, s R} Soustava má dvě lineárně nezávislá řešení, tedy 2 reakční cesty.

25 Maticové rovnice Maticové rovnice Nejjednodušší maticová rovnice Ax = b, A čtvercová, regulární, n n = A 1 Vynásobíme A 1 zleva a dostaneme Kdybych násobila maticí A 1 zprava: A } 1 {{ A } x = A 1 b = x = A 1 b E 1 A }{{} A }{{} x }{{} = }{{} b }{{} A 1 n n n 1 n n n 1 n n... nelze násobit Příklad: ( ) 1 3 XA E = 2X + A, A = 0 2 ( ) 1 3 XA 2 X = A + E = X(A 2E) = A + E, A 2E = 0 0 det(a 2E) = 0 = k matici A 2E neexistuje matice inverzní. Maticová rovnice nemá řešení.

26 Maticové rovnice Příklad: A X + X = A E, A = (A + E) X = A E = X = (A + E) 1 (A E) A + E = , det(a + E) = 1 0 = (A + E) (A + E E) = X = (A + E) 1 (A E) = (E (A + E) 1 )

27 Vlastní čísla a vlastní vektory matice Vlastní čísla a vlastní vektory matice Definice Vlastním číslem matice A (reálné nebo komplexní) se nazývá každé (obecně komplexní) číslo λ, splňující pro některý nenulový vektor x rovnici Ax = λ x, x 0... vlastní vektor matice A příslušný k vlastnímu číslu λ Množina všech vlastních čísel matice A... spektrum matice A Ax = λx... maticová rovnice pro neznámý vektor x Ax λx = 0, (A λe)x = 0, x 0, A λe musí být singulární = det(a λe) = 0... charakteristická rovnice matice A }{{} charakteristický polynom matice A = polynom stupně n : P(λ) = det(a λe) = ( 1) n (λ n + p 1 λ n 1 + p 2 λ n p n), kde p 1 = a 11 + a a nn = stopa matice A p n = ( 1) n det A Pozor! Vlastní čísla reálné matice mohou být imaginární.

28 Vlastní čísla a vlastní vektory matice Příklad: Vypočtěte vlastní čísla a vlastní vektory matice A = ( ) 2 λ 1 A λe = 5 λ ( = det(a λe) = λ 2 2λ + 5 ). Charakteristická rovnice: λ 2 2λ + 5 = 0 = λ 1 = 1 + 2i, λ 2 = 1 2i, vlastní čísla matice A jsou navzájem komplexně sdružená. Vypočteme vlastní vektor x 1 příslušný vlastnímu číslu λ 1 = 1 + 2i, tj. řešíme soustavu se singulární maticí : (A λ 1 E)x 1 = 0, x 1 = (h 1, h 2 ) 0, tedy soustavu ( ) ( ) ( ) 1 2i 1 h1 0 = 5 1 2i 0 Tato soustava má nekonečně mnoho řešení, ale my chceme jen jeden vlastní vektor. Zvolme např. h 1 = 1, pak h 2 = 1 + 2i. Jsou-li vlastní čísla komplexně sdružená, jsou také komplexně sdružené vlastní vektory. Dostáváme ) ( ) x 1 = ( i h 2, x 2 = 1 1 2i.

29 Vlastní čísla a vlastní vektory matice Poznámka Tři nutné a postačující podmínky pro to, aby λ bylo vlastním číslem matice A: Existuje nenulový vektor x takový, že Ax = λx Matice A λe je singulární det(a λe) = 0 Věta Jestliže nenulové vlastní vektory x 1, x 2,..., x k jsou vlastní vektory příslušné různým vlastním číslům λ 1, λ 2,..., λ k, pak jsou tyto vlastní vektory lineárně nezávislé. Důkaz Ukážeme pro k = 2. Provedeme lineární kombinaci c 1 x 1 + c 2 x 2 = 0... = Rovnici vynásobíme maticí A zleva. Dostaneme c 1 λ 1 x 1 + c 2 λ 2 x 2 = 0. Od této rovnice odečteme první rovnici vynásobenou λ 2. Dostaneme c 1 (λ 1 λ 2 )x 1 = 0. Protože λ 1 λ 2 a x 1 0, je c 1 = 0. Obdobně pro c 2 a obdobně pro k > 2.

30 Vlastní čísla a vlastní vektory matice Odhad spektrálního poloměru Odhad spektrálního poloměru Geršgorinova věta Necht A = (a jk ) je čtvercová matice n n. Necht K j = {µ C, µ a jj n a jk } je kruh se středem S j a poloměrem r j, S j = a jj, r j = n k=1 k j a jk, t.j poloměr r j kruhu K j je roven součtu absolutních k=1 k j hodnot mimodiagonálních prvků v j tém řádku. Pak všechna vlastní čísla matice A leží ve sjednocení kruhů n j=1 K j. Numerické metody výpočtu vlastních čísel a vlastních vektorů jsou založeny na LU nebo QR rozkladu matice A.

31 Vlastní čísla a vlastní vektory matice Příklad A = , S 1 = 1 r 1 = 3 S 2 = 1 r 2 = 1 S 3 = 0 r 3 = 2 S 4 = 2 r 4 = 3 Vlastní čísla jsou ± i, ± i. Všechna leží v množině M = K 1 K 2 K 3 K 4.

32 Givensovy matice rovinné rotace Givensovy matice rovinné rotace Matice G pq R n n, p < q, tvaru c s. 1. G p,q = s c 1... p q 1 p, q kde s = sin φ, c = cos φ, φ reálné, se nazývá Givensova matice rovinné rotace. Matice G pq popisuje rotaci (otočení) R n kolem počátku o úhel φ v rovině p-q.

33 Givensovy matice rovinné rotace Elementární matice rotace Idea: ( cos ϕ sin ϕ G 12 = sin ϕ cos ϕ ), x = ( x1 x 2 ) = G 12 x = ( x1 cos ϕ + x 2 sin ϕ x 1 sin ϕ + x 2 cos ϕ ). Vhodnou volbou ϕ lze dosáhnout toho, že se jedna ze složek vektoru x vynuluje. Např. zvolíme ϕ tak, aby se druhá složka vynulovala: x 1 sin ϕ + x 2 cos ϕ = 0. Nyní využijeme rovnost cos ϕ = 1 sin 2 ϕ. Pak x 2 1 sin 2 ϕ = x 2 2 (1 sin 2 ϕ) = sin 2 ϕ = x 2 2 x x 2 2 pro (x 1, x 2 ) (0, 0). Dostaneme: x 2 sin ϕ = ; obdobně cos ϕ = x1 2 + x 2 2 (úhel ϕ znát nepotřebujeme, stačí znát sin ϕ a cos ϕ). x 1 x1 2 + x 2 2.

34 Givensovy matice rovinné rotace G 1,2... elementární matice rotace. G 1,2 je ortogonální matice: ( ) ( ) G T 1,2G 1,2 = G 1,2 G T cos ϕ sin ϕ cos ϕ sin ϕ 1,2 = = sin ϕ cos ϕ sin ϕ cos ϕ ( ) 1 0 = E 0 1 Položme x 2 sin ϕ = x1 2 + x 2 2 a x 1 cos ϕ =. x1 2 + x 2 2 Pak ( x1 cos ϕ + x 2 sin ϕ G 12 x = x 1 sin ϕ + x 2 cos ϕ ) = x 2 1 x x 2 2 x 1 x 2 x x x 2 2 x x 2 2 x 1 x 2 x x 2 2 = ( x 0 ).

35 Givensovy matice rovinné rotace Příklad Necht x = (3, 4) T. Položme sin φ = 4, cos φ = 3. Pak 5 5 G 12 x = 1 ( ) ( ) = (5, 0) T Vynásobíme-li vektor x T maticí G T pq zprava: x T G T 12 = 1 ( ) ( 3, 4 ) 4 3 = ( 5, 0 ). Položíme-li sin φ = 3, cos φ = 4, dostaneme 5 5 G 12 x = 1 ( ) ( ) = (0, 5) T Obdobně při násobení zprava: x T G T 12 = 1 ( ) ( 3, 4 ) = ( 0, 5 ). 3 4

36 Givensovy matice rovinné rotace ( x G 12 x = 0 ) y x = (x 1, x 2 ) T G 12 x = ( x, 0) T x

37 Givensovy matice rovinné rotace Matice rotace G pro vektor x R 3? Idea: vložíme matici G 1,2 do jednotkové matice E tři možnosti: Pro vhodnou volbu ϕ cos ϕ sin ϕ 0 G 12 = sin ϕ cos ϕ 0 = G x 1 x 2 x 3 = x 1 0 x 3 Pro vhodnou volbu ϕ cos ϕ 0 sin ϕ G 13 = = G 13 sin ϕ 0 cos ϕ x 1 x 2 x 3 = x 1 x 2 0 Pro vhodnou volbu ϕ G 23 0 cos ϕ sin ϕ 0 sin ϕ cos ϕ = G 23 x 1 x 2 x 3 = x 1 x 2 0 Givensovou maticí rovinné rotace lze vždy vynulovat jen jednu složku vektoru.

38 Givensovy matice rovinné rotace G := G 13 G12 = G x 1 x 2 x 3 = G 13 x 1 0 x 3 = Postupnou aplikací matic rotace se nám podařilo vynulovat dvě (všechny až na jednu) složky vektoru x. G 12 je ortogonální matice = G 1 12 = GT 12 ( x T G 1 12 = (x 1, x 2 ) G 1 cos ϕ sin ϕ 12 = (x 1, x 2 ) sinϕ cos ϕ = (x 1) 2 x x (x 2) 2 x1 2 + x 2 2, x 1x 2 x1 2 + x x 2 x 1 x x 2 2 x ) = = ( x, 0) Násobení vektoru x T zprava maticí G 1 12 vynuluje druhou složku vektoru xt.

39 Givensovy matice rovinné rotace Givensova matice rovinné rotace G pq R n n je ortogonální matice G T pqg pq = G pqg T pq = E. Od jednotkové matice E se liší pouze prvky v pozicích (p, p), (p, q), (q, p) a (q, q). Vynásobíme-li libovolnou matici A maticí G pq zleva, změní se pouze p-tý a q-tý řádek matice A, vynásobíme-li matici A maticí G pq zprava, změní se pouze p-tý a q-tý sloupec matice A.

40 Givensovy matice rovinné rotace Pomocí vhodně zvolených Givensových matic lze postupně vynulovat v dané matici A R n n prvky pod diagonálou a transformovat tak matici A na horní trojúhelníkový tvar. Podstatně záleží na pořadí, v němž prvky nulujeme, nebot chceme, abychom při nulování dalšího prvku dříve získané nuly nezničili. Sestavme vždy matici G pq (p < q) tak, aby se vynulovala q-tá složka daného vektoru, a násobme postupně matici A zleva maticemi G 12 G G 1n G G 2n... G n 1,n. Po provedení k násobení, k 1 n(n 1) (Givensovu rotaci neaplikujeme na 2 prvek matice, který už nulový je), bude matice A v horním trojúhelníkovém tvaru R a matice G = G n 1,n G n 2,n... G 13 G 12 bude ortogonální matice, G A = R = A = G T R.

41 Givensovy matice rovinné rotace Znázorněme si schématicky Givensovu metodu redukce matice A R 4 4 na horní trojúhelníkový tvar (+ značí prvky, které se transformací nemění, značí prvky, které se změní): G A = G 23 G G 24 G G = R Nevýhoda: Givensova matice vynuluje vždy jen jeden prvek v dané matici. Výhoda (zejména pro práci s řídkými maticemi): Aplikujeme-li Givensovu rotaci na danou matici, pak se v této matici změní pouze dva řádky nebo sloupce. Ostatní prvky zůstanou nezměněny.

42 Householderovy matice zrcadlení Householderovy matice zrcadlení Householderova matice zrcadlení vektoru najednou.... matice, která vynuluje více složek H v = E 2 v vt v 2, v Rn, v 0. x R n = H x := H vx je vektor souměrný s vektorem x podle nadroviny ϱ, která je ortogonální k vektoru v. H T = (E 2 v vt v 2 )T = H = H je symetrická H T H = H 2 = E = H je ortogonální. Poznámka: Hx = x v = pro v = x x e 1 je Hx = x e 1 vektor, který má všechny složky až na první nulové.

43 Householderovy matice zrcadlení Příklad x = (3, 4) T, v = x x e 1 = ( 2, 4) T, H = 1 ( ) 3 4, H x = (5, 0) T y x v H x ϱ x

44 Householderovy matice zrcadlení Householderova metoda pro řešení soustavy lineárních algebraických rovnic Ax = b, A R n n. Najdeme n 1 Householderových matic H 1, H 2,..., H n 1, takových, že H A := H n 1 H 2 H 1 A = R, R je horní trojúhelníková matice, a pak řešíme soustavu s trojúhelníkovou maticí: H A = R, H je ortogonální, tedy H T = H 1 = A = H T R. H Ax = Hb = Rx = Hb

45 Singulární hodnoty matice Singulární hodnoty matice A R m n, m n... libovolná obdélníková matice Pro obdélníkovou matici není pojem vlastního čísla definován, ale... A T A R n n = A T A je čtvercová ( T A A) T = A T A = A T A je symetrická ( ) x T A T A x = (Ax) T Ax = Ax 2 0 x R n = A T A je pozitivně semidefinitní Vlastní čísla λ 1, λ 2,..., λ n matice A T A jsou reálná, nezáporná. Zapišme je ve tvaru λ k = σk 2, σ k 0, k = 1,..., n. Čísla σ 1 σ 2 σ n 0 se nazývají singulární hodnoty matice A. Pro největší a nejmenší singulární hodnotu matice A platí: Ax Ax σ 1 = max, σn = min 0 x R n x 0 x R n x.

46 Singulární rozklad matice Singulární rozklad matice Věta Bud A R m n libovolná matice. Pak existují ortogonální matice U typu m m a ortogonální matice V typu n n takové, že matice S = U T AV typu m n má diagonální tvar ( ) D 0 S = 0 0 D = diag (σ 1, σ 2,..., σ r ), σ 1 σ 2 σ r > 0, kde σ 1, σ 2,..., σ r jsou nenulové singulární hodnoty matice A a r je hodnost matice A; nenulové singulární hodnoty matice A T jsou rovněž čísla σ 1, σ 2,..., σ r. Rozklad A = USV T... singulární rozklad matice A. Poznámka S = U T AV sloupce matice U... m ortonormálních vlastních vektorů symetrické matice AA T typu m m, sloupce matice V... n ortonormálních vlastních vektorů symetrické matice A T A typu n n.

47 Singulární rozklad matice Vlastní čísla symetrické matice jsou reálná Lemma Vlastní čísla symetrické matice jsou reálná a o odpovídajících vlastních vektorech můžeme také předpokládat, že jsou reálné. Důkaz A symetrická, λ její vlastní číslo, u odpovídající vlastní vektor. Předpokládáme, že jak vlastní čísla, tak vlastní vektory mohou být imaginární. Pak Au = λu a také u A = λu, druhá rovnice je Hermitovsky sdružená s první. Druhou rovnici vynásobíme vektorem u zprava a upravíme: u (Au) = λu u λu u = λu u, Tedy (λ λ)u u = 0, u 0 λ = λ, a tedy λ je reálné. Nyní sečteme komplexně sdružené rovnice Au = λu a Au = λu. Dostaneme A(u + u) = λ(u + u) u + u je vlastní vektor A. Kdyby u = x + iy, pak u = x iy a u + u = 2x, což je reálné číslo.

48 Singulární rozklad matice Příklad Vypočtěte singulární rozklad matice [ ] A = Řešení Chceme vypočítat rozklad A = USV T, kde U je 2 2 ortogonální matice, S má na diagonále singulární hodnoty, V je 3 3 ortogonální matice A T A = Vlastní čísla matice A T A : λ 1 = 3, λ 2 = 1, λ 3 = 0 Singulární hodnoty matice A : σ = 3, σ 2 = 1, σ 3 = 0 Odpovídající vlastní vektory: λ 1 = 3 : (A T A 3E) = [ ] ṽ 1 = (1, 2, 1) T, ṽ 1 = 6 v 1 = 1 6 (1, 2, 1) T.

49 Singulární rozklad matice λ 2 = 1 : (A T A E) = [ ṽ 2 = (1, 0, 1) T, ṽ 2 = 2 v 2 = 1 2 (1, 0, 1) T. λ 3 = 0 : (A T A) = [ ṽ 3 = (1, 1, 1) T, ṽ 3 = 3 v 3 = 1 3 (1, 1, 1) T. ] ] Dostaneme V = and S = [ ]

50 Singulární rozklad matice Rovnici A = USV T vynásobíme zleva maticí V a dostaneme AV = US Av i = σ i u i. Tedy sloupce matice U počítáme podle vzorce u i = 1 Av i, t.j. u 1 = 1 Av 1 = 1 [ ] 1 σ i σ u 2 = 1 σ 2 Av 2 = 1 2 [ 1 1 ] Dostaneme U = 1 2 [ Ověřte si, že rovnost A = USV T skutečně platí. ].

51 Singulární rozklad matice Praktický výpočet singulárního rozkladu Necht A R m n je libovolná obdélníková matice. Je nějaký vztah mezi spektrálními rozklady matic A T A a AA T? Vypočtěme spektrální rozklad matice A T A, tedy vypočteme vlastní čísla λ 1 λ 2 λ r > 0 matice A T A a odpovídající ortonormální vlastní vektory v 1, v 2,..., v n. Pak ortonormální vlastní vektory u 1, u 2,... u m odpovídající příslušným nenulovým vlastním číslům matice AA T vypočteme podle jednoduchého vzorce u j = Av j σ j, j = 1,..., m. Není třeba počítat spektrální rozklad matice AA T.

52 Singulární rozklad matice Numerický výpočet A R m n, m n (w.l.o.g.) Golubova-Reinschova (Golubova-Kahanova) metoda: dva kroky bidiagonalizace matice A pomocí Householderových matic zrcadlení: A J (0) = ( J0 0 x x 0 x x )., J 0 = x 0 x Po n redukčních krocích dostaneme (horní) dvoudiagonální matici J (0) typu m n J (0) = P np n 1... P 1 AQ 1 Q 2... Q n 2, P k, Q k jsou Householderovy matice zrcadlení.

53 Singulární rozklad matice Q := Q 1 Q 2 Q n 2, P := P 1 P 2 P n, P a Q... ortogonální, J (0) = P T AQ, (J (0) ) T J (0) = J T 0J 0 = Q T A T AQ. Matice J 0 a A jsou podobné a mají tedy tytéž singulární hodnoty. Zbývá provést singulární rozklad dvoudiagonální matice J 0. singulární rozklad dvoudiagonální matice J 0, tj. iterační diagonalizace pomocí jisté varianty QR metody s posuny spektra s využitím vhodných Givensových matic rovinné rotace J 0 J 1... D, kde D je diagonální, J k+1 = S T k J k T k, S k a T k jsou ortogonální matice. Matice T k vybíráme tak, že posloupnost třídiagonálních matic M k = J T k J k konverguje k diagonální matici, kdežto matice S k vybíráme tak, aby všechny matice J k byly ve dvoudiagonálním tvaru. Metoda je rychlá a numericky stabilní. Podrobnostmi se nebudeme zabývat.

54 Řešení soustavy lineárních rovnic ve smyslu nejmenších čtverců Přeurčená soustava rovnic A R m n, m n, b R m,? x R n : Ax = b. Problém má více rovnic než neznámých, soustava je přeurčená. Aby takováto soustava byla řešitelná, musí b ležet ve sloupcovém prostoru R(A) matice A: b R(A) = {y R m, x R n : Ax = y} R m, t.j. b musí být lineární kombinací sloupců matice A. Složky hledaného vektoru x = (x 1, x 2,..., x n) T představují koeficienty této lineární kombinace: x 1 a 11 a 21. a m1 + x 2 a 12 a 22. a m2 + + xn a 1n a 2n. a mn = b 1 b 2. b m. Obvykle b / R(A), a tedy místo přesného řešení hledáme takové řešení, které je nejblíže k přesnému řešení.

55 Řešení soustavy lineárních rovnic ve smyslu nejmenších čtverců Formulace problému Necht A R m n, m n, b R m. Hledáme řešení soustavy Ax = b ve smyslu nejmenších čtverců, t.j. hledáme x R n, x arg min Ay b. y Rn Řešení soustavy ve smyslu nejmenších čtverců

56 Řešení soustavy lineárních rovnic ve smyslu nejmenších čtverců Normální rovnice x = (x T x) Euklidovská norma vektoru x E = Ax b... chyba výpočtu, které se dopustíme. Hledáme takový bod x R n, pro který je chyba E minimální. Geometricky: chyba E je vzdálenost bodů Ax a b. Tato vzdálenost je nejmenší, jestliže vektor Ax je ortogonální projekcí vektoru b na prostor R(A) = vektor chyby Ax b je kolmý k prostoru R(A), tj. pro každé x R n musí být Ax R(A) kolmé k vektoru Ax b: (Ax) T (Ax b) = 0 x T (A T Ax A T b) = 0 x R n. Poslední rovnice může být splněna tehdy a jen tehdy, jestliže x řeší tzv. normální rovnice A T Ax = A T b.

57 Řešení soustavy lineárních rovnic ve smyslu nejmenších čtverců Věta Vektor x R n je řešením soustavy Ax = b ve smyslu nejmenších čtverců právě když x řeší normální rovnice. Navíc problém nejmenších čtverců má jediné řešení právě když hodnost h(a) matice A je maximální, tj. h(a) = n. Poznámka Je-li A R m n, m n, pak h(a) = n det(a T A) 0. Soustava Ax = b je tedy jednoznačně řešitelná ve smyslu nejmenších čtverců právě když matice A T A je regulární. Pak z normálních rovnic dostáváme x = (A T A) 1 A T b a má-li matice A R m n ortonormální sloupce, t.j. A T A = E n, kde E n je jednotková matice řádu n, pak x = A T b.

58 Řešení soustavy lineárních rovnic ve smyslu nejmenších čtverců Řešení normálních rovnic - teorie A T Ax = A T b, c := A T b, A T A regulární = x = (A T A) 1 c Spektrální analýza matice A T A R n n : vlastní čísla λ i > 0, vlastní vektory v i R n, {v 1,..., v n}... báze R n = n n x = α i v i, c = γ i v i i=1 n α i λ i v i = i=1 n n A T A( α i v i ) = γ i v i i=1 i=1 i=1 n γ i v i Co se skrývá za poslední rovností? i=1 = α i = 1 λ i γ i, i = 1,..., n.

59 Řešení soustavy lineárních rovnic ve smyslu nejmenších čtverců Necht vlastní čísla λ i > 0, i = 1,..., n, matice A T A jsou taková, že λ n je řádově několikrát menší než ostatní vlastní čísla: λ 1 λ 2 λ n 1 >> λ n > 0. Matice A T A zobrazí jednotkovou sféru v R n na elipsoid s osami ve směrech vlastních vektorů v i. Délka poloosy ve směru v n je mnohem menší, než ostatní délky poloos, což znamená, že při zobrazení A T A je n tá složka libovolného vektoru jednotkové délky zanedbatelná a elipsoid tedy leží v podstatě v R n 1. Při řešení normálních rovnic nás zajímá inverzní zobrazení (A T A) 1. To má stejné vlastní vektory, ale vlastní čísla mají převrácenou hodnotu: (A T A) 1 v i = 1 λ i v i. Protože 1 λ n je mnohem větší než ostatní jednodimenzionální. 1 λ i, je příslušný elipsoid v podstatě

60 Řešení soustavy lineárních rovnic ve smyslu nejmenších čtverců Zobrazení jednotkové sféry maticí A T A; λ 1 λ 2 λ n 1 >> λ n > 0 Zobrazení jednotkové sféry maticí (A T A) 1 ; λ 1 λ 2 λ n 1 >> λ n > 0

61 Řešení soustavy lineárních rovnic ve smyslu nejmenších čtverců Numerické řešení normálních rovnic Jaká je v tomto případě chyba výpočtu E = A T Ax A T b? V konečné počítačové aritmetice může být vektor A T Ax libovolně nepřesný, protože jednou ztracené cifry nelze získat zpět, a tedy všechny složky kromě poslední jsou zničené nebo úplně ztracené. Numerické řešení x = (A T A) 1 A T b : pomocí Choleského rozkladu symetrické, pozitivně definitní matice A T A. Nevýhoda: museli bychom nejprve explicitně vyčíslit matici A T A, tj. vyčíslit mnoho skalárních součinů, čímž již matice A T A může být zatížena značnou chybou. Vyplatí se tedy použít nějakou metodu, která nevyžaduje vytvoření matice A T A, ale pracuje přímo s maticí A. iterační metody. Ztrátu platných cifer numerického výpočtu charakterizuje tzv. číslo podmíněnosti matice, které je v tomto případě rovno κ(a T A) = λ 1 λ n.

62 Řešení soustavy lineárních rovnic ve smyslu nejmenších čtverců Podmíněnost matice soustavy lineárních algebraických rovnic Příklad Ax = b A x = b à x = b u 1 u 2 u 3 u 4 u 1 u 2 u 3 u , 1 7, 2 7, 08 5, , 98 9, , 99 4, , 98 = = u 1 u 2 u 3 u , 1 22, 9 33, 1 30, 9 x = (1, 1, 1, 1) T = x = (9, 2; 12, 6; 4, 5; 1, 1) T x = ( 5, 79; 12, 02; 1.57, 2.57) T Relativní chyba: b b ε rel ( b) = = 0, 003, ε rel ( x) = 8, 2 b ε rel (Ã) = à A = 0, 009, ε rel ( x) = 6, 64 A Matice A je symetrická, det(a) = 1, ale κ(a) = 4488

63 Řešení normálních rovnic s využitím singulárního rozkladu Řešení normálních rovnic s využitím singulárního rozkladu Necht A = USV T, x = arg min Ay b = y R SVT x = U T b, kde n S = diag(σ 1,..., σ p), p = min(m, n). Necht hodnost matice h(a)= r < p. Pak σ r+1 = = σ p = 0, matice S je singulární a inverzní matice neexistuje. Vynásobíme-li však druhou rovnici maticí S + zleva, S + = ( ) D 1 0, D 1 = σ σ r, dostaneme pro x soustavu V T x = S + U T b s ortogonální maticí soustavy V T. Matice S + je tzv. Mooreova-Penroseova pseudoinverzní matice k matici S. Pseudoinverzemi v obecném případě se zde nebudeme zabývat. Srovnání: κ(a) = σ 1 σ r, κ(a T A) = λ 1 λ r = ( σ1 σ r ) 2 = (κ(a)) 2 = přímým řešením normálních rovnic ztratíme dvakrát více platných cifer než při aplikaci SVD.

64 Singulární rozvoj matice Singulární rozvoj matice Rovnici A = USV T lze přepsat ve tvaru tzv. singulárního rozvoje matice A: A = r σ i u i v T i, h(a) = r, h(u i v T i ) = 1 = i=1 x R n = Ax = r σ i u i v T i x = i=1 lineární kombinace vektorů u i, i = 1,..., r. Aplikace : Komprese dat r (v T i xσ i )u i... A R m n... obsahuje naměřená data. Hledáme aproximaci této matice maticí B takovou, že h(b) = k < min(m, n) a matice B zachytí nejdůležitější informace obsažené v datech, tj. v matici A. Kdybychom například chtěli, aby hodnost matice B byla rovna jedné, položíme B = σ 1 u 1 v T 1. Pozor! Různá volba k ovlivní kvalitu získaných výsledků. i=1

65 Komprese dat Příklad Chceme digitalizovat fotografii tak, že obraz nahradíme maticí pixelů. Prvky matice jsou bud 0 (černá buňka) nebo 1 (bílá buňka). S přesností na 4 desetinná místa získáme 16 nenulových singulárních hodnot, všechny ostatní jsou s touto přesností 0: 9, , , , , , , , , , , , , , , , 4698 Hledáme k tak, aby relativní chyba obrazu nebyla větší než 10, relativní chyba k e(k) = 1 i=1 σ2 i 16 i=1 σ2 i Konkrétně: e(2) = 0, 18, e(3) = 0, 09 = tři členy singulárního rozvoje matice A, = 3 B = σ i u i v T i, h(b) = 3 i=1

66 Originální fotografie

67 k = 3; k = 5; k = 5, ale prvky B jsou zaokrouhleny na 0 nebo 1

68 Doporučená literatura Fiedler M.: Speciální matice a jejich použití v numerické matematice, SNTL, Praha, Ford W.: Numerical Linear Algebra with Applications Using MATLAB. Elsevier, Golub G., Van Loan Ch: Matrix computations, The Johns Hopkins University press, Baltimore, 1996 (third edition). Horn R. A., Johnson Ch. R.: Matrix analysis, Cambridge University Press, Kubíček M., Dubcová M., Janovská D.: Numerické metody a algoritmy, VŠCHT Praha, 2005 (second edition). Jurjen Duintjer Tebbens [et al.]: Analýza metod pro maticové výpočty. Základní metody. Praha : Matfyzpress, 2012, ISBN (brož.). Turzík D. et all: Matematika II, VŠCHT Praha, Wilkinson J. H., Reinsch C.: Handbook for Automatie Computation. Vol. II Linear Algebra, Springer-Verlag, Berlin, Heidelberg, New York, 1971