3. Ortogonální transformace a QR rozklady
|
|
- Petr Pokorný
- před 6 lety
- Počet zobrazení:
Transkript
1 3. Ortogonální transformace a QR rozklady Petr Tichý 10. října
2 Úvod Unitární (ortogonální) transformace, Gram-Schmidtova ortogonalizace Příklad Schurovy věty unitární transformace nezvětšují chyby ve vstupních datech. Tato kapitola: základními dva typy unitárních transformací Givensovy rotace, Householderovy reflexe. Využití: (numericky stabilní) transformace matice na matici s předem zvolenou strukturou. Výpočet QR rozkladu široké použití. Gram-Schmidtova ortogonalizace, výpočetní náročnost, numerická stabilita. 3
3 Ortogonální projekce Libovolný x R n lze rozložit na součet ortogonálních vektorů x = x q + y tak, že x q leží v předem daném směru q a y, x q = 0. e j x x q q y e i 5
4 Ortogonální projekce vektoru x do směru q Nechť x R n, hledáme rozklad vektoru x = x q + y takový, že vektor x q leží v předem daném směru q a y q. Bez újmy na obecnosti q = 1. Potom zřejmě platí x q = x q q. Z podmínky kolmosti y = x x q na směrový vektor q plyne x x q, q = 0 x, q = x q, q = x q q, q = x q a vektor x q můžeme psát ve tvaru x q = x q q = x, q q. x q nazveme ortogonální projekcí x do prostoru span{q}. 6
5 Ortogonální projekce vektoru zapsaná pomocí matice Skalární součin budeme zapisovat ve tvaru maticového součinu a, b = b T a resp. a, b = b a. Výše uvedený vztah můžeme přepsat pomocí vnějšího součinu x q = x, q q = (q T x)q = q(q T x) = (qq T ) x P q x, kde P q qq T je čtvercová symetrická matice řádu n. P q : x P q x span{q} přičemž x P q x span{q}. P q projektuje x do prostoru generovaného bází {q}. 7
6 Ortogonální projekce vektoru do podprostoru Uvažujme ortonormální soubor vektorů {q 1,..., q m } R n, Q span{q 1,..., q m }, Q [q 1,..., q m ] R n m. Úloha: Dán x R n, hledáme rozklad x na složky x = x Q + y tak, že x Q Q a y Q, t.j. Q T y = 0. x Q nazveme ortogonální projekcí x do Q. q i jsou vzájemně ortogonální x Q lze vyjádřit jako součet složek (projekcí) do jednotlivých směrů q i, m x Q = (q i qi T )x = (QQ T ) x P Q x. i=1 P Q = QQ T je čtvercová symetrická matice hodnosti m, projektuje libovolný x do prostoru Q = span{q 1,..., q m }. 8
7 Ortogonální projektory Ortogonální projektor je lineární operátor P (v našem případě čtvercová matice) symetrický a idempotentní, tedy platí P T = P, P 2 = P. Matice P Q je ortogonálním projektorem. Symetrie matice P Q je zřejmá, idempotence plyne ze vztahu P 2 Q = P QP Q = Q(Q T Q)Q T = QQ T = P Q. Pro vektor x x Q platí kde x x Q = x (QQ T ) x = (I QQ T ) x Π Q x, Π Q I QQ T = I P Q. Π Q je ortogonálním projektorem do prostoru Q (je symetrický a idempotentní), nazývá se projektor komplementární k projektoru P Q. 9
8 Givensovy rotace vr n Úloha vr 2 Chceme sestrojit matici G(ϕ) R 2 2, která realizuje pootočení libovolného vektoru x o úhel ϕ proti směru hodinových ručiček. Zapíšeme-li vektor x v bázi {e 1, e 2 }, x = [ ξ1 ξ 2 ] = ξ 1 [ 1 0 ] + ξ 2 [ 0 1 je možné vektor G(ϕ)x vyjádřit ve tvaru ] = ξ 1 e 1 + ξ 2 e 2, G(ϕ)x = ξ 1 (G(ϕ) e 1 ) + ξ 2 (G(ϕ) e 2 ). Otáčí-li G(ϕ) bázové vektory e 1 a e 2 o úhel ϕ, otáčí i libovolný vektor x o úhel ϕ. 11
9 Rotace jednotkových vektorů o úhel ϕ 0 12
10 Matice Givensovy rotace vr 2 G(ϕ) [ 1 0 ] = [ cos ϕ sin ϕ ], G(ϕ) [ 0 1 ] = [ sin ϕ cos ϕ ], tj. [ cos ϕ sin ϕ G(ϕ) = sin ϕ cos ϕ ] Jsou-li v R 2 dány vektory x a y, x = y 0, svírající úhel ϕ, lze y získat pootočením x proti směru hodinových ručiček o úhel ϕ, tj. platí y = G(ϕ)x. Matice G(ϕ) se nazývá matice Givensovy rotace. 13
11 Matice Givensovy rotace vr n Elementární Givensova rotace Uvažujme nyní prostor R n. Chceme-li provést rotaci v rovině dané dvojicí jednotkových vektorů {e i, e j }, i < j, o úhel ϕ ve směru od e i k e j, pak má matice příslušné rotace následující tvar cos ϕ sin ϕ 1 G i,j (ϕ) =... 1 sin ϕ cos ϕ
12 Matice Givensovy rotace vr n Vlastnosti je ortonormální, det(g i,j (ϕ)) = 1 (cvičení). G i,j (ϕ)x modifikuje pouze i-tý a j-tý prvek vektoru x = [ξ 1,..., ξ n ] T, G i,j (ϕ) x = ξ 1. ξ i cos ϕ ξ j sin ϕ. ξ i sin ϕ + ξ j cos ϕ. ξ n i-tý řádek j-tý řádek. 15
13 Nulování prvků vektoru pomocí Givensových rotací Nulování vr 2, možnost 1 Chceme vynulovat druhý prvek daného vektoru x = [ξ 1, ξ 2 ] T R 2, tj. požadujeme, aby platilo [ ] [ ] ξ1 ξ y = G(ϕ) x = G(ϕ) = ξ2 2. ξ 2 0 Ze vztahu pro druhý prvek dostaneme ξ 1 sin ϕ + ξ 2 cos ϕ = 0 sin ϕ = ξ 2 ξ ξ2 2, cos ϕ = ξ 1 ξ ξ
14 Nulování prvků vektoru pomocí Givensových rotací Nulování vr 2, možnost 2 Požadavek Potom je y = G(ϕ) x = [ ξ1 2 + ξ2 2 0 ]. sin ϕ = ξ 2 ξ ξ2 2 a cos ϕ = ξ 1 ξ ξ
15 Nulování prvků vektoru pomocí Givensových rotací Nulování vr n x = [ξ 1,..., ξ n ] T R n opakovaně aplikuleme elementární Givensovy rotace, postupně vynulujeme n 1 prvků vektoru. Požadavek: y má být násobkem jednotkového vektoru e 1 Postupně vynulujeme prvky na pozicích n, n 1,..., 2 (volíme roviny rotace postupně jako span{e 1, e n }, span{e 1, e n 1 },..., span{e 1, e 2 }) Celý proces nulování lze schematicky zapsat jako x = ± x 0. 0 = y. 18
16 Nulování prvků vektoru pomocí Givensových rotací Nulování vr n Označíme-li jednotlivé elementární Givensovy rotace jako G 1,2,..., G 1,n 1, G 1,n, potom y = Γx, kde Γ G 1,2... G 1,n 1 G 1,n. Matici Γ budeme nazývat složenou Givensovou rotací. Prvky nemusíme nutně nulovat v pořadí, které jsme naznačili. Násobení elementárních (tedy i složených) Givensových rotací není obecně komutativní (cvičení), Změníme-li pořadí nulování prvků, dostaneme obecně jinou složenou Givensovu rotaci Γ, pro kterou rovněž platí Γx = [± x, 0,..., 0] T. 19
17 Nulování prvků vektoru pomocí Householderových reflexí Nulování vr n Druhá základní unitární transformace je Householderova reflexe (zrcadlení, odraz). Úloha: Nechť je v R n dána nadrovina dimenze n 1, kterou popíšeme jejím normálovým vektorem q, q = 1, a nechť je dán vektor x R n. H(q) {z R n : z q}, Cíl: nalézt zrcadlový obraz vektoru x podle nadroviny H(q) (nadrovinu H(q) nazveme nadrovinou zrcadlení). 21
18 Zrcadlení x q x 0 q x x q y = x 2x q Vektor x můžeme rozložit na složku x q = (qq T ) x ležící ve směru normálového vektoru a na složku (x x q ) ortogonální na q, tedy na složku ležící v dané nadrovině. 22
19 Matice Householderovy reflexe y = (x x q ) x q = x 2x q = (I 2qq T ) x H(q) x Nechť q R n a q = 1. Pak matici H(q) = I 2qq T R n n nazýváme maticí Householderovy reflexe vzhledem k nadrovině H(q) definované normálovým vektorem q. H(q) je ortonormální a symetrická a platí H 2 (q) = I. Dále platí det(h(q)) = 1 (cvičení). 23
20 Zrcadlení x na y pomocí Householderovy reflexe Úloha: Dány vektory x a y stejné délky, nalézt Householderovu reflexi, která realizuje zrcadlení vektoru x na vektor y (a naopak). Zrcadlení x na ±y vr n Nechť jsou dány dva různé vektory x R n a y R n, x = y, a nechť q 1 x y x y, q 2 x + y x + y. Potom H(q 1 )x = y, H(q 2 )x = y. Důkaz: Vektor x y je kolmý k nadrovině zrcadlení vektoru x na vektor y. Podobně, vektor x + y je kolmý k nadrovině zrcadlení vektoru x na vektor y. 24
21 Nulování prvků vektoru pomocí Householderových reflexí Householderovy reflexe umožňují eliminovat více prvků jedním zrcadlením. Je-li dán vektor x R n a chceme-li nalézt Householderovu reflexi H takovou, že Hx = ± x e 1, pak stačí za y dosadit vektor ± x e 1 a definovat příslušné normálové vektory, Potom platí q 1 = x x e 1 x x e 1, q 2 = x + x e 1 x + x e 1. H(q 1 )x = x e 1, H(q 2 )x = x e 1. Je lepší zvolit q 1 nebo q 2? 25
22 Nulování prvků vektoru pomocí Householderových reflexí Volba vektoru q Nechť x = [ξ 1,..., ξ n ] T. Pokud je ξ 1 kladný a blízký k x, potom při odečítání x x e 1 může dojít k vyrušení platných číslic a kvůli dělení malou normou k relativnímu zvětšení chyby vypočteného vektoru ve srovnání s chybou obsaženou v původním vektoru x. Totéž se může stát v případě ξ 1 < 0 při výpočtu x + x e 1. Z důvodů numerické stability je vhodné použít k nulování vektoru x normálový vektor q = x + sgn(ξ 1) x e 1 x + sgn(ξ 1 ) x e 1. 26
23 Givensovy rotace a Householderovy reflexe v komplexním oboru Analogická definice, jde o unitární matice. Ztrácejí obecně geometrický význam rotace a zrcadlení. I přesto je lze použít k nulování prvků vektorů. Příklad. Matice Householderovy reflexe: H(q) I 2qq C n n, q = 1. Uvažujme x = [ξ 1,..., ξ n ] T C n. Prvek ξ 1 zapišme ve tvaru ξ 1 = ξ 1 e iα, 0 α < 2π. Potom pro matici H(q) určenou normálovým vektorem platí q = x + eiα x e 1 x + e iα x e 1 H(q)x = e iα x e 1. 27
24 QR rozklad Nechť A C n m je obecně obdélníková matice. Rozklad tvaru A = QR, kde Q je matice s ortonormálními sloupci (Q Q = I) a R má všechny prvky pod hlavní diagonálou nulové, nazýváme QR rozkladem matice A. Pro n > m může QR rozklad vypadat schematicky jako A Q R = kde Q C n n a R C n m. 0, 29
25 Vynecháním posledních n m nulových řádků matice R a posledních n m sloupců matice Q dostaneme rozklad tvaru A = Q R 0, kde Q C n m a R C m m. Tomuto QR rozkladu, jehož uložení vyžaduje méně paměťového místa než v prvním případě, se říká ekonomický QR rozklad. Pro n m má QR rozklad, schematicky, tvar A Q R = kde Q C n n a R C n m. 0, 30
26 Příklady použití QR rozkladu Problém Ax = b, kde A C n n je regulární matice. Ax = b QRx = b, QRx = QQ b, Rx = Q b, přičemž soustava s trojúhelníkovou maticí je snadno řešitelná. Jiná možnost řešení: LU rozklad matice A - obecně levnější, použití QR rozkladu je numericky stabilnější. V případě rozsáhlých úloh s řídkou maticí A je však QR rozklad prakticky nepoužitelný (požadavek ortogonality sloupců matice Q vede velmi rychle ke ztrátě řídkosti). QR rozklad je standardním nástrojem pro řešení problémů nejmenších čtverců. Algoritmů pro výpočet QR rozkladu je několik. 31
27 QR rozklad užitím Givensových rotací I A C n m, A = [a 1,..., a m ]. Cíl: vynulování všech prvků pod hlavní diagonálou za použití Givensových rotací, získáme Givensův QR rozklad. Symbolem Γ 1 označíme složenou Givensovu rotaci, která realizuje transformaci a 1,1 r 1,1 a 2,1 0 a 1 =. a n,1. 0 = Γ 1a 1 r 1. 32
28 QR rozklad užitím Givensových rotací II Aplikujeme-li Γ 1 na A, dostaneme (r 1,1 = 0 a 1 = 0) 0 A = 0 = Γ 1 A A (1), 0 0 Nyní nulujeme poddiagonální prvky druhého sloupce matice A (1) = [r 1, a (1) 2,..., a(1) m ], aplikujeme n 2 rotací, a (1) 1,2 a (1) a (1) 1,2 2,2 r 2,2 a (1) a (1) 0 3,2 2 = = Γ 2 a (1) 2 r 2.. a (1) n,
29 QR rozklad užitím Givensových rotací III Aplikací složené rotace Γ 2 na matici A (1) = Γ 1 A dostaneme A (1) = = Γ 2 Γ 1 A A (2). V k-tém kroku, k < min{m, n}, konstruujeme složenou rotaci tak, aby nulovala n k poddiagonálních prvků sloupce a (k 1) k. Příslušná složená rotace Γ k je blokově diagonální se dvěma bloky, kde první blok je jednotková matice řádu k 1. r k,k = 0 je-li k-tý sloupec matice A lineární kombinací předchozích k 1 sloupců matice A (cvičení). 34
30 QR rozklad užitím Givensových rotací IV Poslední transformační maticí Γ m 1 pro n > m resp. Γ n 1 pro n m Případ n > m, platí 0 A (m 2) = A (m 1) = Γ m 1... Γ 1 A. = A (m 1) R. Γ i jsou unitární součin je také unitární matice. Označíme-li Q Γ 1 Γ 2... Γ m 1, platí A = QR. 35
31 Existence a jednoznačnost QR rozkladu Existence Z konstrukce QR rozkladu plyne, že matice Q je čtvercová matice řádu n a matice R je stejných rozměrů jako matice A s nulovými prvky pod hlavní diagonálou. Dokázali jsme existenci QR rozkladu, kde matice Q má rozměr n n a R má rozměr n m (nezávisle na tom, zda je n m nebo n > m). Ekonomický QR rozklad pro n > m, a tím i důkaz jeho existence, dostaneme vynecháním nulových řádků v matici R a odpovídajících sloupců v matici Q. 36
32 Existence a jednoznačnost QR rozkladu Jednoznačnost QR rozklad není obecně jednoznačný: pro každou diagonální D, D D = I, a pro libovolný QR rozklad A = QR platí A = QR = (QD )(DR) = Q R, kde Q R je rovněž QR rozkladem matice A. Povolíme-li na diagonále matice R pouze kladné prvky, je ekonomický QR rozklad jednoznačný. Jednoznačnost QR rozkladu Nechť A C n m, n m, je matice s lineárně nezávislými sloupci. Pak existuje jediná dvojice matic Q C n m a R C m m taková, že Q má ortonormální sloupce a R je horní trojúhelníková matice s kladnými diagonálními prvky a přitom A = QR. 37
33 Důkaz jednoznačnosti Nechť A = QR = Q 1 R 1 jsou dva ekonomické QR rozklady matice A a R i R 1 mají kladné diagonální prvky. Pak Q 1 = QRR 1 1 a platí Q 1 Q 1 = (RR1 1 ) Q Q(RR1 1 ) = (RR 1 1 ) (RR1 1 ) = I. Z toho vyplývá ((RR 1 1 ) ) 1 = RR 1 1. Matice na levé straně je dolní trojúhelníková, matice na pravé straně je horní trojúhelníková obě matice jsou diagonální a platí RR 1 1 = I, tj. R = R 1 a Q = Q 1. 38
34 QR rozklad užitím Householderových reflexí Householderův QR rozklad konstrukčně stejný jako Givensův. Místo složených Givensových rotací Γ k používáme k nulování vektorů matic Householderových reflexí H k. Pro n > m transformujeme A C n m dle schématu A H 1 A... H m 1... H 2 H 1 A R, kde H k je blokově diagonální matice, první blok je jednotková matice řádu k 1, druhý blok je matice Householderovy reflexe nulující poddiagonální prvky aktuálního k-tého sloupce. Označme Q H 1 H 2... H m 1 A = QR. Analogicky QR rozklad matice A C n m pro n m. 39
35 QR rozklad a Gram-Schmidtův ortogonalizační proces Pro jednoduchost případ n > m a podprostor C n generovaný lineárně nezávislými vektory {a 1,..., a m }. Gram-Schmidtův ortogonalizační proces spočte ortonormální bázi {q 1,..., q m } takovou, že span{a 1,..., a k } = span{q 1,..., q k }, k = 1,..., m. Z podmínky span{a 1 } = span{q 1 } a q 1 = 1 plyne, že q 1 získáme normalizací vektoru a 1, r 1,1 = a 1, q 1 = a 1 r 1,1. Druhý krok: hledáme bázový q 2 takový, že span{a 1, a 2 } = span{q 1, q 2 }, q 2 q 1 a q 2 = 1. Odečteme projekce a 2 ve směru q 1 a normalizujeme, z = (I q 1 q 1 ) a 2 = a 2 (q 1 a 2)q 1, r 2,2 = z, q 2 = z/r 2,2. 41
36 Gram-Schmidtův ortogonalizační proces k-tý krok V k-tém kroku odečteme projekci a k na prostor generovaný ortonormálními vektory q 1,..., q k 1, Q k 1 = [q 1,..., q k 1 ], a normalizujeme k 1 z = (I Q k 1 Q k 1 ) a k = a k (qi a k)q i r k,k = z q k = z/r k,k. Jelikož jsou vektory a 1,..., a m lineárně nezávislé, je vektor z vždy nenulový, a tudíž r k,k 0, k = 1,..., m. i=1 Dosadíme-li za z vektor r k,k q k a označíme-li r i,k = q i a k, k 1 a k = r i,k q i + r k,k q k, k = 1,..., m. i=1 42
37 Gram-Schmidtův ortogonalizační proces QR rozklad Po rozepsání a 1 = r 1,1 q 1 a 2 = r 1,2 q 1 + r 2,2 q 2. a m = r 1,m q 1 + r 2,m q r m,m q m. S označením A = [a 1,..., a m ], Q = [q 1,..., q m ] a r 1,1 r 1,2 r 1,m 0 r 2,2 r 2,m R Cm m 0 0 r m,m dostáváme A = QR 43
38 Gram-Schmidtův ortogonalizační proces QR rozklad komentáře Narozdíl od QR rozkladu spočteného pomocí rotací či reflexí má zde matice Q rozměr n m a matice R má rozměr m m. Gram-Schmidtův ortogonalizační proces spočítá pro n > m ekonomický QR rozklad. Gram-Schmidtův ortogonalizační proces vzhledem ke skalárnímu součinu, zapíšeme vztahy k 1 z = a k a k, q i q i, r k,k = q k = z/r k,k. i=1 z, z, Výsledná báze {q 1,..., q k } prostoru span{a 1,..., a k } je ortonormální vzhledem ke zvolenému skalárnímu součinu,. 44
39 Implementace Gram-Schmidtova procesu Gram-Schmidtův proces lze přepsat několika matematicky (v přesné aritmetice) ekvivalentními způsoby. Dvě základní varianty klasický a modifikovaný algoritmus + varianty s iteračním zpřesněním. Pro jednoduchost a 1,..., a m jsou lineárně nezávislé. Výpočet vektoru z v k-tém kroku lze zapsat ve tvaru kde ortogonální projektor k 1 z = (I q i qi ) a k C Q a k, i=1 k 1 C Q = I q i qi = I Q k 1Q k 1 i=1 je komplementárním projektorem k projektoru Q k 1 Q k 1. Tento zápis umožňuje paralelní implementaci. 45
40 Implementace Gram-Schmidtova procesu Klasický a modifikovaný Gram-Schmidtův algoritmus Využijeme-li ortonormality vektorů q 1,..., q k 1, platí k 1 I q i qi = (I q k 1 qk 1)... (I q 2 q2)(i q 1 q1) i=1 (cvičení). Potom zřejmě z = (I q k 1 q k 1 )... (I q 2q 2 )(I q 1q 1 ) a k M Q a k, kde ortogonální projektor M Q je definován vztahem M Q (I q k 1 q k 1)... (I q 2 q 2)(I q 1 q 1) a je matematicky ekvivalentní s ortogonálním projektorem C Q. 46
41 Implementace Gram-Schmidtova procesu Klasický a modifikovaný Gram-Schmidtův algoritmus Implementace využívající M Q je sekvenční v tom smyslu, že pomocný vektor z počítáme postupně v k na sebe navazujících krocích, z 1 = a k z 2 = z 1 (q1z 1 ) q 1,. z k = z k 1 (q k 1 z k 1) q k 1. Vztahy používající C Q a M Q jsou matematicky ekvivalentní. Vedou však na algoritmy s různými numerickými vlastnostmi. Algoritmus používající C Q vede na tzv. klasický Gram-Schmidtův (CGS) algoritmus. 47
42 Klasický Gram-Schmidtův algoritmus (CGS) input A = [a 1,..., a m ] r 11 := a 1 q 1 := a 1 /r 11 Q 1 := [q 1 ] for k = 2 : m do z := a k [r 1,k,..., r k 1,k ] T := Q k 1 z z := z Q k 1 [r 1,k,..., r k 1,k ] T r kk := z q k := z/r kk Q k := [Q k 1, q k ] end for Nevýhoda: velký vliv zaokrouhlovacích chyb na spočtený výsledek při výpočtu v aritmetice s konečnou přesností. 48
43 Modifikovaný Gram-Schmidtův algoritmus (MGS) input A = [a 1,..., a m ] r 11 := a 1 q 1 := a 1 /r 11 Q 1 := [q 1 ] for k = 2 : m do z := a k for i = 1 : k 1 do r ik := q i z z := z r ik q i end for r kk := z q k := z/r kk Q k := [Q k 1, q k ] end for Chyby vznikající při výpočtu z jsou částečně eliminovány, výpočet r i,k := q i z následuje až po výpočtu aktualizace. 49
44 Iterační zpřesnění Ortogonalizační krok můžeme opakovat. Získáme tím například klasický Gram-Schmidtův algoritmus s opakovanou ortogonalizací (s iteračním zpřesněním, ICGS). ICGS si zachovává hlavní výhodu CGS velmi dobře se paralelizuje a navíc redukuje ztrátu ortogonality díky opakované ortogonalizaci. Pro dosažení maximální přesnosti (ztráty ortogonality na úrovni úměrné strojové přesnosti) stačí jediné opakování ortogonalizace. Jak vypočítat zpřesněné koeficienty r i,k? 50
45 CGS algoritmus s opakovanou ortogonalizací Při první ortogonalizaci projektujeme a k do podprostoru generovaného ortonormálními vektory q 1,..., q k 1, tj. vypočteme koeficienty q i a k, i = 1,..., k 1 a vektor z, z = a k [(q k 1a k ) q k (q 1a k ) q 1 ]. Při opakované ortogonalizaci projektujeme vektor z do podprostoru generovaného vektory q 1,..., q k 1, tj. vypočteme koeficienty qi z, i = 1,..., k 1 a vektor w, w = z [(q k 1 z) q k (q 1 z) q 1]. Dosadíme-li za vektor z do druhého vztahu, zjistíme, že w = a k [(q k 1 a k + q k 1 z) q k (q 1 a k + q 1 z) q 1]. Zpřesněné koeficienty (prvky horní trojúhelníkové R) vzniknou součtem projekcí a k a z do jednotlivých směrů. 51
46 Iterovaný klasický Gram-Schmidtův algoritmus input A = [a 1,..., a m ] r 11 := a 1 q 1 := a 1 /r 11 Q 1 := [q 1 ] for k = 2 : m do z := a k r := 0 for l = 1 : 2 do r := Q k 1 z z := z Q k 1 r r := r + r end for [r 1,k,..., r k 1,k ] T := r r kk := z q k := z/r kk Q k := [Q k 1, q k ] end for 52
47 Numerická stabilita algoritmů Pravidla v konečné aritmetice Pro počítání v konečné aritmetice počítače platí určitá pravidla, která jsou důležitá z matematického hlediska. Standardní model konečné aritmetiky předpokládá fl(x y) = (x y)(1 + ǫ), ǫ u, kde zastupuje operace +,,, / a fl( ) označuje, že výpočet byl proveden v konečné aritmetice počítače. 54
48 Numerická stabilita algoritmů Přímá a zpětná analýza chyb Uvažujme algoritmus, který řeší daný matematický problém. Použijeme-li tento algoritmus k výpočtu v aritmetice s pohyblivou řádovou čárkou, můžeme vlivem zaokrouhlovacích chyb získat nepřesné výsledky. Úkolem numerické analýzy je zjistit, jakým způsobem funguje daný algoritmus v prostředí konečné aritmetiky, a jak nepřesné výsledky může algoritmus generovat. Jinak řečeno, ptáme se, zda je algoritmus spolehlivý (zda dává rozumné výsledky) i v případě, kdy počítá s nepřesnými čísly. 55
49 Numerická stabilita algoritmů Přesnost výpočtu, absolutní a relativní chyba Nechť f(x) reprezentuje výsledek spočtený přesným algoritmem a fl(f(x)) výsledek spočtený algoritmem v konečné aritmetice (x reprezentuje vstupní data). Přesnost výpočtu můžeme měřit v absolutním smyslu pomocí f(x) fl(f(x)), kde je vhodná norma, nebo v relativním smyslu pomocí f(x) fl(f(x)). f(x) V této přednášce budeme k měření přesnosti algoritmu používat relativní chybu. Relativní chyba výpočtu v nejlepším případě úměrná strojové přesnosti f(x) fl(f(x)) = O(u). f(x) 56
50 Numerická stabilita algoritmů Význam O(u) O(u) označuje neurčité číslo, jehož velikost lze omezit pomocí O(u) Ku. Konstanta K je nezávislá na konkrétních datech, ale může záviset na dimenzi úlohy. Jsou-li např. vstupem algoritmu čtvercová matice A řádu n a vektor b, pak K nezávisí na A a b, ale může záviset na n. Závislost konstanty K na dimenzi problému je obvykle lineární, kvadratická či kubická v nejhorším případě. Vznikající chyby jsou většinou mnohem menší (díky krácení - kancelaci - zaokrouhlovacích chyb) než předpovídá odhad. Pokud je závislost K na n exponenciální (např. K = 2 n ), algoritmus může být velmi citlivý na n může být numericky nestabilní s rostoucím n. 57
51 Numerická stabilita algoritmů Analýza chyb Smyslem analýzy chyb je zjistit, jaké (největší) chyby se algoritmus může při výpočtu v konečné aritmetice dopustit. To, jak algoritmus v konečné aritmetice chybuje lze měřit a analyzovat dvěma základními způsoby. Přímá analýza chyb. Postupujeme podle algoritmu a snažíme se popsat šíření elementárních zaokrouhlovacích chyb. Na základě tohoto popisu odhadujeme přímo velikost výsledné chyby. Efektivní přímý odhad chyby je však možný jen zřídka (v případě jednoduchých výpočtů jako je např. skalární součin vektorů, násobení matice vektorem, apod.). Zpětná analýza chyb. Hledáme modifikovaná vstupní data úlohy tak, aby přibližné řešení spočtené algoritmem v konečné aritmetice počítače bylo přesným řešením té samé úlohy, avšak s modifikovanými vstupními daty. Cílem zpětné analýzy je interpretovat zaokrouhlovací chyby vzniklé při výpočtu v aritmetice s konečnou přesností pomocí změn vstupních dat. 58
52 Numerická stabilita algoritmů Analýza chyb 59
53 Příklad Přímá a zpětná analýza chyb při výpočtu skalárního součinu Pokud máme posloupnost operací jako např. s = x T y, x, y F n, kde F n označuje vektory délky n, jejichž prvky jsou čísla v pohyblivé řádové čárce (x i F, y i F, i = 1,..., n), potom budeme výsledek spočtený algoritmem 01 s = 0 02 for j = 1 : n do 03 s = s + x j y j 04 end v konečné aritmetice počítače zapisovat ve tvaru s = fl(x T y). 60
54 Analýza chyb při výpočtu skalárního součinu Zpětná analýza chyb I s 0 = 0, nechť s j je hodnota s na konci j-tého cyklu, s j = fl(s j 1 + x j y j ). Podle pravidla o chybě vzniklé při jedné operaci dostáváme s j = [s j 1 + x j y j (1 + ε j )](1 + δ j ), kde ε j u, δ j u. Indukcí plyne n n s n = x j y j (1 + ε j ) (1 + δ i ), j=1 i=j přičemž δ 1 = 0 a kde ε j u, δ j u. Definujme n µ j (1 + ε j ) (1 + δ i ) 1. i=j 61
55 Analýza chyb při výpočtu skalárního součinu Zpětná analýza chyb II Potom platí n s n = x j y j (1 + µ j ). j=1 Vypočtený výsledek jsme vyjádřili jako přesný výsledek skalárního součinu s perturbovanými (modifikovanými) daty, s n = x T ŷ, kde x = x a ŷ má prvky ŷ j = y j (1 + µ j ). Toto je příklad zpětné analýzy chyb, Vypočtený výsledek = přesný výsledek na perturbovaných datech. Úkolem zpětné analýzy chyb je odhadnout velikosti µ j a vyjádřit relativní vzdálenosti přesných a perturbovaných dat. 62
56 Analýza chyb při výpočtu skalárního součinu Přímá analýza chyb Dále lze ukázat, že s n = x T y + z, z = Přímá analýza chyb: vyjádřili jsme n x j y j µ j. j=1 Vypočtený výsledek = přesný výsledek + chyba. Úkolem přímé analýzy chyb je odhadovat velikost chyby z. Přímá a zpětná analýza chyb reprezentují dva pohledy, jak interpretovat chyby při výpočtech. 63
57 Odhady chyb při výpočtu skalárního součinu Nechť α i u, i = 1,..., n a nechť n u < Potom platí n (1 + α i ) = 1 + β n, i=1 kde β n 1.01 n u (Lemma (Higham 2002)). Použitím tohoto lemmatu lze ukázat, že platí µ j 1.01 n u fl(x T y) x T y 1.01 n u x T y. Odtud již lehce plyne, že platí fl(x T y) = x T ŷ, kde x x x = 0 a y ŷ y 1.01 n u. 64
58 Zpětná stabilita algoritmu Přímá analýza chyb nám obvykle dává odpověď na otázku jak přesný je algoritmus v konečné aritmetice. Na základě zpětné analýzy chyb dospějeme často k poznání, že spočtené řešení úlohy lze interpretovat jako přesné řešení úlohy pro modifikovaná (perturbovaná) počáteční data, která jsou v jistém smyslu blízká původním počátečním datům. Definice: Algoritmus f(x) je zpětně stabilní, pokud platí fl(f(x)) = f( x) pro nějaké x splňující x x x = O(u), Algoritmus je zpětně stabilní, jestliže se chyby výpočtu způsobené zaokrouhlováním v průběhu algoritmu promítnou do malých změn vstupních dat. Výpočet skalárního součinu je zpětně stabilní. 65
59 Přesnost zpětně stabilního algoritmu Algoritmus f popis, jak řešit daný problém p. Problém p lze přitom vidět jako zobrazení, které vstupním datům z normovaného vektorového prostoru X přiřazuje řešení z normovaného vektorového prostoru Y, p : X Y. p je obvykle nelineární, ale bývá alespoň spojité. Dobře podmíněný problém je takový, že malé změny vstupních dat x vedou na malé změny v p(x). Špatně podmíněný problém je takový, že malé změny vstupních dat x vedou na velké změny v p(x). Lze ukázat, že pokud je algoritmus f řešící problém p zpětně stabilní a má-li problém p(x) podmíněnost κ(x), pak fl(f(x)) f(x) f(x) κ(x)o(u). 66
60 Numerická stabilita QR rozkladu Důležitý pojem: zpětná stabilita. Říkáme, že algoritmus je zpětně stabilní, pokud spočtené řešení dané úlohy je přesným řešením modifikované úlohy se vstupními daty, která jsou blízká původním datům dané úlohy. Nechť Q a R jsou spočtené faktory QR rozkladu matice A C n m v aritmetice s konečnou přesností. Nechť fl(u A) je spočtený výsledek aplikace elementární Givensovy rotace nebo Householderovy reflexe U na matici A v aritmetice s konečnou přesností. V následujícím uvedeme, jaká je přesnost vypočtené matice fl(ua), co lze říci o ortogonalitě spočtené matice Q, jak přesně spočtený je faktor R, a konečně, do jaké míry odpovídá součin spočtených matic Q R matici A. 68
61 Aplikace Givensových rotací a Householderových reflexí v konečné aritmetice Wilkinson, Turing: transformace A na matici U A, kde U C n n je matice elementární Givensovy rotace nebo Householderovy reflexe, potom fl(ua) = U(A + E), kde E A γn2 ε + O(ε 2 ), γ je konstantu nezávislá na velikosti úlohy ani na konkrétních datech, O(ε 2 ) značí členy úměrné ε 2, ε je strojová přesnost počítače (vzdálenost čísla 1 od nejbližšího většího čísla v množině čísel počítače). Faktor n 2 je velmi pesimistický a není důležitý z hlediska pochopení fungování algoritmu v konečné aritmetice počítače. Výše zmíněný odhad normy E budeme zjednodušeně zapisovat E ε A. 69
62 Numerická stabilita QR rozkladu Ortogonalita spočtené matice ˆQ Ztrátu ortogonality matic vypočtených v aritmetice s konečnou přesností budeme měřit pomocí spektrální normy matice E Q Q Q I. Často se rovněž používá Frobeniova norma. Přehled závislosti velikosti spektrální normy matice E Q na strojové přesnosti a podmíněnosti rozkládané matice: Algoritmus Householderův QR rozklad Givensův QR rozklad CGS MGS ICGS Lze matematicky dokázat. E Q ε ε κ 2 (A) ε κ(a) ε ε 70
63 Numerická stabilita QR rozkladu Stabilita výpočtu faktoru ˆR Pomocí analýzy zaokrouhlovacích chyb lze ukázat, že Householderův QR rozklad, Givensův QR rozklad a MGS jsou zpětně stabilní algoritmy v následujícím smyslu: Nechť R je spočtený trojúhelníkový faktor QR rozkladu matice A v aritmetice s konečnou přesností charakterizované strojovou přesností ε. Potom existuje unitární matice Q a malá perturbace matice A (označme ji jako E) taková, že platí Q (A + E) = R, E F ε A F, kde F je Frobeniova norma. Výsledek je překvapivý hlavně pro algoritmus MGS, kde není zaručená ztráta ortogonality na úrovni strojové přesnosti. 71
64 Numerická stabilita QR rozkladu Norma rezidua A ˆQ ˆR Matice Q a R vypočtené variantami Gram-Schmidtova procesu (MGS, CGS, ICGS) nebo pomocí Householderových či Givensových transformaci splňují A Q R ε A. Všimněme si, že tento výsledek platí nejen pro MGS, ale dokonce pro variantu CGS, u které je ztráta ortogonality ze všech variant největší. 72
65 Cena výpočtu Gram-Schmidtova procesu a QR rozkladu Čtvercová matice Měříme počtem provedených aritmetických operací. Podrobně ji vyjádříme u Gram-Schmidtova procesu. Není třeba rozlišovat klasický a modifikovaný Gram-Schmidtův algoritmus (počet operací je stejný). ICGS vyžaduje přibližně dvakrát více operací než CGS a MGS. Cena k-tého kroku (cvičení): k 1 z = a k i=1 (q i a k)q i, q k = z z = z z z, 2n(k 1) + 2n násobení, (2n 1)(k 1) + n 1 sčítání nebo odčítání, jednu odmocninu a jedno dělení. Sečtením všech operací pro kroky k = 1,..., n zjistíme, že CGS (MGS) stojí približně 2n 3 aritmetických operací. 73
66 Cena výpočtu QR rozkladu pomocí Gram-Schmidtova procesu Operace k-tý krok celkem 2n(k 1) + 2n n 3 + n 2 +, (2n 1)(k 1) + n 1 n n2 1 2 n : 1 n 1 n 74
67 Výpočetní ceny různých implementací QR rozkladu Obdélníková matice Algoritmus celkový počet operací n > m n = m Householderův QR rozklad 2nm 2 2m 3 /3 4/3n 3 Givensův QR rozklad 3nm 2 m 3 2n 3 CGS, MGS 2nm 2 2n 3 Počet operací u Householderových reflexí je počet operací potřebných ke spočtení rozkladu v součinovém tvaru A = H 1H 2... H m 1R, kde H i jsou jednoduché Householderovy reflexe. Explicitní znalost matice Q vyžaduje dalších 2nm 2 2m 3 /3 operací. Totéž u Givensových rotací. 75
68 Cvičení 3.3 Určete vlastní čísla a determinant elementární Givensovy rotace. 3.5 Určete vlastní čísla a determinant Householderovy reflexe v reálném oboru. 3.8 Ukažte, že Householderovy reflexe odpovídající vzájemně ortogonálním normálovým vektorům jsou komutativní. 77
69 Cvičení 3.11 Mějme dánu matici Givensovy rotace v R 2 [ cos(ϕ) sin(ϕ) G(ϕ) = sin(ϕ) cos(ϕ) ]. Definujme dva normalizované vektory q 1 = 0.5 [ ] 1 cos(ϕ), q 1 + cos(ϕ) 2 = [ 0 1 q 1 = 1 2 (1 cos(ϕ) cos(ϕ)) = 1 = q 2. ], Ukažte, že [ cos(ϕ) sin(ϕ) H(q 2 )H(q 1 ) = sin(ϕ) cos(ϕ) ] = G(ϕ), tedy každou Givensovu rotaci lze popsaným způsobem složit ze dvou Householderových reflexí. 78
70 Cvičení 3.13 Dokažte, že matici Householderovy reflexe nelze složit z Givensových rotací. Dále dokažte, že pomocí Givensových rotací nelze vyjádřit žádná matice, která je součinem lichého počtu Householderových reflexí Ukažte, že jsou-li vektory q 1,..., q k navzájem ortogonální, pak platí I q 1 q 1 q 2q 2... q kq k = (I q 1q 1 )(I q 2q 2 )... (I q kq k ), tedy součin na pravé straně je komutativní Ukažte, že cena k-tého kroku algoritmu CGS je dána cenou 2n(k 1) + 2n součinů, (2n 1)(k 1) + n 1 součtů nebo rozdílů, jednoho podílu a jednoho výpočtu odmocniny. Využijte sčítací vzorce n k = 1 n 2 n(n + 1) a k 2 = 1 n (2n + 1) (n + 1). 6 k=1 k=1 79
Ortogonální transformace a QR rozklady
Ortogonální transformace a QR rozklady 1 Úvod Unitární (ortogonální) transformace, Gram-Schmidtova ortogonalizace Příklad Schurovy věty unitární transformace nezvětšují chyby ve vstupních datech. Tato
VíceOrtogonální transformace a QR rozklady
Ortogonální transformace a QR rozklady Petr Tichý 9. října 2013 1 Úvod Unitární (ortogonální) transformace, Gram-Schmidtova ortogonalizace Příklad Schurovy věty unitární transformace nezvětšují chyby ve
VíceNumerická stabilita algoritmů
Numerická stabilita algoritmů Petr Tichý 9. října 2013 1 Numerická stabilita algoritmů Pravidla v konečné aritmetice Pro počítání v konečné aritmetice počítače platí určitá pravidla, která jsou důležitá
Více1 Projekce a projektory
Cvičení 3 - zadání a řešení úloh Základy numerické matematiky - NMNM20 Verze z 5. října 208 Projekce a projektory Opakování ortogonální projekce Definice (Ortogonální projekce). Uvažujme V vektorový prostor
VíceÚlohy nejmenších čtverců
Úlohy nejmenších čtverců Petr Tichý 7. listopadu 2012 1 Problémy nejmenších čtverců Ax b Řešení Ax = b nemusí existovat, a pokud existuje, nemusí být jednoznačné. Často má smysl hledat x tak, že Ax b.
VíceArnoldiho a Lanczosova metoda
Arnoldiho a Lanczosova metoda 1 Částečný problém vlastních čísel Ne vždy je potřeba (a někdy to není ani technicky možné) nalézt celé spektrum dané matice (velké řídké matice). Úloze, ve které chceme aproximovat
Více2. Schurova věta. Petr Tichý. 3. října 2012
2. Schurova věta Petr Tichý 3. října 2012 1 Podobnostní transformace a výpočet vlastních čísel Obecný princip: Úloha: Řešíme-li matematickou úlohu, je často velmi vhodné hledat její ekvivalentní formulaci
VíceSingulární rozklad. Petr Tichý. 31. října 2013
Singulární rozklad Petr Tichý 31. října 2013 1 Outline 1 Úvod a motivace 2 Zavedení singulárního rozkladu a jeho vlastnosti 3 Výpočet a náklady na výpočet singulárního rozkladu 4 Moor-Penroseova pseudoinverze
VíceInterpolace, ortogonální polynomy, Gaussova kvadratura
Interpolace, ortogonální polynomy, Gaussova kvadratura Petr Tichý 20. listopadu 2013 1 Úloha Lagrangeovy interpolace Dán omezený uzavřený interval [a, b] a v něm n + 1 různých bodů x 0, x 1,..., x n. Nechť
Více5. Singulární rozklad
5. Singulární rozklad Petr Tichý 31. října 2012 1 Singulární rozklad matice Jeden z nejdůležitějších teoretických i praktických nástrojů maticových výpočtů. Umožňuje určit hodnost či normu matice, ortogonální
VíceMaticí typu (m, n), kde m, n jsou přirozená čísla, se rozumí soubor mn veličin a jk zapsaných do m řádků a n sloupců tvaru:
3 Maticový počet 3.1 Zavedení pojmu matice Maticí typu (m, n, kde m, n jsou přirozená čísla, se rozumí soubor mn veličin a jk zapsaných do m řádků a n sloupců tvaru: a 11 a 12... a 1k... a 1n a 21 a 22...
VícePodobnostní transformace
Schurova věta 1 Podobnostní transformace a výpočet vlastních čísel Obecný princip: Úloha: Řešíme-li matematickou úlohu, je často velmi vhodné hledat její ekvivalentní formulaci tak, aby se řešení úlohy
VíceLineární algebra : Skalární součin a ortogonalita
Lineární algebra : Skalární součin a ortogonalita (15. přednáška) František Štampach, Karel Klouda LS 2013/2014 vytvořeno: 30. dubna 2014, 09:00 1 2 15.1 Prehilhertovy prostory Definice 1. Buď V LP nad
VíceEUKLIDOVSKÉ PROSTORY
EUKLIDOVSKÉ PROSTORY Necht L je lineární vektorový prostor nad tělesem reálných čísel R. Zobrazení (.,.) : L L R splňující vlastnosti 1. (x, x) 0 x L, (x, x) = 0 x = 0, 2. (x, y) = (y, x) x, y L, 3. (λx,
VíceCo je obsahem numerických metod?
Numerické metody Úvod Úvod Co je obsahem numerických metod? Numerické metody slouží k přibližnému výpočtu věcí, které se přesně vypočítat bud nedají vůbec, nebo by byl výpočet neúměrně pracný. Obsahem
Více0.1 Úvod do lineární algebry
Matematika KMI/PMATE 1 01 Úvod do lineární algebry 011 Vektory Definice 011 Vektorem aritmetického prostorur n budeme rozumět uspořádanou n-tici reálných čísel x 1, x 2,, x n Definice 012 Definice sčítání
Více0.1 Úvod do lineární algebry
Matematika KMI/PMATE 1 01 Úvod do lineární algebry 011 Lineární rovnice o 2 neznámých Definice 011 Lineární rovnice o dvou neznámých x, y je rovnice, která může být vyjádřena ve tvaru ax + by = c, kde
VíceMatematika (CŽV Kadaň) aneb Úvod do lineární algebry Matice a soustavy rovnic
Přednáška třetí (a pravděpodobně i čtvrtá) aneb Úvod do lineární algebry Matice a soustavy rovnic Lineární rovnice o 2 neznámých Lineární rovnice o 2 neznámých Lineární rovnice o dvou neznámých x, y je
VíceUčební texty k státní bakalářské zkoušce Matematika Skalární součin. študenti MFF 15. augusta 2008
Učební texty k státní bakalářské zkoušce Matematika Skalární součin študenti MFF 15. augusta 2008 1 10 Skalární součin Požadavky Vlastnosti v reálném i komplexním případě Norma Cauchy-Schwarzova nerovnost
VíceOperace s maticemi. 19. února 2018
Operace s maticemi Přednáška druhá 19. února 2018 Obsah 1 Operace s maticemi 2 Hodnost matice (opakování) 3 Regulární matice 4 Inverzní matice 5 Determinant matice Matice Definice (Matice). Reálná matice
VíceKatedra aplikované matematiky FEI VŠB Technická univerzita Ostrava
Lineární algebra 9. přednáška: Ortogonalita Dalibor Lukáš Katedra aplikované matematiky FEI VŠB Technická univerzita Ostrava email: dalibor.lukas@vsb.cz http://www.am.vsb.cz/lukas/la Text byl vytvořen
Více4. LU rozklad a jeho numerická analýza
4 LU rozklad a jeho numerická analýza Petr Tichý 24 října 2012 1 Úvod Nechť A je regulární matice Řešíme Ax = b LU rozklad (Gaussova eliminace) je jeden z nejdůležitějších nástrojů pro problém řešení soustav
VícePřipomenutí co je to soustava lineárních rovnic
Připomenutí co je to soustava lineárních rovnic Příklad 2x 3y + z = 5 3x + 5y + 2z = 4 x + 2y z = 1 Soustava lineárních rovnic obecně Maticový tvar: a 11 x 1 + a 12 x 2 + + a 1n x n = b 1 a 21 x 1 + a
VíceFaculty of Nuclear Sciences and Physical Engineering Czech Technical University in Prague
Tomáš Faculty of Nuclear Sciences and Physical Engineering Czech Technical University in Prague 1 / 63 1 2 3 4 5 6 7 8 9 10 11 2 / 63 Aritmetický vektor Definition 1 Aritmetický vektor x je uspořádaná
VíceVlastní čísla a vlastní vektory
5 Vlastní čísla a vlastní vektor Poznámka: Je-li A : V V lineární zobrazení z prostoru V do prostoru V někd se takové zobrazení nazývá lineárním operátorem, pak je přirozeným požadavkem najít takovou bázi
Více8 Matice a determinanty
M Rokyta, MFF UK: Aplikovaná matematika II kap 8: Matice a determinanty 1 8 Matice a determinanty 81 Matice - definice a základní vlastnosti Definice Reálnou resp komplexní maticí A typu m n nazveme obdélníkovou
VíceLineární algebra : Skalární součin a ortogonalita
Lineární algebra : Skalární součin a ortogonalita (15. přednáška) František Štampach, Karel Klouda frantisek.stampach@fit.cvut.cz, karel.klouda@fit.cvut.cz Katedra aplikované matematiky Fakulta informačních
VíceVektory a matice. Obsah. Aplikovaná matematika I. Carl Friedrich Gauss. Základní pojmy a operace
Vektory a matice Aplikovaná matematika I Dana Říhová Mendelu Brno Obsah 1 Vektory Základní pojmy a operace Lineární závislost a nezávislost vektorů 2 Matice Základní pojmy, druhy matic Operace s maticemi
VíceNecht tedy máme přirozená čísla n, k pod pojmem systém lineárních rovnic rozumíme rovnice ve tvaru
2. Systémy lineárních rovnic V této kapitole se budeme zabývat soustavami lineárních rovnic s koeficienty z pole reálných případně komplexních čísel. Uvádíme podmínku pro existenci řešení systému lineárních
VíceÚlohy k přednášce NMAG 101 a 120: Lineární algebra a geometrie 1 a 2,
Úlohy k přednášce NMAG a : Lineární algebra a geometrie a Verze ze dne. května Toto je seznam přímočarých příkladů k přednášce. Úlohy z tohoto seznamu je nezbytně nutné umět řešit. Podobné typy úloh se
Vícea vlastních vektorů Příklad: Stanovte taková čísla λ, pro která má homogenní soustava Av = λv nenulové (A λ i I) v = 0.
Výpočet vlastních čísel a vlastních vektorů S pojmem vlastního čísla jsme se již setkali například u iteračních metod pro řešení soustavy lineárních algebraických rovnic. Velikosti vlastních čísel iterační
VíceMATICE. a 11 a 12 a 1n a 21 a 22 a 2n A = = [a ij]
MATICE Matice typu m/n nad tělesem T je soubor m n prvků z tělesa T uspořádaných do m řádků a n sloupců: a 11 a 12 a 1n a 21 a 22 a 2n A = = [a ij] a m1 a m2 a mn Prvek a i,j je prvek matice A na místě
VíceSkalární součin dovoluje zavedení metriky v afinním bodovém prostoru, tj. umožňuje nám určovat vzdálenosti, odchylky, obsahy a objemy.
6 Skalární součin Skalární součin dovoluje zavedení metriky v afinním bodovém prostoru, tj. umožňuje nám určovat vzdálenosti, odchylky, obsahy a objemy. Příklad: Určete odchylku přímek p, q : p : x =1+3t,
VíceOperace s maticemi
Operace s maticemi Seminář druhý 17.10. 2018 Obsah 1 Operace s maticemi 2 Hodnost matice 3 Regulární matice 4 Inverzní matice Matice Definice (Matice). Reálná matice typu m n je obdélníkové schema A =
VíceZdrojem většiny příkladů je sbírka úloh 1. cvičení ( ) 2. cvičení ( )
Příklady řešené na cvičení LA II - LS 1/13 Zdrojem většiny příkladů je sbírka úloh http://kam.mff.cuni.cz/~sbirka/ 1. cvičení (..13) 1. Rozhodněte, které z následujících operací jsou skalárním součinem
Vícepříkladů do cvičení. V textu se objeví i pár detailů, které jsem nestihl (na které jsem zapomněl) a(b u) = (ab) u, u + ( u) = 0 = ( u) + u.
Několik řešených příkladů do Matematiky Vektory V tomto textu je spočteno několik ukázkových příkladů které vám snad pomohou při řešení příkladů do cvičení. V textu se objeví i pár detailů které jsem nestihl
VíceFP - SEMINÁŘ Z NUMERICKÉ MATEMATIKY. Katedra matematiky a didaktiky matematiky Technická univerzita v Liberci
FP - SEMINÁŘ Z NUMERICKÉ MATEMATIKY Dana Černá http://www.fp.tul.cz/kmd/ Katedra matematiky a didaktiky matematiky Technická univerzita v Liberci OBSAH A CÍLE SEMINÁŘE: Opakování a procvičení vybraných
VíceVYBRANÉ PARTIE Z NUMERICKÉ MATEMATIKY
VYBRANÉ PARTIE Z NUMERICKÉ MATEMATIKY Jan Krejčí 31. srpna 2006 jkrejci@physics.ujep.cz http://physics.ujep.cz/~jkrejci Obsah 1 Přímé metody řešení soustav lineárních rovnic 3 1.1 Gaussova eliminace...............................
Více1 Báze a dimenze vektorového prostoru 1
1 Báze a dimenze vektorového prostoru 1 Báze a dimenze vektorového prostoru 1 2 Aritmetické vektorové prostory 7 3 Eukleidovské vektorové prostory 9 Levá vnější operace Definice 5.1 Necht A B. Levou vnější
VíceAplikovaná numerická matematika - ANM
Aplikovaná numerická matematika - ANM 3 Řešení soustav lineárních rovnic iterační metody doc Ing Róbert Lórencz, CSc České vysoké učení technické v Praze Fakulta informačních technologií Katedra počítačových
VíceDefinice 13.1 Kvadratická forma v n proměnných s koeficienty z tělesa T je výraz tvaru. Kvadratická forma v n proměnných je tak polynom n proměnných s
Kapitola 13 Kvadratické formy Definice 13.1 Kvadratická forma v n proměnných s koeficienty z tělesa T je výraz tvaru f(x 1,..., x n ) = a ij x i x j, kde koeficienty a ij T. j=i Kvadratická forma v n proměnných
VícePROSTORY SE SKALÁRNÍM SOUČINEM. Definice Nechť L je lineární vektorový prostor nad R. Zobrazení L L R splňující vlastnosti
PROSTORY SE SKALÁRNÍM SOUČINEM Definice Nechť L je lineární vektorový prostor nad R. Zobrazení L L R splňující vlastnosti 1. (x, x) 0 x L, (x, x) = 0 x = 0, 2. (x, y) = (y, x) x, y L, 3. (λx, y) = λ(x,
VíceMatice. Předpokládejme, že A = (a ij ) je matice typu m n: diagonálou jsou rovny nule.
Matice Definice. Maticí typu m n nazýváme obdélníkové pole, tvořené z m n reálných čísel (tzv. prvků matice), zapsaných v m řádcích a n sloupcích. Značíme např. A = (a ij ), kde i = 1,..., m, j = 1,...,
VíceVektorové podprostory, lineární nezávislost, báze, dimenze a souřadnice
Vektorové podprostory, lineární nezávislost, báze, dimenze a souřadnice Vektorové podprostory K množina reálných nebo komplexních čísel, U vektorový prostor nad K. Lineární kombinace vektorů u 1, u 2,...,u
VíceMatice. Modifikace matic eliminační metodou. α A = α a 2,1, α a 2,2,..., α a 2,n α a m,1, α a m,2,..., α a m,n
[1] Základní pojmy [2] Matice mezi sebou sčítáme a násobíme konstantou (lineární prostor) měníme je na jiné matice eliminační metodou násobíme je mezi sebou... Matice je tabulka čísel s konečným počtem
VíceLineární algebra : Metrická geometrie
Lineární algebra : Metrická geometrie (16. přednáška) František Štampach, Karel Klouda LS 2013/2014 vytvořeno: 6. května 2014, 10:42 1 2 Úvod Zatím jsme se lineární geometrii věnovali v kapitole o lineárních
VíceMatematika I 12a Euklidovská geometrie
Matematika I 12a Euklidovská geometrie Jan Slovák Masarykova univerzita Fakulta informatiky 3. 12. 2012 Obsah přednášky 1 Euklidovské prostory 2 Odchylky podprostorů 3 Standardní úlohy 4 Objemy Plán přednášky
VíceALGEBRA. Téma 5: Vektorové prostory
SLEZSKÁ UNIVERZITA V OPAVĚ Matematický ústav v Opavě Na Rybníčku 1, 746 01 Opava, tel. (553) 684 611 DENNÍ STUDIUM Téma 5: Vektorové prostory Základní pojmy Vektorový prostor nad polem P, reálný (komplexní)
Více7 Ortogonální a ortonormální vektory
7 Ortogonální a ortonormální vektory Ze vztahu (5) pro výpočet odchylky dvou vektorů vyplývá, že nenulové vektory u, v jsou na sebe kolmé právě tehdy, když u v =0. Tato skutečnost nám poslouží k zavedení
VíceČetba: Texty o lineární algebře (odkazy na webových stránkách přednášejícího).
Předmět: MA 4 Dnešní látka Lineární (vektorový) prostor Normovaný lineární prostor Normy matic a vektorů Symetrické matice, pozitivně definitní matice Gaussova eliminační metoda, podmíněnost matic Četba:
Více6 Skalární součin. u v = (u 1 v 1 ) 2 +(u 2 v 2 ) 2 +(u 3 v 3 ) 2
6 Skalární součin Skalární součin 1 je operace, která dvěma vektorům (je to tedy binární operace) přiřazuje skalár (v našem případě jde o reálné číslo, obecně se jedná o prvek nějakého tělesa T ). Dovoluje
VíceČetba: Texty o lineární algebře (odkazy na webových stránkách přednášejícího).
Předmět: MA 4 Dnešní látka Vektorový (lineární) prostor (připomenutí) Normovaný lineární prostor Normy matic a vektorů Symetrické matice, pozitivně definitní matice Gaussova eliminační metoda, podmíněnost
Vícematiceteorie 1. Matice A je typu 2 4, matice B je typu 4 3. Jakých rozměrů musí být matice X, aby se dala provést
Úlohy k zamyšlení 1. Zdůvodněte, proč třetí řádek Hornerova schématu pro vyhodnocení polynomu p v bodě c obsahuje koeficienty polynomu r, pro který platí p(x) = (x c) r(x) + p(c). 2. Dokažte, že pokud
VíceNecht L je lineární prostor nad R. Operaci : L L R nazýváme
Skalární součin axiomatická definice odvození velikosti vektorů a úhlu mezi vektory geometrická interpretace ortogonalita vlastnosti ortonormálních bázi [1] Definice skalárního součinu Necht L je lineární
Více(Cramerovo pravidlo, determinanty, inverzní matice)
KMA/MAT1 Přednáška a cvičení, Lineární algebra 2 Řešení soustav lineárních rovnic se čtvercovou maticí soustavy (Cramerovo pravidlo, determinanty, inverzní matice) 16 a 21 října 2014 V dnešní přednášce
VíceDEFINICE Z LINEÁRNÍ ALGEBRY
DEFINICE Z LINEÁRNÍ ALGEBRY Skripta Matematické metody pro statistiku a operační výzkum (Nešetřilová, H., Šařecová, P., 2009). 1. definice Vektorovým prostorem rozumíme neprázdnou množinu prvků V, na které
VíceLineární algebra : Změna báze
Lineární algebra : Změna báze (13. přednáška) František Štampach, Karel Klouda LS 2013/2014 vytvořeno: 8. dubna 2014, 10:47 1 2 13.1 Matice přechodu Definice 1. Nechť X = (x 1,..., x n ) a Y = (y 1,...,
VíceSymetrické a kvadratické formy
Symetrické a kvadratické formy Aplikace: klasifikace kvadrik(r 2 ) a kvadratických ploch(r 3 ), optimalizace(mpi) BI-LIN (Symetrické a kvadratické formy) 1 / 20 V celé přednášce uvažujeme číselné těleso
Více1 0 0 u 22 u 23 l 31. l u11
LU dekompozice Jedná se o rozklad matice A na dvě trojúhelníkové matice L a U, A=LU. Matice L je dolní trojúhelníková s jedničkami na diagonále a matice U je horní trojúhelníková. a a2 a3 a 2 a 22 a 23
VíceMatematika B101MA1, B101MA2
Matematika B101MA1, B101MA2 Zařazení předmětu: povinný předmět 1.ročníku bc studia 2 semestry Rozsah předmětu: prezenční studium 2 + 2 kombinované studium 16 + 0 / semestr Zakončení předmětu: ZS zápočet
Více4. Trojúhelníkový rozklad p. 1/20
4. Trojúhelníkový rozklad 4. Trojúhelníkový rozklad p. 1/20 4. Trojúhelníkový rozklad p. 2/20 Trojúhelníkový rozklad 1. Permutační matice 2. Trojúhelníkové matice 3. Trojúhelníkový (LU) rozklad 4. Výpočet
Vícea počtem sloupců druhé matice. Spočítejme součin A.B. Označme matici A.B = M, pro její prvky platí:
Řešené příklady z lineární algebry - část 1 Typové příklady s řešením Příklady jsou určeny především k zopakování látky před zkouškou, jsou proto řešeny se znalostmi učiva celého semestru. Tento fakt se
Více1 Determinanty a inverzní matice
Determinanty a inverzní matice Definice Necht A = (a ij ) je matice typu (n, n), n 2 Subdeterminantem A ij matice A příslušným pozici (i, j) nazýváme determinant matice, která vznikne z A vypuštěním i-tého
VíceLineární algebra - I. část (vektory, matice a jejich využití)
Lineární algebra - I. část (vektory, matice a jejich využití) Michal Fusek Ústav matematiky FEKT VUT, fusekmi@feec.vutbr.cz 2. přednáška z ESMAT Michal Fusek (fusekmi@feec.vutbr.cz) 1 / 40 Obsah 1 Vektory
Více1 Zobrazení 1 ZOBRAZENÍ 1. Zobrazení a algebraické struktury. (a) Ukažte, že zobrazení f : x
1 ZOBRAZENÍ 1 Zobrazení a algebraické struktury 1 Zobrazení Příklad 1.1. (a) Ukažte, že zobrazení f : x na otevřený interval ( 1, 1). x x +1 je bijekce množiny reálných čísel R (b) Necht a, b R, a < b.
VíceKapitola 11: Vektory a matice 1/19
Kapitola 11: Vektory a matice 1/19 2/19 Prostor R n R n = {(x 1,..., x n ) x i R, i = 1,..., n}, n N x = (x 1,..., x n ) R n se nazývá vektor x i je i-tá souřadnice vektoru x rovnost vektorů: x = y i =
VíceZáklady maticového počtu Matice, determinant, definitnost
Základy maticového počtu Matice, determinant, definitnost Petr Liška Masarykova univerzita 18.9.2014 Matice a vektory Matice Matice typu m n je pravoúhlé (nebo obdélníkové) schéma, které má m řádků a n
Více2 Vektorové normy. Základy numerické matematiky - NMNM201. Definice 1 (Norma). Norma je funkcionál splňující pro libovolné vektory x a y a pro
Cvičení 1 Základy numerické matematiky - NMNM201 1 Základní pojmy opakování Definice 1 (Norma). Norma je funkcionál splňující pro libovolné vektory x a y a pro libovolný skalár α C následující podmínky:
Více1 Vektorové prostory.
1 Vektorové prostory DefiniceMnožinu V, jejíž prvky budeme označovat a, b, c, z, budeme nazývat vektorovým prostorem právě tehdy, když budou splněny následující podmínky: 1 Je dáno zobrazení V V V, které
VíceSkalární součin je nástroj, jak měřit velikost vektorů a úhly mezi vektory v reálných a komplexních vektorových prostorech.
Kapitola 9 Skalární součin Skalární součin je nástroj, jak měřit velikost vektorů a úhly mezi vektory v reálných a komplexních vektorových prostorech. Definice 9.1 Je-li x = (x 1,..., x n ) T R n 1 reálný
Víceoznačme j = (0, 1) a nazvěme tuto dvojici imaginární jednotkou. Potom libovolnou (x, y) = (x, 0) + (0, y) = (x, 0) + (0, 1)(y, 0) = x + jy,
Komplexní čísla Množinu všech uspořádaných dvojic (x, y) reálných čísel x, y nazýváme množinou komplexních čísel C, jestliže pro každé dvě takové dvojice (x, y ), (x 2, y 2 ) je definována rovnost, sčítání
Více15 Maticový a vektorový počet II
M. Rokyta, MFF UK: Aplikovaná matematika III kap. 15: Maticový a vektorový počet II 1 15 Maticový a vektorový počet II 15.1 Úvod Opakování z 1. ročníku (z kapitoly 8) Označení. Množinu všech reálných resp.
VíceNumerické metody a programování. Lekce 4
Numerické metody a programování Lekce 4 Linarní algebra soustava lineárních algebraických rovnic a 11 a 12 x 2 a 1, N x N = b 1 a 21 a 22 x 2 a 2, N x N = b 2 a M,1 a M,2 x 2 a M,N x N = b M zkráceně A
VíceÚvod do lineární algebry
Úvod do lineární algebry 1 Aritmetické vektory Definice 11 Mějme n N a utvořme kartézský součin R n R R R Každou uspořádanou n tici x 1 x 2 x, x n budeme nazývat n rozměrným aritmetickým vektorem Prvky
VíceSoustavy linea rnı ch rovnic
[1] Soustavy lineárních rovnic vlastnosti množin řešení metody hledání řešení nejednoznačnost zápisu řešení a) soustavy, 10, b) P. Olšák, FEL ČVUT, c) P. Olšák 2010, d) BI-LIN, e) L, f) 2009/2010, g)l.
VíceNumerické metody a programování
Projekt: Inovace výuky optiky se zaměřením na získání experimentálních dovedností Registrační číslo: CZ.1.7/2.2./28.157 Numerické metody a programování Lekce 4 Tento projekt je spolufinancován Evropským
VíceMatematický ústav Slezské univerzity v Opavě Učební texty k přednášce ALGEBRA II, letní semestr 2000/2001 Michal Marvan. 14.
Matematický ústav Slezské univerzity v Opavě Učební texty k přednášce ALGEBRA II, letní semestr 2000/2001 Michal Marvan 14. Vlastní vektory Bud V vektorový prostor nad polem P. Lineární zobrazení f : V
VíceV předchozí kapitole jsme podstatným způsobem rozšířili naši představu o tom, co je to číslo. Nadále jsou pro nás důležité především vlastnosti
Kapitola 5 Vektorové prostory V předchozí kapitole jsme podstatným způsobem rozšířili naši představu o tom, co je to číslo. Nadále jsou pro nás důležité především vlastnosti operací sčítání a násobení
VíceVI. Maticový počet. VI.1. Základní operace s maticemi. Definice. Tabulku
VI Maticový počet VI1 Základní operace s maticemi Definice Tabulku a 11 a 12 a 1n a 21 a 22 a 2n, a m1 a m2 a mn kde a ij R, i = 1,, m, j = 1,, n, nazýváme maticí typu m n Zkráceně zapisujeme (a ij i=1m
VíceVĚTY Z LINEÁRNÍ ALGEBRY
VĚTY Z LINEÁRNÍ ALGEBRY Skripta Matematické metody pro statistiku a operační výzkum (Nešetřilová, H., Šařecová, P., 2009). 1. věta Nechť M = {x 1, x 2,..., x k } je množina vektorů z vektorového prostoru
Více1 Vektorové prostory a podprostory
Pro nahrazení účasti v jednotlivých cvičeních (resp. pro studenty kombinované formy) je dostačující vypracování a odevzdání tučně vyznačených příkladů. 1 Vektorové prostory a podprostory Definujte vektorový
Více7. Lineární vektorové prostory
7. Lineární vektorové prostory Tomáš Salač MÚ UK, MFF UK LS 2017/18 Tomáš Salač ( MÚ UK, MFF UK ) 7. Lineární vektorové prostory LS 2017/18 1 / 62 7.1 Definice a příklady Definice 7.1 Množina G s binární
VíceLineární zobrazení. 1. A(x y) = A(x) A(y) (vlastnost aditivity) 2. A(α x) = α A(x) (vlastnost homogenity)
4 Lineární zobrazení Definice: Nechť V a W jsou vektorové prostory Zobrazení A : V W (zobrazení z V do W nazýváme lineárním zobrazením, pokud pro všechna x V, y V a α R platí 1 A(x y = A(x A(y (vlastnost
VíceFaculty of Nuclear Sciences and Physical Engineering Czech Technical University in Prague
1 / 38 Faculty of Nuclear Sciences and Physical Engineering Czech Technical University in Prague 1 2 3 4 5 6 2 / 38 2 / 38 čárkou Definition 1 Bud základ β N pevně dané číslo β 2, x bud reálné číslo s
VíceSoustavy lineárních rovnic
Přednáška MATEMATIKA č 4 Katedra ekonometrie FEM UO Brno kancelář 69a, tel 973 442029 email:jirineubauer@unobcz 27 10 2010 Soustava lineárních rovnic Definice Soustava rovnic a 11 x 1 + a 12 x 2 + + a
Více11. Skalární součin a ortogonalita p. 1/16
11. Skalární součin a ortogonalita 11. Skalární součin a ortogonalita p. 1/16 11. Skalární součin a ortogonalita p. 2/16 Skalární součin a ortogonalita 1. Definice skalárního součinu 2. Norma vektoru 3.
VíceDnešní látka Opakování: normy vektorů a matic, podmíněnost matic Jacobiova iterační metoda Gaussova-Seidelova iterační metoda
Předmět: MA 4 Dnešní látka Opakování: normy vektorů a matic, podmíněnost matic Jacobiova iterační metoda Gaussova-Seidelova iterační metoda Četba: Text o lineární algebře v Příručce přežití na webových
Více10. Soustavy lineárních rovnic, determinanty, Cramerovo pravidlo
0. Soustavy lineárních rovnic, determinanty, Cramerovo pravidlo (PEF PaA) Petr Gurka aktualizováno 9. prosince 202 Obsah Základní pojmy. Motivace.................................2 Aritmetický vektorový
VíceAfinita je stručný název pro afinní transformaci prostoru, tj.vzájemně jednoznačné afinní zobrazení bodového prostoru A n na sebe.
4 Afinita Afinita je stručný název pro afinní transformaci prostoru, tj.vzájemně jednoznačné afinní zobrazení bodového prostoru A n na sebe. Poznámka. Vzájemně jednoznačným zobrazením rozumíme zobrazení,
VíceZáklady matematiky pro FEK
Základy matematiky pro FEK 2. přednáška Blanka Šedivá KMA zimní semestr 2016/2017 Blanka Šedivá (KMA) Základy matematiky pro FEK zimní semestr 2016/2017 1 / 20 Co nás dneska čeká... Závislé a nezávislé
Více6. Vektorový počet Studijní text. 6. Vektorový počet
6. Vektorový počet Budeme se pohybovat v prostoru R n, což je kartézská mocnina množiny reálných čísel R; R n = R R. Obvykle nám bude stačit omezení na případy n = 1, 2, 3; nicméně teorie je platná obecně.
VíceUčební texty k státní bakalářské zkoušce Matematika Vlastní čísla a vlastní hodnoty. študenti MFF 15. augusta 2008
Učební texty k státní bakalářské zkoušce Matematika Vlastní čísla a vlastní hodnoty študenti MFF 15. augusta 2008 1 14 Vlastní čísla a vlastní hodnoty Požadavky Vlastní čísla a vlastní hodnoty lineárního
Vícez = a bi. z + v = (a + bi) + (c + di) = (a + c) + (b + d)i. z v = (a + bi) (c + di) = (a c) + (b d)i. z v = (a + bi) (c + di) = (ac bd) + (bc + ad)i.
KOMLEXNÍ ČÍSLA C = {a + bi; a, b R}, kde i 2 = 1 Číslo komplexně sdružené k z = a + bi je číslo z = a bi. Operace s komplexními čísly: z = a + bi, kde a, b R v = c + di, kde c, d R Sčítání Odčítání Násobení
Vícevyjádřete ve tvaru lineární kombinace čtverců (lineární kombinace druhých mocnin). Rozhodněte o definitnosti kvadratické formy κ(x).
Řešené příklady z lineární algebry - část 6 Typové příklady s řešením Příklad 6.: Kvadratickou formu κ(x) = x x 6x 6x x + 8x x 8x x vyjádřete ve tvaru lineární kombinace čtverců (lineární kombinace druhých
VíceOrtogonální projekce a ortogonální zobrazení
Drsná matematika I 9. přednáška Ortogonální projekce a ortogonální zobrazení Jan Slovák Masarykova univerzita Fakulta informatiky 27. 4. 2010 Obsah přednášky 1 Literatura 2 Projekce a ortogonální zobrazení
VíceKapitola 11: Vektory a matice:
Kapitola 11: Vektory a matice: Prostor R n R n = {(x 1,, x n ) x i R, i = 1,, n}, n N x = (x 1,, x n ) R n se nazývá vektor x i je i-tá souřadnice vektoru x rovnost vektorů: x = y i = 1,, n : x i = y i
VíceVlastní číslo, vektor
[1] Vlastní číslo, vektor motivace: směr přímky, kterou lin. transformace nezmění invariantní podprostory charakteristický polynom báze, vzhledem ke které je matice transformace nejjednodušší podobnost
VíceInterpolace Uvažujme třídu funkcí jedné proměnné ψ(x; a 0,..., a n ), kde a 0,..., a n jsou parametry, které popisují jednotlivé funkce této třídy. Mějme dány body x 0, x 1,..., x n, x i x k, i, k = 0,
VíceIB112 Základy matematiky
IB112 Základy matematiky Řešení soustavy lineárních rovnic, matice, vektory Jan Strejček IB112 Základy matematiky: Řešení soustavy lineárních rovnic, matice, vektory 2/53 Obsah Soustava lineárních rovnic
Vícestránkách přednášejícího.
Předmět: MA 4 Dnešní látka Iterační metoda Jacobiova iterační metoda Gaussova-Seidelova iterační metoda Superrelaxační metoda (metoda SOR) Metoda sdružených gradientů Četba: Text o lineární algebře v Příručce
Více