Poznámky k přednášce 1 Numerické metody I Jaro 2010 Tomáš Řiháček Obsah 1 Normy vektorů a matic 1 2 Nelineární rovnice 3 2.1 Metoda bisekce (půlení intervalu).............................. 3 2.2 Iterační metody........................................ 3 2.2.1 Metoda prosté iterace................................ 3 2.2.2 Newtonova metoda (metoda tečen)......................... 4 2.2.3 Metoda sečen..................................... 5 2.2.4 Metoda regula falsi.................................. 5 2.2.5 Quasi Newtonova metoda.............................. 5 2.3 Urychlení konvergence - Aitkenova metoda......................... 6 2.3.1 Seffensenova metoda................................. 6 2.4 Hledání kořenů násobnosti M > 1.............................. 7 3 Systémy nelineárních rovnic 8 3.1 Metoda prosté iterace.................................... 8 3.2 Seidelova metoda....................................... 9 3.3 Newtonova metoda...................................... 9 4 Polynomy 10 4.1 Newtonova metoda...................................... 10 4.1.1 Hornerovo schéma.................................. 11 4.2 Zdvojená Newtonova metoda................................ 11 4.3 Newtonova-Mahleyova metoda............................... 11 4.4 Bairstowova metoda..................................... 12 4.4.1 Zobecněné Hornerovo schéma............................ 13 5 Soustavy lineárních rovnic 14 5.1 Přímé metody......................................... 14 5.1.1 Gaussova eliminační metoda............................. 14 5.1.2 LU rozklad...................................... 15 5.1.3 Choleského metoda.................................. 15 5.1.4 Croutova metoda................................... 15 5.2 Iterační metody........................................ 16 5.2.1 Jacobiho metoda................................... 17 5.2.2 Gaussova-Seidelova iterační metoda........................ 18 Literatura 19 1 Jedná se o přehled základní teorie podle [1], obsahem zhruba odpovídající přednášce k předmětu M4180 - Numerické metody 1, ovšem bez příkladů, důkazů a řady dalších poznámek. Rovněž jsou vynechány některé okrajové kapitoly (např. chybí relaxační metody řešení systému lineárních rovnic). Má sloužit jako přehled teorie potřebné ke zkoušce, ze kterého si lze znalosti zopakovat, popř. ucelit. Při prvním čtení doporučuji číst společně s [1]. Upozornění na veškeré nedostatky uvítám na adrese rihacek@physics.muni.cz.
1 Normy vektorů a matic Definice (Norma vektoru). Norma vektoru x C n je funkce : C n R, která má následující vlastnosti: 1. x 0, přičemž x = 0 x = 0 (nezápornost) 2. αx = α x, α C, x C n (homogenita) 3. x + y x + y, x, y C n (trojúhelníková nerovnost) Poznámka. Norma indukuje metriku ρ(x, y) = x y. Příklad. 1. x 1 = n i=1 x i (oktaedrická norma) 2. x 2 = ( n i=1 x i 2) 1 2 (eukleidovská norma) 3. x = max 1 i n x i (krychlová norma) Označení. Označme M n třídu matic typu n n nad R nebo nad C. Definice (Norma matice). Norma matice je funkce : M n R s následujícími vlastnostmi: 1. A 0, přičemž A = 0 A = O, kde O je nulová matice. 2. αa = α A, α R, A M n 3. A + B A + B, A, B M n 4. AB A B, A, B M n (multiplikativnost) Definice (Souhlasná norma). Řekneme, že maticová norma je souhlasná s danou vektorovou normou ϕ, jestliže Ax ϕ A x ϕ, x C n, A M n. Věta 1.1 (Přidružená maticová norma). Necht ϕ je vektorová norma na C n. Pak číslo A ϕ = max x ϕ=1 Ax ϕ je maticová norma souhlasná s danou vektorovou normou ϕ. Nazývá se přidružená maticová norma k dané vektorové normě. Věta 1.2. Pro přidružené maticové normy k příslušným vektorovým normám platí: 1. A 1 = max 1 j n n i=1 a ij (sloupcová norma) 2. A = max 1 i n n j=1 a ij (řádková norma) 3. A 2 = ρ(a A), ρ(a A) je spektrální poloměr A A, kde A = ĀT, pro reálné matice je A = A T (spektrální norma). Definice (Frobeniova norma). Definujeme Frobeniovu normu jako A F = tr(a A). Věta 1.3 (Ekvivalentnost norem). Pro maticové normy platí: 1 n A A 2 n A, A 2 A F n A 2, 1 n A 1 A 2 n A 1. 1
Věta 1.4. Přidružená maticová norma je nejvýše rovna libovolné souhlasné maticové normě. Důsledek. Pro souhlasné normy platí E 1 = E ϕ. Věta 1.5. Necht je souhlasná maticová norma s danou vektorovou normou ϕ. Pak pro všechna nenulová vlastní čísla λ matice A platí: λ A, neboli ρ(a) A. 2
2 Nelineární rovnice Řešíme rovnici Obecně řešení dělíme na dva kroky: f(x) = 0. 1. Separace kořenů, tj. nalezení intervalů, ve kterých leží právě jeden kořen. 2. Zpřesnění kořenů. 2.1 Metoda bisekce (půlení intervalu) Tato metoda se opírá o následující Věta 2.1 (Bolzano). Necht f C[a, b]. Pak f nabývá na intervalu [a, b] všech hodnot mezi svou největší a nejmenší hodnotou. Největší a nejmenší hodnota f na [a, b] existuje podle Weierstrassovy věty. Postup výpočtu: Interval [a i, b i ] dělíme na dva podintervaly [a i, a i+b i 2 ] a [ a i+b i 2, b i ]. V dalším dělení pokračujeme přiřazením a i+1 = a i, b i+1 = a i+b i 2, nebo a i+1 = a i+b i 2, b i+1 = b i tak, aby f(a i+1 )f(b i+1 ) < 0. Tato metoda je vždy konvergentní. 2.2 Iterační metody Necht ξ je kořenem rovnice f(x) = 0. Řešíme ekvivalentní úlohu hledání pevného bodu, tj. hledání řešení rovnice x = g(x). 2.2.1 Metoda prosté iterace Metoda prosté iterace je jednokroková iterační metoda, kde pro zvolenou počáteční aproximaci x 0 počítáme dále podle vztahu x k+1 = g(x k ) Věta 2.2 (Základní věta). Necht g C[a, b], g : [a, b] [a, b], tedy g zobrazuje interval I = [a, b] na sebe. Pak g má v intervalu [a, b] pevný bod. Splňuje-li g navíc Lipschitzovu podmínku s konstantou q, 0 q < 0 g(x) g(y) q x y, x, y I, tj. g je kontrakce, pak je tento pevný bod jediný. Důsledek. Necht g C 1 [a, b], g : [a, b] [a, b] a Pak má g na intervalu [a, b] jediný pevný bod. g (x) q < 1, x [a, b]. Věta 2.3 (o konvergenci). Necht jsou splněny předpoklady základní věty, tj. g(i) I a g je kontrakce. Pak je posloupnost {x k }, x k = g(x k 1 ), k = 1, 2,..., konvergentní pro libovolnou počáteční aproximaci x 0 I a platí lim k x k = ξ, kde ξ je pevný bod funkce g. Definice (Přitahující a odpuzující pevný bod). Pevný bod ξ funkce g C[a, b] se nazývá 1. přitahující (atraktivní), jestliže existuje takové okolí V bodu ξ, že pro každou počáteční aproximaci x 0 V posloupnost {x k }, x k+1 = g(x k ), konverguje k bodu ξ. 2. odpuzující (repulzivní), jestliže existuje takové okolí U bodu ξ, že pro každou počáteční aproximaci x 0 U, x 0 ξ existuje takové k, že x k / U. 3
Věta 2.4. Platí: 1. Jestliže v okolí bodu ξ platí pro všechna x ξ: g(x) g(ξ) x ξ < 1 nebo g (ξ) < 1, pak ξ je přitahující pevný bod. 2. Jestliže v okolí bodu ξ platí pro všechna x ξ: g(x) g(ξ) x ξ > nebo g (ξ) > 1, pak ξ je odpuzující pevný bod. Definice (Řád metody). Označme e k = x k ξ chybu k-té iterace. Existuje-li nezáporné číslo p 0 takové, že x k+1 ξ lim k x k ξ p = lim e k+1 k e k p = C 0, pak říkáme, že iterační metoda je řádu p. Věta 2.5. Necht funkce g má v okolí O(ξ) bodu ξ spojité derivace až do řádu p včetně, p 1. Iterační metoda x k+1 = g(x k ) je řádu p právě tehdy, když platí ξ = g(ξ), g (j) (ξ) = 0, j = 1,..., p 1, g (p) (ξ) 0. Definice (Cyklus). Necht g : [a, b] [a, b], ξ je pevný bod, ξ [a, b]. Řekneme, že počáteční aproximace x 0 [a, b] generuje cyklus řádu N, jestliže x 0 = x N, x j x 0 pro j = 1,..., N 1. Bod x 0 nazýváme bod cyklu řádu N. Poznámka. Pro zastavení iteračního procesu můžeme použít některé z následujících kritérií: x k+1 x k < ε, f(x k ) < ε, xk+1 x k x k < ε, kde ε je požadovaná přesnost. 2.2.2 Newtonova metoda (metoda tečen) Iterační funkci volíme ve tvaru g = x f(x) f (x). Pak x k+1 = x k f(xk ) f (x k ). Věta 2.6. Necht f C 2 [a, b], necht ξ [a, b] je kořen rovnice f(x) = 0 a necht f (ξ) 0. Pak existuje δ > 0, [ξ δ, ξ + δ] [a, b] takové, že pro každou počáteční aproximaci x 0 [ξ δ, ξ + δ] posloupnost generovaná Newtonovou metodou konverguje k bodu ξ. Pokud je navíc kořen ξ jednoduchý, pak je Newtonova metoda řádu 2. Věta 2.7. Necht jsou splněny předpoklady předchozí věty. Pak pro posloupnost {x k } generovanou Newtonovou metodou platí: 1. x k+1 ξ M 2m (xk ξ) 2, 2. x k+1 x k M 2m (xk+1 x k ) 2, kde M = max I f (x), m = min I f (x) > 0, I = [ξ δ, ξ + δ]. Věta 2.8 (Fourierovy podmínky). Necht f C 2 [a, b], ξ je jediný kořen rovnice f(x) = 0 na [a, b], necht f ani f nemění znaménko na [a, b], přičemž f (x) 0, x [a, b]. Jestliže za počáteční aproximaci x 0 zvolíme ten z krajních bodů intervalu [a, b] v němž znaménko funkce je stejné jako znaménko f na [a, b], tj. f(x 0 )f (x 0 ) > 0, pak posloupnost {x k } generovaná Newtonovou metodou konverguje monotónně k bodu ξ. 4
2.2.3 Metoda sečen Derivaci f (x k ) aproximujeme diferenční derivací Pak je formule pro iterační proces ve tvaru jedná se tedy o dvoukrokovou metodu. f f(xk ) f(x k 1 ) x k x k 1, k = 1, 2,... x k+1 = x k x k x k 1 f(x k ) f(x k 1 ) f(xk ), Věta 2.9. Necht rovnice f(x) = 0 má kořen ξ a necht derivace f, f jsou spojité v okolí bodu ξ, přičemž f (ξ) 0. Posloupnost generovaná metodou sečen konverguje ke kořenu ξ, pokud počáteční aproximace x 0, x 1 jsou dostatečně blízko ξ a řád metody je 1+ 5 2 1,618. 2.2.4 Metoda regula falsi Pokud f(a)f(b) < 0, pak x k+1 = x k x k x s f(x k ) f(x s ) f(xk ), kde s je největší index takový, že platí f(x k )f(x s ) < 0, tj. ξ leží v intervalu s krajními body x k, x s. Věta 2.10. Necht f C[a, b], f(a)f(b) < 0 a necht ξ je jediný kořen v [a, b]. Pak posloupnost {x k } generovaná metodou regula falsi konverguje pro každé dvě počáteční aproximace x 0, x 1 [a, b], f(x 0 )f(x 1 ) < 0, ke kořenu ξ (a, b). Metoda je řádu 1. Závěr. Všechny sečny vycházejí z bodu, v němž je znaménko funkce stejné jako znaménko druhé derivace na intervalu [a, b]. Posloupnost generovaná touto metodou konverguje monotónně ke ξ. Poznámka. Za výše uvedených předpokladů může být metoda regula falsi zapsána jako jednokroková iterační metoda. 2.2.5 Quasi Newtonova metoda Derivaci f v Newtonově metodě aproximujeme výrazem f f(xk ) f(x k ± f(x k )) x k (x k ± f(x k )) = f(xk ) f(x k ± f(x k )) f(x k. ) Tedy tečnu použitou v Newtonově metodě nahradíme sečnou vedenou body respektive body [x k, f(x k )], [x k + f(x k ), f(x k + f(x k ))], [x k, f(x k )], [x k f(x k ), f(x k f(x k ))]. Přitom pokud je bod x k blízko hledaného kořene ξ, pak je hodnota f(x k ) blízká nule a sečna je blízká tečně vedené bodem x k. Jedná se tedy o metodu blízkou metodě Newtonově. Pak x k+1 = x k ± f 2 (x k ) f(x k ) f(x k ± f(x k )). Věta 2.11. Necht f C 1 [a, b], ξ [a, b], f (ξ) 0. Pak existuje ε > 0 tak, že posloupnost generovaná quasi Newtonovou metodou konverguje k bodu ξ pro každou počáteční aproximaci x 0 [ξ ε, ξ + ε] [a, b]. Pokud f má v okolí bodu ξ spojitou druhou derivaci, je řád metody alespoň 2. 5
2.3 Urychlení konvergence - Aitkenova metoda Posloupnost {x k } nahradíme posloupností {ˆx k }, která konverguje rychleji. Definice (Aitkenova metoda). Aitkenova metoda pro urychlení konvergence je posloupnost ve tvaru ˆx k = x k (x k+1 x k ) 2 x k+2 2x k+1 + x k. Věta 2.12. Necht je dána posloupnost {x k }, lim k x k = ξ, x k ξ a necht tato posloupnost splňuje podmínky x k+1 ξ = (C + γ k )(x k ξ), k = 0, 1, 2,... C < 1, lim k γ k = 0. Pak posloupnost {ˆx k } z předchozí definice je definována pro dostatečně velká k a konverguje k limitě ξ rychleji než posloupnost {x k }, tj. ˆx k ξ lim k x k ξ = 0. Poznámka (Geometrický význam Aitkenovy metody). Definujeme funkci chyby ε takto: ε(x k ) = x k x k+1, ε(x k+1 ) = x k+1 x k+2. Chceme sestrojit takovou posloupnost, která by konvergovala rychleji k bodu ξ. Body o souřadnicích [x k, ε(x k )], [x k+1, ε(x k+1 )] vedeme přímku a její průsečík s osou x vezmeme jako další aproximaci bodu ξ, tj. provedeme extrapolaci. 2.3.1 Seffensenova metoda Aplikace Aitkenovy metody na metodu prosté iterace. Označme y k = g(x k ), z k = g(y k ). Pak iterační předpis je tvaru ˆx k = x k (yk x k ) 2 z k 2y k + x k. Věta 2.13. Steffensenovu metodu lze zapsat jako jednokrokovou iterační metodu s iterační funkcí ϕ tvaru xg(g(x)) (g(x))2 ϕ(x) = g(g(x)) 2g(x) + x. Dále platí: 1. ϕ(ξ) = ξ g(ξ) = ξ, 2. g(ξ) = ξ, g (ξ) 1 ϕ(ξ) = ξ Věta 2.14. Necht funkce g má spojité derivace až do řádu p + 1 včetně v okolí bodu ξ. Necht iterační metoda x k+1 = g(x k ) je řádu p pro bod ξ. Pak pro p > 1 je iterační metoda x k+1 = ϕ(x k ) řádu 2p 1. Pro p = 1 je tato metoda řádu alespoň 2 za předpokladu g (ξ) 1. 6
2.4 Hledání kořenů násobnosti M > 1 Necht ξ je kořenem funkce f násobnosti M > 1, tj. f(x) = (x ξ) M ϕ(x), ϕ(ξ) 0, Neznáme-li násobnost kořene, zavedeme funkci f (x) = M(x ξ) M 1 ϕ(x) + (x ξ) M ϕ (x). u(x) = f(x) f (x), která má kořeny stejné jako f, všechny však jednoduché. Závěr. Newtonova metoda pro násobný kořen je řádu 1. Modifikace Newtonovy metody pro M- násobný kořen je tvaru a je řádu 2. x k+1 = x k M f(xk ) f (x k ) 7
3 Systémy nelineárních rovnic Řešíme soustavu nelineárních rovnic tvaru f 1 (x 1,..., x m ) = 0, ve vektorovém tvaru potom f m (x 1,..., x m ) = 0,. F (x) = 0, x R m, 0 = (0,..., 0) T R m, kde F : R m R m. Necht vektor ξ = (ξ 1,..., ξ m ) T R m je jejím kořenem, tedy platí F (ξ) = 0. Navíc v R m definujeme metriku ρ(x, y) = max 1 i m x i y i. 3.1 Metoda prosté iterace Základní soustavu převedeme do tvaru x = G(x), kde G: R m R m, pak řešíme opět problém pevného bodu x 1 = g 1 (x 1,..., x m ),. x m = g m (x 1,..., x m ). Věta 3.1. Necht zobrazení G: R m R m je kontrakce na R m, tj. ρ(g(x), G(y)) qρ(x, y), x, y R m, 0 q < 1. Pak posloupnost {x k }, x k = G(x k 1 ), k = 1, 2,..., konverguje pro každou počáteční aproximaci x 0 R m k pevnému bodu ξ zobrazení G, přičemž tento pevný bod je jediný. Věta 3.2. Necht ξ R n je pevný bod zobrazení G. Necht funkce g i, i = 1,..., m, mají spojité parciální derivace na množině Ω(ξ, r) = {x R m ρ(x, ξ) r} a necht pro tyto derivace platí g i (x) x j q, 0 q < 1, i, j = 1,..., m, x Ω(ξ, r) m a necht x 0 Ω(ξ, r). Pak posloupnost {x k }, x k+1 = G(x k ), k = 0, 1,..., konverguje a lim k x k = ξ, přičemž x k Ω(ξ, r) pro všechna k. Poznámka. Podmínky na parciální derivace v předchozí větě lze nahradit předpokladem m max g i (x) 1 i m x j q < 1. Iterační proces tedy máme ve tvaru j=1 x k+1 1 = g 1 (x k 1, x k 2,..., x k m), x k+1 2 = g 2 (x k 1, x k 2,..., x k m),. x k+1 m = g m (x k 1, x k 2,..., x k m). 8
3.2 Seidelova metoda Na rozdíl od metody prosté iterace využijeme k výpočtu x k+1 i již vypočtené hodnoty x k+1 i s, s = 1,..., i 1. Iterační rovnice jsou pak 3.3 Newtonova metoda x k+1 1 = g 1 (x k 1, x k 2,..., x k m), x k+1 2 = g 2 (x k+1 1, x k 2,..., x k m),. x k+1 m = g m (x k+1 1,..., x k+1 m 1, xk m). Iterační rovnice je v analogii a klasickou Newtonovou metodou x k+1 = x k J 1 F (xk )F (x k ), kde J F je Jacobiho matice zobrazení F (je tedy nutné, aby J F byla regulární). Pro výpočet je vhodné převést iterační rovnici do tvaru kde d k = x k+1 x k je vektor oprav. J F (x k )d k = F (x k ), Věta 3.3. Necht ξ je kořenem soustavy rovnic F (x) = 0 a necht J F (x) je regulární matice se spojitými prvky v okolí O(ξ) bodu ξ, přičemž na tomto okolí J 1 F (x) K, K = konst. Necht dále funkce f i, i = 1,..., m, mají spojité druhé parciální derivace v O(ξ). Posloupnost {x k } generovaná Newtonovou metodou konverguje ke kořenu ξ za předpokladu, že počáteční aproximace x 0 leží dostatečně blízko ξ. Tato metoda je řádu 2. Poznámka. Pro zastavení výpočtu často používáme podmínku x k+1 x k x k ε, kde ε je předem daná přesnost. 9
4 Polynomy Necht P je polynom tvaru Dále označme P (x) = a 0 x n + a 1 x n 1 + + a n 1 x + a n. Věta 4.1. Pro všechny kořeny polynomu P platí A = max{ a 1,..., a n }, B = max{ a 0,..., a n 1 }. 1 1 + B a n ξ k +1 A a 0. Definice (Znaménková změna). Necht {c n }, c i 0 i = 1,..., n, je posloupnost reálných čísel různých od nuly. Řekneme, že pro dvojici čísel c k, c k+1 nastává znaménková změna, jestliže c k c k+1 < 0. Řekneme, že dvojice c k, c k+1 zachovává znaménko, jestliže c k c k+1 > 0. Definice (Sturmova posloupnost). Řekneme, že posloupnost polynomů {P = P 0, P 1,..., P m } je Sturmovou posloupností příslušnou polynomu P, jestliže platí: 1. Všechny reálné kořeny polynomu P 0 jsou jednoduché. 2. Je-li ξ reálný kořen polynomu P 0, pak sign P 0 (ξ) = sign P 1(ξ). 3. Je-li α reálný kořen polynomu P i, i = 1,..., m 1, pak 4. Poslední polynom P m nemá reálné kořeny. P i 1 (α)p i+1 (α) < 0. Poznámka. Největší společný dělitel P a P je polynom, který má stejné kořeny jako P, ale všechny jednoduché. Lemma 4.2 (Konstrukce Sturmovy posloupnosti). Necht všechny reálné kořeny polynomu P jsou jednoduché. Pak lze k polynomu P zkonstruovat Sturmovu posloupnost následujícím postupem: P 0 (x) = P (x), P 1 (x) = P 0(x), P i 1 (x) = P i (x)q i (x) c i P i+1 (x), i = 1,..., m 1, P m 1 (x) = P m (x)q m (x), c i > 0. Věta 4.3 (Sturm). Počet reálných kořenů polynomu P na intervalu [a, b) je roven W (b) W (a), kde W (x) je počet znaménkových změn ve Sturmově posloupnosti v bodě x (z níž jsou vyškrtnuty nuly). Věta 4.4 (Descartes). Počet kladných kořenů polynomu P (počítáno s násobností) je roven počtu znaménkových změn v posloupnosti koeficientů a 0,..., a n nebo o sudé číslo menší. Jsou-li všechny koeficienty a 0,..., a n různé od nuly, pak počet záporných kořenů (počítáno s násobností) je roven počtu zachování znamének v posloupnosti koeficientů nebo o sudé číslo menší. 4.1 Newtonova metoda Připomeňme, že Newtonova metoda je iterační proces tvaru x k+1 = x k P (xk ) P (x k ). Hodnoty P (x k ) a P (x k ) lze snadno spočítat Hornerovým schématem. 10
4.1.1 Hornerovo schéma Vhodné pro výpočet hodnot polynomů, hodnot derivací a dělení lineárním polynomem. Mějme polynom q ve tvaru Q(x) = b 0 x n 1 + b 1 x n 2 + + b n 2 x + b n 1 a necht α R. Pak lze polynom P a jeho derivaci P zapsat ve tvaru P (x) = (x α)q(x) + P (α), P (x) = Q(x) + (x α)q (x), tedy P (α) = Q(α). Výpočet lze uspořádat do následující tabulky: a 0 a 1 a 2... a n 1 a n α αb 0 αb 1... αb n 2 αb n 1 b 0 b 1 b 2... b n 1 b n = P (α) α αc 0 αc 1... αc n 2 c 0 c 1 c 2... c n 1 = Q(α) = P (α) 4.2 Zdvojená Newtonova metoda Zdvojená Newtonova metoda je iterační proces tvaru x k+1 = x k 2 P (xk ) P (x k ), za předpokladu f(x 0 )f(x k ) > 0. Pokud najdeme index j takový, že f(x 0 )f(x j ) < 0, dále pokračujeme standardní Newtonovou metodou. Věta 4.5. Necht polynom P (x) = a 0 x n + + a n má všechny kořeny ξ i, i = 1,..., n reálné a ξ 1 ξ 2 ξ n a necht α 1 je největší kořen P, ξ 1 α 1 ξ 2. Pro n = 2 předpokládejme ξ 1 > ξ 2. Pak pro každé z > ξ 1 jsou čísla z = z P (z) P (z), y = z 2 P (z) P (z), y = y P (y) P (y) definována a platí 4.3 Newtonova-Mahleyova metoda α 1 < y, ξ 1 y z. Předpokládejme, že jsme již nalezli aproximaci ξ 1 největšího kořene ξ 1 polynomu P a hledáme ξ 2. Jeden způsob je zavedení polynomu P 1 = P (x) x ξ 1, který je stupně n 1 a má největší kořen ξ 2. Pak bychom opět mohli Newtonovou metodou hledat největší kořen. Tato metoda se nazývá metoda snižování stupně. V praxi ovšem nepřesnost s jakou jsme nalezli předcházející kořeny se přenáší na kořeny následující, které mohou být nalezeny již zcela nepřesně. Proto zavádíme Mahleyovu metodu, která spočívá ve vhodném vyjádření derivace P 1 : 11
P 1(x) = P (x) x ξ P (x) 1 (x ξ 1 ), 2 jehož dosazením do Newtonovy metody dostáváme x k+1 = x k P 1(x k ) P 1 (xk ) = xk P (x k ). P (x k ) P (xk ) x k ξ 1 Obecně, pokud jsme již nalezli aproximace kořenů ξ 1,..., ξ j a hledáme ξ j+1, dostaneme stejným způsobem vztah 4.4 Bairstowova metoda x k+1 = x k P (x k ) P (x k ). i P (x k ) j=1 x k ξ j Tato metoda slouží k výpočtu komplexních kořenů polynomu. Hledejme tedy dvojici z, z, z = u + iv komplexně združených kořenů polynomu P. Necht jsou z, z kořeny polynomu D(x) = x 2 + px + q, kde p = 2u a q = u 2 + v 2. Musíme tedy najít čísla p, q tak, aby polynom D dělil polynom P. Formálně tedy P (x) = D(x)Q(x) + Ax + B, kde Nyní je třeba určit p, q tak, aby D(x) = x 2 + px + q, Q(x) = Q(x, p, q) je polynom stupně n 2, A = A(p, q), B = B(p, q). A(p, q) = 0, B(p, q) = 0, což je systém nelineárních rovnic, který řešíme Newtonovou metodou. Považujeme-li polynom D(x) = x 2 +px+q za aproximaci dělitele, dostaneme další aproximaci D 1 (x) = x 2 +p 1 x+q 1, p 1 = p+h, q 1 = q + k řešením soustavy A p B p A q B q h A(p, q) =. k B(p, q) Tato soustava se dá po dalších úpravách a označení a = A q, b = B q (ap b)h ak + A = 0, aqh bk + B = 0. zapsat takto: Jejím vyřešením dostáváme čísla h, k a kvadratický trojčlen D 1 (x), jehož kořeny jsou aproximací kořenů, z polynomu P. Postup opakujeme. Jako kritérium pro zastavení výpočtu lze zvolit: h < ε p, k < ε q, kde ε je požadovaná přesnost. Hodnoty A, B, a, b lze spočítat zobecněným Hornerovým schématem. 12
4.4.1 Zobecněné Hornerovo schéma Mějme nyní polynomy Q a R ve tvaru Q(x) = b 0 x n 2 + b 1 x n 3 + + b n 3 x + b n 2 R(x) = c 0 x n 4 + c 1 x n 5 + + c n 5 x + c n 4. Pak lze polynomy P a Q zapsat ve tvaru P (x) = Q(x)D(x) + Ax + B, Q(x) = R(x)D(x) + ax + b. Výpočet můžeme opět zapsat do tabulky: a 0 a 1 a 2... a n 3 a n 2 a n 1 a n p pb 0 pb 1... pb n 4 pb n 3 pb n 2 q qb 0... qb n 5 qb n 4 qb n 3 qb n 2 b 0 b 1 b 2... b n 3 b n 2 A B p pc 0 pc 1... pc n 4 q qc 0... qc n 5 qc n 4 c 0 c 1 c 2... a b 13
5 Soustavy lineárních rovnic Řešíme soustavu lineárních rovnic tvaru Ax = b. 5.1 Přímé metody 5.1.1 Gaussova eliminační metoda Matici soustavy A upravíme na horní trojúhelníkový tvar, který označíme jako matici U, tj. matici soustavy A upravíme na horní trojúhelníkový tvar, který označíme jako matici U, tj. u 11 u 12...... u 1n 0 u 22...... u 2n U =.. 0.......... 0 0... 0 u nn Tím rovnici ax = b převedeme na tvar Ux = c, což lze snadno řešit od poslední rovnice směrem k první. Definice (Frobeniova matice). Definujeme Frobeniovu matici G i jako matici realizující vynulování i-tého sloupce pod diagonálou. Frobeniova matice příslušná prvnímu např. sloupci je tvaru 1 0...... 0 l 21 1...... 0 G 1 =. l 31 0...,...... l n1 0... 0 1 kde l i1 = āi1 ā 11. Matice Ā vznikla z matice A výměnou prvního a r-tého řádku tak, aby ā 11 0. Definice (Permutační matice). Definujeme permutační matici P i jako matici realizující výměnu dvou řádků (index matice se vztahuje ke kroku v GEM). Permutační matice příslušná výměně r-tého a s-tého řádku odpovídá jednotkové matici s vyměněným r-tým a s-tým řádkem. Věta 5.1. Jestliže Gaussova eliminační metoda (GEM) je realizována bez výměny řádku, pak GEM definuje rozklad A = LU, kde L je dolní trojúhelníková matice a U je horní trojúhelníková matice. Poznámka. Matice L z předchozí věty je součin všech Frobeniových matic vzniklých během GEM, tj. L = G 1 1... G 1 n 1, což ihned plyne z U = G n 1... G 2 G 1 A. GEM s částečným výběrem hlavního prvku V k-tém kroku vybíráme v k-tém sloupci maximální prvek v absolutní hodnotě. Necht je to např. a rk. Vyměníme r-tý a k-tý řádek a vynulujeme požadovaný sloupec pod diagonálou (tj. pod pivotem ā kk ). Tedy kde a (k) pk je hlavní prvek k-tého kroku. a (k) pk = max k i n a(k) ik, 14
GEM s úplným výběrem hlavního prvku V každém kroku vybíráme v dané submatici A (k) kk maximální v absolutní hodnotě. Necht je to např. a rs. Vyměníme r-tý a k-tý řádek a vynulujeme s-tý sloupec pod diagonálou. 5.1.2 LU rozklad Rozložíme matici soustavy na součin A = LU, kde L, resp. U je dolní, resp. horní (s jedničkami na hlavní diagonále) trojúhelníková matice. Máme tedy soustavu lineárních rovnic ve tvaru Odtud máme dvě snadno řešitelné rovnice LUx = b. Ux = y, Ly = b. Věta 5.2. Jestliže všechny hlavní minory matice A jsou nenulové, pak lze A rozložit na součin A = LU. 5.1.3 Choleského metoda Necht A je v této části symetrická matice. Pak lze aplikovat Choleského metodu podle následující věty. Věta 5.3 (Choleského metoda). Necht A je symetrická matice splňující předpoklady věty 5.2 (tj. všechny její minory jsou nenulové). Pak existuje horní trojúhelníková matice T taková, že A = T T T. Důsledek (konstrukce matice T ). Matice T = (t ij ) z předchozí věty má prvky tvaru: 5.1.4 Croutova metoda t 11 = a 11 t 1j = a 1j, t 11 i 1 t ii = aii t 2 ki, k=1 ( t ij = 1 a ij t ii ) i 1 t ki t kj k=1 j = 2,..., n i = 2,..., n pro j > i, t ij = 0 pro j < i. Tato metoda je aplikace LU rozkladu na tridiagonální matice. Hledáme tedy matice tvaru l 11 0...... 0 l 21 l 22 0... 0 L =. 0 l 32 l.. 33.,.......... 0 0... 0 l n,n 1 l nn u 11 u 12 0... 0 0 u 22 u 23.... U =.. 0..... 0......... un 1,n 0 0... 0 u nn 15
Rozepsáním takto vzniklých rovnic dostaneme: a 11 = l 11 a i,i 1 = l i,i 1, a ii = l i,i 1 u i 1,i + l ii, i = 2,..., n i = 2,..., n a i,i+1 = l ii u i,i+1, i = 1,..., n 1. Věta 5.4. Necht A je tridiagonální matice s vlastnostmi: a i,i 1 a i,i+1 0, i = 2,..., n 1, a 11 > a 12, a ii a i,i 1 + a i,i+1, i = 2,..., n 1, a nn > a n,n 1. Pak matice A je regulární a prvky l ii matice L jsou různé od nuly. Matici A pak lze rozložit na součin A = LU. Poznámka. První podmínka v předchozí větě znamená, že na souběžných diagonálách se nevyskytují nuly. Další tři podmínky znamenají, že A je řádkově diagonálně dominantní. 5.2 Iterační metody Dále označme matici soustavy A jako A = E T a vektor b jako b = g. Pak lze soustavu rovnic přepsat na tvar čímž dostáváme ekvivalentní tvar systému rovnic Iterační posloupnost je pak generována vztahem Zároveň označme x přesné řešení této soustavy. x = (E T ) 1 g, x = T x + g. x k+1 = T x k + g Definice. Řekneme, že matice H M n je konvergentní, jestliže lim k Hk = O, kde O je nulová matice. Řekneme, že matice H M m je semikonvergentní, jesliže lim k H k existuje. Lemma 5.5. Následující tvrzení jsou ekvivalentní: 1. H je konvergentní. 2. ρ(h) < 1, kde ρ(h) max{ λ(h) } je spektrální poloměr matice H. 3. lim k H k = 0 pro nějakou přidruženou maticovou normu. 4. lim k H k x = 0 x R n. Lemma 5.6. Necht T = 1 ( je souhlasná s danou vektorovou normou). Pak matice E T je regulární a platí: (E T ) 1 E 1 T. 16
Důsledek. Je-li ρ(t ) < 1, pak E T je regulární. Důsledek. Necht ρ(t ) < 1, pak (E T ) 1 = E + T + T 2 +. Věta 5.7 (Hlavní věta této kapitoly). Posloupnost {x k } generovaná iteračním procesem x k = T x k 1 + g, k = 1, 2,... konverguje pro každou počáteční aproximaci x 0 R n právě tehdy, když ρ(t ) < 1, přičemž lim k xk = x, x = T x + g. Důsledek. Necht pro nějakou přidruženou maticovou normu platí T < 1. Pak posloupnost {x k } generovaná iteračním procesem x k = T x k 1 + g, k = 1, 2,... konverguje pro každou počáteční aproximaci x 0 R n k x. Následující metody dostáváme konkrétní volbou iterační matice. 5.2.1 Jacobiho metoda Zavedeme označení A = D L U, kde L, resp. U je dolní, resp. horní trojúhelníková matice a D diagonální matice. Pak soustavu Ax = b přepíšeme odkud Dx = (L + U)x + b, x = D 1 (L + U)x + D 1 b. Pak zřejmě T J = D 1 (L + U) a g = D 1 b a iterační proces je x k+1 = T J x k + g = D 1 (L + U)x k + D 1 b. Věta 5.8 (o konvergenci). Posloupnost {x k } generovaná Jacobiho metodou konverguje pro libovolnou počáteční aproximaci x 0 R n právě tehdy, když ρ(t J ) < 1. Věta 5.9 (Sumační kritéria). Platí: 1. Silné řádkové sumační kritérium: Necht A je ryze řádkově diagonálně dominantní matice, tj. a ii > n j=1,j i a ij, i = 1,..., n. Pak Jacobiho iterační metoda konverguje pro každou počáteční aproximaci x 0 R n. 2. Silné sloupcové sumační kritérium: Necht matice A je ryze sloupcově diagonálně dominantní, tj. a ii > a ji, i = 1,..., n. j=1,j i Pak Jacobiho iterační metoda konverguje pro každou počáteční aproximaci x 0 R n. 17
5.2.2 Gaussova-Seidelova iterační metoda Opět při označené A = D L U soustavu převedeme do tvaru odkud (D L)x = Ux + b, x = (D L) 1 Ux + (D L) 1 b. Při označení T G = (D L) 1 U a g = (D L) 1 b a iterační proces je Věta 5.10 (Kritéria konvergence). Platí: x k+1 = T G x k + g = (D L) 1 Ux k + (D L) 1 b. 1. Gaussova-Seidelova metoda konverguje pro libovolnou počáteční aproximaci x 0 R n právě tehdy, když ρ(t G ) < 1. 2. Necht T G < 1, pak Gaussova-Seidelova metoda konverguje pro libovolnou počáteční aproximaci x 0 R n. 3. Silné řádkové sumační kritérium. 4. Silné sloupcové sumační kritérium. Věta 5.11 (Stein-Rosenberg). Necht pro prvky matice A platí a ij 0 pro všechna i j a a ii > 0, i = 1,..., n. Pak platí právě jedno z následujících tvrzení: 1. 0 < ρ(t G ) < ρ(t J ) < 1 2. 1 < ρ(t J ) < ρ(t G ) 3. ρ(t J ) = ρ(t G ) = 0 4. ρ(t J ) = ρ(t G ) = 1. To znamená, že konvergují-li obě metody, Gaussova-Seidelova metoda konverguje rychleji. Věta 5.12. Necht A je pozitivně definitní matice. Pak Gaussova-Seidelova metoda konverguje pro každou počáteční aproximaci. 18
Reference [1] Horová, I., Zelinka, J.: Numerické metody, 2. rozšířené vydání, Masarykova univerzita, Brno, 2004, ISBN 80 210 3317 7. 19