Numerické řešení soustav lineárních rovnic

Transkript

1 Numerické řešení soustav lineárních rovnic Mirko Navara Centrum strojového vnímání, katedra kybernetiky FEL ČVUT Karlovo náměstí, budova G, místnost 04a 5 prosince 208 Úloha: Hledáme řešení soustavy n lineárních rovnic o n neznámých x, x 2,, x n a, x + a,2 x a,n x n = b a 2, x + a 2,2 x a 2,n x n = b 2 a n, x + a n,2 x a n,n x n = b n Maticový tvar: A x = b, kde A = (a i,j i,j=,,n je (regulární matice soustavy, b = (b, b 2,, b n vektor pravých stran, x = (x, x 2,, x n vektor neznámých Cramerovo pravidlo má velkou výpočetní složitost a numerické chyby Druhy problémů Matice soustavy: plné, ne příliš velké, řídké, často velmi velké (mj u kubického splinu Špatná podmíněnost x = A b Malá změna koeficientů soustavy nebo pravé strany může způsobit velkou změnu řešení Zpětné dosazení (nepřesného řešení x c dá reziduum řešení: r = b A x c, Pokud matice A má velké prvky, může být reziduum r malé, i když se vektor x c podstatně liší od přesného řešení x r = A x A x c = A (x x c, x x c = A r Jsou-li prvky matice A velké, může i malá složka vektoru r způsobit velký rozdíl x x c Malé reziduum nezaručuje malou chybu řešení! Takové soustavy nazýváme špatně podmíněné Příklad: Soustava 2 x + 6 y = 8 2 x y = 80000

2 má řešení x =, y = ; minimální změna koeficientů na soustavu 2 x + 6 y = 8 2 x y = změní řešení na x = 0, y = 2 Inverzní matice k oběma soustavám mají prvky řádově 0 5, což ukazuje na jejich špatnou podmíněnost Rovnice v soustavách jsou skoro lineárně závislé Zdroje chyb nepřesnost koeficientů soustavy a pravé strany, zaokrouhlovací chyby při výpočtu, chyby metody nekonečný proces je nahrazen konečným počtem kroků (u iteračních metod Přímé metody Po konečném počtu kroků vedou (teoreticky k přesnému řešení Gaussova eliminace (GEM Postupné úpravy matice soustavy pomocí ekvivalentních úprav (nemění řešení soustavy na horní trojúhelníkovou matici, ze které lze zpětným dosazením snadno získat řešení Rozšířená matice soustavy má prvky Soustavu převedeme povolenými úpravami na tvar a (0 i,j = a i,j, pro i =, 2,, n, j =, 2,, n; a (0 i,n+ = b i, pro i =, 2,, n a (0, x + a (0,2 x a (0,n x n = a (0,n+ a (0 2, x + a (0 2,2 x a (0 2,n x n = a (0 2,n+ a (0 n, x + a (0 n,2 x a (0 n,n x n = a (0 n,n+ a (0, x + a (0,2 x a (0,n x n = a (0,n+ a ( 2,2 x a ( 2,n x n = a ( 2,n+ a (n n,n x n = a (n n,n+, ze kterého zpětnou substitucí vypočítáme vektor řešení Pokud vyjde na diagonále nulový prvek, stačí provést záměnu řádků (resp sloupců v tom případě musíme zaměnit i odpovídající složky vektoru řešení! To lze, pokud je matice soustavy regulární Algoritmus: Pro k =, 2,, n, pro i = k +, k + 2,, n a j = k +, k + 2,, n + a (k i,j = a(k i,j a(k i,k a (k a (k k,j k,k Pokud po provedení přímého chodu je nějaký diagonální prvek a (i i,i je (resp může být singulární V opačném případě použijeme zpětnou substituci x i = ( a (i a (i i,i i,n+ n j=i+ a (i i,j x j, pro i = n, n,, = 0 (resp a (i i,i < ε, matice soustavy 2

3 Výběr hlavního prvku Pokud číslo na diagonále je v absolutní hodnotě malé, jeho malá změna vyvolá velkou změnu výsledku při dělení a rostou zaokrouhlovací chyby Proto v každém kroku eliminace vybereme na diagonálu koeficient s co největší absolutní hodnotu = hlavní prvek (pivot GEM s výběrem hlavního prvku úplným vybíráme z (n k 2 prvků zbylé čtvercové podmatice (výpočetně složité, sloupcovým vybíráme v rámci sloupce a pouze vyměníme řádky, řádkový vybíráme v rámci řádku a vyměníme sloupce (i pořadí neznámých! Gaussova-Jordanova redukce GEM může pokračovat eliminací prvků nad diagonálou Diagonální prvky lze převést na jedničky Sloupec pravých stran je pak vektor řešení Pro jedno použití je větší složitost, ale vyplatí se, pokud máme mnoho úloh lišících se pouze pravou stranou (např výpočet inverzní matice, kdy řešíme soustavu lineárních rovnic současně pro n pravých stran, kde vycházíme z jednotkové matice LU-rozklad Označme 0 0 a2, a, 0 0 L = a3, a, 0 0 an, a, 0 0 a vynásobme L A Dostaneme první přidruženou soustavu z GEM s vynulovaným prvním sloupcem pod diagonálou Pokračujeme: kde Po provedení n maticových násobení máme A 0 = A, A i+ = L i+ A i pro i = 0,,, n 2, L i+ = a(i i+2,i+ a (i i+,i a(i n,i+ 0 a (i i+,i+ L n L n 2 L 2 L A = U, kde matice U je horní trojúhelníková (=výsledek přímého chodu GEM a L = L n L n 2 L 2 L dolní trojúhelníková s jednotkami na diagonále Inverzní matice L = L existuje a je rovněž dolní trojúhelníková s jednotkami na diagonále L A = U, A = L U = L U Původní soustavu A x = L U x = b nahradíme dvěma soustavami s trojúhelníkovými maticemi L y = b, U x = y, 3

4 (neboť A x = L U x = L y = b, které řešíme zpětnou substitucí Rozepsáním součinu L U dostáváme Algoritmus: Pro r =, 2,, n i u i,r = a i,r l i,s a s,r pro i =, 2,, r, l i,r = s= ( r a i,r l i,s u s,r u r,r s= i y i = b i l i,s y s pro i =, 2,, n, x i = s= ( y i u i,i s=i+ u i,s x s pro i = r +, r + 2,, n, pro i = n,, 2, Potřebujeme všechny prvky u r,r 0 (i během výpočtu nenulové výběr hlavního prvku (částečný; zmenší se tím i zaokrouhlovací chyby Poznámka: Celý algoritmus můžeme realizovat na místě, v jediné čtvercové matici Pro překrývající se diagonální prvky použijeme u r,r, protože na diagonále matice L jsou jedničky, které nepočítáme ani neukládáme Poznámka: Tato metoda je zvláště vhodná pro řadu úloh lišících se pouze pravými stranami Lze použít i výpočet inverzní matice A (ovšem s větší složitostí Výpočet inverzní matice E = jednotková matice A A = E A vynásobená j-tým sloupcem matice A je rovna j-tému sloupci jednotkové matice E x j = j-tý sloupec A e j = j-tý sloupec E A x j = e j Máme soustavu rovnic, kde x j je vektor neznámých Jednotlivé sloupce inverzní matice A dostaneme jako řešení soustavy pro různé pravé strany sloupce matice E Můžeme využít GEM pro jednu matici soustavy a několik pravých stran současně; stačí prodloužit cyklus pro řádky rozšířené matice soustavy typu (n 2 n, tedy j = k +, k + 2,, 2 n (viz Gaussova-Jordanova redukce Použití LU-rozkladu: A = L U: A = (L U = U L Výpočet U a L je snadný, inverzní matice k trojúhelníkové je opět trojúhelníková Výpočet determinantu Podle definice pouze pro velmi malé řády matic n počet operací GEM: po eliminaci jako součin prvků na diagonále: det A = ±a (0, a( 2,2 a(2 3,3 a(n n,n POZOR! Výměna řádků či sloupců (při výběru hlavního prvku mění znaménko determinantu (Stačí si pamatovat, zda počet výměn byl sudý nebo lichý LU-rozklad A = L U: det A = det (L U = det L det U = u, u 2,2 u 3,3 u n,n (Jedná se o trojúhelníkové matice a L má navíc na diagonále jednotky Opět nutno ošetřit znaménko při výměnách řádků nebo sloupců 4

5 Zpřesnění výsledků pomocí rezidua Přesné řešení x můžeme vyjádřit pomocí nepřesného řešení x c : kde δ = (δ, δ 2,, δ n T je vektor oprav x = x c + δ, A x = b A (x c + δ = b A x c + A δ = b A δ = b A x c = r Vektor oprav je řešením stejné soustavy s pravou stranou nahrazenou reziduem r Je-li reziduum podobně velké jako původní pravé strany, nemá smysl pokračovat Postup můžeme několikrát opakovat (je výhodné použít LU-rozklad a získat další zpřesněná řešení x ( c, x (2 c, x (3 c, Iterační metody Snaží se konstruovat posloupnosti vektorů, konvergující k přesnému řešení soustavy Normy vektorů a matic R n n-rozměrný aritmetický vektorový prostor R n,n prostor čtvercových matic řádu n o R n nulový vektor O R n,n nulová matice E R n,n jednotková matice Definice: Vektorová norma je zobrazení v : R n R splňující x v 0, přičemž x v = 0 x = o, c x v = c x v, x + y v x v + y v (trojúhelníková nerovnost Příklad: x e = x 2 i i= euklidovská x r = max i i=,,n maximová, Čebyševova x s = n x i součtová, manhattanská x q = i= ( x i q q, q společné zobecnění předchozích i= Změna měřítka: Je-li v vektorová norma a r > 0, pak x u = r x v je také vektorová norma Definice: Maticová norma je zobrazení M : R n,n R splňující B M 0, přičemž B M = 0 B = O c B M = c B M, B + C M B M + C M (trojúhelníková nerovnost, B C M B M C M (Schwarzova nerovnost Příklad: B F = B R = B S = a 2 i,j i= j= max i=,,n j= max j=,,n i= a i,j řádková a i,j sloupcová Příklad: Co není maticová norma: euklidovská, Frobeniova B C = max i,j=,,n a ij 5

6 splňuje první 3 podmínky, ale nikoli Schwarzovu nerovnost: ( ( ( ( = 2 2 = C C C ( C = = Příklad: Pro libovolnou maticovou normu M ( k ( = 2 k pro k, M M ( k ( 4 4 = k 0 pro k M M 4 4 Konvergence nekonečného součinu: Dosaďme B := B k (k-tá mocnina matice B, k N: 4 B k C M B k M C M B k C M 0 pro B M <, k Definice: Operátorová norma indukovaná vektorovou normou v je zobrazení, které matici B R n,n přiřazuje je nejmenší číslo B V takové, že 4 Ekvivalentně x R n : B x v B V x v B x v B V = sup = sup B u v x o x v u v= ( ( u = x x v Důsledek: E V = Poznámka: Zde máme prostor konečné dimenze, kde sup je max Věta: Operátorová norma je maticová norma Důkaz: Vše triviální, kromě Schwarzovy nerovnosti Pokud je B C V > 0, je y := C x 0, ( B C x v B y v C x v B C V = max = max x o x v x o y v x v ( ( B y v C x v max max y C R b,y o y v x o x v ( ( B z v C x v max max z o z v x o x v = B V C V Tvrzení: R je indukovaná r, S je indukovaná s, F není indukovaná e Důkaz: Nechť x, y R n, r 0, Každá norma konvexní kombinace r x + ( r y splňuje r x + ( r y v r xy v + ( r y v max{ xy v, y v } Jednotková koule v normě r je hyperkrychle; je konvexním obalem svých vrcholů, tj vektorů tvaru (±, ±,, ± Její obraz v lineárním zobrazení je konvexním obalem obrazů těchto vrcholů Maximum normy 6

7 nastává pro některý z nich, řekněme u; i-tá složka vektoru B u je maximální, pokud se shodují znaménka odpovídajících složek i-tého řádku matice B a vektoru u nebo u, j : b ij u j 0, nebo Pak je j : b ij u j 0 (B u i = b ij u j = b ij sign(b ij = b ij, i i j B u R = max max (B u i = max b ij = B R = B R u r u=(±,,± i i 2 Jednotková koule v normě s je konvexním obalem svých vrcholů, tj vektorů tvaru (±, 0, 0,, 0, (0, ±, 0,, 0,, (0, 0,, 0, ± Její obraz v lineárním zobrazení je konvexním obalem obrazů těchto vrcholů Maximum normy nastává pro některý z nich, řekněme u; jelikož B u je sloupec matice B (vynásobený + nebo, B u s je největší norma s sloupce matice B 3 Jednotková matice má operátorovou normu jednotkovou, ale Frobeniovu n Tvrzení: Operátorová norma je bezrozměrná, změna měřítka vektorové normy nemá vliv Pokud vektorovou normu vynásobíme r > 0, x u := r x v, operátorová norma se nezmění: max x o B x u x u = max x o r B x v r x v j = max x o B x v x v = B V Slabší podmínka: Definice: Maticová norma M se nazývá souhlasná s vektorovou normou v, jestliže splňuje podmínku B R n,n x R n : B x v B M x v, tj jestliže je větší nebo rovna operátorové normě indukované vektorovou normou v Příklad: Operátorová norma vynásobená jakýmkoli číslem (ale ne < je maticová norma souhlasná s v Příklad: Nesouhlasné normy: ( ( ( = r r ( = 8 > S 2 ( 2 r = 2 2 = 4 Věta: Ke každé maticové normě M existuje alespoň jedna souhlasná vektorová norma v, a to x v = X M, kde x x X = x n Důkaz: n j= b,j x j 0 0 n B x v = j= b 2,j x j 0 0 n j= b n,j x j 0 0 M = B X M B M X M = B M x v Důsledek: F je souhlasná s e Důkaz: x x x n F = x 2 i = x 2 e i= 7

8 Definice: Posloupnost vektorů x (0, x (, x (2, konverguje k vektoru x R n, jestliže lim k x(k i = x i pro i =, 2,, n Věta: Posloupnost vektorů x (0, x (, x (2, konverguje k vektoru x R n, právě když lim k x(k x v = 0, kde za normu můžeme zvolit libovolnou z výše uvedených vektorových norem (Konvergence nezáleží na volbě normy Definice: Posloupnost matic B (0 = ( b (0 n i,j i,j=, B( = ( b ( n i,j i,j=, B(2 = ( b (2 n i,j i,j=, konverguje k matici B = ( n b i,j i,j=, jestliže (B (k k-tý člen posloupnosti lim k b(k i,j = b i,j pro každé i, j =, 2,, n Věta: Posloupnost matic B (0, B (, B (2, konverguje k matici B, právě když pro nějakou maticovou normu M (Konvergence nezáleží na volbě normy lim k B(k B M = 0, Definice: Matice B je konvergentní, jestliže posloupnost matic B, B 2, B 3, B 4, konverguje k nulové matici V opačném případě řekneme, že matice B je divergentní Vlastní čísla a spektrální poloměr Definice: Číslo λ C je vlastní (charakteristické číslo matice B R n,n, též vlastní číslo lineárního zobrazení x B x, jestliže existuje nenulový vektor x C n (vlastní (charakteristický vektor splňující λ x = B x Věta: Číslo λ je vlastní číslo matice B, právě když det(b λ E = 0 Důkaz: Je-li λ vlastní číslo matice B, pak x o : λ x = B x, tedy B x λ x = o, (B λ E x = o Nechť det(b λ E 0, tedy matice B λ E je regulární Homogenní soustava rovnic s regulární maticí soustavy má pouze triviální řešení spor Naopak z předpokladu det(b λ E = 0 přímo plyne, že matice B λ E je singulární a x o : (B λ E x = o Tedy B x λ x = o, λ x = B x Výpočet vlastních čísel Pro matice malých řádů: Vypočteme det(b λ E, což je polynom v proměnné λ stupně n (charakteristický polynom matice B Vlastní čísla λ i jsou kořeny charakteristického polynomu matice B (rovnice det(b λ E = 0 je charakteristická rovnice Poznámka: Za vlastní čísla nadále považujeme všechny kořeny charakteristické rovnice včetně komplexních (O těch bychom měli správně hovořit jen v komplexním vektorovém prostoru; v reálném není násobení komplexním číslem definováno Definice: Spektrální poloměr matice B R n,n je číslo ϱ(b = max λ i, i=,2,,n kde λ i, i =, 2,, n, jsou vlastní čísla matice B (včetně komplexních 8

9 Věta: Každá maticová norma M splňuje B M ϱ(b Důkaz: (Jen pro případ, že vlastní číslo λ s největší absolutní hodnotou je reálné Nechť y je vlastní vektor příslušný λ, λ y = B y Maticová norma M je souhlasná s nějakou vektorovou normou v, tedy větší nebo rovna příslušné operátorové normě V, indukované v, pro kterou platí B M B V = max x o B x v x v B y v y v = λ y v y v = λ = ϱ(b Věta: Matice B je konvergentní ϱ(b < Věta: Postačující podmínka konvergentnosti matice B: B M < pro nějakou maticovou normu, neboli lineární zobrazení x B x, reprezentované maticí B, je kontraktivní (vzhledem k nějaké vektorové normě, souhlasné s maticovou normou M Příklad: Matice B = ( je konvergentní, B S = 09 <, ačkoli B R = 6 >, B F = 3 >, Maticové iterační metody Hledáme posloupnost vektorů x (k R n splňující x (k x, tj x (k x v 0 Použijeme rekurentní vzorec x (k+ = F k (x (k, x (k,, x (k m Omezíme se na lineární jednobodové stacionární maticové iterační metody, tj F k nezávisí na k, závisí jen na x (k, a to lineárně (správně afinně, Např x (k+ = B x (k + c Vektor chyby: b = A x, x + b = x + A x = (E + A x, x = (E + A x b, x (k+ = (E + A }{{} B x (k b }{{} c ε (k = x (k x (předpokládáme o x (k = B x (k + c x = B x + c x (k x = B (x (k x = B 2 (x (k 2 x = = B k (x (0 x ε (k = B ε (k = = B k ε (0 lim k Bk = O lim k ε(k = o Věta: Nutná a postačující podmínka konvergence iterační metody tvaru x (k+ = Bx (k + c je ϱ(b < Pak pro vzdálenost od limity x platí x (k x v ϱ(b ϱ(b x(k x (k v 9

10 Postačující podmínka je B M < (pro nějakou maticovou normu (Počáteční odhad i vektorová norma mohou být libovolné Vyjádříme matici A ve tvaru Jacobiova iterační metoda (JIM A = D + L + U, kde D je diagonální, L ostře dolní trojúhelníková a U ostře horní trojúhelníková volíme A x = (D + L + U x = D x + (L + U x = b, D x = (L + U x + b, x = D ( (L + U x + b, x (k+ = D (L + U x (k + D }{{}} {{ b } B c JIM JIM Předpokládáme, že hlavní diagonála matice A neobsahuje žádný nulový prvek (toho lze dosáhnout výměnou řádků nebo sloupců Chceme, aby na diagonále byly velké prvky Po složkách: x = (a,2 x 2 + a,3 x a,n x n + b a, a, x 2 = (a 2, x + a 2,3 x a 2,n x n + b 2 a 2,2 a 2,2 x n = a n,n (a n, x + a n,2 x a n,n x n + x (k+ i = a i,i (i j= a i,j x (k j + j=i+ b n a n,n a i,j x (k j + b i, i =, 2,, n a i,i Podmínka ukončení: x (k+ x (k v < ε Gaussova-Seidelova iterační metoda (GSM Každá už vypočtená složka vektoru x (k+ se ihned použije v dalším výpočtu x (k+ i = ( i a i,j x (k+ j + a i,i j= Pro realizaci výpočtu stačí pouze jeden vektor x Maticový tvar: j=i+ (D + L x = U x + b, x = (D + L (U x b, a i,j x (k j + b i, i =, 2,, n a i,i x (k+ = (D + L U x (k + (D + L b }{{}}{{} B GSM c GSM Věta: JIM (resp GSM konverguje pro libovolnou počáteční iteraci právě tehdy, když ϱ(b JIM < (resp ϱ(b GSM < Pokud ϱ(b JIM = ϱ(b GSM = 0, dostaneme teoreticky přesné řešení v konečném počtu kroků Může se stát, že konverguje pouze jedna z těchto metod (nebo žádná Problém: určení vlastních čísel matice Věta: Nechť B JIM M < (resp B GSM M <, pak JIM (resp GSM konverguje a pro příslušné iterační posloupnosti získané z libovolné počáteční iterace x (0 R n platí odhad x (k x v B M B M x (k x (k v, 0

11 kde B je příslušná iterační matice (normy matice a vektorů můžeme volit, ale musí být souhlasné Definice: Matice A R n,n se nazývá ostře diagonálně dominantní, jestliže a i,i > a i,j pro každé i =, 2,, n j=,j i Poznámka: Pro transponovanou matici dostaneme jinou podmínku, ale stejně užitečnou Věta: Nechť matice A R n,n je ostře diagonálně dominantní, pak JIM i GSM konverguje pro libovolnou počáteční iteraci Poznámka: Ostře diagonálně dominantní je např matice soustavy rovnic pro koeficienty kubického splinu, kdy navíc matice soustavy je řídká, takže složitost jedné iterace je úměrná n Definice: Matice A R n,n se nazývá pozitivně definitní, jestliže pro každý nenulový vektor x R n platí x A x > 0 Věta: Nechť matice A R n,n je symetrická a pozitivně definitní, pak GSM konverguje Poznámka: Symetrická a pozitivně definitní je např matice soustavy normálních rovnic u metody nejmenších čtverců Superrelaxační metoda (SOR Successive OverRelaxation method Konvergenci urychlí jakákoliv modifikace, která vede ke zmenšení spektrálního poloměru matice B D x = D x + ω o {}}{ ( A x + b = = D x + ω (( L D U x + b, D x + ω L x = ( ω D x ω U x + ω b, (GSM: ω := (D + ω L x = [( ω D ω U] x + ω b, x = (D + ω L ([( ω D ω U] x + ω b = = (D + ω L [( ω D ω U] x + ω (D + ω L b, x (k+ = (D + ω L [( ω D ω U] x (k + ω (D + ω L b, }{{}}{{} B ω c ω kde ω je relaxační faktor (Pro ω = dostáváme GSM Po složkách: x (k+ i = ω a i,i ( i j= a i,j x (k+ i j=i+ a i,j x (k i + b j + ( ω x (k i Věta: Metoda SOR konverguje pro libovolnou počáteční iteraci právě tehdy, když ϱ(b ω < Věta: (Ostrowského Nechť A je symetrická matice s kladnými prvky na diagonále Pak platí ϱ(b ω < právě tehdy, když matice A je pozitivně definitní a 0 < ω < 2 Poznámka: Často je lepší relaxační faktor nadhodnotit Jaký postup volit? Poznámka: Složitost řešení soustavy n lineárních rovnic o n neznámých s jedním vektorem pravých stran pomocí GEM a dalších přímých metod je úměrná n 3 Je-li matice soustavy trojúhelníková (speciálně při zpětném chodu GEM a v řešení soustavy při známém LU-rozkladu, vychází složitost úměrná n 2 Rovněž vynásobení vektoru pravých stran známou inverzní maticí má složitost úměrnou n 2 Je-li matice soustavy diagonální, je složitost řešení úměrná n U iteračních metod má v obecném případě jeden krok složitost úměrnou n 2 Počet kroků závisí na požadované přesnosti a rychlosti konvergence (a ta na spektrálním poloměru iterační matice

12 Úloha: A x = B Poznámka: Matice B zde reprezentuje pravé strany soustavy, nikoli iterační matici A plná (málo nulových prvků, B málo sloupců: GEM nebo její modifikace A plná, B mnoho sloupců: výpočet A a řešení maticovým násobením nebo LU-rozklad A řídká (mnoho nulových prvků nepravidelně: GEM s výběrem hlavního prvku A řídká pravidelně: iterační metody JIM, GSM, SOR Literatura [Navara, Němeček] Navara, M, Němeček, A: Numerické metody Skriptum ČVUT, Praha, 2005 [Num Recipes] Press, WH, Flannery, BP, Teukolsky, SA, Vetterling, WT: Numerical Recipes (The Art of Scientific Computing Cambridge University Press, Cambridge, 986 [Num Recipes] Press, WH, Flannery, BP, Teukolsky, SA, Vetterling, WT: Numerical Recipes (The Art of Scientific Computing 2nd edition, Cambridge University Press, Cambridge, 992 [Handbook Lin Alg] Hogben, L (ed: Handbook of Linear Algebra Chapman & Hall/CRC, Boca Raton/London/New York,