MASARYKOVA UNIVERZITA Přírodovědecká fakulta Rozklady matic Bakalářská práce Brno 8 Antonín Tulach
PODĚKOVÁNÍ Chtěl bych poděkovat RNDr. Martinovi Tajovskému za vedení bakalářské práce, cenné rady a připomínky při zpracování daného tématu.
PROHLÁŠENÍ Prohlašuji, že bakalářskou práci na uvedené téma jsem vypracoval samostatně. Použitou literaturu uvádím v seznamu literatury....
Obsah Úvod 4 Základní pojmy a vlastnosti matic 5 LU - rozklad 8. Schodovitý tvar matice, elementární řádkové a sloupcové operace, permutační matice........................ 8. Gaussova eliminační metoda (GEM............... LU - rozklad............................ QR - rozklad 5. Ortogonální a ortonormální systém vektorů.............................. 5. QR - rozklad........................... 8 4 Singulární rozklad matice 4. Pozitivně semidefinitní matice.................. 4. Singulární rozklad matice.................... 5 Praktické příklady jednotlivých rozkladů 9 5. LU - rozklad............................ 9 5. QR - rozklad........................... 6 5. Singulární rozklad......................... 44 Seznam použité literatury 49
Úvod Cílem mé bakalářské práce je shrnout základní informace o vybraných druzích maticových rozkladů, tedy rozkladů matice na součin několika matic, které mají vždy jisté speciální vlastnosti. U jednotlivých výkladů ke každému takovému rozkladu vždy začneme budováním teoretických základů z teorie matic, potřebných k porozumění teorie rozkladů. Následně je čtenáři nabídnut samotný tvar rozkladu, vlastnosti jednotlivých matic rozkladu a také postup, jak tyto matice nalézt. V závěru každého výkladu je pak uveden způsob, jak je možno daný maticový rozklad prakticky aplikovat. Vybraných rozkladů matic je velmi často využíváno při řešení soustav lineárních rovnic. V tomto případě je prvotní záležitostí rozložit matici dané soustavy na součin několika matic určitých vlastností. Se znalostí jednotlivých matic rozkladu pak přecházíme k samotnému řešení soustavy. Matici soustavy při něm vždy nahradíme součinem matic rozkladu a na základě speciálních vlastností matic zvoleného rozkladu, upravíme maticovou rovnici zadané soustavy na určitý tvar tak, aby nová soustava odpovídající upravené maticové rovnici měla mnohem jednodušší tvar než soustava původní a byla tak snadněji řešitelná. Práce zahrnuje rovněž praktické příklady aplikací rozkladů při řešení soustav lineárních rovnic. Tyto příklady vždy začínají zadáním soustavy a končí jejím vyřešením, tedy je zde ukázán jak postup získání matic rozkladu, tak i postup samotného řešení soustavy za použití rozkladu. U některých rozkladů je potřeba uvést více příkladů, aby pokryly různé varianty soustav, respektive matic soustav, jelikož vlastnosti rozkladových matic závisí i na vlastnostech matice zadané soustavy. 4
Kapitola Základní pojmy a vlastnosti matic Abychom se mohli začít zaobírat vybranými rozklady, musíme si nejdříve definovat několik základních pojmů z teorie matic. Definice.. Matice A je sestava prvků a ij a... a n A =..... a m... a mn kde a ij jsou prvky pole a m, n přirozená čísla. Zkráceně píšeme A = (a ij i=m,j=n i,j= nebo jen A = (a ij. Říkáme, že A je typu (m, n. (a i, a i,...,a in je i-tý řádek matice A, a j a j. a mj je j-tý sloupec matice A. Pokud m = n, pak se A nazývá čtvercová matice řádu n, jinak je matice A obdélníková. Matice budeme značit velkými tiskacími písmeny. Definice.. Matice typu (m, se nazývá m-členný sloupcový vektor, matice typu (, n se nazývá n-členný řádkový vektor. V dalším budeme tyto matice nazývat souhrnným názvem vektor. Vektory jsou tedy jednořadové matice. Budeme je značit tučnými malými tiskacími písmeny. 5
Definice.. Diagonální matice je čtvercová matice D taková, že platí d ij = pro i j. Značí se D = diag(d,...,d nn. Horní trojúhelníková matice je čtvercová matice U, pro níž platí u ij = pro i > j. Analogicky dolní trojúhelníková matice je čtvercová matice L, pro níž platí l ij = pro i < j. Definice.4. Matice B se nazývá inverzní k matici A, když BA = AB = E. Inverzní matici k matici A značíme A. Matice, k níž existuje matice inverzní, se nazývá regulární. Takováto matice je zřejmě čtvercová. Poznámka.. Matice E v předchozí definici se nazývá jednotková. Jde o matici E = (e ij, kde e ij = pro i = j a e ij = pro i j. Definice.5. Necht A = (a ij je matice typu (m, n, i < i <... < i k m, j < j <... < j l n. Potom matice A(i,..., i k j,...,j l se nazývá (k, l-podmatice matice A, která je tvořena prvky na průsečících řádků i,...,i k a sloupců j,...,j l. Položíme-li M = {i,...,i k } a N = {j,...,j l }, předešlou podmatici značíme také A(M N. V následujícím bude někdy nutné různým názvoslovím odlišit případy matic s reálnými a matic s komplexními prvky. Co se komplexních čísel týče, podobně jako ke komplexnímu číslu z(= a + bi značíme číslo komplexně sdružené z (= a bi, budeme i k matici Z, jejímiž prvky jsou komplexní čísla, značit Z matici, která namísto původních komplexních čísel obsahuje čísla k nim komplexně sdružená. Definice.6. Transponovaná matice A T = (b ij k matici A = (a ij je definována vlastností b ij = a ji pro i, j. Matice Q = Q T se nazývá konjugovaná k matici Q. Definice.7. Čtvercová matice nad R (tj. matice, jejíž prvky tvoří reálná čísla se nazývá symetrická, když platí Q T = Q. Čtvercová matice nad C (tj. matice, jejíž prvky tvoří komplexní čísla se nazývá hermitovská, když platí Q = Q. 6
Definice.8. Čtvercová matice Q = (q ij nad C (resp. nad R se nazývá unitární (resp. ortogonální, když splňuje jednu z ekvivalentních podmínek ( Q Q = E ( QQ = E ( Q = Q (4 Řádky matice Q tvoří ortonormální systém, tj. { n i j, q ik q jk = i = j k= (5 Sloupce matice Q tvoří ortonormální systém, tj. { n i j, q ik q jk = i = j. k= Poznámka.. Více o ortonormálních systémech vektorů bude řečeno ve. kapitole. 7
Kapitola LU - rozklad. Schodovitý tvar matice, elementární řádkové a sloupcové operace, permutační matice V teorii LU-rozkladu hraje důležitou roli Gaussova eliminační metoda. Než si ale tuto metodu důkladně rozebereme, musíme si přiblížit následující pojmy. Definice.. Matice ve schodovitém tvaru je matice...a j......a j.........a kjk............ Platí tedy, že první nenulový prvek v i-tém řádku je a iji a pro i k m platí j < j <... < j k n. Ostatní řádky jsou nulové. Definice.. Elementární řádkovou operací (transformací na matici A rozumíme:. Výměnu dvou řádků matice A; 8
. Vynásobení některého řádku matice A nenulovým skalárem;. Přičtení skalárního násobku některého řádku matice A k jejímu jinému řádku. Analogicky zavádíme elementární sloupcové operace. Definice.. Elementárními maticemi nazýváme následující matice: I (i.... (α = α,.. I(i,j (α = α..., tedy I (i (α je diagonální matice s prvkem α na místě (i, i, ostatní a j,j = a I (i,j (α je jednotková matice s přidaným prvkem α na místě (i, j. Věta.. Násobením matice A maticí I (i (α zleva (α dosáhneme provedení řádkové elementární transformace násobení i-tého řádku číslem α. Násobením matice A maticí I (i,j (α zleva dosáhneme provedení elementární transformace: k i-tému řádku přičteme α-násobek j-tého řádku. Násobením matice A maticí I (i (α a I (i,j (α zprava dosáhneme analogických sloupcových transformací. Poznámka.. Součin elementárních matic, tedy matici U, pro kterou platí UA = R, kde R je schodovitý tvar matice A, lze získat i bez násobení těchto matic. Na řádky jednotkové matice E aplikujeme tytéž elementární transformace, jaké byly užity při převodu matice A na schodovitý tvar R. Obdržíme tak U, poněvadž UE = U. Definice.4. Permutační matice je čtvercová matice P řádu n, jejíž sloupce jsou jednotkové n-vektory e,...,e n v nějakém pořadí. Jinak řečeno, je to čtvercová matice, která má v každém řádku a sloupci právě jednu jedničku, jinak nuly. A nyní již přejděme k samotné Gaussově eliminační metodě. 9
. Gaussova eliminační metoda (GEM Matici A lze pomocí řádkových (resp. sloupcových elementárních operací převést na schodovitý tvar. Tato metoda se nazývá Gaussova eliminační metoda. Popišme si nyní průběh této metody. V prvém kroku algoritmu se vhodný násobek prvního řádku odečítá od zbývajících n řádků tak, aby prvky v prvním sloupci ve zbývajících řádcích byly rovny nule; tedy nenulová hodnota v prvním sloupci zůstává pouze v prvním řádku. Tento postup je možný pouze za předpokladu, že prvek a. Splnění tohoto předpokladu lze dosáhnout vhodnou výměnou řádků, tj. nalezením alespoň jednoho prvku a i. Uvedený postup lze vhodně zapsat pomocí maticových operací aplikovaných na matici A = (a ij. První krok GEM vede na matici A tvaru a a... a n A a... a n =...... a n... a nn a tento krok můžeme popsat formálně takto (algoritmus (*: (a Urči prvek a r, r =,,...,n, a pokračuj krokem (b; jestliže žádné takové r neexistuje, nelze pokračovat. (b Vyměň první a r-tý řádek matice A. Výsledkem je matice Â. (c Pro i =,,..., n, odečti násobek l i = âi â prvního řádku od i-tého řádku matice Â. Výsledkem je matice A. Čísla l i se nazývají multiplikátory. Prvek a r se nazývá hlavním prvkem nebo také pivotem.
Tento postup lze zapsat za použití maticového násobení takto:  = P A, A = G  = G P A, kde P je permutační matice a G je dolní trojúhelníková matice:.............. P =...... l, G =...... l n...... Při násobení permutační maticí P se vymění první a r-tý řádek matice A. Prvky permutační matice P jsou dány vztahy p ii = kde i, r, p r =, p r =, p =, p rr = a p ij = pro ostatní i, j. Matice G se nazývá Frobeniova matice. Obě matice P, G jsou regulární a platí P = P, G =. l....... l n Po prvním eliminačním kroku je výsledná matice A tvaru ( a A = a T. à kde à je čtvercová matice řádu n -. Nyní výše uvedený algoritmus aplikujeme na matici à a postup pak opět opakujeme. Označíme-li A ( = A, A = A ( atd., lze uvedenou proceduru zapsat takto: A = A ( A (... A (n = R, kde R je požadovaná horní trojúhelníková matice, tedy matice ve schodovitém tvaru.
Matice A (k v této posloupnosti je tvaru ( A (k A (k A (k = O A (k Matice A (k je horní trojúhelníková matice řádu (k, (k. Přechod A (k A (k+ spočívá v aplikaci algoritmu (* na matici A (k, což je matice řádu (n k+ (n k+. Prvky matic A (k a A (k se při této transformaci nemění. Stejně jako v prvním kroku lze tuto transformaci vyjádřit maticově A (k = G j P j A (k R = G (n P (n...g P A s odpovídajícími permutačními maticemi P k a Frobeniovými maticemi G k tvaru....... G k =.. l k+,k...... l n,k Zde opět čísla l ik, kde i = k+,...,n, se nazývají multiplikátory.. Poznámka.. Pokud Gaussovu eliminační metodu aplikujeme na singulární matici A, výsledná matice R bude ve schodovitém tvaru, avšak nebude horní trojúhelníková. V matici po aplikaci GEM zůstane jeden nebo více nulových řádků. Je-li A regulární, matice R je zřejmě horní trojúhelníková.. LU - rozklad GEM definuje rozklad PA = LU, kde P = P n P n...p je permutační matice, L dolní trojúhelníková matice a U matice ve schodovitém tvaru. Matice L je součinem elementárních matic I (i,j (α, lze však jednoduše ověřit, že rovněž platí L = P n P n...p P (G n P n...g P.
Věta.. Jestliže GEM lze provést bez výměny řádků, pak matici A lze rozložit na součin dolní a horní trojúhelníkové matice A = LU, kde matice U = (u ij a L = (l ij jsou definovány takto: { a (i ij u ij =, i =,..., j, i = j +, j +,..., n a, i =,,..., j kde j l ij =, i = j kde j =,..., n a (j, i = j +,..., n, ij /a(j ii l ij jsou příslušné multiplikátory dané algoritmem (*. (. Důkaz. Jestliže neměníme pořadí řádků, je P = P =... = P n = E. Nyní z A (k = G j P j A (k a L = G (n P (n...g P A plyne, že a tedy Dále Odtud je zřejmé, že G j = U = G n...g A, G G...G n U = A.......... l j+,j...... l nj G...G n =...... l.......... l n... l n,n Z algoritmu (* plyne, že prvky matice U jsou dány vztahy (.. Položíme-li nyní L = G...G n, plyne ze vztahu G G...G n U = A tvrzení věty.
Trojúhelníkový rozklad A = LU resp. PA = LU má velký význam pro řešení systémů lineárních rovnic. Jestliže známe rozklad P A = LU, pak systém Ax = b lze ihned řešit pro libovolný vektor b. Platí totiž PAx = LUx = Pb. Řešení x lze nyní nalézt řešením dvou systémů s trojúhelníkovými maticemi: Lu = Pb, Rx = u za předpokladu r ii, i =,..., n. První systém má dolní trojúhelníkovou matici a řešíme jej tedy od první rovnice, druhý systém má horní trojúhelníkovou matici a řešíme jej od poslední rovnice. 4
Kapitola QR - rozklad. Ortogonální a ortonormální systém vektorů Jak již bylo naznačeno na konci první kapitoly, budeme se na začátku této zabývat ortogonálními a ortonormálními systémy vektorů. Nejdříve si však ještě zavedeme dva pojmy, které mají důležitý význam v teorii matic. Jedná se o lineární nezávislost vektorů a hodnost matic. Definice.. Řekneme, že vektory x,...,x n jsou lineárně závislé, když existuje netriviální nulová lineární kombinace těchto vektorů, tj. když existují čísla α,...,α n, alespoň jedno nenulové tak, že n α i x i =. i= Vektory x,...,x n jsou lineárně nezávislé, když nejsou lineárně závislé. Definice.. Hodnost matice A (značíme h(a je maximální počet lineárně nezávislých řádků matice A. 5
Definice.. Vektory a, b se nazývají ortogonální, když skalární součin (a,b =. Systém vektorů M se nazývá ortogonální, když pro a,b M, a b, platí (a,b =, tedy pokud jsou prvky M po dvou ortogonální. Posloupnost {a i } i= vektorů a i se nazývá ortogonální, když (a i,a j =, i j. Nyní si uvedeme důležitou větu, která nám ukáže, že je možné vytvořit k lineárně nezávislé posloupnosti vektorů ortogonální posloupnost vektorů. A nejen to, vztah mezi těmito dvěma systémy bude ještě daleko bližší. Proces, kterým lze tohoto dosáhnout, je ukryt v důkazu věty. Věta.. Gram - Schmidtův ortogonalizační proces Necht a,a,...,a k,... je lineárně nezávislá posloupnost vektorů. Pak existuje ortogonální posloupnost nenulových vektorů tak, že pro všechna i platí b,b,...,b k,... (i b i je lineární kombinací vektorů {a,...,a i }, (ii a i je lineární kombinací vektorů {b,...,b i }. Je-li první posloupnost konečná a má k prvků, pak má druhá posloupnost také k prvků. Důkaz. Důkaz provedeme indukcí. Pro větší názornost provedeme první kroky indukce a pak teprve přistoupíme k regulárnímu indukčnímu postupu. Položíme b := a. Dále definujeme b := α b + a. Protože a (= b, a jsou lineárně nezávislé, je b pro libovolné α. Předepíšeme (b,b =, tedy = (b,b = (α b + a,b = α (b,b + (a,b, 6
odkud V dalším položíme α = (a,b (b,b ((b,b, protože b. b := α b + α b + a a analogicky ověříme, že b a stanovíme α a α. Je patrné, že pro {a,a } a {b,b } jsou splněny podmínky (i a (ii. Nyní provedeme celý indukční postup. Položíme b = a. Necht je již sestrojen ortogonální systém nenulových vektorů b,...,b l. Necht pro libovolné i, i l, vektor b i je lineární kombinací vektorů a,...,a i a každé a i je lineární kombinací vektorů b,...,b i (indukční předpoklad. Tento předpoklad je splněn pro l =. Bude spněn i pro l +, když definujeme b l+ jako lineární kombinaci b l+ = α b +... + α l b l + a l+ (. s koeficienty α,..., α l, které později určíme. Platí b l+, nebot b l+ je lineární kombinací lineárně nezávislého systému a,...,a l+ s nenulovým koeficientem při a l+. Vypočteme α,..., α l, a to tak, aby vektory b,...,b l+ tvořily ortogonální systém: pro i =,..., l tedy požadujeme (b l+,b i =, tj. = (b l+,b i = l (α j b j,b i + (a l+,b i = α (b i,b i + (a l+,b i, j= α i = (a l+,b i (b i,b i. Tím je proces ukončen. Z (. je vidět, že a l+ je lineární kombinací vektorů b,...,b l+ pro všechna l. Rovněž z (. je vidět, že platí i (ii. Z důkazu plyne i závěrečné tvrzení o konečné délce posloupností. Ještě nyní definujme ortonormální systém vektorů a pro něj důležitý pojem normovaný vektor a poté bude již připraveno vše pro uvedení vět o QR-rozkladu. 7
Definice.4. Vektor b se nazývá normovaný, když (b, b =. Normováním vektoru a rozumíme přechod k vektoru b = Vektor b je zřejmě normovaný. + (a,a a. Definice.5. Ortogonální systém vektorů s normovanými prvky nazýváme ortonormální systém. Zřejmý je termín ortonormalizační proces (Gram - Schmidtův.. QR - rozklad Věta.. Necht A je matice typu (m,n, m n. Pak existuje matice Q typu (m,n s ortonormálními sloupci (platí tedy Q Q = E n a horní trojúhelníková matice R n-tého řádu tak, že A = QR. Tento rozklad se nazývá QR-rozklad. Důkaz. Necht A = (a,...,a n má sloupce a i C (m. Jeli a =, položíme q =. V opačném případě q = a /(a a /. Pro každé k =,..., n definujeme k y k = a k (q i a kq i, i= přesně jako v Gram-Schmidtově procesu. Je-li y k = (z toho je zřejmé, že a k je lineární kombinace vektorů a,...,a k-, položíme q k =, v opačném případě y q k = k (y k y k /. Vektory q,...,q n tvoří ortogonální množinu, jejíž každý element je normovaný nebo nulový vektor. Zřejmě každý vektor q j je lineární kombinace 8
vektorů a,...,a j a naopak, každý vektor a j je lineární kombinací vektorů q,...,q j. Lze tudíž nalézt čísla r kj tak, že a j = j r kj q k, j =,..., n. (. k= Pro k > j položíme r kj = ; dále lze předpokládat, že r ij =, pokud q i =, j =,..., n. Na základě popsané procedury definujeme pomocí vektorů a,...,a n horní trojúhelníkovou matici R = (r ij a vektory q,...,q n. Matice Q = (q,...,q n má ortogonální sloupce, některé mohou být nulové, nenulové jsou normované. S ohledem na (. je A = QR. Jestliže sloupce matice A jsou lineárně závislé, pak ortonormální množinu nenulových sloupců v Q doplníme na ortonormální bázi v C (m. Nové vektory získané tímto způsobem označíme z,...,z n. Nyní postupně zaměníme nulové sloupce v Q za vektory z,...,z n. Získanou matici označíme Q. Q bude mít ortonormální sloupce a QR = Q R, protože nové sloupce v Q odpovídají nulovým řádkům v R. Tedy A = Q R je rozklad požadovaného tvaru a Q Q = E. Věta.. Má-li A lineárně nezávislé sloupce, lze Q a R vybrat tak, že Q Q = D je diagonální matice řádu n s kladnými diagonálními prvky, R je horní trojúhelníková matice s diagonálními prvky rovnými a A = QR. Důkaz. Necht A má lineárně nezávislé sloupce. Pak Gram-Schmidtův ortogonalizační proces zaručí, že matice Q nebude mít nulové sloupce. Z toho důvodu Q = Q. Podle věty. je A = Q R, takže n = h(a min{h(q, h(r} = min{n, h(r}, tedy h(r n, protože však h(r n (= řád matice R, máme h(r = n, tedy R je regulární horní trojúhelníková matice řádu n. Její diagonální prvky jsou tudíž nenulové, např. s,..., s n. Pak pro matici S = diag(s,..., s n bude matice n-tého řádu R = SR horní trojúhelníková a její diagonální prvky jsou. Závěrem A = (Q S (SR = Q R, kde Q Q je diagonální matice řádu n s kladnými diagonálními prvky a R horní trojúhelníková matice řádu n s diagonálními prvky. 9
Věta.4. Matice Q a R z předešlé věty jsou určeny jednoznačně. Důkaz. Necht A = QR a A = Q R jsou dva rozklady matice A z věty.. Matice Q Q = D a Q Q = D jsou diagonální. Ze vztahu A = Q R = QR plyne Q = QRR, takže D = Q Q = (RR Q Q(RR = (RR DRR neboli ((RR D = D(RR. Matice vlevo je dolní trojúhelníková, matice vpravo je horní trojúhelníková, obě jsou proto diagonální. Když uvážíme, že obě matice R a R jsou horní trojúhelníkové a jejich diagonální prvky jsou, máme RR = E, tj. R = R a odtud Q = Q. Rovněž rozklad A = QR je důležitý při řešení soustav lineárních rovnic. Ukažme si nyní, jak znalost tohoto rozkladu umožní soustavy lineárních rovnic řešit. Necht ve vyjádření Ax = b soustavy lineárních rovnic je A čtvercová regulární matice. Potom řešení x této soustavy je také řešením soustavy Rx = D Q b s trojúhelníkovou maticí R. Je-li totiž Rx = D Q b, pak Ax = QRx = QD Q b = QQ (Q Q b = b, nebot v tomto případě je Q čtvercová regulární matice. Uvedená metoda má smysl i pro tzv. přeurčené soustavy Ax = b, jejichž matice A je typu (m, n, m > n, jakmile sloupce matice A jsou lineárně nezávislé.
Kapitola 4 Singulární rozklad matice 4. Pozitivně semidefinitní matice Dalším rozkladem používaným při řešení soustav lineárních rovnic je tzv. singulární rozklad. Ten si přiblížíme ve větě o singulárním rozkladu. V důkazu této věty budeme potřebovat znát a chápat termín pozitivně semidefinitní matice. Tento je definován v následující definici a vybrané z vlastností pozitivně semidefinitních matic jsou uvedeny v další větě. Definice 4.. Hermitovská, popř. symetrická matice A = (a ij se nazývá pozitivně semidefinitní, platí-li pro každý komplexní (pro symetrickou matici reálný vektor x, že (Ax,x neboli a ij x i x j. i,j Věta 4.. Necht A je čtvercová hermitovská (při reálné matici A symetrická matice n-tého řádu. Potom následující vlastnosti jsou ekvivalentní:. matice A je pozitivně semidefinitní;. existuje unitární (při reálné matici A ortogonální matice U a diagonální matice D s nezápornými diagonálními prvky tak, že A = UDU ;. existuje čtvercová matice C tak, že A = CC.
Důkaz. Uvedené tvrzení je součástí tzv. hlavní věty o pozitivně semidefinitních maticích. Pro důkaz této věty odkazuji na literaturu []. Posledními pojmy, které musíme kvůli singulárnímu rozkladu zavést, jsou singulární čísla matice a k tomu potřebná vlastní čísla matice. Vlastní čísla se zavádějí společně s vlastními vektory matice. Pro potřebu definovat singulární čísla si zde uvedeme jen definici pojmů vlastní vektor a vlastní číslo, pro širší teorii zabývající se touto problematikou, tedy především pro nutnou a postačující podmínku, aby číslo λ bylo vlastní číslo matice, odkazuji na literaturu []. Definice 4.. Necht A = (a ij je čtvercová matice. Nenulový vektor x se nazývá vlastní vektor matice A, platí-li Ax = λx pro nějaké číslo λ. Toto λ se nazývá vlastní číslo matice A odpovídající vlastnímu vektoru x. Definice 4.. Singulární čísla matice A typu (m, n jsou kladné druhé odmocniny (nenulových vlastních čísel matice AA. Následuje věta o singulárním rozkladu matice. 4. Singulární rozklad matice Věta 4.. Necht A je obecně komplexní matice typu (m,n. Pak existuje unitární (pro reálnou matici A ortogonální matice U m-tého řádu, unitární (pro reálnou matici A ortogonální matice V n-tého řádu a diagonální matice S s kladnými diagonálními prvky tak, že ( S A = U V, kde nulové bloky doplňují matici S na matici T typu (m,n. Přitom matice S je řádu r = h(a A a je určena až na pořadí diagonálních prvků jednoznačně.
Důkaz. Bez újmy na obecnosti můžeme předpokládat, že m n, nebot ( jinak A přejdeme k matici A. Matice A A je totožná s maticí à Ã, kde à = je čtvercová matice n-tého řádu s n m nulovými řádky. Podle vlastnosti. z věty 4. je proto matice A A pozitivně semidefinitní. Podle vlastnosti. z téže věty proto existuje unitární matice V a diagonální matice D n-tého řádu s nezápornými diagonálními prvky d i tak, že A A = V DV. (4. Z čísel d i je r = h(a A kladných a n r nulových. Můžeme předpokládat, že d i > pro i =,..., r. Jinak použijeme permutační matice k přeuspořádání diagonály. Z (4. plyne {}}{ (AV (AV = D = diag(d,..., d r,,...,, d i >, i =,..., r. (4. n r Čísla d i jsou vlastní hodnoty matice A A. Označíme-li (AV (i i-tý sloupec matice AV, z (4. plyne d i, i = j, i =,...,r, (AV (i (AV (j =, i = j, i > r,, i j. (4. Sloupce (AV (i by tvořily ortonormální systém, kdyby d i =, i =,..., r. Zkonstruujeme pomocí nich ortonormální systém: Definujeme vektory délky m Pak w i = +d / i (AV (i, i =,..., r. (4.4 w i w i = d / i (AV (i d / i (AV (i =, i =,..., r, w i w j = v ostatních případech. Tedy {w,...,w r } je ortonormální systém. Rozšíříme jej na ortonormální bázi {w,...,w m } prostoru C (m a definujeme matici U = (w,...,w m. U je unitární matice řádu m. Podle (4. a (4.4 platí AV = ((AV (i,..., (AV (r,,..., = (d / }{{} w,..., d / r w r,,...,, }{{} n r n r nebot sloupce (AV (i pro i > r jsou podle (4. nulové.
( S Označíme-li T = typu (m,n, kde S = diag(d /,..., d / r, bude AV = UT, tedy A = UTV. Jednoznačnost matice S (až na pořadí diagonálních prvků plyne z toho, že diagonální prvky matice S jsou singulární čísla matice A. Před důležitým důsledkem předchozí věty, který je rovněž návodem, jak daný rozklad zkonstruovat, ještě zavedeme dvě pomocná tvrzení. Tvrzení: Necht P je matice typu (m, n a Q matice typu (n, m, kde m n. Označíme-li M = {,,..., m} a N = {,,..., n}, pak platí detpq = N i detp(m, N i detq(n i, M, (4.5 kde se sčítá přes všechny m-prvkové podmnožiny N i množiny N. Věta 4.. Jsou-li A, B matice, jejichž součin AB existuje, pak h(ab h(a, h(ab h(b. (4.6 Je-li matice B regulární, pak h(ab = h(a; je-li matice A regulární, pak h(ab = h(b. Platí tedy, že při násobení regulární maticí se hodnost nemění. Důkaz. Označme P = AB. Necht n je počet sloupců matice A, N = {,,..., n}. Hodnost h(ab matice AB je bud nula, pak tvrzení platí, nebo je rovna řádu r regulární podmatice P(M, M, M = M = r. Podle vzorce (4.5 použitého pro podmatice A(M, N a B(N, M platí detp(m, M = det(a(m, NB(N, M = N i deta(m, N i detb(n i, M. Je tedy pro některé N i, tj. deta(m, N i detb(n i, M h(a r h(b r. 4
Je-li matice B regulární, je kromě (4.6 splněno i h(a = h(abb h(ab, tj. h(ab = h(a. Je-li matice A regulární, je ještě h(b = h(a AB h(ab, tj. h(ab = h(b. Následuje věta o vlastnostech singulárního rozkladu, jejíž třetí část, jak již bylo naznačeno, je návodem jak zkonstruovat singulární rozklad dané matice A, zastupující soustavu lineárních rovnic Ax = b. Věta 4.4. Mějme matici A. Pak platí. Matice A A řádu n a AA řádu m mají tatéž nenulová vlastní čísla.. h(a A = h(aa (=: r.. Sloupce matice U resp. V jsou normované vlastní vektory matice AA resp. A A odpovídající vlastním hodnotám matic AA resp. A A. (Nastává shoda v uspořádání sloupců matice U a čísel v diagonále matice T. Analogické tvrzení platí i pro matici V. Důkaz. (a. Platí ( ( S A S A = V U U V = ( ( S = V S S V = V V, }{{} řádu n 5
(b ( ( S S AA = U V V U = ( ( SS S = U U = U U. }{{} řádu m V obou případech jsou nenulová vlastní čísla matic vyznačených svorkami v (a i v (b diagonální prvky matice S.. Plyne z (a a (b a odtud, že se hodnost matice nemění násobením regulární maticí.. Podle (b platí (označíme-li S = diag(d,..., d r ( S (AA U = U, kde nulových řádků v matici na pravé straně je m r, ((AA U (,..., (AA U (m = (U ( d,..., U (r d r,,...,, }{{} m r tedy sloupce U (i, i =,..., m, matice U jsou vlastní vektory matice AA příslušné vlastním hodnotám v naznačeném pořadí d,..., d r,,...,. }{{} m r Jsou normované, protože U je unitární. Tvrzení pro matice V a A A plyne z (a analogicky. Poznámka 4.. Jsou-li všechna singulární čísla matice A navzájem různá, pak matice U je určena jednoznačně až na pravý diagonální faktor Λ = diag(α,..., α m, kde α i = pro i =,..., m. Jsou-li tedy U a U matice, jejichž sloupce jsou vlastní vektory matice AA, platí U = U Λ. Je-li r = m = n, je matice A čtvercová regulární a tudíž pokud pevně zvolíme matici U, můžeme položit V = A US a matice V je tedy jednoznačně určena. Analogická tvrzení platí pro matici V. 6
Ukažme si nyní, jak lze znalosti singulárního rozkladu A = UTV matice A využít k řešení soustav lineárních rovnic. Upravujme maticovou rovnici Ax = UTV x = b TV x = U b V x = T U b x = V T U b Vezměme nejprve čtvercovou matici A n-tého řádu. Sloupce matic U a V označme u,...,u n a v,...,v n, prvky na diagonále matice S (v tomto případě platí S = T pak s,..., s n. Pak v předchozí upravené rovnici lze nahradit a následně s s x = (v,...,v n... s n u. u n b u b.... s n u n b za u. u b. u nb za vektor u n b u b s. u nb s n. Výsledný vektor soustavy Ax = b pak dostáváme výpočtem x = n i= v i u i b s i. Vezměme ještě v úvahu případ, kdy matice A je obdélníková. Pak i matice T je obdélníková. K této matici však neexistuje matice inverzní. Proto maticovou rovnici pro vektor x musíme částečně pozměnit, matici T musíme nahradit maticí T vhodných rozměrů, která nám rovnici TV x = U b 7
převede na rovnici kde V = T TV. V x = T U b, V případě matice A typu (m, n, kde m > n, můžeme nalézt T takovou, že platí T T = E a tudíž i V = V. Pak vektor x je možno vyjádřit jako a jelikož platí x = V T U b T U b = u b s. u nb s n, lze jej stejně jako v případě čtvercové matice A vypočítat jako x = n i= v i u i b s i, kde n je počet sloupců matice A. Pokud je však matice A typu (m, n, kde m < n, nemůže pro žádnou matici T nastat rovnost V = V a nemůžeme při dalších úpravách využít vlastností unitárních (resp. ortogonálních matic. V tomto případě tedy můžeme nalézt singulární rozklad příslušné matice, avšak tento nám žádným způsobem neusnadní řešení celého systému lineárních rovnic. 8
Kapitola 5 Praktické příklady jednotlivých rozkladů Nyní si na několika soustavách lineárních rovnic ukážeme praktické využití jednotlivých rozkladů. Součástí každého takového příkladu bude rovněž ukázka postupu, jak získat jednotlivé matice rozkladů. 5. LU - rozklad Příklad č. Na tomto příkladu si ukážeme, jak vytvořit matice L a U, pokud je při aplikaci GEM nutná výměna řádků nebo provádíme-li GEM s částečným výběrem pivota, tj. vybíráme-li v každém kroku v příslušném sloupci prvek maximální v absolutní hodnotě neboli určujeme-li p tak, aby a (k pk = max k i n a(k ik. Mějme soustavu lineárních rovnic x + x 4 = 5 x + x + x + x 4 = x + x + x 4 = x + x + 4x = 7 9
neboli maticově ve tvaru Ax = b x 5 x x =. 4 x 4 7 Nejdříve v matici A = A ( zaměníme pořadí. a. řádku pomocí permutační matice P = a dostaneme tak matici Ā ( =. 4 Pokračujeme vynulováním všech prvků prvního sloupce s vyjímkou prvku prvního. ā =, proto l =, l =, l 4 =. Odtud dostáváme matici A ( = a matici G =. Nyní musíme vyměnit. a 4. řádek matice A (. Toto provedeme pomocí permutační matice P =.
Dostaneme tak matici Ā ( =. Jelikož ā =, je l = a l 4 =. Příslušnými úpravami dostáváme matici A ( = a matici G =. Jelikož v dalším kroku není potřeba zaměňovat řádky, je A ( = Ā( a pro permutační matici P platí P = E. Protože ā =, je l 4 =. Dokončením posledního kroku GEM již dostáváme matici U = přičemž matice G =. Zbývá určit matice P a L. P = P P P =
a L = P P P (G P G P G P =. Snadno se ověří, že LU = PA = 4. Se znalostí LU rozkladu následuje řešení dvou jednodušších systémů. Prvním z nich je systém Lz = Pb z z z = 5 7. z 4 Řešením od první rovnice snadno určíme, že z =, z = 5, z =, z 4 =. Z druhého systému Ux = z x 5 x x x 4 =. již dostáváme řešením od poslední rovnice hledané řešení zadaného systému lineárních rovnic x =, x =, x =, x 4 =. Příklad č. Podle věty., pokud lze GEM provést bez výměny řádků, je možné matice L a U získat ještě jiným způsobem než v předchozím příkladu. Jak
získáme prvky těchto matic je popsáno v již zmiňované větě, nyní si tento postup ukážeme na praktickém příkladu. Řešme systém 4x + x + x x 4 = 4 x + x + x x 4 = 6 x + x x + x 4 = 7 x + x + x + x 4 = 6. Maticově Ax = b 4 x x x = x 4 4 6 7 6. Konkrétní číselné hodnoty máme dány pro hlavní diagonálu matice L, l ii = pro i. Pokud vezmeme v úvahu násobení matic L a U a porovnáme-li výsledné prvky tohoto součinu s příslušnými prvky matice A, dostáváme následující rovnice a z každé z nich rovnou jednotlivé prvky matic L a U. l u = u = a = 4 u = 4 l u = u = a = u = l u = u = a = u = l u 4 = u 4 = a 4 = u 4 = l u = 4l = a = l = 4 l u + l u = + u = a = u = l u + l u = 4 + u = a = u = 5 4 l u 4 + l u 4 = 4 + u 4 = a 4 = u 4 = 9 4
l u = 4l = a = l = 4 l u + l u = + l = a = l = l u + l u + l u = 4 + 5 + u = a = u = 6 l u 4 + l u 4 + l u 4 = 4 4 + u 4 = a 4 = u 4 = 5 l 4 u = 4l 4 = a 4 = l 4 = l 4 u + l 4 u = + l 4 = a 4 = l 4 = l 4 u + l 4 u + l 4 u = + 5 6 6 l 4 = a 4 = l 4 = l 4 u 4 +l 4 u 4 +l 4 u 4 +l 44 u 44 = + 5 +u 44 = a 44 = u 44 = 4 Dostáváme tedy LU - rozklad matice A, kde matice L a U jsou tvaru 4 L = 4, U = 5 9 4 4 5. 4 6 4 Dále již stejným postupem jako v prvním příkladě, tj. řešením systémů Lz = b a Ux = z, dostaneme řešení zadaného systému lineárních rovnic x =, x = 7, x = 6, x 4 =. V následujícím příkladu si ukážeme, že pokud má matice soustavy A speciální vlastnosti, matice rozkladu L a U jsou rovněž určitých speciálních vlastností a je možné je určit podobně jako v předešlém příkladu. Příklad č. Necht matice A je symetrická a všechny její hlavní minory jsou různé od nuly, tj. a, a a a a,..., deta. Ukážeme si, že pak existuje horní trojúhelníková matice T taková, že platí A = T T T. 4
Mějme kupříkladu zadánu k řešení soustavu x + x + x = b x + x + 6x = b x + 6x + x = b Maticově Ax = b x b 6 x = b. 6 x b Jak již bylo naznačeno, obdobně jako v předešlém příkladě dostáváme při násobení matic T T a T a následném porovnávání s prvky matice A rovnice, z nichž lze okamžitě určit prvky matice T. t = a = t = t t = a = t = t t = a = t = t + t = 4 + t = a = t = t t + t t = 6 + t = a = 6 t = t + t + t = 9 + t = a = t = Tedy T =. Je již snadné ověřit, že platí A = T T T. Pokračujeme následně řešením systémů T T z = b a Tx = z. 5
Pokud A je pozitivně definitní matice, jsou všechny prvky matice T reálné. Obecně může mít matice T ryze imaginární prvky, jenž se vyskytují v celém řádku, tyto se však při dalším postupu vyruší. Zobecnění tohoto postupu se nazývá Choleského metoda. 5. QR - rozklad Příklad č. V prvním příkladu provedeme QR-rozklad na čtvercové matici, jejíž sloupce tvoří lineárně závislé vektory. Řešme tedy například soustavu x + x + 4x 4 = 8 x + x + x 4 = x + x + x + x 4 = 8 x + x = 4, tedy maticovou rovnici Ax = b 4 x 8 x x = 8. x 4 4 Při hledání matic Q a R postupujeme přesně podle návodu ukrytém v důkazu věty.. Nejdříve za užití sloupců a i matice A hledáme vektory q i. a, proto q = a /(a a / = (,,,T 4 = (,,, T 6
y = a = ( (q i a q i = i= ( (,,, ( ( ( = ( ( = q = y /(y y / = (,,,T 9 = (,,, T y = a = ( = ( (q i a q i = i= ( (,,, ( ( ( ( = ( ((,,, ( = Jelikož y = (,,, T, je i q = (,,, T. y 4 = a 4 = ( 4 = ( 4 (q ia 4 q i = i= ( (,,, ( 4 ( ( ( = ( ((,,, ( 4 = q 4 = y 4 /(y 4 y 4 / = (,,, T 8 = (,,, T = (,,, T Určili jsme tedy všechny sloupce q,...,q 4 matice Q. Tyto jsou ortogonální. Zbývá ještě určit prvky horní trojúhelníkové matice R. Tyto dostaneme postupným řešením jednotlivých rovnic j a j = r kj q k pro j =,...,n. k= 7
Z první rovnice a = r k q k = r q k= ( = r ( r =. Podobně s dalšími rovnicemi: ( = a = ( r k q k = r q + r q = r + r k= r =, r = ( = a = ( r k q k = r q + r q + r q = r + r k= r =, r = ( 4 = a 4 = 4 r k4 q k = r 4 q + r 4 q + r 4 q + r 44 q 4 = k= ( = r 4 + r 4 r 4 =, r 4 =, r 44 = + r 44 ( Z toho, že q =, vyplývá, že celý třetí řádek matice R je nulový, tedy pro r a r 4, které jsme nemohli určit, platí r = a r 4 =. Dostáváme tedy a platí A = QR. R = Nyní musíme ortonormální množinu nenulových sloupců matice Q rozšířit na ortonormální bázi. Na množinu lineárně nezávislých vektorů ji doplníme 8
například pomocí vektoru z = (,,, T. Tuto novou množinu musíme podrobit ortonormalizačnímu procesu, podobně jako jsme to udělali na začátku postupu se sloupci matice A. Při tomto postupu se změní pouze nově doplněný vektor, ostatní tři původní zůstanou stejné. y = z (q z q (q z q (q 4z q 4 = ( ( ( ( = (,,, ((,,, ( ( (,,, ( ( ( = 9 9 = 9 9 8 9 9 q = y /(y y / = ( 9, 8 9,, 9 T 7 8 Nově získaná matice je tedy = (, 4,, T = ( 6,,, 6 T 6 Q = 6 a platí pro ni, že QR = Q R = A a Q Q = E, tedy Q R je rozklad požadovaného tvaru a matice Q má ortonormální sloupce. Pokud známe rozklad matice A, můžeme přejít k samotnému řešení soustavy. To získáme jako řešení rovnice Rx = D Q b, kde D = Q Q, tedy v tomto případě se jedná o jednotkovou matici E. Řešíme proto následující maticovou rovnici. Rx = Q b x x x = x 4 9 8 8 6 6 4
Řešením od posledního řádku dostáváme x 4 = 8 4 x 4 = x = 8 6 +6 4 6 = systém má nekonečně mnoho řešení Zvolme tedy za x parametr s. x + x + x 4 = x + s + = 6 + 8 + 8 x = s x + x + x + x 4 = x + 6 s + s + = 8 x = s Řešení daného systému lineárních rovnic je tedy x = s, x = s, x = s a x 4 =, kde s R. Příklad č. Podle věty., má-li matice soustavy A lineárně nezávislé sloupce, lze hledat matice rozkladu Q a R ve speciálním tvaru a tyto matice jsou navíc podle věty.4 určeny jednoznačně. Mějme k řešení zadánu soustavu x + x + x 4 = 4 x + x + x 4 = x + x + x 4 = 4 x + x =, tedy v maticovém vyjádření Ax = b x 4 x x = 4. x 4 4
Nyní, při hledání matic Q a R, postupujeme stejně jako v předchozím příkladě. Dostáváme tedy matice 5 4 5 5 5 Q = 5 5 5 5 a R = 4 5 5, 5 5 8 5 5 kde matice Q je bez nulových sloupců, tedy můžeme položit Q = Q a platí A = Q R. Označíme-li dále s,...,s 4 diagonální prvky matice R a definujeme-li matici pak matice S = diag(s, s, s, s 4 = má diagonální prvky rovny. 5 5 5 8 R = SR = 4 9 5 Příslušným způsobem pak musíme upravit také matici Q. Definujeme-li matici 45 Q = Q S 6 = 45, 8 9 pak A = (Q S (SR = Q R, kde matice, 4
D = Q Q = 45 6 45 8 9 45 6 45 8 9 = je diagonální matice s kladnými diagonálními prvky. 4 9 5 64 45 Jěště než přejdeme k závěrečnému řešení, určeme si matici D Q, kterou dále budeme potřebovat. Tedy D Q = 9 9 9. 5 5 5 4 8 Nyní již přejdeme k samotnému řešení soustavy. Podobně jako v předchozím příkladě řešíme následující maticovou rovnici. R x = D Q b x 4 4 9 x x 5 = 9 9 9 4 5 5 x 4 5 4 8 Řešením od posledního řádku dostáváme řešení daného systému lineárních rovnic x =, x =, x = a x 4 =. Příklad č. Ve třetí části příkladů na téma řešení soustav lineárních rovnic pomocí QR - rozkladu si ukážeme, že daný postup funguje i u tzv. přeurčených soustav, tedy soustav lineárních rovnic, které mají více rovnic než-li neznámých. 4
Mějme dánu soustavu x + 4x = 8 x + x = x + x + x = 6 x = 4, tedy maticovou rovnici Ax = b 4 8 x x = 6. x 4 Následuje určení matic Q a R. Dostáváme Q = Q = přičemž platí A = Q R. Dále pokračujeme řešením rovnice a R = Rx = D Q b, kde D = Q Q = E, tedy 8 x x = x 6. 4, Řešíme-li opět od posledního řádku, dostáváme řešení dané soustavy lineárních rovnic x =, x =, x =. 4
5. Singulární rozklad Teoretický postup, jak nalézt rozklad A = UTV, je přesně popsán ve větách 4. a 4.4 a v poznámce 4.. Jak jej použít k řešení soustavy lineárních rovnic je popsáno v závěru 4. kapitoly. Ukažme si nyní tyto postupy v praxi. Příklad č. Mějme k řešení zadánu soustavu maticově x + x = x + x = 7 x + x = x + x = 6, Ax = b x x = x 7 6. Podle věty 4.4 tvoří sloupce matice U normované vlastní vektory matice AA. Hledejme vlastní čísla λ matice AA = 6 6 5. 5 Tato jsou řešením charakteristické rovnice det(a λe =. Spočteme tedy determinant, položíme ho roven nule a řešíme charakteristickou rovnici. 44
λ det λ 6 6 5 λ = 5 λ λ 4 λ + 75λ 75λ = Dostáváme tedy vlastní čísla λ = 5, λ =, λ = 5 a λ 4 =. Vlastní vektory jsou pak řešením homogenní soustavy rovnic (A λe =. Pro vlastní číslo λ = 5 má homogenní soustava tvar 5 5 6 6. Řešením je z =, z =, z = s a z 4 = s, kde s je parametr. ( Normováním získaného vlastního vektoru dostáváme první sloupec hledané matice U, tedy u = ( 5 5. Podobně pro ostatní vlastní čísla λ = λ = 5 ( 6 6 5 5 ( 5 5 6 6 z =t z =t z = z 4 = z = q z =q z = q z 4 =q u = ( u = 5 5 5 5 45
λ 4 = ( 6 6 5 5 z = r z = r z = r z 4 =r u 4 = 4 Dostáváme tedy matici 5 U = 5 5 5 5 4 5. Pokračujme hledáním matice V, jejíž sloupce tvoří podle věty 4.4 vlastní vektory matice A A. Podle stejné věty také platí, že matice 5 A A = 5 má stejná nenulová vlastní čísla jako matice AA, tedy λ = 5, λ =, λ = 5. Sloupce matice V hledáme podobně jako jsme hledali sloupce matice U. ( λ = 5 v = λ = λ = 5 ( 5 ( 5 5 ( 5 y = y =r y = y = y = y =s y =t y = y = ( v = ( v = Matice V je tedy tvaru V =. 46
Zbývá nám ještě určit matice S a T. Matice S je diagonální se singulárními čísly na diagonále. Tedy S = diag(s, s, s = diag( λ, λ, 5 λ = 5 a doplněním této matice nulovými bloky na matici stejné velikosti jako je matice A, dostáváme matici 5 T = 5. Nalezli jsme matice U, S a V. Podle poznámky 4. ale není matice U určena úplně jednoznačně. V našem případě USV = A. Matice U je totiž určena jednoznačně až na pravý diagonální faktor Λ. Jak postupovat dále, vyplývá rovněž z poznámky 4.. Pokud položíme Λ = diag(,,,, určíme matici U = UΛ = 5 5 5 5 4 5 5, která je rovněž jako matice U požadovaných vlastností a nyní již platí A = U SV. Postupme nyní k řešení zadané soustavy. Poněvadž je matice A typu (m, n, kde m n, můžeme výsledný vektor x vypočítat následujícím způsobem. 47
x = i= v i u ib s i u = v b u + v b s ( 7 s ( (,, 5, 5 ( = 6 + 5 + ( + v u b s = ( 7 ( 5, 5, 5, 5 6 = 5 (,,, ( 7 6 + ( Řešení dané soustavy lineárních rovnic je tedy x =, x = a x =. 48
Seznam použité literatury [] Šik F.: Lineární algebra zaměřená na numerickou analýzu, MU, Brno, 998 [] Fiedler M.: Speciální matice a jejich použití v numerické matematice, SNTL, Praha, 98 [] Horová I., Zelinka J.: Numerické metody, MU, Brno, 4 [4] http://www.math.muni.cz/ cadek [5] Lomtatidze L., Plch R.: Sázíme v LATEXu diplomovou práci z matematiky, MU, Brno, 49