5. Singulární rozklad

5. Singulární rozklad Petr Tichý 31. října 2012 1

Singulární rozklad matice Jeden z nejdůležitějších teoretických i praktických nástrojů maticových výpočtů. Umožňuje určit hodnost či normu matice, ortogonální báze R(A) a N (A) atd. Za univerzálnost a sílu tohoto nástroje musíme platit vyššími výpočetními nároky. Motivace vedoucí k zobecnění na singulární rozklad: spektrální rozklad hermitovská a pozitivně semidefinitní A. 3

Motivace Spektrální rozklad hermitovské pozitivně semidefinitní matice Nechť A je hermitovská, pozitivně semidefinitní, A C n n hodnosti r, r rank(a). A má nezáporná vlastní čísla λ 1,..., λ n, uvažujme uspořádání λ 1 λ 2... λ r > 0, λ r+1 =... = λ n = 0. Schurova věta pro normální matice: existuje rozklad tvaru A = QΛQ, Q Q = I, Λ = diag(λ 1,..., λ n ). 4

Hermitovské pozitivně semidefinitní matice Rozklad do ortogonálních invariantních podprostorů Sloupce unitární matice Q = [q 1,..., q n ] jsou vlastní vektory matice A, platí Aq j = λ j q j, j = 1,..., n. Vlastní vektory q 1,..., q n tvoří ortonormální bázi prostoru C n a definují rozklad prostoru C n na vzájemně ortogonální jednodimenzionální podprostory, jež jsou invariantní vzhledem k násobení maticí A, tj. v span{q j } = Av span{q j }, j = 1,..., n. Aplikace matice A - superpozice, v = n α k q k = Av = k=1 n α k λ k q k. k=1 5

Hermitovské pozitivně semidefinitní matice Spektrální rozklad a ortogonální báze R(A) a N (A) Schématicky zobrazené působení A na {q 1,..., q n }: A q 1 λ 1 q 1, A q 2 λ 2 q 2,. A q r λ r q r, A {q r+1,..., q n } 0. Vidíme bázi nulového prostoru a oboru hodnot matice A: R(A) = span{q 1,..., q r }, N (A) = span{q r+1,..., q n }. 6

Hermitovské pozitivně semidefinitní matice Dyadický rozvoj, aproximace A maticí nižší hodnosti Dyadický rozvoj matice A, r r A = λ j q j qj = A j, A j λ j q j qj. j=1 j=1 Platí A j = A j F = λ j a vzhledem k uvažovanému setřídění vlastních čísel je A 1 A 2... A r. Aproximace A maticí A (k) hodnosti k, k A (k) = A j. j=1 Chyba aproximace měřená spektrální normou A A (k) = λ k+1. 7

Jádro a obor hodnot matic A A a AA Singulární rozklad je možné chápat v určitém smyslu jako rozšíření výše uvedeného pohledu na obecné matice. Uvažujme obecně obdélníkovou komplexní matici A C n m, rank(a) = r. Důležitá role: spektrální rozklady matic A A a AA. Matice A A a AA jsou čtvercové hermitovské pozitivně semidefinitní a lze na ně aplikovat všechny výsledky a úvahy z předchozího. Jádro a obor hodnot matic A A a AA (cvičení) Pro libovolnou komplexní matici A C n m platí N (A A) = N (A), R(A A) = R(A ), N (AA ) = N (A ), R(AA ) = R(A). 9

Jádro a obor hodnot matic A A a AA Připomeňme N (A) R(A ) = C m, N (A) R(A ), N (A ) R(A) = C n, N (A ) R(A). Pro libovolnou komplexní matici A C n m platí dim(r(a)) = r = dim(r(a )). S použitím předchozího dim(r(aa )) = r = dim(r(a A)). 10

Spektrální rozklad A A Předpoklad: známe spektrální rozklad matice A A, odvodíme spektrální rozklad matice AA. Označme λ j vlastní čísla a v j příslušné ortonormální vlastní vektory A A, A A v j = λ j v j, v j = 1, j = 1,..., m. Bez újmy na obecnosti předpokládejme uspořádání λ 1 λ 2... λ r > 0, λ r+1 =... = λ m = 0. Označíme-li V [v 1,..., v m ], platí V A A V = diag (λ 1,..., λ r, 0,..., 0), V V = I }{{} m. m r 11

Vztahy mezi vlastními čísly a vektory matic A A a AA Dle předchozího platí span{v 1,..., v r } = R(A A) = R(A ), span{v r+1,..., v m } = N (A A) = N (A). Existuje vztah mezi vlastními vektory A A a AA? O vlastních vektorech matic A A a AA Uvažujme spektrální rozklad matice A A. Potom jsou vektory u j Av j / λ j, j = 1,..., r, ortonormální vlastní vektory matice AA a platí AA u j = λ j u j, u j = 1, j = 1,..., r. 12

Důkaz Vynásobením A A v j = λ j v j maticí A zleva dostaneme A(A A) v j = λ j Av j AA A v j = λ j A v j. }{{}}{{} w j w j AA C n n je opět hermitovská pozitivně semidefinitní, v j N (A) w j = Av j 0 j = 1,..., r, a w j je (nenormalizovaným) vlastním vektorem matice AA. Ortogonalita vektorů w j, j = 1,..., r: Pro j k platí w j w k = (Av j ) (Av k ) = v j (A Av k ) = λ k v j v k = 0, neboť v j v k = δ j,k. Pro j = 1,..., r dostáváme tj. w j = λ j. w j 2 = λ j v j 2 = λ j, 13

Spektrální rozklad matice AA u j jsou ortonormální vlastní vektory matice AA odpovídající vlastním číslům λ j 0, platí Av j = λ j u j, j = 1,..., r. u 1,..., u r ortonormální báze R(A) = R(AA ). Doplníme na ortonormální bázi celého prostoru pomocí u r+1,..., u n báze N (AA ) = N (A ). Platí span{u 1,..., u r } = R(AA ) = R(A), span{u r+1,..., u n } = N (AA ) = N (A ). Označíme-li U [u 1,..., u n ], pak U AA U = diag (λ 1,..., λ r, 0,..., 0), U U = I }{{} n. n r 14

Spektrální rozklady matic AA a A A Spektrální rozklad A A spektrální rozklad AA. Nalezli jsme ortonormální báze R(A ), R(A), N (A ), N (A), R(A ) = span{v 1,..., v r }, N (A) = span{v r+1,..., v m }, R(A) = span{u 1,..., u r }, N (A ) = span{u r+1,..., u n }. Z konstrukce nenulová vlastní čísla A A a AA se rovnají. Singulární čísla Nechť A C n m. Odmocniny nenulových vlastních čísel matice A A nazveme singulárními čísly matice A, σ j = λ j, j = 1,..., r, r = rank(a). λ j by uspořádána sestupně, proto σ 1 σ 2... σ r > 0. 15

Singulární rozklad Av j = λ j u j Av j = σ j u j, j = 1,..., r. Zobrazení C m = span{v 1,..., v m } maticí A: Av 1 σ 1 u 1, Av 2 σ 2 u 2,... Av r σ r u r, A{v r+1,..., v m } 0. Maticově AV = UΣ, Σ = [ Σr 0 0 0 ] R n m, Σ r = diag(σ 1,..., σ r ) R r r. 16

Singulární rozklad - matice A Ekvivalentně, A = UΣV, A = V Σ T U a analogicky A u 1 σ 1 v 1, A u 2 σ 2 v 2,.. A u r σ r v r, A {u r+1,..., u n } 0. A vzájemně jednoznačné přiřazení dvojic jednorozměrných podprostorů span{u j } a span{v j }, j = 1,..., r.. 17

Singulární rozklad - celkové schema A A σ v 1 σ 1 1 u1 v1, σ v 2 σ 2 2 u2 v2,. v r v r+1. v m. σ r. σ r ur vr, u r+1 0,. 0. u n.. 18

Věta o singulárním rozkladu obecné matice Geometrická verze Geometrická verze singulárního rozkladu Pro každou matici A C n m hodnosti r existuje ortonormální báze {v 1,..., v m } prostoru C m, ortonormální báze {u 1,..., u n } prostoru C n a kladná čísla σ 1 σ 2 σ r > 0 tak, že platí { σj u j, j = 1,..., r, Av j = 0, j = r + 1,..., m, A u j = { σj v j, j = 1,..., r, 0, j = r + 1,..., n. Čísla σ 1 σ 2 σ r > 0 jsou odmocninami nenulových vlastních čísel matic A A a AA příslušných vlastním vektorům {v 1,..., v r } resp. {u 1,..., u r }. 19

Věta o singulárním rozkladu obecné matice Maticová verze Maticová verze singulárního rozkladu A C n m hodnosti r existují unitární matice U C n n a V C m m a kladná čísla σ 1 σ 2 σ r > 0 tak, že platí [ ] A = U Σ V Σr 0, Σ = R n m, 0 0 kde Σ r = diag(σ 1,..., σ r ) R r r. Vektory v j, j = 1,..., m nazýváme pravými singulárními vektory, u j, j = 1,..., n levými singulárními vektory A. SVD singular value decomposition. A reálná existuje reálný singulární rozklad. Zdůvodnění: A A i AA jsou reálné symetrické s reálnými ortonormálními vlastními vektory. 20

Zápisy singulárního rozkladu Plný a ekonomický zápis Rozklad A = UΣV s čtvercovými U C n n, V C m m je vhodný především pro teoretické účely (plný tvar). Praktické účely ekonomický tvar singulárního rozkladu. Označíme-li U r [u 1,..., u r ], V r [v 1,..., v r ], platí schematicky A = U r Σ r V r, A U Σ V U r Σ r V r = U r Σ r 0 0 0 V r =. (odstraníme násobení nulovými bloky) 21

Zápisy singulárního rozkladu Zápis pomocí dyadického rozvoje Ekonomický tvar SVD lze zapsat pomocí dyadického rozvoje r r A = σ j u j vj = j=1 j=1 j-tý vnější součin A j = σ j u j v j A j, A j σ j u j v j. je matice hodnosti jedna, platí A j = A j F = σ j, (cvičení) a proto A 1 A 2... A r > 0. Matici A hodnosti r jsme vyjádřili jako součet r matic hodnosti jedna s nerostoucí normou. 22

Jednoznačnost singulárního rozkladu Singulární čísla jsou určena jednoznačně. Pravé a levé podprostory příslušné různým singulárním číslům, jakož i nulové prostory N (A) a N (A ) jsou určeny jednoznačně. Pravé resp. levé singulární vektory, příslušné nulovým singulárním číslům, lze volit jako prvky libovolné ortonormální báze N (A) resp. N (A ). Pokud je singulární číslo jednoduché (není násobné), je příslušný pravý singulární vektor dán jednoznačně až na násobek skalárem α, α = 1. Příslušný levý singulární vektor je dán jednoznačně volbou pravého singulárního vektoru. Je-li singulární číslo násobné, je možné volit pravé singulární vektory libovolně tak, aby tvořily ortonormální bázi příslušného podprostoru. Příslušné levé singulární vektory jsou dány jednoznačně volbou pravých singulárních vektorů. 23

Singulární rozklad normální matice Vztah k spektrálnímu rozkladu A C n n normální, pro jednoduchost regulární, Schur A = QΛQ, Λ = diag(λ 1,..., λ n ), λ j obecně komplexní, předpokládejme λ 1 λ n. ( ) λ1 D diag λ 1,..., λ n, DD = D D = I. λ n D Λ = diag( λ 1,..., λ n ) = ΛD. Získání singulárního rozkladu A A = (QD) (D Λ) Q UΣV, kde U QD a V Q jsou unitární, Σ D Λ je reálná diagonální matice s kladnými prvky na diagonále. Singulární čísla normální matice A jsou absolutní hodnoty vlastních čísel A. 24

Výpočet singulárního rozkladu a spektrální rozklad matic AA a A A Jeli A obdélníková a jeden z jejích rozměrů je malý (uvažujme např. situaci n m), může být výhodné použít k výpočtu spektrální rozklad A A C m m spočteme v j a σ j. Levé singulární vektory u j (n-prvkové vektory) dopočteme snadno užitím vztahů u j = Av j σ j, j = 1,..., r. n m a n je malé analogicky. Podstatná nevýhoda: κ(a A) = κ(aa ) = κ(a) 2. Je-li matice A špatně podmíněna, mohou být malá singulární čísla počítaná tímto způsobem určena velmi nepřesně. 26

Výpočet singulárního rozkladu Standardní způsob První krok transformace A na bidiagonální tvar, B = W AQ, W W = I, Q Q = I. Unitární transformace numerická stabilita. Druhý krok singulární rozklad bidiagonální matice. Provádí se iteračně (pomocí implicitního QR algoritmu). Singulární čísla bidiagonální matice je možné spočíst velmi přesně, s relativní přesností na úrovni strojové přesnosti. 27

Výpočetní náročnost výpočtu SVD Odhad počtu operací, pro jednoduchost čtvercové matice řádu n. Jde o iterační proces nemůžeme a priori určit přesný počet operací. Předpoklad: iterační proces konverguje velmi rychle můžeme odhadnout zdola počet operací. Převod na bidiagonální matici 2-krát více operací než QR. Chceme-li spočíst pouze singulární čísla, nejméně 8 3 n3 operací. Chceme-li znát explicitně i U a V, je nutné vynásobit jednotlivé Householderovy reflexe, potřebujeme nejméně 16 3 n3 operací. V většině aplikací je zbytečné provádět explicitní výpočet U a V (stačí je ukládat v implicitním tvaru - ukládají se jen příslušné vektory jež definují Householderovy reflexe). 28

Použití singulárního rozkladu Ukážeme, jak pomocí SVD určit hodnost (rank), normu či podmíněnost matice, zkonstruujeme zobecněnou inverzi (pseudoinverzi) matice a nalezneme nejlepší aproximaci matice pomocí matice nižší hodnosti. Pseudoinverze (Moore-Penroseova zobecněná inverze), je zobecněním inverze čtvercové regulární matice. Definice: Moore-Penroseova pseudoinverze Nechť je dána matice A C n m hodnosti r a nechť A = UΣV = U r Σ r Vr je její singulární rozklad. Matici [ ] A V Σ U = V r Σ 1 r Ur, Σ Σ 1 r 0 R m n, 0 0 nazveme Moore-Penroseovou zobecněnou inverzí matice A (zkráceně pseudoinverze). 30

Pseudoinverze matice Ekvivalentní definice, projektory A splňuje rovnosti (cvičení) AA A = A, (AA ) = AA, A AA = A, (A A) = A A. A je těmito podmínkami určena jednoznačně (cvičení). Máme dvě ekvivalentní definice pseudoinverze matice A. Z definice pseudoinverze plyne AA = U r Σ r Vr rσ 1 r U r = U rur, A A = V r Σ 1 r U r U rσ r Vr rvr AA = U r Ur je ortogonálním projektorem na R(A). A A = V r Vr je ortogonálním projektorem na R(A ). 31

Jiné vyjádření pseudoinverze Pseudoinverze matic s plnou sloupcovou (řádkovou) hodností Věta Uvažujme matici A C n m. Je-li n m a rank(a) = m, potom A = (A A) 1 A. Naopak, je-li n < m a rank(a) = n, potom A = A (AA ) 1. Důkaz. Případ n m a m = rank(a). Potom A = V m Σ 1 m U m = (V m Σ 2 m V m)(v m Σ m U m). Stačí si uvědomit, že V m Σ 2 m V m = (V m Σ 2 mv m) 1 = (A A) 1 a V m Σ m U m = A. Druhá část analogicky (cvičení). Je-li A čtvercová regulární matice, potom platí A = A 1. 32

Normy a podmíněnost matice Spektrální a Frobeniova norma Normy a singulární čísla Nechť je dána matice A C n m hodnosti r a nechť σ 1 σ 2 σ r > 0 jsou její singulární čísla. Potom platí A = σ 1, A F = (σ 2 1 + σ2 2 +... + σ2 r )1/2 a navíc A A F r A. Důkaz. A = ( (A A)) 1/2 = σ 1. Frobeniova norma je unitárně invariantní a platí A F = UΣV F = Σ F = (σ1 2 + σ2 2 +... + σr) 2 1/2. A A F r A plyne z uspořádání singulárních čísel. 34

Podmíněnost matice a singulární čísla Podmíněnost čtvercové regulární matice κ(a) = A A 1. Jelikož A = σ 1 a A 1 = σ 1 n, je κ(a) = σ 1 σ n. Zobecnění na obdélníkové matice A C n m, n m s plnou sloupcovou hodností, rank(a) = m, κ(a) = σ 1 σ m. 35

Aproximace maticí nižší hodnosti Formulace problému Nechť A C n m je matice hodnosti r a nechť je dáno přirozené číslo k < r. Cíl: nalézt matici B k C n m tak, že rank(b k ) = k a A B k = min A X. X C n m rank(x)=k Lemma Nechť je dána matice A C n m hodnosti r a nechť k je přirozené číslo, k < r. Pro každou matici X C n m, rank(x) = k, platí A X σ k+1, kde σ k+1 je (k + 1)ní singulární číslo matice A. 37

Důkaz lemmatu Část 1 Mějme X C n m tak, že rank(x) = k. Zřejmě platí dim N (X) = m k. Uvažujme prostor složený z k + 1 pravých singulárních vektorů matice A, V span{v 1,..., v k+1 }. N (X) i V jsou podprostory C m, součet dimenzí = m + 1 musí existovat netriviální průnik y : y = 1 a y N (X) V. y V = span{v 1,..., v k+1 } k+1 y = α i v i. i=1 38

Důkaz lemmatu Část 2 y N (X) V, y = 1, tj. k+1 Xy = 0, 1 = α i 2. i=1 Dále platí k+1 k+1 (A X)y = Ay = α i Av i = α i σ i u i. i=1 i=1 Kvadrát norem, ortonormalita vektorů u i, dostáváme k+1 k+1 (A X)y 2 = α i 2 σi 2 σ2 k+1 α i 2 = σk+1 2. i=1 i=1 Platí tedy A X (A X)y σ k+1. 39

Aproximace maticí nižší hodnosti Věta: Eckart, Young, Mirsky Nechť je dána matice A C n m hodnosti r a nechť k je přirozené číslo, k < r. Uvažujme singulární rozklad matice A, Potom je matice r A = σ j u j vj. j=1 k A (k) σ j u j vj j=1 nejlepší aproximací matice A hodnosti k a platí min A X = A A (k) = σ k+1. X C n m rank(x)=k 40

Důkaz Matice A (k) je hodnosti k a splňuje A A (k) r k = σ j u j vj σ j u j vj = σ k+1. j=1 j=1 Tvrzení plyne z předchozího lemmatu: X, rank(x) = k, platí A X σ k+1. Našli jsme X = A (k) takovou, že rank(x) = k a zároveň A X = σ k+1. 41

Numerická hodnost matice Řekneme, že A má numerickou hodnost k, pokud A má k singulárních čísel výrazně větších než strojová přesnost ǫ a ostatní singulární čísla jsou úměrná ǫ σ 1 σ 2 σ k σ k+1 ǫ. Není přitom kvantifikováno, co znamená, že je singulární číslo úměrné ǫ. Matlab numerická hodnost matice je dána počtem singulárních čísel matice A C n m větších než ǫ A max{n, m}. Příklady: krylovovská matice s normalizovanými sloupci, [ w w, Bw Bw,..., B m 1 ] w B m 1 R n m, w kde m = 100, B R n n Butterfly Gyro, kolekce Oberwolfach. 43

10 0 σ i (A) 10 5 ε A max{n,m} ε 10 0 σ i (A) 10 5 ε A max{n,m} ε 10 10 10 10 10 15 10 15 0 20 40 60 80 100 0 5 10 15 20 25 10 0 10 0 10 5 10 5 10 10 10 10 10 15 σ i (A) ε A max{n,m} ε 0 20 40 60 80 100 10 15 σ i (A) ε A max{n,m} ε 0 20 40 60 80 100 krylovovské matice (vlevo nahoře), paralax(100) (vpravo nahoře), heat(100,1) (vlevo dole), heat(100,5) (vpravo dole). 44

Použití SVD na kompresi dat Fotografie a matice Fotografie = matice. Černobílá = 1 matice, barevná 3 barevné kanály 3 matice. Příklad: černobílá fotografie stromu matice A R 198 155, plná sloupcovou hodnost, singulární čísla 10 4 10 3 10 2 0 50 100 150 k A (k) σ j u j vj T, k = 1,..., 155 j=1 46

Použití SVD na kompresi dat Aproximace fotografie 20 20 20 20 40 40 40 40 60 60 60 60 80 80 80 80 100 100 100 100 120 120 120 120 140 140 140 140 160 160 160 160 180 180 180 180 50 100 150 50 100 150 50 100 150 50 100 150 Matice co ukládáme počet ukládaných čísel paměť A U 155, V 155, σ 1,...,155 (198 + 155 + 1) 155 428 Kb A (86) U 86, V 86, σ 1,...,86 (198 + 155 + 1) 86 237 Kb A (40) U 40, V 40, σ 1,...,40 (198 + 155 + 1) 40 110 Kb A (10) U 10, V 10, σ 1,...,10 (198 + 155 + 1) 10 27.6 Kb 47

Cvičení 5.1 Dokažte, že pro libovolnou komplexní matici A C n m platí N (A A) = N (A), N (AA ) = N (A ). 5.2 Dokažte, že pro libovolnou komplexní matici A C n m platí R(A A) = R(A ), R(AA ) = R(A). 5.3 Dokažte A j = A j F = σ j, kde A j = σ j u j vj. 5.4 Dokažte A = σ 1 přímo z definice maticové normy. 49

Cvičení 5.5 Odvoďte vztah mezi spektrálním a singulárním rozkladem matice A C n n v následujících případech: 1 A je hermitovská, 2 A je hermitovská a navíc pozitivně semidefinitní. 5.7 Ukažte, že A splňuje tzv. Moore-Penroseovy podmínky: AA A = A, (AA ) = AA, A AA = A, (A A) = A A. 5.9 Nechť A C n m, n < m, je matice s lineárně nezávislými řádky. Ukažte, že platí A = A (AA ) 1. 5.10 Dokažte, že každá regulární matice A s podmíněností rovnou jedné je normální a je (nenulovým) skalárním násobkem unitární matice. 50