Úlohy nejmenších čtverců

Transkript

1 Úlohy nejmenších čtverců Petr Tichý 7. listopadu

2 Problémy nejmenších čtverců Ax b Řešení Ax = b nemusí existovat, a pokud existuje, nemusí být jednoznačné. Často má smysl hledat x tak, že Ax b. V jakém smyslu má být Ax blízké vektoru b? Příklad: A reprezentuje matematický model, b jsou pozorované či naměřené hodnoty. Cíl: najít původní data x. Nepřesnosti v datech (A, b) chceme zohlednit při volbě metody pro nalezení vhodného vektoru x. Interpretace není jednoznačná, závisí na typu problému. 3

3 Matematická formulace Dáno: A C n m, b C n. n > m přeurčená úloha. n < m nedourčená úloha. Pro zjednodušení výkladu n m. Motivace 1: Předpokládejme, že chybami je zatížen pouze b. Cíl: nalézt co nejmenší změnu f pravé strany b tak, že x je řešením soustavy Ax = b + f, velikost změny f měříme euklidovskou normou vektoru. Jinak řečeno: hledáme x, které minimalizuje normu rezidua f = b Ax. 4

4 Problém nejmenších čtverců (LS) Definice: Problém nejmenších čtverců Nechť A C n m, b C n. Problémem nejmenších čtverců (LS) budeme nazývat úlohu určení x C m tak, aby platilo min f za podmínky A x = b + f. x,f Zkratka LS pochází z anglického least squares (minimalizuje se odmocnina ze součtu kvadrátů prvků rezidua). Ve statistice bývá problém nejmenších čtverců nazýván úlohou lineární regrese. 5

5 Úplný problém nejmenších čtverců (TLS) Často nutné uvažovat chyby v b (pozorování) i v A (chyba modelu). Hledáme co nejmenší změnu E matice A a co nejmenší změnu f vektoru b tak, že x je řešením soustavy (A + E) x = b + f. Velikost změny měříme Frobeniovou normou matice [f, E]. Definice: Úplný problém nejmenších čtverců Nechť A C n m, b C n. Úplným problémem nejmenších čtverců (zkráceně TLS) nazveme úlohu určení x C m tak, aby platilo min [f, E] F za podmínky (A + E) x = b + f. x,e,f TLS = total least squares. Statistika úloha ortogonální regrese. 6

6 Jde o unitárně invariantní problémy Euklidovská norma vektoru i Frobeniova norma matice jsou unitárně invariantní. Přenásobíme-li Ax = b + f nebo (A + E)x = b + f zleva libovolnou unitární maticí P, či provedeme-li substituci x = Q y, kde Q je unitární matice, pak se velikost hledaných změn pravé strany či pravé strany a matice potřebných k dosažení rovností nezmění, Pf = f a P[f, EQ ] F = [f, E] F. Jinak řečeno, problém nejmenších čtverců a úplný problém nejmenších čtverců jsou unitárně invariantní. Dále jen problém nejmenších čtverců (TLS viz skripta). 7

7 Existence řešení problému nejmenších čtverců Ax = b má řešení b R(A) = span{a 1,..., a m }. b / R(A) soustava není řešitelná v klasickém smyslu. Hledáme x, které minimalizuje euklidovskou normu rezidua b Ax hledáme nejlepší aproximaci b v R(A). Tato aproximace je dána (jednoznačně určenou) ortogonální projekcí vektoru b na R(A) označení b R(A). Věta: Existence řešení problému nejmenších čtverců Nechť A C n m, b C n. Vektor x je řešením problému nejmenších čtverců právě tehdy, když Ax = b R(A), b Ax = b N (A ). 9

8 Důkaz Protože b C n a C n = R(A) N (A ), R(A) N (A ), můžeme b jednoznačně zapsat jako součet dvou vzájemně ortogonálních složek Pro libovolný vektor z platí b = b N (A ) + b R(A). b Az = b N (A ) }{{} N (A ) + b R(A) Az, }{{} R(A) b Az 2 = b N (A ) 2 + b R(A) Az 2. b Az 2 je minimální Az = b R(A). 10

9 Jednoznačnost Sloupce A lineárně nezávislé! x tak, že Ax = b R(A). Sloupce A lineárně závislé b R(A) lze vyjádřit pomocí sloupců A nekonečně mnoha způsoby: x je řešení i x + z, z N (A), je řešení. Zahrnutí z N (A) do řešení problému nejmenších čtverců nepřispívá ke snížení normy rezidua je vhodné uvažovat pouze řešení, která složku z N (A) neobsahují. Následující věta takové řešení je pouze jedno a je ze všech možných řešení LS problému minimálním v normě. 11

10 Řešení LS minimální v normě Věta: Řešení LS minimální v normě Nechť A C n m, b C n. Potom existuje právě jedno řešení x problému nejmenších čtverců minimální v normě a je dáno vztahy Ax = b R(A) a x R(A ). Důkaz: Libovolné řešení x C m lze psát ve tvaru Platí x = x N (A) + x R(A ), x 2 = x N (A) 2 + x R(A ) 2. b R(A) = Ax = A(x N (A) ) + A(x R(A )) = A(x R(A )), x je minimální x N (A) = 0. Řešení ve smyslu nejmenších čtverců minimální v normě leží v R(A ). 12

11 Pokračování důkazu Jednoznačnost Nechť existují dvě různá řešení x a y: x R(A ), y R(A ), obě řeší Ax = b R(A), Ay = b R(A). Potom tj. x y N (A). A(x y) = b R(A) b R(A) = 0 Protože x y N (A) a zároveň x y R(A ), musí platit x = y (průnikem obou prostorů je pouze nulový vektor). 13

12 Řešení problému nejmenších čtverců a soustava normálních rovnic Věta Nechť A C n m, b C n. x je řešením problému nejmenších čtverců právě tehdy, je-li řešením soustavy normálních rovnic, A Ax = A b. x je řešení Ax = b R(A) a dále Ax = b R(A) = A Ax = A b ( R(A) ) = A Ax = A b R(A) + b N (A ) = A b. A Ax = A b = A b R(A) A (Ax b R(A) ) = 0, tj. (Ax b R(A) ) N (A ). Zároveň víme Ax b R(A) R(A) Ax b R(A) = 0, tj. x je řešení problému nejmenších čtverců. 14

13 Soustava normálních rovnic Poznámky Má-li matice A plnou sloupcovou hodnost, je matice A A regulární a soustava normálních rovnic má jednoznačné řešení, neboli x = A b. x = (A A) 1 A b, Jak uvidíme dále, má vyjádření řešení pomocí pseudoinverze obecnou platnost. 15

14 Přehled metod pro řešení LS A s plnou sloupcovou hodností Předpoklad: A C n m, n m, rank(a) = m. Problém nejmenších čtverců má pak jednoznačné řešení (a nemusíme tudíž hledat řešení minimální v normě). Tři základní metody: Řešení LS pomocí QR rozkladu. Řešení LS pomocí soustavy normálních rovnic. Řešení LS pomocí rozšířené soustavy rovnic. 17

15 Řešení problému nejmenších čtverců pomocí QR rozkladu LS je unitárně invariantní, je-li U unitární b Ax = U(b Ax). Využijeme QR rozklad matice A, min x A = QR, Q C n n, R C n m, b Ax = min x A má plnou sloupcovou hodnost [ ] ˆR R =, 0 b QRx = min Q b Rx. x kde ˆR C m m je regulární horní trojúhelníková. 18

16 Řešení problému nejmenších čtverců pomocí QR rozkladu Označíme-li Q = [q 1,..., q m q m+1,..., q n ] [Q m V m ], Hledáme řešení ekvivalentního problému, [ ] [ ] [ Q Q b Rx = m b ˆR Q Vmb x = m b ˆRx 0 Vm b ]. Volbou x lze ovlivnit pouze prvních m prvků vektoru rezidua, a hledané x je řešením soustavy ˆR x = Q mb, přičemž min x b Ax = Vm b. 19

17 Praktická realizace Aplikujeme QR rozklad na rozšířenou matici [A, b]. Po aplikaci m Householderových reflexí dostáváme [ ] ˆRH c H m... H 1 [A, b] = H. 0 d H Potom x H = ˆR 1 c H H a b Ax H = d H. Aplikací MGS na matici [A, b] získáme obdobně [ ] ˆRG c [A, b] = [Q m, q] G. 0 d G Řešení opět získáme jako x G = ˆR 1 G c G a b Ax G = d G. Pokud při užití Householderových reflexí neukládáme bázi, jsou oba postupy přibližně stejně drahé. Björck a Paige, překvapující výsledek: zpětná chyba výpočtu matic ˆR H a ˆR G je pro oba postupy srovnatelná. 20

18 Řešení problému nejmenších čtverců pomocí soustavy normálních rovnic A má plnou sloupcovou hodnost A A je regulární, hermitovská, pozitivně definitní řešení x je jednoznačné Choleského rozklad či metoda sdružených gradientů. rank(a) = m řešení soustavy normálních rovnic je ekvivalentní s řešením soustavy vzniklé z QR rozkladu A A x = A b R R x = R Q b ˆR ˆR x = ˆR Q mb ˆRx = Q mb. ˆR ˆR je Choleského rozklad matice A A. Výpočet pomocí soustavy normálních rovnic může být výhodný např. tehdy, když je n m a m je malé. Pokud A velká iterační metody, násobení A Av realizujeme postupně jako A (Av). 21

19 Řešení problému nejmenších čtverců pomocí soustavy normálních rovnic Nevýhoda nárůst čísla podmíněnosti, κ(a) = σ 1(A) σ m (A), pak pro matici soustavy normálních rovnic platí κ(a A) = σ 1(A ( ) A) σ m (A A) = σ1 (A) 2 = κ 2 (A). σ m (A) Možné numerické problémy, výpočet pomocí soustavy normálních rovnic bezpečný v případě κ 2 (A) 1 ε. 22

20 Řešení problému nejmenších čtverců pomocí rozšířené soustavy rovnic rank(a) = m x je jednoznačné řešení Ax = b R(A) a platí δ b Ax = b b R(A) N (A ) A δ = 0. δ = b Ax lze zapsat maticově Dohromady [ I A A 0 [ I A ] [ δ x ] [ δ x ] ] = = b. [ b 0 máme rozšířenou soustavu rovnic, získali jsme soustavu se čtvercovou hermitovskou maticí dimenze (m + n) (m + n), tzv. sedlobodová matice. ], 23

21 Řešení problému nejmenších čtverců pomocí rozšířené soustavy rovnic Lemma Uvažujme tzv. sedlobodovou matici [ B A C = A 0 ], kde B C n n je hermitovská pozitivně definitní a A C n m, n m, má plnou sloupcovou hodnost. Potom je C je regulární, hermitovská a indefinitní. Důkaz: C je hermitovská. Regularitu ukážeme sporem (viz cvičení). Indefinitnost: v, v 0, v = [0, ν n+1,..., ν n+m ] T platí v Cv = 0. 24

22 Důkaz Uvažujme spektrální rozklad matice C, Dosazením C = SΛS. 0 = v Cv = v SΛS v = m+n j=1 λ j s j v 2, kde s j je j-tý sloupec matice S a λ j je příslušné vlastní číslo. v 0 existuje index j takový, že s jv 0. C je regulární λ j 0 pro každé j. Musí existovat kladná i záporná vlastní čísla, tj. matice je indefinitní. 25

23 Řešení problému nejmenších čtverců pomocí rozšířené soustavy rovnic - shrnutí Věta Nechť A C n m, n m, b C n a nechť A = m. Řešení x problému nejmenších čtverců lze nalézt řešením rozšířené soustavy [ ] [ ] [ ] I A δ b A = 0 x 0 se sedlobodovou maticí je regulární, hermitovská a indefinitní. Soustavy s indefinitními maticemi mohou být velmi obtížně řešitelné. I přesto může být tento postup výpočtu v některých případech úspěšný. 26

24 Řešení problému nejmenších čtverců obecný případ Singulární rozklad matice A umožní nalézt řešení minimální v normě pro obecný problém nejmenších čtverců. Nechť A C n m, rank(a) = r a nechť A = U r Σ r V r. Hledané řešení x minimální v normě dáno vztahy Ax = b R(A) a x R(A ). Použijeme vyjádření ortogonálního projektoru na R(A), b R(A) = U r U r b. 28

25 Řešení problému nejmenších čtverců pomocí singulárního rozkladu Dosazením za A a za b dostaneme z čehož plyne U r Σ r V r x = U ru r b, V r x = Σ 1 r U r b. x R(A ) je lineární kombinaci ortonormální báze R(A ), x = V r y. Dosazením dostaneme pro hledané souřadnice y = V r x = Σ 1 r U r b. 29

26 Řešení problému nejmenších čtverců pomocí singulárního rozkladu - shrnutí Věta Nechť A C n m, b C n, A = U r Σ r Vr rozklad matice A. Pak je ekonomický singulární x = V r Σ 1 r Ur b = A b představuje řešení problému nejmenších čtverců minimální v normě. 30

27 Cvičení 6.2 Nechť má matice A plnou sloupcovou hodnost m, A = QR je její QR rozklad a ˆR je regulární horní trojúhelníkový blok matice R. Dokažte σ 1 ( ˆR) = σ 1 (A) aσ m ( ˆR) = σ m (A). 6.3 Ukažte, že sedlobodová matice [ B A C = A 0 ], kde B C n n je hermitovská pozitivně definitní a A C n m, n m, je regulární. 32