Singulární rozklad aplikace v image deblurring

Transkript

1 Singulární rozklad aplikace v image deblurring M. Plešinger, Z. Strakoš TUL, Fakulta mechatroniky, Liberec AV ČR, Ústav informatiky, Praha 1 Úvod Uvažujme obecnou reálnou matici Pak existuje rozklad A R n m, n m, r =rank(a) min{n, m}. A = U Σ V T, kde U R n n, Σ R n m, V R m m, (1) takový, že matice U, V jsou ortogonální, a matice Σ má jediný nenulový diagonální blok řádu r [ ] Σr 0 Σ=, Σ 0 0 r =diag(σ 1,...,σ r ), přičemž platí σ 1 σ... σ r > 0. () Důkaz nalezneme v dnes již klasické literatuře, například [1], []. Rozklad (1, ) se nazývá singulární rozklad (SVD) maticea. Sloupceu i matice U jsou levé singulární vektory asloupce v i matice V jsou pravé singulární vektory. Čísla se nazývají singulární čísla. Singulární rozklad (1, ) lze přepsat do dyadického tvaru A = U Σ V T = r u i vi T. (3) Užitím (3) lze snadno řešit obecné soustavy lineárních algebraických rovnic ve smyslu nejmenších čtverců r ( ) u Ax b, x = A T b = i b v i, () kde matice A = r v iσi 1 u T i je tzv. Moore-Penroseova pseudoinverze avektorx je řešení ve smyslu nejmenších čtverců minimální v normě (je-li A čtvercová nesingulární, platí A = A 1 a x je řešením v klasickém smyslu), viz [, Chap..3]. Image deblurring Obrázek vysoký n aširokým pixelů (pro jednoduchost uvažujme černobílý) lze interpretovat jako matici dimenze n m. Tento bude hledaný vzor, příslušnou matici označíme X. Rozmazaný, nebo jinak zdeformovaný obraz tohoto vzoru, v praxi například v důsledku průchodu optickou soustavou, pak označíme B. Je-li proces rozmazání lineární a nezávislý po sloupcích a řádcích, lze zapsat jako maticová rovnice (viz [3]) A C XA T R = B, kde A C R n n, A R R m m, X, B R n m. (5) 1

2 Maticová rovnice (5) představuje soustavu lineárních algebraických rovnic, lze tedy přepsat v obvyklém tvaru Ax = b, kde A = A R A C R nm nm (6) je čtvercová, za předpokladu regulární matice a rank(a C )=n, rank(a R )=m, (7) x =[x T 1,...,x T m ] T R nm, b =[b T 1,...,b T m ] T R nm. (8) Symbolem značíme Kroneckerův součin a x i, b i jsou i-té sloupce matic X, B. right hand side B Obrázek 1: Rozmazaný obrázek pravá strana B maticové rovnice (5). Je jasné, že pro nalezení X musíme znát matice A C, A R,respektiveA. U reálných úloh vždy vycházíme z matematického popisu fyzikální soustavy, která původní vzor X deformovala na obraz B, a na základě tohoto popisu konstruujeme příslušné matice. U reálných úloh tak matici A nikdy neznáme přesně, máme k dispozici pouze její odhad. Pozorovaný obrázek navíc může být, a často bývá, zatížen šumem, který není v matematickém modelu zahrnut, tedy platí b = b EXACT + b NOISE. V případě pravé strany na obrázku 1 známe matice A C, A R popisující model přesně, podmínka (7) je splněna. Užitím vztahu () se pokusíme nalézt řešení soustavy (6, 8), tedy nalézt vzor X. Toto řešení označíme jako naivní nm ( ) u x NAIVE = A 1 T b = i b v i = x + A 1 b NOISE. (9) Z obrázku, je patrné, že tento postup selhává, to co jsme získali je pouze šum, který pravá strana obsahovala.

3 naive solution Obrázek : Naivní řešení x = A 1 b nemá se skutečným řešením nic společného. 3 Diskrétní Picardova podmínka Když budeme zvětšovat rozlišení obrázku B, nejmenší singulární čísla matice A se budou blížit k nule, tedy lim i =0.Budeme-lipovažovatmaticiA za přesný model dané fyzikální soustavy a budeme-li pracovat s přesnou pravou stranu (bez šumu), musí limita { nm ) lim n, m lim i ( u T i b EXACT reprezentovat původní spojitý obrázek, musí tedy být omezena. Picardova podmínka říká, že projekce u T i b EXACT přesné pravé strany do levých singulárních podprostorů matice A, musí s rostoucím indexem klesat k nule rychleji než singulární čísla matice A. Musíklesattak rychle, aby platilo ( u T ) i b EXACT v i =0 pro rozlišení zvětšující se nade všechny meze. Diskrétní Picardova podmínka je její diskrétní aproximací (tedy, vágně formulováno, projekce musí klesat rozumně rychle, viz obrázek 3). Picardova podmínka vychází z nutnosti existence zobrazovaného reálného vzoru X. Šum b NOISE zatěžující pravou stranu Picardovu podmínku splňovat nemusí, a často také nesplňuje. Protože singulární čísla klesají k nule, šum je zesílen a v naivním řešením (9) dominuje nad hledaným x, platí následující nerovnost v i } x = A 1 b EXACT A 1 b NOISE. 3

4 singular values of A and projections uti b right hand side projections on left singular subspaces uti b singular values σi noise level x Obrázek 3: Plnou čárou jsou vykreslena singulární čísla matice, body jsou projekce pravé strany do odpovídajících levých singulárních podprostorů. Čárkovanou čárou je naznačena hladina šumu, cca 3, projekce uti b od indexu i 0.3 díky přítomnosti šumu neklesají. Regularizace řešení Nalezení vzoru X přesným řešením soustavy (6)-(8) není možné, díky šumu, který je obsažen v pravé straně. Regularizací řešení chápeme snahu potlačit vliv šumu maximálním možným způsobem. Klasickou regularizační technikou je truncated SVD (TSVD). TSVD řešení soustavy (6)-(8) spočívá v nahrazení matice A maticí Ak s nižší hodností k. Přičemž tato matice je (v normě) nejlepší aproximací A pro dané k, platí (viz []) Ak = k ui σi vit. Parametr k volíme tak, abychom co nejvíce omezili vliv šumu. Modifikovanou soustavu Ak x b řešíme ve smyslu nejmenších čtverců, hledáme řešení minimální v normě xk = A k k T ui b b = vi. σi ()

5 TSVD solution, k = Závěr Obrázek : Řešení () regularizované užitím TSVD, parametr k = 983. Důležitou otázkou v oblasti regularizačních metod je problém zastavení, v případě TSVD problém volby optimálního k. Protože ne vždy máme představu o tom, jak má řešení vypadat, ne vždy lze spočítat celý singulární rozklad (tak jako na obrázku 3), abychom nalezli hladinu šumu. Obvykle se pro zastavení používají L-curve kritérium nebo generalized cross-validation kritérium (viz [3]). Acknowledgement: This work was supported by the National Program of Research Information Society under project 1ET Reference [1] Gene H. Golub, Charles F. Van Loan: Matrix Computations, 3 rd Edtition. The Johns Hopkins University Press, Baltimore, [] David S. Watkins: Fundamentals of Matrix Computations, nd Edtition. Wiley-Interscience, New York,. [3] Per Christian Hansen, James G. Nagy, Dianne P. O Leary: Deblurring Images Matrices, Spectra and Filtering. SIAM, 6. 5