Lineární algebra rekonstrukce obrazu

Lineární algebra rekonstrukce obrazu Prezentace práce pro matematický seminář 0 Mdx Theuer 20. října 2011 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 1 / 19

Obsah Matematická reprezentace obrazu 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 2 / 19

Obsah Matematická reprezentace obrazu Popis lineárního modelu rozostření 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 2 / 19

Obsah Matematická reprezentace obrazu Popis lineárního modelu rozostření Odvození a realizace vybraných metod 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 2 / 19

Obsah Matematická reprezentace obrazu Popis lineárního modelu rozostření Odvození a realizace vybraných metod Testování na příkladech 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 2 / 19

Obsah Matematická reprezentace obrazu Popis lineárního modelu rozostření Odvození a realizace vybraných metod Testování na příkladech Současná práce 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 2 / 19

Matematická reprezentace obrazu 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 3 / 19

Matematická reprezentace obrazu f (x, y) = f (1, 1) f (1, 2) f (1, n) f (2, 1) f (2, 2) f (2, n)........ f (m, 1) f (m, 2) f (m, n) X = x 1,1 x 1,2 x 1,n x 2,1 x 2,2 x 2,n........ x m,1 x m,2 x m,n 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 3 / 19

Matematická reprezentace obrazu f (x, y) = f (1, 1) f (1, 2) f (1, n) f (2, 1) f (2, 2) f (2, n)........ f (m, 1) f (m, 2) f (m, n) X = x 1,1 x 1,2 x 1,n x 2,1 x 2,2 x 2,n........ x m,1 x m,2 x m,n x = vec( X). 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 3 / 19

Lineární model rozostření Předpokládáme existenci přesného obrazu x 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 4 / 19

Lineární model rozostření Předpokládáme existenci přesného obrazu x Vlivem různých podmínek dochází k rozostření a vzniku neostrého obrazu b 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 4 / 19

Lineární model rozostření Předpokládáme existenci přesného obrazu x Vlivem různých podmínek dochází k rozostření a vzniku neostrého obrazu b Proces rozostření modelujeme jako násobení maticí A A x = b 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 4 / 19

Lineární model rozostření Předpokládáme existenci přesného obrazu x Vlivem různých podmínek dochází k rozostření a vzniku neostrého obrazu b Proces rozostření modelujeme jako násobení maticí A A x = b A x + n = b 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 4 / 19

Kvazi-Newtonovy metody 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 5 / 19

Kvazi-Newtonovy metody Řešíme systém A T A x = A T b, 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 5 / 19

Kvazi-Newtonovy metody Řešíme systém A T A x = A T b, jehož řešení odpovídá minimalizaci minf ( x) = 1 2 xt A T A x x T A b, 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 5 / 19

Kvazi-Newtonovy metody Řešíme systém A T A x = A T b, jehož řešení odpovídá minimalizaci minf ( x) = 1 2 xt A T A x x T A b, což vede k předpisu x k+1 = x k α k M k g k = x k + α k M k r k 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 5 / 19

Metody bez omezení Landweberova metoda α (0, 2ρ(A T A) 1 ) 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 6 / 19

Metody bez omezení Landweberova metoda α (0, 2ρ(A T A) 1 ) Residual Norm Steepest Descent - RNSD α k = min α>0 f ( x k α g k ) 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 6 / 19

Metody bez omezení Landweberova metoda α (0, 2ρ(A T A) 1 ) Residual Norm Steepest Descent - RNSD α k = min α>0 f ( x k α g k ) 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 6 / 19

Metody s omezením Minimalizační úloha min f ( x), x Ω B kde Ω B = { x R n : x 0}, f ( x) = 1 2 xt A T A x x T A b. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 7 / 19

Metody s omezením Minimalizační úloha min f ( x), x Ω B kde Ω B = { x R n : x 0}, f ( x) = 1 2 xt A T A x x T A b. Projekce Nechť je Ω B je neprázdná konvexní podmnožina euklidovského prostoru R n a x prvkem tohoto prostoru. Projekce P ΩB ( x) do Ω B je dána [P ΩB ( x)] i = max{0, x i }, i = 1, 2,..., n 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 7 / 19

Metody s omezením FSGP Fixed Steplength Gradient Projection - FSGP α (0, 2ρ(A T A) 1 ) x k+1 = P ΩB ( x k α g k ) 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 8 / 19

Metody s omezením FSGP Fixed Steplength Gradient Projection - FSGP α (0, 2ρ(A T A) 1 ) x k+1 = P ΩB ( x k α g k ) 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 8 / 19

Metody s omezením RNSDP Residual Norm Steepest Descent with Projection - RNSDP 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 9 / 19

Metody s omezením RNSDP Residual Norm Steepest Descent with Projection - RNSDP α BO - ideální délka kroku bez omezení, která je stejná jako v případě RNSD α BO = min α>0 f ( x k α BO g k ) 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 9 / 19

Metody s omezením RNSDP Residual Norm Steepest Descent with Projection - RNSDP α BO - ideální délka kroku bez omezení, která je stejná jako v případě RNSD α BO = min α>0 f ( x k α BO g k ) α O - délka omezeného kroku α O = min { x i i / A}, g>0 g i je taková délka kroku ve směru g, který by vedl právě na hranici. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 9 / 19

Metody s omezením RNSDP Residual Norm Steepest Descent with Projection - RNSDP α BO - ideální délka kroku bez omezení, která je stejná jako v případě RNSD α BO = min α>0 f ( x k α BO g k ) α O - délka omezeného kroku α O = min { x i i / A}, g>0 g i je taková délka kroku ve směru g, který by vedl právě na hranici. α FS - pevná délka kroku α FS (0, 2ρ(A T A) 1 ) 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 9 / 19

Metody s omezením RNSDP 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 10 / 19

Metody s omezením MRNSD Modified Residual norm Steepest Descent - MRNSD x = e z 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 11 / 19

Metody s omezením MRNSD Modified Residual norm Steepest Descent - MRNSD x = e z minf ( x) = 1 2 ez A T Ae z e z A b 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 11 / 19

Metody s omezením MRNSD Modified Residual norm Steepest Descent - MRNSD x = e z minf ( x) = 1 2 ez A T Ae z e z A b pro kterou platí: f (z) = x f ( x) Iterační předpis: x k+1 = x k α x k f ( x) 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 11 / 19

Metody s omezením Konvergence 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 12 / 19

Testování na příkladech Testovací data 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 13 / 19

Testování na příkladech Výsledky Obrázek: RNSDP a MRNSD 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 14 / 19

Současná práce MPRGP - náhled Modified Proportioning with Reduced Gradient Projections - MPRGP Je dáno ( x 0 Ω, α FS 0, A T A 1, Γ > 0, 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 15 / 19

Současná práce MPRGP - náhled Modified Proportioning with Reduced Gradient Projections - MPRGP Je dáno ( x 0 Ω, α FS 0, A T A 1, Γ > 0, pro k 0 a známé x k generujeme x k+1 podle následujících pravidel: Pokud je ν ( x k) = 0: x k+1 = x k. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 15 / 19

Současná práce MPRGP - náhled Modified Proportioning with Reduced Gradient Projections - MPRGP Je dáno ( x 0 Ω, α FS 0, A T A 1, Γ > 0, pro k 0 a známé x k generujeme x k+1 podle následujících pravidel: Pokud je ν ( x k) = 0: x k+1 = x k. Pokud je x k strictly proportional a ν ( x k) 0, zkusíme generovat x k+1 jako conjugate gradient step. Pokud x k+1 Ω, přijmeme jej, jinak generujeme x k+1 pomocí expansion step. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 15 / 19

Současná práce MPRGP - náhled Modified Proportioning with Reduced Gradient Projections - MPRGP Je dáno ( x 0 Ω, α FS 0, A T A 1, Γ > 0, pro k 0 a známé x k generujeme x k+1 podle následujících pravidel: Pokud je ν ( x k) = 0: x k+1 = x k. Pokud je x k strictly proportional a ν ( x k) 0, zkusíme generovat x k+1 jako conjugate gradient step. Pokud x k+1 Ω, přijmeme jej, jinak generujeme x k+1 pomocí expansion step. Pokud x k není strictly proportional, provedeme proportioning, čímž získáme x k+1. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 15 / 19

Současná práce MPRGP MPRGP - Conjugate Gradient Step V každé iteraci testujeme podmínku ( β x k) 2 ( Γ ϕ x k) T ( ϕ x k) 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 16 / 19

Současná práce MPRGP MPRGP - Conjugate Gradient Step V každé iteraci testujeme podmínku ( β x k) 2 ( Γ ϕ x k) T ( ϕ x k) pokud je splněna, zkusíme conjugate gradient step x k+1 = x k α CG p k, kde p k je směr sdružených gradientů, který je generován postupně. Generování začíná z p s = ϕ( x s ) kdykoli je x s získán z expansion step nebo proportioning step. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 16 / 19

Současná práce MPRGP MPRGP - Conjugate Gradient Step V každé iteraci testujeme podmínku ( β x k) 2 ( Γ ϕ x k) T ( ϕ x k) pokud je splněna, zkusíme conjugate gradient step x k+1 = x k α CG p k, kde p k je směr sdružených gradientů, který je generován postupně. Generování začíná z p s = ϕ( x s ) kdykoli je x s získán z expansion step nebo proportioning step. Pokud je x k+1 přípustné, přijmeme jej, jinak provedeme expansion step. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 16 / 19

Současná práce MPRGP MPRGP - Expansion Step Expansion step je krok s pevnou délkou a projekcí: x k+1 = P Ω ( x k α FS ϕ( x k )) 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 17 / 19

Současná práce MPRGP MPRGP - Expansion Step Expansion step je krok s pevnou délkou a projekcí: x k+1 = P Ω ( x k α FS ϕ( x k )) Tento krok může rozšířit aktivní množinu. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 17 / 19

Současná práce MPRGP MPRGP - Expansion Step Expansion step je krok s pevnou délkou a projekcí: x k+1 = P Ω ( x k α FS ϕ( x k )) Tento krok může rozšířit aktivní množinu. MPRGP - Proportioning Step Proportioning step je krok restartování sdružených gradientů: x k+1 = x α CG β( x k ) 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 17 / 19

Současná práce MPRGP MPRGP - Expansion Step Expansion step je krok s pevnou délkou a projekcí: x k+1 = P Ω ( x k α FS ϕ( x k )) Tento krok může rozšířit aktivní množinu. MPRGP - Proportioning Step Proportioning step je krok restartování sdružených gradientů: x k+1 = x α CG β( x k ) Tento krok naopak odebírá indexy z aktivní množiny. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 17 / 19

Současná práce Aktuální stav 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 18 / 19

Současná práce Aktuální stav Jednotlivé algoritmy jsem přepsal s využitím knihovny RestoreTools, kterou vyvíjí James Nagy a jeho tým. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 18 / 19

Současná práce Aktuální stav Jednotlivé algoritmy jsem přepsal s využitím knihovny RestoreTools, kterou vyvíjí James Nagy a jeho tým. Implementoval jsem MPRGP pro nesymetrické matice obrazu. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 18 / 19

Současná práce Aktuální stav Jednotlivé algoritmy jsem přepsal s využitím knihovny RestoreTools, kterou vyvíjí James Nagy a jeho tým. Implementoval jsem MPRGP pro nesymetrické matice obrazu. Nepodařilo se mi dosáhnout výrazného zlepšení předchozích algoritmů. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 18 / 19

Závěr Otázky? 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 19 / 19

Závěr Otázky? Děkuji za pozornost 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října 2011 19 / 19