Lineární algebra rekonstrukce obrazu

Transkript

1 Lineární algebra rekonstrukce obrazu Prezentace práce pro matematický seminář 0 Mdx Theuer 20. října Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

2 Obsah Matematická reprezentace obrazu 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

3 Obsah Matematická reprezentace obrazu Popis lineárního modelu rozostření 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

4 Obsah Matematická reprezentace obrazu Popis lineárního modelu rozostření Odvození a realizace vybraných metod 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

5 Obsah Matematická reprezentace obrazu Popis lineárního modelu rozostření Odvození a realizace vybraných metod Testování na příkladech 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

6 Obsah Matematická reprezentace obrazu Popis lineárního modelu rozostření Odvození a realizace vybraných metod Testování na příkladech Současná práce 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

7 Matematická reprezentace obrazu 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

8 Matematická reprezentace obrazu f (x, y) = f (1, 1) f (1, 2) f (1, n) f (2, 1) f (2, 2) f (2, n) f (m, 1) f (m, 2) f (m, n) X = x 1,1 x 1,2 x 1,n x 2,1 x 2,2 x 2,n x m,1 x m,2 x m,n 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

9 Matematická reprezentace obrazu f (x, y) = f (1, 1) f (1, 2) f (1, n) f (2, 1) f (2, 2) f (2, n) f (m, 1) f (m, 2) f (m, n) X = x 1,1 x 1,2 x 1,n x 2,1 x 2,2 x 2,n x m,1 x m,2 x m,n x = vec( X). 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

10 Lineární model rozostření Předpokládáme existenci přesného obrazu x 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

11 Lineární model rozostření Předpokládáme existenci přesného obrazu x Vlivem různých podmínek dochází k rozostření a vzniku neostrého obrazu b 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

12 Lineární model rozostření Předpokládáme existenci přesného obrazu x Vlivem různých podmínek dochází k rozostření a vzniku neostrého obrazu b Proces rozostření modelujeme jako násobení maticí A A x = b 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

13 Lineární model rozostření Předpokládáme existenci přesného obrazu x Vlivem různých podmínek dochází k rozostření a vzniku neostrého obrazu b Proces rozostření modelujeme jako násobení maticí A A x = b A x + n = b 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

14 Kvazi-Newtonovy metody 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

15 Kvazi-Newtonovy metody Řešíme systém A T A x = A T b, 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

16 Kvazi-Newtonovy metody Řešíme systém A T A x = A T b, jehož řešení odpovídá minimalizaci minf ( x) = 1 2 xt A T A x x T A b, 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

17 Kvazi-Newtonovy metody Řešíme systém A T A x = A T b, jehož řešení odpovídá minimalizaci minf ( x) = 1 2 xt A T A x x T A b, což vede k předpisu x k+1 = x k α k M k g k = x k + α k M k r k 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

18 Metody bez omezení Landweberova metoda α (0, 2ρ(A T A) 1 ) 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

19 Metody bez omezení Landweberova metoda α (0, 2ρ(A T A) 1 ) Residual Norm Steepest Descent - RNSD α k = min α>0 f ( x k α g k ) 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

20 Metody bez omezení Landweberova metoda α (0, 2ρ(A T A) 1 ) Residual Norm Steepest Descent - RNSD α k = min α>0 f ( x k α g k ) 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

21 Metody s omezením Minimalizační úloha min f ( x), x Ω B kde Ω B = { x R n : x 0}, f ( x) = 1 2 xt A T A x x T A b. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

22 Metody s omezením Minimalizační úloha min f ( x), x Ω B kde Ω B = { x R n : x 0}, f ( x) = 1 2 xt A T A x x T A b. Projekce Nechť je Ω B je neprázdná konvexní podmnožina euklidovského prostoru R n a x prvkem tohoto prostoru. Projekce P ΩB ( x) do Ω B je dána [P ΩB ( x)] i = max{0, x i }, i = 1, 2,..., n 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

23 Metody s omezením FSGP Fixed Steplength Gradient Projection - FSGP α (0, 2ρ(A T A) 1 ) x k+1 = P ΩB ( x k α g k ) 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

24 Metody s omezením FSGP Fixed Steplength Gradient Projection - FSGP α (0, 2ρ(A T A) 1 ) x k+1 = P ΩB ( x k α g k ) 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

25 Metody s omezením RNSDP Residual Norm Steepest Descent with Projection - RNSDP 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

26 Metody s omezením RNSDP Residual Norm Steepest Descent with Projection - RNSDP α BO - ideální délka kroku bez omezení, která je stejná jako v případě RNSD α BO = min α>0 f ( x k α BO g k ) 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

27 Metody s omezením RNSDP Residual Norm Steepest Descent with Projection - RNSDP α BO - ideální délka kroku bez omezení, která je stejná jako v případě RNSD α BO = min α>0 f ( x k α BO g k ) α O - délka omezeného kroku α O = min { x i i / A}, g>0 g i je taková délka kroku ve směru g, který by vedl právě na hranici. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

28 Metody s omezením RNSDP Residual Norm Steepest Descent with Projection - RNSDP α BO - ideální délka kroku bez omezení, která je stejná jako v případě RNSD α BO = min α>0 f ( x k α BO g k ) α O - délka omezeného kroku α O = min { x i i / A}, g>0 g i je taková délka kroku ve směru g, který by vedl právě na hranici. α FS - pevná délka kroku α FS (0, 2ρ(A T A) 1 ) 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

29 Metody s omezením RNSDP 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

30 Metody s omezením MRNSD Modified Residual norm Steepest Descent - MRNSD x = e z 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

31 Metody s omezením MRNSD Modified Residual norm Steepest Descent - MRNSD x = e z minf ( x) = 1 2 ez A T Ae z e z A b 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

32 Metody s omezením MRNSD Modified Residual norm Steepest Descent - MRNSD x = e z minf ( x) = 1 2 ez A T Ae z e z A b pro kterou platí: f (z) = x f ( x) Iterační předpis: x k+1 = x k α x k f ( x) 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

33 Metody s omezením Konvergence 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

34 Testování na příkladech Testovací data 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

35 Testování na příkladech Výsledky Obrázek: RNSDP a MRNSD 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

36 Současná práce MPRGP - náhled Modified Proportioning with Reduced Gradient Projections - MPRGP Je dáno ( x 0 Ω, α FS 0, A T A 1, Γ > 0, 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

37 Současná práce MPRGP - náhled Modified Proportioning with Reduced Gradient Projections - MPRGP Je dáno ( x 0 Ω, α FS 0, A T A 1, Γ > 0, pro k 0 a známé x k generujeme x k+1 podle následujících pravidel: Pokud je ν ( x k) = 0: x k+1 = x k. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

38 Současná práce MPRGP - náhled Modified Proportioning with Reduced Gradient Projections - MPRGP Je dáno ( x 0 Ω, α FS 0, A T A 1, Γ > 0, pro k 0 a známé x k generujeme x k+1 podle následujících pravidel: Pokud je ν ( x k) = 0: x k+1 = x k. Pokud je x k strictly proportional a ν ( x k) 0, zkusíme generovat x k+1 jako conjugate gradient step. Pokud x k+1 Ω, přijmeme jej, jinak generujeme x k+1 pomocí expansion step. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

39 Současná práce MPRGP - náhled Modified Proportioning with Reduced Gradient Projections - MPRGP Je dáno ( x 0 Ω, α FS 0, A T A 1, Γ > 0, pro k 0 a známé x k generujeme x k+1 podle následujících pravidel: Pokud je ν ( x k) = 0: x k+1 = x k. Pokud je x k strictly proportional a ν ( x k) 0, zkusíme generovat x k+1 jako conjugate gradient step. Pokud x k+1 Ω, přijmeme jej, jinak generujeme x k+1 pomocí expansion step. Pokud x k není strictly proportional, provedeme proportioning, čímž získáme x k+1. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

40 Současná práce MPRGP MPRGP - Conjugate Gradient Step V každé iteraci testujeme podmínku ( β x k) 2 ( Γ ϕ x k) T ( ϕ x k) 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

41 Současná práce MPRGP MPRGP - Conjugate Gradient Step V každé iteraci testujeme podmínku ( β x k) 2 ( Γ ϕ x k) T ( ϕ x k) pokud je splněna, zkusíme conjugate gradient step x k+1 = x k α CG p k, kde p k je směr sdružených gradientů, který je generován postupně. Generování začíná z p s = ϕ( x s ) kdykoli je x s získán z expansion step nebo proportioning step. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

42 Současná práce MPRGP MPRGP - Conjugate Gradient Step V každé iteraci testujeme podmínku ( β x k) 2 ( Γ ϕ x k) T ( ϕ x k) pokud je splněna, zkusíme conjugate gradient step x k+1 = x k α CG p k, kde p k je směr sdružených gradientů, který je generován postupně. Generování začíná z p s = ϕ( x s ) kdykoli je x s získán z expansion step nebo proportioning step. Pokud je x k+1 přípustné, přijmeme jej, jinak provedeme expansion step. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

43 Současná práce MPRGP MPRGP - Expansion Step Expansion step je krok s pevnou délkou a projekcí: x k+1 = P Ω ( x k α FS ϕ( x k )) 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

44 Současná práce MPRGP MPRGP - Expansion Step Expansion step je krok s pevnou délkou a projekcí: x k+1 = P Ω ( x k α FS ϕ( x k )) Tento krok může rozšířit aktivní množinu. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

45 Současná práce MPRGP MPRGP - Expansion Step Expansion step je krok s pevnou délkou a projekcí: x k+1 = P Ω ( x k α FS ϕ( x k )) Tento krok může rozšířit aktivní množinu. MPRGP - Proportioning Step Proportioning step je krok restartování sdružených gradientů: x k+1 = x α CG β( x k ) 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

46 Současná práce MPRGP MPRGP - Expansion Step Expansion step je krok s pevnou délkou a projekcí: x k+1 = P Ω ( x k α FS ϕ( x k )) Tento krok může rozšířit aktivní množinu. MPRGP - Proportioning Step Proportioning step je krok restartování sdružených gradientů: x k+1 = x α CG β( x k ) Tento krok naopak odebírá indexy z aktivní množiny. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

47 Současná práce Aktuální stav 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

48 Současná práce Aktuální stav Jednotlivé algoritmy jsem přepsal s využitím knihovny RestoreTools, kterou vyvíjí James Nagy a jeho tým. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

49 Současná práce Aktuální stav Jednotlivé algoritmy jsem přepsal s využitím knihovny RestoreTools, kterou vyvíjí James Nagy a jeho tým. Implementoval jsem MPRGP pro nesymetrické matice obrazu. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

50 Současná práce Aktuální stav Jednotlivé algoritmy jsem přepsal s využitím knihovny RestoreTools, kterou vyvíjí James Nagy a jeho tým. Implementoval jsem MPRGP pro nesymetrické matice obrazu. Nepodařilo se mi dosáhnout výrazného zlepšení předchozích algoritmů. 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

51 Závěr Otázky? 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19

52 Závěr Otázky? Děkuji za pozornost 0 Mdx Theuer () Lineární algebra rekonstrukce obrazu 20. října / 19