TECHNICKÁ UNIVERZITA V LIBERCI Fakulta mechatroniky, informatiky a mezioborových studií Přednáška 4 Zbyněk Koldovský Projekt ESF CZ.1.07/2.2.00/28.0050 a inovace výuky technických předmětů.
a inovace výuky technických předmětů 2 / 19 Část I Optimální filtry
Vstup, výstup, chyba x[n] je vstupní signál a inovace výuky technických předmětů 3 / 19
Vstup, výstup, chyba a inovace výuky technických předmětů 3 / 19 x[n] je vstupní signál Signál zpracováváme FIR filtrem w délky L, výstup je y[n] = w[0]x[n] + w[1]x[n 1] + + w[l 1]x[n L] L 1 = w[k]x[n k]. k=0
Vstup, výstup, chyba a inovace výuky technických předmětů 3 / 19 x[n] je vstupní signál Signál zpracováváme FIR filtrem w délky L, výstup je y[n] = w[0]x[n] + w[1]x[n 1] + + w[l 1]x[n L] L 1 = w[k]x[n k]. k=0 Vektorový zápis kde x n = x[n] x[n 1]. x[n L] y[n] = w T x n w = w[0] w[1]. w[l],
a inovace výuky technických předmětů 4 / 19 Vstup, výstup, chyba Necht d[n] značí ideální výstup
a inovace výuky technických předmětů 4 / 19 Vstup, výstup, chyba Necht d[n] značí ideální výstup Chyba výstupu je e[n] = d[n] y[n] = d[n] w T x n.
a inovace výuky technických předmětů 4 / 19 Vstup, výstup, chyba Necht d[n] značí ideální výstup Chyba výstupu je e[n] = d[n] y[n] = d[n] w T x n. Filtr w můžeme hledat optimalizací nějakého kritéria, např. kvadratického J n (w) = e[n] 2.
a inovace výuky technických předmětů 5 / 19 Gradient J n (w) Gradient J n (w), tj. vektor parciálních derivací podle jednotlivých složek w, lze zapsat vektorově J n (w) = 2x n d(n) + 2x n x T n w.
a inovace výuky technických předmětů 5 / 19 Gradient J n (w) Gradient J n (w), tj. vektor parciálních derivací podle jednotlivých složek w, lze zapsat vektorově Zavedeme označení J n (w) = 2x n d(n) + 2x n x T n w. R n = x n x T n p n = x n d[n],
a inovace výuky technických předmětů 5 / 19 Gradient J n (w) Gradient J n (w), tj. vektor parciálních derivací podle jednotlivých složek w, lze zapsat vektorově Zavedeme označení J n (w) = 2x n d(n) + 2x n x T n w. R n = x n x T n p n = x n d[n], Gradient můžeme zapsat jako J n (w) = 2p n + 2R n w.
Least Mean Square (LMS) a inovace výuky technických předmětů 6 / 19 Položíme-li J n (w) roven nule, dostáváme rovnici R n w = p n
Least Mean Square (LMS) a inovace výuky technických předmětů 6 / 19 Položíme-li J n (w) roven nule, dostáváme rovnici R n w = p n Matice R n má hodnost 1, takže nemá inverzi.
Least Mean Square (LMS) a inovace výuky technických předmětů 6 / 19 Položíme-li J n (w) roven nule, dostáváme rovnici R n w = p n Matice R n má hodnost 1, takže nemá inverzi. Definujeme nové kritérium zprůměrováním J n (w) přes interval n = 1,..., N J LMS (w) = 1 N N J n (w) = 1 N n=1 N e[n] 2. n=1
Least Mean Square (LMS) a inovace výuky technických předmětů 6 / 19 Položíme-li J n (w) roven nule, dostáváme rovnici R n w = p n Matice R n má hodnost 1, takže nemá inverzi. Definujeme nové kritérium zprůměrováním J n (w) přes interval n = 1,..., N J LMS (w) = 1 N N J n (w) = 1 N n=1 N e[n] 2. n=1 Gradient J LMS (w) je průměr gradientů J n (w) J LMS (w) = 1 N N J n (w) n=1
Least Mean Square (LMS) Takže kde a inovace výuky technických předmětů 7 / 19 J LMS (w) = 2p + 2Rw R = 1 N p = 1 N N x n x T n = 1 N n=1 N x n d[n] = 1 N n=1 N n=1 R n N p n. n=1
Least Mean Square (LMS) Takže kde a inovace výuky technických předmětů 7 / 19 J LMS (w) = 2p + 2Rw R = 1 N p = 1 N N x n x T n = 1 N n=1 N x n d[n] = 1 N n=1 N n=1 R n N p n. n=1 Matice R již může mít inverzi (je-li interval n = 1,..., N dostatečně dlouhý). Proto w LMS = R 1 p.
Co jsou prvky R? Auto-kovariance x R ij = 1 N a inovace výuky technických předmětů 8 / 19 N x[n i + 1]x[n j + 1] n=1
Co jsou prvky R? Auto-kovariance x R ij = 1 N a inovace výuky technických předmětů 8 / 19 N x[n i + 1]x[n j + 1] n=1 Matici R lze též zapsat jako R = 1 N XXT kde X = x[1] x[2]...... x[n] 0 x[1]...... x[n 1]..... 0... x[1]... x[n L]
Co jsou prvky R? Auto-kovariance x R ij = 1 N a inovace výuky technických předmětů 8 / 19 N x[n i + 1]x[n j + 1] n=1 Matici R lze též zapsat jako kde X = R = 1 N XXT x[1] x[2]...... x[n] 0 x[1]...... x[n 1]..... 0... x[1]... x[n L] R je symetrická a positivně semidefinitní (má nezáporná vlastní čísla).
a inovace výuky technických předmětů 9 / 19 Co jsou prvky p? Cross-kovariance p j = 1 N N x[n j + 1]d[n] n=1
a inovace výuky technických předmětů 9 / 19 Co jsou prvky p? Cross-kovariance p j = 1 N N x[n j + 1]d[n] n=1 Lze zapsat kde p j = 1 N Xd d = [ d[1], d[2],..., d[n] ] T
a inovace výuky technických předmětů 9 / 19 Co jsou prvky p? Cross-kovariance p j = 1 N N x[n j + 1]d[n] n=1 Lze zapsat kde p j = 1 N Xd d = [ d[1], d[2],..., d[n] ] T Celkově lze psát w LMS = (XX T ) 1 Xd
Wienerův filtr a inovace výuky technických předmětů 10 / 19 Vychází ze stochastického modelu signálů: x a d jsou slabě stacionární.
Wienerův filtr a inovace výuky technických předmětů 10 / 19 Vychází ze stochastického modelu signálů: x a d jsou slabě stacionární. Kritérium definujeme jako J(w) = E[e[n] 2 ]. Díky slabé stacionaritě je toto kritérium nezávislé na n (na čase).
Wienerův filtr a inovace výuky technických předmětů 10 / 19 Vychází ze stochastického modelu signálů: x a d jsou slabě stacionární. Kritérium definujeme jako J(w) = E[e[n] 2 ]. Díky slabé stacionaritě je toto kritérium nezávislé na n (na čase). Operátor střední hodnoty E[ ] je lineární a stejně tak operátor derivace (gradient).
Wienerův filtr a inovace výuky technických předmětů 10 / 19 Vychází ze stochastického modelu signálů: x a d jsou slabě stacionární. Kritérium definujeme jako J(w) = E[e[n] 2 ]. Díky slabé stacionaritě je toto kritérium nezávislé na n (na čase). Operátor střední hodnoty E[ ] je lineární a stejně tak operátor derivace (gradient). Gradient J(w) položíme roven nule, takže kde w wiener = R 1 p, R = E [ ] x n x T n p = E [ x n d[n] ].
LMS vs. Wienerův filtr a inovace výuky technických předmětů 11 / 19 Jsou-li x a d stacionární, pak N + w LMS w wiener
LMS vs. Wienerův filtr a inovace výuky technických předmětů 11 / 19 Jsou-li x a d stacionární, pak N + w LMS w wiener Pokud signály nejsou stacionární, nelze nic obecně usoudit.
Wienerův filtr ve frekvenční oblasti a inovace výuky technických předmětů 12 / 19 Výstup Y (θ) = W (θ)x(θ)
Wienerův filtr ve frekvenční oblasti a inovace výuky technických předmětů 12 / 19 Výstup Y (θ) = W (θ)x(θ) Minimalizujeme J(W (θ)) = E[ D(θ) W (θ)x(θ) 2 ]
Wienerův filtr ve frekvenční oblasti a inovace výuky technických předmětů 12 / 19 Výstup Y (θ) = W (θ)x(θ) Minimalizujeme Wienerův filtr je J(W (θ)) = E[ D(θ) W (θ)x(θ) 2 ] W (θ) = S dx(θ) S xx (θ), kde S dx (θ) = E[D(θ)X(θ)] a S xx (θ) = E[ X(θ) 2 ]
Příklad a inovace výuky technických předmětů 13 / 19 Vstup: zaručený signál s[n] nezávislým šumem v[n] x[n] = s[n] + v[n] X(θ) = S(θ) + V (θ)
Příklad a inovace výuky technických předmětů 13 / 19 Vstup: zaručený signál s[n] nezávislým šumem v[n] x[n] = s[n] + v[n] X(θ) = S(θ) + V (θ) Zde d[n] = s[n], tedy S dx (θ) = E[D(θ)X(θ)] = E[S(θ)(S(θ) + V (θ))] = E[ S(θ) 2 ] S dx (θ) = E[ X(θ) 2 ] = E[ S(θ) + V (θ) 2 ] = E[ S(θ) 2 ] + E[ V (θ) 2 ]
Příklad a inovace výuky technických předmětů 13 / 19 Vstup: zaručený signál s[n] nezávislým šumem v[n] x[n] = s[n] + v[n] X(θ) = S(θ) + V (θ) Zde d[n] = s[n], tedy S dx (θ) = E[D(θ)X(θ)] = E[S(θ)(S(θ) + V (θ))] = E[ S(θ) 2 ] S dx (θ) = E[ X(θ) 2 ] = E[ S(θ) + V (θ) 2 ] Wienerův filtr = E[ S(θ) 2 ] + E[ V (θ) 2 ] W (θ) = E[ S(θ) 2 ] E[ S(θ) 2 ] + E[ V (θ) 2 ]
a inovace výuky technických předmětů 14 / 19 Příklad Výstup Wienerova filtru Y (θ) = W (θ)x(θ) = E[ S(θ) 2 ] E[ S(θ) 2 ] + E[ V (θ) 2 ] X(θ)
a inovace výuky technických předmětů 14 / 19 Příklad Výstup Wienerova filtru Y (θ) = W (θ)x(θ) = Lze zapsat ve tvaru kde Y (θ) = E[ S(θ) 2 ] E[ S(θ) 2 ] + E[ V (θ) 2 ] X(θ) 1 1 + ξ(θ) X(θ), ξ(θ) = 1 SNR(θ) a SNR(θ) = E[ S(θ) 2 ] E[ V (θ) 2 ]
a inovace výuky technických předmětů 15 / 19 Část II Adaptivní filtry
Adaptivní LMS a inovace výuky technických předmětů 16 / 19 Cílem je průběžně měnit filtr w optimalizováním kritéria J n (w n ).
a inovace výuky technických předmětů 16 / 19 Adaptivní LMS Cílem je průběžně měnit filtr w optimalizováním kritéria J n (w n ). LMS: metoda největšího spádu kde µ je délka kroku. w n+1 = w n µ J n (w n ),
a inovace výuky technických předmětů 16 / 19 Adaptivní LMS Cílem je průběžně měnit filtr w optimalizováním kritéria J n (w n ). LMS: metoda největšího spádu kde µ je délka kroku. Po dosazení kde e[n] = d[n] y[n]. w n+1 = w n µ J n (w n ), w n+1 = w n + µx n e[n],
Adaptivní LMS a inovace výuky technických předmětů 16 / 19 Cílem je průběžně měnit filtr w optimalizováním kritéria J n (w n ). LMS: metoda největšího spádu kde µ je délka kroku. Po dosazení kde e[n] = d[n] y[n]. Normalizovaný LMS filtr: w n+1 = w n µ J n (w n ), w n+1 = w n + µx n e[n], x n w n+1 = w n + µ x n 2 e[n].
RLS (Recursive Least Square) a inovace výuky technických předmětů 17 / 19 Optimalizujeme kritérium, které akumuluje chybový signál s exponenciálním zapomínáním n Jn RLS (w n ) = λ n k e n [k] 2, k=1 kde 0 < λ 1 a chybový signál je definovaný jako e n [k] = d[k] w T n x k.
RLS (Recursive Least Square) a inovace výuky technických předmětů 17 / 19 Optimalizujeme kritérium, které akumuluje chybový signál s exponenciálním zapomínáním n Jn RLS (w n ) = λ n k e n [k] 2, k=1 kde 0 < λ 1 a chybový signál je definovaný jako e n [k] = d[k] w T n x k. Položením gradientu Jn RLS (w n ) dostaneme normálovou rovnici Φ n w n = z n, kde Φ n je obdobou R a z n je obdobou p n n Φ n = λ n k x k x T k a z n = λ n k x k d[k]. k=1 k=1
RLS (Recursive Least Square) a inovace výuky technických předmětů 18 / 19 Algoritmus je odvozený tak, abychom (Φ n ) 1 a z n nemuseli v každém kroku počítat znovu. Jsou počítány rekurzivně.
RLS (Recursive Least Square) a inovace výuky technických předmětů 18 / 19 Algoritmus je odvozený tak, abychom (Φ n ) 1 a z n nemuseli v každém kroku počítat znovu. Jsou počítány rekurzivně. Jeden krok algoritmu je počítán h n = P n 1 x n k n = h n λ + x T n h n ξ[n] = d[n] w T n 1 x n w n = w n 1 + k n ξ[n] P n = λ 1 P n 1 λ 1 k n x T n P n 1, kde P n značí (Φ n ) 1. Algoritmus bývá inicializován P 0 = δi a w 0 = [1, 0,..., 0] T.
a inovace výuky technických předmětů 19 / 19 Tento materiál vznikl v rámci projektu ESF CZ.1.07/2.2.00/28.0050 a inovace výuky technických předmětů, který je spolufinancován Evropským sociálním fondem a státním rozpočtem ČR.