Slajdy k přednášce Lineární algebra II Milan Hladík Katedra Aplikované Matematiky, Matematicko-fyzikální fakulta, Univerzita Karlova v Praze, http://kam.mff.cuni.cz/~hladik 14. února 17
Vzdálenost a klasifikace číslic Chceme klasifikovat: Jednotlivé vzdálenosti: :197.44 1:37.3 :1.79 3:1816.3 4:1868.78 :1771.64 6:38.7 7:9.1 8:1843. 9:19.81 Klasifikujeme jako (ale je blízko také číslu 3).
Fourierůvrozvojfunkce f(x) = xna π,π Fourierůvrozvoj x = a + k=1 (a ksin(kx)+b k cos(kx)),kde: a = 1 π f(x) 1 dx = 1 π x dx = π π π π a k = 1 π f(x)sin(kx) dx = 1 π xsin(kx) dx = ( 1) k+1 π π π π k b k = 1 π f(x)cos(kx) dx = 1 π xcos(kx) dx =. π π π π Tedy x = k=1 ( 1)k+1 k sin(kx). y f(x) = x aproximace 4 k=1 ( 1)k+1 k sin(kx) π π x
Lineární regrese: vývoj světové populace rok 19 196 197 198 199 populace(mld.),19,98 3,69 4,43,63 6,7 Proloženípřímkou y = px +q:,19 = p 19+q. 6,7 = p +q y 6 A=[19 196 197 198 199 ; 1 1 1 1 1 1 ] ; 4 b=[.19.98 3.69 4.43 3 y =,74x 138,84.63 6.7] ; x=inv(a *A)*A *b, x *[9; 1] 19 196 197 198 199 x Odhad pro rok 9: 6,6 mld., skutečnost: 6,793 mld.
Ortogonálnímatice:otočenídleosyo18 x a x x x 1 Otočeníbodu xkolemosyo18 vesměru a: x +(x x) =x x =a(a T a) 1 a T x x = ) ( aat a T a I x Tedy matice otočení: aat a T a I.
Ortogonální matice: Householderova transformace Householderovo zrcadlení dle nadroviny s normálou a: x a x x 1 Nejprveotočímeo18 dle a,apakpřeklopímedlepočátku: I aat a T a.
Výpočet deteminantu z definice 1. Maticeřádu: a 11 a 1 a 1 a = a 11a a 1 a 1.. Maticeřádu3: a 11 a 1 a 13 a 1 a a 3 a 31 a 3 a 33 = a 11a a 33 +a 1 a 3 a 13 +a 31 a 1 a 3 a 31 a a 13 a 11 a 3 a 3 a 1 a 1 a 33 Mnemotechnicky(Sarrusovo pravidlo, pouze pro matice řádu 3): a 11 a 1 a 13 a 1 a a 3 a 31 a 3 a 33 a 11 a 1 a 13 a 1 a a 3
Výpočet deteminantu pomocí elementárních úprav Př.: 1 3 4 1 3 4 1 3 4 1 1 3 = 1 1 1 3 = 1 1 3 1 3 4 3 4 3 4 1 3 4 1 3 4 = 1 1 3 1 = 1 1 3 1. 1 1 1 3 4 = 1 1 3 1. =.
Laplaceův rozvoj determinantu Př.: Laplaceův rozvoj determinantu dle 4. řádku 1 3 4 1 1 3 4 1 3 4 = ( 1) 4+1 1 4 4 +( 1)4+ 1 1 1 4 1 3 +( 1) 4+3 ( 4) 1 +( 1)4+4 ( 4) 1 1 =+ 4+4 4 =8
Cramerovo pravidlo Př.: Řešte soustavu rovnic Řešení: 1 3 1 1 1 3 4 1 3 1 1 3 1 1 3 1 4 x 1 = = 4 1 3 1 4 =, x = = 1 3 4 =1, x3 = 1 3 1 3 1 3 1 1 1 1 1 1 = = 1,
Adjungovaná matice Př.:Buď Pak: 1 3 A = 1 1. adj(a) 1 = ( 1) 1+ 3 =,... Celkem: Poznámka: adj(a) = ( ) 4 3 1. 1 1 ( ) A 1 = 1 4 det(a) adj(a) =1 3 1. 1 1
Geometrická interpretace determinantu (,,1) A A 1 A (1,,) A 3 objem =1 objem = det(a)
Geometrická interpretace determinantu(pokr.) A objem = V objem = det(a) V
Vlastní čísla lineárních zobrazení v rovině y x Překlopenídlepřímky y = x, ( ) 1 matice zobrazení A =, 1 vlastní čísla: 1,vlastnívektor ( 1,1) T 1,vlastnívektor (1,1) T y x Rotaceoúhel9, matice zobrazení A = žádná reálná vlastní čísla. ( ) 1, 1
Výpočet vlastních čísel pomocí charakteristického polynomu Př.: Nyní: A = p A (λ) =det(a λi n ) =det ( ) 1. 1 ( ) λ 1 = λ +1. 1 λ Kořenypolynomu,atedyvlastnímičíslymatice A,jsou ±i.
Lineární deformace obrázku Mějmematici A = ( 1..7 1 ). Vlastní čísla a vlastní vektory: λ 1 =1., x 1 = (1,) T, λ =1, x = (,1) T Zobrazení x Axpředstavujeskoseníaprotáhnutívose x 1 o%. původní obrázek obrázek po transformaci
Geometrická interpretace diagonalizace transformace do jiného souřadného systému Př.: Vlastní čísla a vlastní vektory: A = ( ) 3 1 1 3 λ 1 =4, x 1 = (1,1) T, λ =, x = ( 1,1) T Diagonalizace: A = ( ) (4 ) ( ) y y A 1 1 x y 1 x A 4 1 x
Jordanova normální forma Př.: 6 1 3 A = 7 3 1 4 6 11 Jordanova normální forma matice A: 7 7 1 7
Soustava lineárních diferenciálních rovnic Homogenní soustava lineárních diferenciálních rovnic 1. řádu s konstantními keoficienty: u(t) = Au(t), kde u : R R n jeneznámáfunkceau(t ) = u počátečnípodmínka. Hledámeřešenívetvaru u(t) i = v i e λt,kde v i,λjsouneznámé. Dosazením: λe λt v = e λt Av, neboli λv = Av. Vedenavýpočetvlastníchčísel λ 1,...,λ n avektorů x 1,...,x n. Řešeníje u(t) = n i=1 α ie λit x i,kde α i R(získásezpoč.podm.).
Soustava lineárních diferenciálních rovnic, příklad Př.: Matice u 1 =7u 1 4u u =u 1 u ( ) 7 4 má vlastní čísla:,vlastnívektor (4,) T, 3,vlastnívektor (1,1) T. Řešení úlohy jsou tvaru ( ) ( ) ( ) u1 = a e t 4 +b e 3t 1, a,b R. 1 u
Markovovy řetězce Př.: Migrace obyvatel USA město předměstí venkov: změsta: 96%zůstane,3%dopředměstí,1%navenkov zpředměstí: 1%doměsta,98%zůstane,1%navenkov z venkova: 1.% do města,.% do předměstí, 98% zůstane Počáteční stav: 8 mil. ve městě, 14 mil. předměstí, 6 mil. venkov. Jaksebudevyvíjetvčase?.96.1.1 A :=.3.98., x = (8,14,6) T..1.1.98 Vývojvčase: Ax, A x, A 3 x,...,a x. A = Q 1.9 Q 1 A =.97 Tedy 3% ve městě, 43% předměstí, 33% venkov..3.3.3.43.43.43..33.33.33
Vlastní čísla: mocninná metoda Př.: 4 A = 4, x = (1,,1) T. 1 Výpočet: i x i x T i 1 y i (1.,.,1.) T 1 (.67,1.,.17) T (1.,.88,.6) T 6.3 3 (.97,1.,.47) T 6.94 4 (1.,1.,.) T 7 A=[ 4 ; 4 ; -1]; x=[1;;1]; for i=1:4 y=a*x; (y *x), x=y/norm(y); x/max(abs(x)), end
Vyhledávač GoogleTM a PageRank N webových { stránek 1 j-tá stránka odkazuje na i-tou a ij = jinak b j =početodkazůzj-téstránky x i =důležitost i-téstránky Řešíme x i = n a ij j=1 b j x j, i =1,...,N. Maticově A x = x,kde a ij := a ij b j.tedy xjevlastnívektork1. Příklady Page ranku: www.google.com 1 www.cuni.cz 8 www.mff.cuni.cz 7 kam.mff.cuni.cz 6 kam.mff.cuni.cz/~hladik 4
Gerschgorinovy disky Př.: 1 A = 1, vlastníčísla:.78, 3.39±.6i 1 3 Im 3 λ 1 1 λ 7 6 4 3 1 1 1 3 4 6 7 8 9 λ 3 Re 3
Choleskéhorozklad A = LL T Př.: Počítáme prvky L od prvního sloupce shora 1 3 1 1 1 3 1 1 4 4 1 1 4 1 6
Bilineární a kvadratické formy Př.:nesymetrickábilineárníformana R b(x,y) = x 1 y 1 +x 1 y +4x y 1 +1x y. Maticové vyjádření formy: b(x,y) = x T Ay = ( x 1 x ) ( 1 4 1 Př.:symetrickábilineárníformana R )( y1 b (x,y) = x 1 y 1 +3x 1 y +3x y 1 +1x y. Maticové vyjádření formy: b (x,y) = x T A y = ( x 1 x ) ( 1 3 3 1 Odpovídající kvadratická forma: y )( y1 f (x) = b (x,x) = x T A x = ( x 1 x ) ( 1 3 3 1 y ). ). )( x1 x ).
KvadratickéformyvR 3 4 1 3 1 1 3 1 4 3 x 1 +x x 1 x x 1 x 1. 1 1 1 1. 1 x 1 x 1
Diagonalizace kvadratické formy Př.: 1 1 3 1 3 1 1 1 1 1 1 1 1 1 3 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 Závěr: matice je positivně semidefinitní.
KvadrikyvR 3.6..4.3..1 3 1 1 1. 1.. 1.1 3 1. 1 1 1 1 1 1 1.. 1 x 1 a + x b + x 3 c =1 x 1 a x b x 3 = x 1 a x b + x 3 c =1 1 1.8.8.6.6.4.4.. 4 4 1 1...ajiné x 1 a x b =1 x 1 a + x b x 3 c =1 x 1 a + x b x 3 c =
Top 1 algoritmy. století [J. Dongarra a F. Sullivan, The Top Ten Algorithms of the Century, Computing in Science and Engineering,.] 1. MetodaMonteCarlo(1946,J.vonNeumann,S.Ulam,andN. Metropolis). Simplexová metoda pro lineární programování(1946, G. Dantzig) 3. Iterační metody Krylovových podprostorů(19, M. Hestenes, E. Stiefel, C. Lanczos) 4. Dekompozice matic(191, A. Householder). Překladač Fortranu(197, J. Backus) 6. QR algoritmus pro výpočet vlastních čísel,(1961, J. Francis) 7. Quicksort(196, A. Hoare) 8. Rychlá Fourierova transformace(196, J. Cooley, J. Tukey) 9. Integer relation detection algorithm(1977, H. Ferguson, R. Forcade) 1. Fast multipole algorithm(1987, L. Greengard, V. Rokhlin)
QR rozklad Vstup: A R m n Algoritmus: Q := I m ; R := A for j :=1:min(m,n)do x = R(j : m,j) if x x e 1 x := x x e 1 H(x) := I m j+1 ( ) x T x xxt Ij 1 H := H(x) R := HR; Q := QH end end Výstup: A = QR
QR rozklad příklad Př.: První iterace: 14 A = 3 7 4 4 11 u 1 = A,1 A,1 e 1 = (,3,4) T, Q 1 = I 3 u 1u1 T u1 Tu = 1 1 4 1 16 1, Q 1A = 1. 1 1 9 1 Druhá iterace: u = (, ) T e 1 = (, ) T, Q = I u ( ) ( ) u T 1 1 u Tu =, Q 1 1 1 = ( ) 1. 1 Výsledek: ( ) 1 Q = Q 1 = 1 1 4 1 1 16, R = 1. Q 9 1 1
QR algoritmus příklad Př.: 4 6.1667.463.8616 A = 4.463 1.76.98 1.8616.98 1.991 6.97.77.86 6.9939..74.77 1.9331.4. 1.994.18.86.4 1.99.74.18 1.9994 6.999.636.1 7.18.61.636 1.9996.1.18 1.1.1 1.9999.61 1 A=[ 4 ; 4 ; -1]; for i=1: [Q,R]=qr(A); A=R*Q, end
SVD rozklad příklad Př.: Řešení: AA T = A T A = 3 3 3 3 ( A = 1 1. 3 6 3 6 6 3 3 4 6 3 6 6 ) (6 ) ( ). 4 6 3 3 3 3 3 6 6 6 6, Závěr: A = 3 3 6 3 6 3 6 3 6 3 3 6 6 ( )
SVD komprese obrazu(1) originál(k =48) k =1 k = k =
SVD komprese obrazu() Foto z konference o numerické algebře v Gatlinburgu, 1964. 48 64pixelů. SVDrozkladzaccasec(11..1). Zleva: James H. Wilkinson, Wallace Givens, George Forsythe, Alston Householder, Peter Henrici, and Fritz Bauer. load gatlin, [X,S,Y]=svd(X); figure(), clf, k = 1; Xk = X(:,1:k)*S(1:k,1:k)*Y(:,1:k) ; image(xk), colormap(map), axis equal, axis off,