Maticová algebra ve statistice

Univerzita Karlova v Praze Matematicko-fyzikální fakulta BAKALÁŘSKÁ PRÁCE František Navrátil Maticová algebra ve statistice Katedra pravděpodobnosti a matematické statistiky Vedoucí bakalářské práce: Doc Mgr Michal Kulich, PhD Studijní program: Matematika Studijní obor: Finanční matematika Praha 2011

Na tomto místě bych rád poděkoval svému vedoucímu, panu doc Mgr Michalu Kulichovi, PhD, za poskytnuté odborné materiály, ochotně předané cenné rady a velmi efektivní komunikaci

Prohlašuji, že jsem tuto bakalářskou práci vypracoval samostatně a výhradně s použitím citovaných pramenů, literatury a dalších odborných zdrojů Berunavědomí,žesenamojiprácivztahujíprávaapovinnostivyplývajícíze zákona č 121/2000 Sb, autorského zákona v platném znění, zejména skutečnost, že Univerzita Karlova v Praze má právo na uzavření licenční smlouvy o užití této práce jako školního díla podle 60 odst 1 autorského zákona Vdne Podpisautora

Název práce: Maticová algebra ve statistice Autor: František Navrátil Katedra: Katedra pravděpodobnosti a matematické statistiky Vedoucí bakalářské práce: Doc Mgr Michal Kulich, PhD Abstrakt: Práce se zabývá teorií maticové algebry, kterou lze uplatnit v pravděpodobnosti a statistice Cílem práce je tuto látku srozumitelně a přehledně shrnout, aby student seznámený se základy teorie matic mohl rozšířit své znalosti a využít je při dalším studiu Proto práce obsahuje množství definic a dokazovaných vět, příklady pro usnadnění pochopení látky, zmiňuje aplikace a uvádí odkazy na další literaturu Práce začíná uvedením základních poznatků maticové algebry, které jsou součástí běžných kurzů lineární algebry Následující kapitoly jsou již specifické(mimo jiné) pro pravděpodobnost a statistiku- zaměřují se zejména na speciální typy matic a jejich vlastnosti, důležité rozklady matic, funkce matic a maticové derivování Klíčová slova: maticová algebra, statistika, idempotentní matice, spektrální rozklad, Kroneckerův součin Title: Matrix Algebra in Statistics Author: František Navrátil Department: Department of Probability and Mathematical Statistics Supervisor: Doc Mgr Michal Kulich PhD Abstract: The thesis deals with the theory of matrix algrebra, which is applicable inprobabilityandstatisticstheaimofthethesisistosummarizeitinaclear and understandable way, so that the student familiar with the basics of matrix theory can expand his knowledge and use it in further studies Therefore, the thesis contains many definitions and proved theorems, and examples to help understanding the theory Applications are mentioned It also provides references for further reading The thesis begins with a brief summary of basic definitions and results in matrix algebra, which are covered in the usual courses on linear algebra Subsequent chapters are specific, inter alia, for probability and statistics- in particular, they focus on special types of matrices and their properties, important matrix decompositions, functions of matrices and matrix differentiation Keywords: matrix algebra, statistics, idempotent matrix, spectral decomposition, Kronecker product

Obsah Úvod 2 1 Základní pojmy 3 11 Matice,maticovéoperace 3 12 Základnívlastnostimatic 5 2 Matice užívané ve statistice 8 21 Idempotentnímatice 8 22 Ortogonálnímatice 9 23 Stochastickámatice 10 24 Symetrickámatice 11 25 Pozitivně(semi)definitnímatice 12 26 Projekčnímatice 13 3 Rozklady matice 15 31 Skeletnírozklad 15 32 Spektrálnírozklad 15 33 Rozkladpodlesingulárníchhodnot 17 34 Choleskéhorozklad 18 35 QRrozklad 19 4 Další kapitoly teorie matic 20 41 Funkcematic 20 42 Maticovéderivování 22 43 Kroneckerůvsoučin,vektorizacematic 25 Závěr 28 Seznam použité literatury 29 1

Úvod Maticová algebra se uplatňuje v mnoha oblastech matematiky Tato práce se zaměřuje na tu část teorie matic, která se běžně používá v pravděpodobnosti, statistice a souvisejících oborech Student se s ní tedy setká na různých přednáškách, často v podobě pouhých poznámek, bez důkazů a souvislostí Přednášky lineární algebry sice osvětlují základy maticového počtu, jsou však naplněny především jinými tématy, a tak prostor pro další partie teorie matic nezbývá Smyslem práce je tyto užitečné informace vyhledat v literatuře a přehledně je shrnout Proto obsahuje definice používaných pojmů, související tvrzení včetně důkazů, pro ověření porozumění spočítané ilustrační příklady a v poznámkách naznačené souvislosti s užitím ve statistice Student by po přečtení této práce měl být schopen hlouběji proniknout do látky probírané v dalších předmětech Absolvování základních přednášek lineární algebry a matematické analýzy je nutnou a zároveň postačující podmínkou ke čtení a pochopení tohoto materiálu Pro případné zájemce jsou však zmíněny i knihy k dalšímu možnému studiu Úvodní kapitola shrnuje základní poznatky teorie matic, se kterými je student obeznámen již po prvním ročníku studia Začíná zavedením pojmu matice a uvádí typy matic Dále obsahuje výčet základních poznatků o stopě, hodnosti, determinantu, vlastních číslech a vektorech matice a o inverzní a transponované matici Velká část uvedeného je užita v následujících kapitolách V druhé kapitole se nachází množství definic speciálních typu matic a jejich vlastností Mimo jiné se zaměřuje na idempotentní matici Část je věnována také ortogonální matici, jejíž vlastnosti uplatníme i v následujících kapitolách Třetí kapitola se zabývá rozkladem matice na dvojici(či trojici) jiných matic, které mají užitečné vlastnosti(jsou ortogonální, diagonální apod) Hlavní částí je spektrální rozklad matice Všechna uvedená tvrzení jsou dokázána Čtvrtá kapitola obsahuje několik částí, z nichž v každé je popsáno jedno užitečné a zároveň velmi zajímavé téma- funkce matic, maticové derivování, Kroneckerův součin a vektorizace matic 2

1 Základní pojmy V této kapitole přehledně shrneme základní definice a důležité věty z teorie matic Utvoříme tak základní aparát pro vyjadřování v dalších, hlubších částech práce Pro studenta, který absolvoval kurz lineární algebry, by měla být první část(definice matice a výčet terminologie) snadným opakováním Ve druhé části, kde rozebereme pojmy stopa matice, determinant, hodnost, vlastní čísla a vlastní vektory, je shrnuto množství vlastností uvedených pojmů(bez výjimky jsou to užitečná fakta- často z pohledu výpočetního i teoretického) Důkazy lze zpravidla dohledat v základní literatuře[2],[3] 11 Matice, maticové operace Definice Obdélníkové schéma čísel a 11 a 12 a 1n a 21 a 22 a 2n A = (a ij ) = a m1 a m2 a mn nazývámematicetypu m n(maticeomřádcíchansloupcích)jednotliváčísla nazývámeprvkymaticeprvekvi-témřádkuvj-témsloupciznačíme a ij (vpráci předpokládáme a ij R,kde Rznačímnožinureálnýchčísel) Některé matice mají pro svou zvláštní důležitost pojmenování, v textu se budou často vyskytovat Proto uvádíme přehled běžně užívané terminologie Matici o jednom sloupci nazýváme sloupcový vektor Matici o jednom řádku nazýváme řádkový vektor Sloupcový vektor, jehož všechny prvky jsou 1 nazýváme jednotkový vektor, značíme 1 Matici, jejíž každý prvek je 0 nazýváme nulová matice, značíme 0 Maticitypu n nnazývámečtvercovámatice(řádun)prvky a ii nazýváme diagonální Čtvercovoumaticisplňující a ij = a ji prokaždé i, jnazývámesymetrická matice Čtvercovoumaticisplňující a ij = 0prokaždé i > jnazývámehornítrojúhelníková matice(analogicky definujeme dolní trojúhelníkovou matici) Čtvercovou matici, jejíž všechny nenulové prvky jsou diagonální, nazýváme diagonální matice Diagonálnímaticisplňující a ii = 1prokaždé inazývámejednotkovámatice, značíme I 3

V textu se budeme držet standardního značení, pro matice budeme používat velkátučnápísmena(a, B,),provektorymalátučnápísmena(a, b,) Nebude-li uvedeno jinak, máme na mysli vektorem vektor sloupcový Bude-li třeba zdůraznitrozměrymaticerespvektoru,budemeznačit A mn (mpočetřádků, n početsloupců)resp a m Shrneme si rovněž základní maticové operace Buď k Rk-násobkem matice Arozumímematici,jejížprvkyjsou k- násobkyprvkůmatice A(tj ka = (ka ij )) Buďte AaBmaticestejnéhotypuSoučtemmatic AaBrozumímematici A + B = (a ij + b ij ) Buď Amaticetypu m nabmaticetypu n psoučinemmatic AaB rozumímematici AB = ( n l=1 a ilb lj )(typu m p) Transponovanoumaticíkmatici Atypu m nrozumímematici A T = (a ji ) typu n m Buď AčtvercovámaticeExistuje-limatice A 1 splňující AA 1 = A 1 A = I,nazvemejiinverznímaticekmatici A,omatici Apakřekneme,žeje invertibilní Inverzní matice je určena jednoznačně Věta 1(Vlastnosti transponované matice) Buďte A a B matice takového typu, aby následující výrazy byly definovány Pak platí: (i) (A T ) T = A (ii) (ka) T = ka T, k R (iii) (A + B) T = A T + B T (iv) (AB) T = B T A T (v)je-li Ainvertibilnímatice,pak A T jerovněžinvertibilníaplatí (A T ) 1 = (A 1 ) T Věta 2(Vlastnosti inverzní matice) Buďte A a B invertibilní matice Pak platí: (i) (ka) 1 = k 1 A 1, k R\{0} (ii)matice ABjeinvertibilníaplatí (AB) 1 = B 1 A 1 (iii)matice A 1 jeinvertibilníaplatí (A 1 ) 1 = A Definice Matici A nazýváme bloková matice, pokud platí ( ) B C A = D E B, C, DaEjsoumaticetakové,že BaCmajístejnýpočetřádků, BaD mají stejný počet sloupců Nejčastěji jsou B a E matice čtvercové, není to však podmínkou Poznámka Předchozí definici používáme často, užitečný je například zápis matice jako sloupcového vektoru řádků(nebo řádkového vektoru sloupců) 4

12 Základní vlastnosti matic DefiniceBuď Ačtvercovámaticeřádu nvýraz a 11 + + a nn = a ii (součet diagonálních prvků A) nazýváme stopa matice A, označujeme tr(a) Věta 3(Vlastnosti stopy matice) Buďte A a B čtvercové matice stejného řádu Pak platí: (i)tr(ka) = ktr(a), k R (ii)tr(a T ) =tr(a) (iii)tr(a + B) =tr(a) +tr(b) (iv)buďte Amaticetypu m nabmaticetypu n mpakplatí tr(ab) =tr(ba) = n i=1 m j=1 a ijb ji Definice Buď A čtvercová matice řádu n Číslo det(a) = P S n zn(p) n a P(i)i, kde S n jemnožinavšechpermutacín-prvkovémnožinyazn(p)jeznaménko permutace P, nazýváme determinant matice A Podrobnosti viz[2, kap 14] Definice Řekneme, že matice A je regulární, pokud det(a) 0 Řekneme, že matice je singulární, pokud det(a) = 0 Věta 4(Vlastnosti determinantu matice) Mimo[2] a[3] také[12, dod A] (i)det(ka) = k n det(a) (ii)det(a T ) =det(a) (iii)det(a 1 ) = (det(a)) 1 (iv) det(ab) = det(a) det(b) (v) Je-li A horní trojúhlelníková matice, dolní trojúhelníková matice nebo diagonálnímatice,pakdet(a) = a ii (vi) Buďte A a B čtvercové matice libovolného řádu, pak platí: ( ) A C det =det(a)det(b) 0 B ( B C (vii) det D E i=1 ) =det(b)det(e DB 1 C) =det(e)det(b CE 1 D) (viii)buďte Aregulárnímaticeřádu m, Bmaticetypu m nacmaticetypu n m,pakplatí: det(a + BC) =det(a)det(i mm + A 1 BC) =det(a)det(i nn + CA 1 B) 5

DefiniceŘekneme,ževektory x 1,,x n jsoulineárněnezávislé,pokudneexistují konstanty k 1,, k n,znichžjeaspoňjednanenulová,abyplatilo: k 1 x 1 + + k n x n = 0 DefiniceLineárníkombinacívektorů x 1,,x n rozumímelibovolnývektortvaru k 1 x 1 + + k n x n, k i RJsou-livšechna k i rovnanule,řekneme,želineární kombinace je triviální Definice Hodnost matice definujeme jako nejvyšší počet lineárně nezávislých sloupců matice A, značíme h(a) Věta 5(Vlastnosti hodnosti matice)[12, dod A] (i) 0 h(a mn ) min(m,n) (ii)h(a) =h(a T ) (iii)h(a + B) h(a) +h(b) (iv)h(ab) min(h(a),h(b)) (v)h(a) =h(a T A) =h(aa T ) (vi)nechťh(b nn ) = nah(c pp ) = p,potomh(bac) =h(a) Definice Buď A čtvercová matice řádu n Polynom det(a λi) nazýváme charakteristickýpolynommatice AJeho(obecněkomplexní)kořeny λ 1,, λ n nazývámevlastníhodnoty(čísla)matice A(můženastat λ i = λ j,ačkoli i j), n-tici λ 1,,λ n nazývámespektrummatice ANenulovývektor usplňující Au = λ i u nazývámevlastnívektormatice A(příslušný λ i ) Věta 6(Vlastnosti vlastních čísel a vektorů) Buď A čtvercová matice řádu n, λ 1,,λ n jejívlastníhodnotyau i vlastnívektorpříslušný λ i, i {1,, n}pak platí: (i) n i=1 λ i =tr(a) (ii) n i=1 λ i =det(a) (iii) ku i, k R\{0}jerovněžvlastnímvektorempříslušným λ i (iv)matice ka(k R\{0})mávlastníčísla kλ 1,, kλ n avlastnívektory u i (v)matice A k mávlastníčísla λ k 1,, λ k navlastnívektory u i (vi)pokudje Ainvertibilní,pak A 1 mávlastníčísla λ 1 1,,λ 1 n a vlastní vektory u i (vii)matice A T mávlastníčísla λ 1,, λ n (viii) Vlastní čísla horní trojúhelníkové matice, dolní trojúhelníkové matice a diagonálnímaticejsoudiagonálníprvkymatice,tj λ 1 = a 11,, λ n = a nn (ix)buď Bčtvercovámaticeřádu npakvlastníčíslamatic ABaBAjsou stejná 6

(x)jsou-li uavvlastnívektorymatice Apříslušné λ i,pakivektor u + vje vlastnívektormatice Apříslušný λ i Věta 7(Souvislost mezi uvedenými pojmy) Buď A čtvercová matice řádu n Pak následující tvrzení jsou ekvivalentní: (i) Ajeregulární(det(A) 0) (ii) Amáhodnostn (iii) A je invertibilní (iv) 0nenívlastníčíslomatice A (v) Sloupce(či řádky uvažované jako sloupcové vektory) matice A jsou lineárně nezávislé DefiniceSymbolKroneckerovodelta(δ ij )definujeme δ ij = 0pro i j, δ ij = 1 pro i = j(tedy I = (δ ij )) DefiniceSkalárnísoučinvektorů x n a y n definujemejako x T y = n i=1 x iy i PoznámkaJezásadnírozdílmezivýrazy x T y(skalárnísoučin-reálnéčíslo)a xy T (maticetypu n n) Poznámka V práci nedefinujeme základní pojmy teorie vektorových prostorů, jako je dimenze, báze, podprostor, generátory atd Užijeme je totiž pouze okrajově (v několika důkazech) V základní literatuře[2],[3] jsou samozřejmě tyto definice velmi podrobně probrány 7

2 Matice užívané ve statistice 21 Idempotentní matice DefiniceČtvercovoumatici A,pronižplatí A 2 = A,nazývámeidempotentní matice Příklad Diagonální matice, jejíž diagonální prvky jsou čísla 1 nebo 0 v libovolném množství je idempotentní(tedy i 0, I) Příkladem nediagonální matice, kterájeidempotentní,je 1 n 1 n1 T n,jetotiž 1 n 11T 1 n 11T = 1 n 1( 1 n 1T 1)1 T = 1 n 11T Věta8(Vlastnostiidempotentnímatice)Buď A nn idempotentnímaticepak platí: (i) I A, A T jsouidempotentnímatice (ii)tr(a) =h(a)[1,kap4] (iii)h(a) +h(i A) = n (iv) Je-li A symetrická, je pozitivně semidefinitní(viz část 25)[1, kap 4] (v)vlastníčíslamatice Amohoubýtpouze1nebo0Násobnost1jerovna h(a),násobnost0jerovna n h(a)[6,věta2182] Důkaz (i) (I A) 2 = I 2A + A 2 = I 2A + A = I ASvyužitímvlastnosti(iv) transponovanématiceplatí (A T ) 2 = A T A T = (AA) T = (A) T (ii)nechťh(a) = r 0(pokud r = 0,jeuvažovanárovnosttriviální)Nejdříve využijemetoho,žematici Alzezapsatjakosoučinmatic B nr C rn,jejichž hodnostje r(tototvrzeníjedokázanévkapitole3,větaoskeletnímrozkladu)zvlastnosti(v)hodnostimaticevíme,žeh(b T B) = r,tedymatice jeinvertibilní,protomůžemeoznačit L = (B T B) 1 B T Platí LB = IObdobněmůžemenajítmatici P,prokterouplatí CP = IProtožematice A jeidempotentní,platí A = A 2 = BCBC = BCUvažujmenásledujícídvě uzávorkování výrazu LBCBCP a upravme: L(BCBC)P = L(BC)P = (LB)(CP) = II = I (LB)CB(CP) = ICBI = CB Tedy CB = I rr Využitímvlastnosti(iv)stopymaticedostáváme:tr(A) = tr(bc) =tr(cb) =tr(i) = r =h(a)[1,kap4] (iii) S využitím předchozích dvou bodů a vlastností stopy matice platí h(a) + h(i A) =tr(a) +tr(i A) =tr(a + I A) =tri = n (iv)buď x n libovolnězvolenývektorspostupnýmvyužitímpředpokladuidempotentnosti, symetrie a vlastnosti(iv) transponované matice dostáváme: x T Ax = xa 2 x = x T A T Ax = (Ax) T (Ax) 0[1,kap4] 8

(v) Předpokládejme, že λ je vlastní číslo matice A, u vlastní vektor náležící λ Pakplatí: λu = Au = A 2 u = A(Au) = A(λu) = λau = λ 2 uprotože u jenenulový,platí λ = λ 2,tedy λ = 1nebo λ = 0Násobnostplynez(ii)a obecně platné rovnosti součtu vlastních čísel a stopy matice[6, věta 2182] Poznámka Buď A regulární idempotentní matice Pak A je nutně jednotková Můžemetotižpsát A = AI = AAA 1 = AA 1 = I PříkladPodlevlastnosti(i)apředchozíhopříkladujematice I n 1 11 T idempotentní,zřejmějetakésymetrickájejíhodnost(astopa)je n 1Navícmá následujícívlastnosti:prolibovolnývektor x n platí: x T (I n 1 11 T )x = x T x 1 n n xt 11 T x = x 2 i n x 2 n = n n x 2 i 2 x i x n + n x 2 n = i=1 i=1 i=1 i=1 n (x i x) 2, n x 2 i 2n x 2 n + n x 2 n = i=1 kde x n = 1 n n i=1 x i(aritmetickýprůměr x i )Taképlatí: (I n 1 11 T )x = x 1 n n x i 1 = x x n 1, i=1 výsledkem je tedy vektor odchylek od průměru[12, dod A] 22 Ortogonální matice S pojmem ortogonální matice se student do hloubky seznámil na úvodní přednášce lineární algebry Přesto si uvedeme několik nových vlastností Ortogonální matice je důležitým pojmem v kapitole 3 DefiniceŘekneme,žečtvercovámatice Ajeortogonální,pokudplatí AA T = I (tedy A T = A 1 ) DefiniceŘekneme,ževektory xayjsounavzájemortogonální,je-li x T y = 0 Pokudjenavíc x T x = 1ay T y = 1řekneme,žejsouortonormálníŘekneme,že množina vektorů je ortogonální(ortonormální), jsou-li všechny navzájem různé dvojice vektorů v ní obsažené ortogonální(ortonormální) Poznámka Množina ortogonálních vektorů je lineárně nezávislá[2, věta 2613] PoznámkaPokudjelibovolnázmatic A,A T,A 1 ortogonálníjsouortogonální i zbývající dvě[2, věta 278] Ortogonální matice je regulární, platí det(a) = 1 [2, věta 277] Označme sloupce(či řádky) ortogonální matice A uvažované jako sloupcovévektory a 1,,a n,pak a T i a j = δ ij (tedyjetomnožinaortonormálních vektorů) Věta 9 Buďte A, B ortogonální matice Pak platí: (i) Matice AB je ortogonální 9

(ii) Anemůžemítjinéreálnévlastníčíslonež 1nebo 1[6,věta2181] Důkaz (i)svyužitím vlastnosti (iv) transponované matice máme: (AB)(AB) T = ABB T A T = AA T = I(poslednídvěrovnostiplynouzpředpokladuortogonality matic) (ii)buď λreálnévlastníčíslo APakexistujenenulovývektor utakový,že platí Au = λu,můžemepsát: u T u = u T Iu = u T A T Au = (Au) T (Au) = (λu) T (λu) = λ 2 u T u u T ujenenulové,tedy 1 = λ 2 [6,věta2181] Poznámka(O permutačních maticích) Příkladem ortogonální matice je libovolnáčtvercovámatice,kterámávkaždémřádkuavkaždémsloupciprávějeden prvek roven 1 a všechny ostatní nulové Takové matici říkáme permutační maticeoznačme P nn permutačnímaticiauvažujmelibovolnoumatici A np Nechťje vřádku rpermutačnímaticečíslo1vesloupci spak r-týmřádkem PAje s-tý řádek matice A(řádky matice PA jsou permutované řádky matice A) Obdobně lze ukázat, že násobíme-li vhodnou matici B permutační maticí zprava, součinem je matice jejíž sloupce jsou permutované sloupce B Poznámka(Orozložitelnostimatic)Uvažujmečtvercovoumatici C nn Omatici C řekneme, že je reducibilní(rozložitelná), ( ) existuje-li permutační matice P D 0 taková,že PCP T jevetvaru C =, kde matice D, F jsou čtvercové E F Není-li matice reducibilní, nazýváme ji ireducibilní(nerozložitelná)[14, kap 1c3] 23 Stochastická matice Základním pojmem teorie Markovových řetězců je stochastická matice Z pohledu maticové algebry má několik zajímavých vlastností, které si ukážeme DefiniceStochastickámaticeječtvercovámaticesplňující a ij 0, n j=1 a ij = 1 pro všechna i {1,, n} Stochastický vektor definujeme jako vektor, jehož složky jsounezápornéajejichsoučetje1 Poznámka Někdy se rozlišuje pravá a levá stochastická matice Pravá stochastická matice je uvedena v definici, pro levou stochastickou maticí je podmínka n j=1 a ij = 1nahrazenapodmínkou n i=1 a ij = 1Takéexistujedvojitěstochastická matice(splňující obě podmínky) Věta 10(Vlastnosti stochastické matice) Buďte A a B stochastické matice, pak platí: (i)matice ABjestochastickáTedyspeciálně A 2,A 3,jsoustochastickématice (ii)každévlastníčíslo λmatice Asplňuje λ 1 (iii)1jevlastnímčíslemmatice A[10,kap6] 10

Důkaz (i) Nezápornost prvků matice AB je zřejmá Protože matice A a B jsou stochastické,platí n i=1 b ji = 1, j {1,,n}a n j=1 a kj = 1, k {1,, n} Ověřmeprolibovolné k,žesoučetprvkůvk-témřádkumatice ABje1Tutopodmínkumůžemezapsatjako n n i=1 j=1 a kjb ji = n n j=1 i=1 a kjb ji = n j=1 a n kj i=1 b ji = n j=1 a kj = 1 (ii) Uvažujme vlastní číslo λ a jemu příslušný vlastní vektor u Označme l index takový,žeplatí x l x j, j {1,,n}Ukážeme,žeplatí λ a ll j l a lj (tototvrzeníjeznámopodnázvemgeršgorinovavěta)máme Au = λu,psánoposložkách: n j=1 a iju j = λu i, i {1,,n}Speciálně tedy n j=1 a lju j = λu l,odečtenímčlenu a ll u l dostáváme n j l a lju j = λu l a ll u l Aplikujmenarovniciabsolutníhodnotuavydělmeji u l,dostáváme λ a ll = u 1 l j l a lju j j l a lj,protože u j u 1 l 1 Nyní již podle trojúhelníkové nerovnosti, Geršgorinovy věty a z předpokladu, že A je stochastická, platí: λ λ a ll + a ll j l a lj + a ll = n a lj = 1 j=1 (iii)tvrdíme,žeplatí Au = λupro λ = 1ajistývektor uuvažujme u = 1, uvedenárovnostplatí,protože n j=1 a ij1 = 1, i {1,, n}tedy 1je vlastní vektor matice příslušný vlastnímu číslu 1[10, kap 6] Poznámka(PerronovaaFrobeniovavěta)Každákladná(tj a ij > 0 i,j)čtvercovámatice Amákladnévlastníčíslo λ M splňující: λ M jejednoduchýmkořenem charakteristickérovnice, λ M jevětšínežabsolutníhodnotyvšechostatníchvlastníchčísel,vlastnívektorpříslušný λ M mávšechnysložkykladnésohledemna předchozívětujeprostochastickématice λ M = 1Je-limatice Aireducibilní nezáporná(oslabenípředpokladu),pakvětapořádplatí,jen λ M jevětšínebo rovno absolutní hodnotě všech ostatních vlastních čísel Ireducibilita matice není vždypatrná,pokudalenajdemenějakoumocninu mmatice Atakovou,že A m je kladná, splníme silnější předpoklad a s využitím vlastnosti(vii) vlastních čísel matice dostáváme informaci o vlastních číslech a vektorech matice A Podrobněji viz[14,kap1c3],náznakdůkazujev[13,kap14] Poznámka (Souvislost s Markovovy řetězci) Stacionární rozdělení je levým vlastním vektorem příslušným vlastnímu číslu 1(kde levý vlastní vektor je řádkovývektor vsplňujícípronějaké λrovnost va = λv)markovůvřetězecje rozložitelný, je-li rozložitelná jeho matice 24 Symetrická matice Vúvodníkapitolejsmejižzmínilipojemsymetrickématice(A = A T )Požadavek symetrie je nutný při spektrálním rozkladu matice(viz kapitola 3) Zde zmíníme další užitečné vlastnosti symetrické matice 11

Věta 11(Vlastnosti symetrické matice) Buď A čtvercová matice řádu n, pak platí: (i)prolibovolnépřirozenépaprokaždoumatici X pn jematice XAX T symetrickáspeciálněprokaždoumatici Bplatí,že BB T jesymetrickámatice (ii) Všechna vlastní čísla A jsou reálná[3, věta 1510] (iii) Vlastní vektory odpovídající navzájem různým vlastním číslům matice A jsou navzájem ortogonální[6, věta 2145] Důkaz (i) (XAX T ) T = (X T ) T A T X T = XA T X T = XAX T Kdeprvnírovnostvyplývá z opakovaného užití vlastnosti(iv) transponované matice a poslední zesymetriematice AVespeciálnímpřípaděstačíuvažovat BIB T = BB T, kde I je jednotková matice patřičného řádu (ii)viz[3,věta1510] (iii)buďte λ 1 λ 2 vlastníčíslamatice Aau 1,u 2 jimodpovídajícívlastní vektorymůžemepsát λ 1 u T 1 u 2 = (λu 1 ) T u 2 = (Au 1 ) T u 2 = u T 1 A T u 2 = u T 1 Au 2 = u T 1 (λ 2 u 2 ) = λ 2 u T 1 u 2 Vzhledemktomu,že λ 1 λ 2,nutně u T 1 u 2 = 0[6, věta 2145] 25 Pozitivně(semi)definitní matice Pojem pozitivně semidefinitní matice je ve statistice nezbytný- každá rozptylová matice je pozitivně semidefinitní Více se o této matici dozvíme také v kapitole 3Čerpalijsmez[6,kap14a21] DefiniceBuď A nn symetrickáčtvercovámaticepokudprokaždýnenulovývektor x n platí x T Ax = ij a ijx i x j > 0řekneme,žematice Ajepozitivnědefinitní (značíme A > 0)Pokudprokaždýnenulovývektor xonsložkáchplatí x T Ax 0řekneme,žematice Ajepozitivněsemidefinitní(značíme A 0) Obdobně lze definovat negativně definitní a negativně semidefinitní matice Věta 12(Vlastnosti pozitivně definitní a pozitivně semidefinitní matice) (i)prolibovolnoumatici Aplatí (AA T ) 0, (A T A) 0 (ii) Vlastní čísla pozitivně definitní matice jsou kladná (iii) Vlastní čísla pozitivně semidefinitní matice jsou nezáporná (iv) Pozitivně definitní matice je invertibilní a její inverzní matice je rovněž pozitivně definitní (v)nechť A nn 0,pakprokaždoumatici B nm platí B T AB 0Pokudnavíc A > 0amatice Bječtvercováaregulární,pak B T AB > 0[12,dodatekA] 12

Důkaz (i)svyužítímvlastnosti(iv)transponovanématicemůžemepsát x T A T Ax = (Ax) T Ax 0,kde xjevektoroodpovídajícímpočtusložekobdobnělze dokázatpro AA T (ii) Pozitivně definitní matice je symetrická, tedy víme z vlastnosti(ii) symetrickématice,žejejíčíslajsoureálnábuďtedy λvlastníčíslomatice A a ujemupříslušnývlastnívektorvíme Au = λu,tedy u T Au = λu T u Proto λ = (u T Au)/(u T u)zdefinicejevlastnívektornenulovýatudížje jmenovatelkladnýmaticejepozitivnědefinitníatedy x T Ax > 0prokaždý nenulový x,tedyspeciálněipro u,tedyčitateljekladný (iii) Obdobně jako(ii) (iv) Stačí využít vlastnosti(vi) vlastních čísel Invertibilita matice plyne z nenulovosti vlastních čísel (v)zřejměprokaždýnenulovývektor x m platí x T B T ABx = (Bx) T A(Bx) 0, tedy B T AB 0Druháčásttvrzeníplynezfaktu Bx 0(neboť Bje regulární) 26 Projekční matice V této části si zavedeme pojem projekční matice a popíšeme její základní vlastnosti Rovněž stručně vysvětlíme její geometrickou interpretaci V kapitole 4 osvětlíme souvislost s metodou nejmenších čtverců Čerpali jsme z[6, kap 12] DefiniceBuď A mn maticehodnosti n(sloupcejsoulineárněnezávislévektory) Matici P A = A(A T A) 1 A T nazýváme(ortogonální)projekčnímatice(naprostor generovaný sloupci matice A) Poznámka Inverzní matice v předchozí definici existuje podle vlastnosti(v) hodnosti matice Požadavek lineární nezávislosti sloupců matice A lze vypustit, pak sice inverzní matice neexistuje, ale existuje tzv pseudoinverzní matice, s níž si definice zachová dobrý smysl i vlastnosti uvedené v následující větě Více o pseudoinverzní matici lze nalézt např v[2, kap 31] Věta13VlastnostiprojekčnímaticeBuď A mn maticehodnostin,pakpromatici P A = A(A T A) 1 A T platí: (i) P A A = A, (ii) P A jeidempotentní, (iii) P A jesymetrická, (iv)h(p A ) =h(a) Důkaz 13

(i) P A A = A(A T A) 1 A T A = A (ii) P 2 A = A(AT A) 1 A T A(A T A) 1 A T = A(A T A) 1 A T = P A (iii) P T A = (A(AT A) 1 A T ) T = (A T ) T ((A T A) 1 ) T A T = A((A T A) T ) 1 A T = A(A T A) 1 A T = P A (iv)h(a) = h(p A A) h(p A )(zvlastnosti(iv)hodnostimatice)obdobně h(p A ) =h(a(a T A) 1 A T ) h(a) Poznámka Uvažujme bod a v n-dimenzionálním prostoru a jeho podprostor dimenze m, m < n,kterýjegenerovánsloupcijistématice AHledáme-libod tohotopodprostoru,kterýjenejblížebodu a,paktímtobodemje â = P A a (uvažujemevzdálenostbodů xaydefinovanoujako (xi y i ) 2 )Pro n = 3, m = 2sijako amůžemepředstavitlibovolnýbodprostoruajako âpatukolmice, kterábylaspuštěnazbodu adojistérovinybodu âpakříkámeortogonální projekcebodu anadanourovinupříkladylzenaléztv[7,kap12] 14

3 Rozklady matice V této kapitole se budeme zabývat problémem tzv rozkladu matice Rozložení matice znamená její zapsání jako součinu několika jiných matic, které mají jisté vlastnosti Uplatnění mnohých rozkladů je nejen teoretické(např při důkazech), ale i praktické(při výpočtu determinantů, inverzních matic apod)[12, dodateka] 31 Skeletní rozklad Věta 14(Skeletnírozklad)Buď A mn libovolnámatice,h(a) = r 1Pak existujímatice B mr, C rn hodnostirtakové,žeplatí A = BC Důkaz Vytvořme matici B jako matici, jejíž sloupce jsou lineárně nezávislé sloupce matice A(r takových podle definice hodnosti existuje) Každý sloupec matice A tedy můžeme napsat jako lineární kombinaci sloupců matice B Koeficienty lineárníkombinacevytvářející j-týsloupecmatice Aoznačme c 1j,, c nj,vezmemelijeza j-týsloupecmatice C,budesplněnapožadovanárovnosth(B) rpodle vlastnosti(i) hodnosti matice, h(b) r podle vlastnosti(iv) hodnosti matice Stejnéargumentyplatíipromatici C[1,kap4] 32 Spektrální rozklad Poznámka Z věty o vlastnostech vlastních čísel a vektorů(konkrétně bodů(iii) a(x)) lze snadno dovodit, že přidáme-li ke všem(reálným) vlastním vektorům příslušným jisté(reálné) vlastní hodnotě λ nulový vektor, vznikne aritmetický vektorový prostor nad R(viz[3, kap 1]) Takový prostor nazýváme vlastní prostor matice A příslušný λ Geometrickou násobností vlastního čísla λ rozumíme dimenzi příslušného vlastního prostoru Algebraickou násobností vlastního čísla λ rozumíme násobnost λ jako kořene charakteristického polynomu matice A Zřejmě součet algebraických ani geometrických násobností všech vlastních hodnot matice nemůže překročit řád matice n Obecně platí, že algebraická násobnost vlastního čísla je větší než jeho geometrická násobnost nebo jsou si obě násobnosti rovny(důkaz viz[6, věta 2134]) V následující významné větě ukážeme, že pro symetrické matice vždy nastává rovnost Věta 15(Spektrální rozklad) Buď A symetrická čtvercová matice Pak existují ortogonální matice U a diagonální matice Λ takové, že platí A = UΛU T Navícdiagonálníprvkymatice Λjsouvlastníčíslamatice Aasloupcematice U jim odpovídající vlastní vektory Důkaz Nejprve předpokládejme, že všechny vlastní čísla matice A mají algebraickou násobnost 1 Podle vlastnosti(ii) symetrické matice víme, že tedy existuje 15

n-ticenavzájemrůznýchreálnýchčísel λ 1,, λ n ajimodpovídajícívlastnívektory u 1,,u n,kteréjsoupodle(i)téževětynavzájemortogonální(atedylineárně nezávislé)můžemepro i,j = 1,, npsát Au j = λ j u j, u T i Au j = λ j u T i u j = λ j δ ij,vmaticovéformě U T AU = ΛTutorovnoststačíupravitnásledovně: UU T AUU T = UΛU T,tedy A = UΛU T Nechť nyní nejsou všechna vlastní čísla navzájem různá Řekněme, že existuje k (k < n) navzájem různých vlastních čísel s algebraickými násobnostmi m 1,,m k Těmtovlastnímčíslůmodpovídajívlastníprostory V 1,,V k,které majídimenze d 1,, d k Označme d = k i=1 d imůžemetedynajítortonormální množinuvektorů u 1,,u d (díkyortogonalitě V 1,, V k ),že u 1,,u m1 tvoříbázi V 1,dále u m1 +1,,u m1 +m 2 tvoříbázi V 2 atdpopřípadnémpřečíslenímůžeme dálepsát Au i = λu i,i = 1,, dnynísporemukážeme,ženenímožné,aby d < n(pokud d = n,jsmehotovi)bezújmynaobecnostimůžemepředpokládat, ževšechnavlastníčísla AjsoukladnáPokudne,můžemetotižvzítvúvahu matici A + ( λ min + 1)I,kde λ min jenejmenšívlastníčíslomatice AZřejmě tato nová matice má stejné vlastní vektory jako matice původní Označme nyní B = A d i=1 λ iu i u T izvlastnostístopymaticeavlastnosti(i)vlastních číselmaticemůžemepsáttr(b) =tr(a) d i=1 λ i(u T i u i ) = n i=d+1 λ i 0(stačísiuvědomit,žeobecněplatí x T x =tr(xx T ))Tedy Bmánějakénenulové vlastníčíslo βajemupříslušnývlastnívektor xpotompro 1 j dplatí: βu T j x = u T j Bx = (λ j u T j d i=1 λ i(u T j u i )u T i )x = 0Cožznamená,že xjeortogonálníku 1,,u d Zároveňalemůžemesnadnoukázat,že xjeivlastnívektor A: βx = Bx = (A d i=1 λ iu i u T i )x = Ax d i=1 λ i(u T i x)u i = AxTakže β jevlastnímčíslem AaxjemupříslušnývlastnívektorToaleznamená,žeje obsaženvnějakémzprostorů V 1,, V k anemůžebýtortogonálnínajehobázi (kteroutvoříneprázdnápodmnožinavektorů u 1,,u n )[12,dodatekA] Poznámka(O mocninách matice) Pro symetrickou matici A podle předchozí větymůžemepsát A 2 = UΛU T UΛU T = UΛ 2 U T,kde Λ 2 lzesnadnospočítat, protože ΛjediagonálnímaticePodobněmůžemepočítat A n pro n NDále zřejmě A 1 = UΛ 1 U T (je-li Λ 1 definována,tedyjsou-lidiagonálníprvky Λ nenulové),protože AA 1 = UΛU T UΛ 1 U T = IObecněmůžemedefinovat A p q (kde p, q jsou celá čísla), pokud je tato mocnina definována pro všechny diagonální prvkymatice ΛAplikacívlastnosti(i)symetrickématicena Λ p p q vidíme,že A q je opět symetrická matice Poznámka(O rozptylových maticích) Buď A libovolná pozitivně semidefinitní maticepakmásmysl A 1 2Buď Xnáhodnývektorsjednotkovourozptylovou maticípakrozptylovoumaticináhodnéhovektoru A 1 2Xspočítáme:var(A 1 2X) = A 1 2var(X)(A 1 2) T = ACožznamená,žekaždápozitivněsemidefinitnímaticeje i rozptylovou maticí nějakého náhodného vektoru DůsledekBuď A nn 0,h(A) = r 1Pakexistujematice: (i) B nr hodnostirtaková,žeplatí (ii)symetrická C nn taková,žeplatí A = BB T A = C 2 16

Důkaz (i) Protože A je pozitivně semidefinitní, je podle definice symetrická, tedy má nějakýspektrálnírozklad UΛU T Podlevlastnosti(vi)hodnostimaticevidíme,žeh(A) =h(λ),tedy Λmá rnenulovýchprvkůnadiagonále,označme je λ 1,, λ r Navícpodlevlastnosti(iii)pozitivněsemidefinitnímaticejsou všechna tato čísla kladná Můžeme tedy označit: Λ 1 2 mr = λ 1 2 1 0 0 0 λ 1 2 2 0 0 0 λ 1 2 r 0 0 0 0 Platí: A = UΛU T = U Λ 1 2 ( Λ 1 2 ) T U T = BB T,kdejsmeoznačili B = U Λ 1 2 Ujeortogonální,tedyregulární,takže Bmáopravduhodnost r[1,kap4] (ii)stačízvolit C = UΛ 1 2 U T SymetriijsmezdůvodnilivpoznámceomocnináchmaticeRovnost A = C 2 jezřejmá[12,dodateka] 33 Rozklad podle singulárních hodnot Věta16(Rozkladpodlesingulárníchhodnot)Buď A mn libovolnámaticenenulovéhodnosti rpakexistujímatice L rr, U mr, V nr takové,žeplatí A = ULV T Navíc LjediagonálnímaticeskladnýmiprvkynadiagonáleaU T U = V T V = I DůkazProjinýdůkazviz[6,kap21],tentojezaloženýspíšena[14,kap1c3] a[12, dodatek A] Podle vlastnosti(i) pozitivně semidefinitní matice víme, že A T AjepozitivněsemidefinitníTedypodledůkazu(i)předchozíhodůsledkua vlastnosti(v) hodnosti matice víme, že má r kladných vlastních čísel Označme je λ 2 1,,λ n rvětouospektrálnímrozkladumámezaručenuexistenci rortogonálních vektorů v 1,,v r jimpříslušných(tedypodledefinicepřitomtoznačenímáme (A T A)v i = λ 2 iv i )Označme Vmatici,jejížsloupcejsou v 1,,v r Díkyortogonalitěplatí V T V = IDálepro i = 1,, roznačme u i = λ 1 i Av i amatici,jejíž sloupcejsoutytovektoryoznačme UUkážemeortogonalitumnožiny u 1,,u r : u T i u j = λ 1 i vi T A T λ 1 j Av j = λ 1 i λ 1 j vi T (A T A)v j = λ 1 i λ 1 j vi T λ 2 jv j = λ j λ i vi T v j = δ ij Tedyplatí U T U = IOznačme Ldiagonálnímatici,jejíždiagonálníprvky jsou λ i Chcemeukázat A = ULV T,tedy U T AV = U T ULV T V = L U T AV = U T ( Av 1 Av 2 Av r ) = U T ( λ 1 u 1 λ 2 u 2 λ r u r ) = L 17

34 Choleského rozklad Věta17(Choleskéhorozklad)Buď A nn > 0Pakexistujejednoznačněurčená dolnítrojúhelníkovámatice L nn skladnýmidiagonálnímiprvky,žeplatí: A = LL T DůkazDokážemematematickouindukcípodle npro n = 1definujme L = ( ) a 11 An 1 ã Pro n > 1pišme Ajako:,kde A n 1 vzniknezavypuštěním ã T a nn posledního sloupce a řádku, ã je poslední sloupec A bez posledního prvku Z definicevíme,žeplatí x T Ax > 0, x n 0,speciálněprovšechny x n,jejichž poslednísložkaje0,tedy A n 1 jepddáleplatí (0,, 0, 1) T A(0,, 0, 1) = a nn > 0Zindukčníhopředpokladuvíme,žeexistujejednoznačněurčenámatice L n 1 taková,že A n 1 = L n 1 L T n 1adiagonálníprvky L n 1 jsoukladnéhledejmetedy matici L splňující: ( ) ( )( ) An 1 ã Ln 1 0 L T ã T = n 1 l a nn l T 0 T = LL T l nn l nn Neznámépronásjsou lal nn Máme L n 1 l = ã, L n 1 jedolnítrojúhelníková matice a na diagonále má kladné prvky, tedy má kladný determinant(je regulární)existujetedyjednoznačnéurčenámatice L 1 n 1taková,že l = L 1 n 1ãDále zvlastností(iv)a(vi)determinantumámedet(a) = (det(l n 1 )) 2 lnnprotože 2 det(a) > 0a(det(L n 1 )) 2 > 0,existujejednoznačněurčenékladnéčíslo [5,kap2] l nn = det(a) (det(l n 1 )) 2 Příklad Choleského rozklad lze snadno spočítat i bez využití inverzních matic Rovnost napíšeme pro jednotlivé prvky matice A a rovnice řešíme ve správném pořadí, abychom znali potřebné proměnné Jednou možností je postupovat po sloupcích matice L shora dolů Pro matici máme A = 1 2 3 2 20 26 3 26 70 = LL T = l 11 0 0 l 21 l 22 0 l 31 l 32 l 33 l 11 l 21 l 31 0 l 22 l 32 0 0 l 33 1 = l11, 2 2 = l 11 l 21, 3 = l 11 l 31, 20 = l21 2 + l22, 2 26 = l 21 l 31 + l 22 l 32, 70 = l31 2 + l32 2 + l33 2 Postupnědostaneme: l 11 = 1, l 21 = 2, l 31 = 3, l 22 = 4, l 32 = 5, l 33 = 6 18

35 QR rozklad Věta18(QRrozklad)Buď A mn matice,h(a) = n 1Pakexistujematice Q mn,jejížsloupcejsouortonormálnívektory,ahornítrojúhelníkovámatice skladnýmidiagonálnímiprvky R nn hodnostin,žeplatí A = QR DůkazOznačme a 1,,a n sloupcematice A(lineárněnezávislévektory)Pak existujínenulovéortogonálnívektory b 1,,b n,kterézískámenásledujícímpostupem: b 1 = a 1 b 2 = a 2 x 12 b 1 b n = a n x n 1n b n 1 x 1n b 1, kde x ij = (a T j b i )/(b T i b i ) b 1,,b n jsounenulové,protožejelzevyjádřitjako netriviálnílineárníkombinacivektorů a 1,,a n OrtogonalitudokážemematematickouindukcíProjedenvektormáme b 1 = a 1,tedytvrzeníplatíNechťnyní tvrzeníplatípro k 1,podleindukčníhopředpokladumámepro j = 1,, k 1: b T k b j = a T k b j x k 1k b T k 1 b j x 1k b T 1 b j = a T k b j x jk b T j b j = 0 x jk = (a T k b j)/(b T j b j )Označme Bmatici,jejížsloupcejsou b 1,,b n a Xmatici,jejíž prvky x ij jsouvýšeuvedenépro i < jadále 0pro i > ja 1pro i = jpakplatí A = BX(jaklzevidět,kdyžvsoustavědefinující b 1,,b n vyjádříme a 1,,a n ) Dáledefinujmediagonálnímatici D,jejíždiagonálníprvkyjsou d ii = (b T i b i ) 1 Pakmůžemepsát A = BDD 1 XStačíoznačit Q = BDaR = D 1 Xamatice splňujípožadavkyuvedenévezněnívěty[2,kap26],[6,kap6] 19

4 Další kapitoly teorie matic 41 Funkce matic V této části se seznámíme s velmi zajímavým tématem, které popisuje, jak zobecnit pojem funkce(řekněme reálné funkce reálné proměnné) tak, aby jejím argumentem i hodnotou byla matice(stejného rozměru) Jinými slovy pro známoufunkci f : R Rchcemezadefinovat f : A nn A nn (kde A nn jemnožina všech matic řádu n) Samozřejmě cílem je, aby při tomto zobecnění byly vlastnosti funkcí ve velké míře zachovány Příkladem funkcí, které již dokážeme v tomto smyslu uvažovat jsou např polynomiální funkce(protože přirozená mocnina matice a násobení matice skalárem jsou základní maticové operace), nebo v kapitole 3 zmíněnáodmocninovámatice A 1 2Vysvětlíme,jakobecnětentoproblémvyřešita více se zaměříme na elementární funkce(exponenciála, logaritmus, goniometrické funkce) K tomuto bude potřeba zopakovat některé pojmy týkající se Jordanova tvaru matice(podrobněji viz[2, kap 18],[3, kap 17]) Kapitolu o exponenciále matice můžeme nalézt v([13, kap 11]) Stručně problém funkcí matic nalezneme v[9,kap313]uceleněv[4,kap5]velmidetailněseteoriíipraktickýmiaspekty maticových funkcí zaobírá kniha[8] Maticové funkce mají rozsáhlé uplatnění, např v Markovových řetězcích se spojitým časem hraje důležitou roli exponenciála matice DefiniceŘekneme,žečtvercovématice A nn a B nn jsoupodobné,existuje-li regulárnímatice C nn taková,žeplatí A = C 1 BC Poznámka Podobné matice mají stejný charakteristický polynom(nahlédneme zdet(c 1 AC λi) =det(c 1 (A λi)c) =det(c 1 )det(a λi)det(c) = det(a λi)), vlastní čísla, stopu, hodnost a determinant[2, kap 18] Definice Řekneme, že matice je diagonalizovatelná, pokud je podobná nějaké diagonální matici Definice Čtvercovou blokově diagonální matici J ve tvaru λ i 1 0 0 J 1 0 0 0 J J = 2 0 λ 0,kde J i 1 i = 0 0 0 J 1 k 0 0 λ i nazvemejordanovamatice,matice J i nazývámejordanovybuňkyje-lijistámatice Apodobná J,řekneme,že AmáJordanůvkanonickýtvar J Věta 19 Každá čtvercová matice má Jordanův kanonický tvar(prvky Jordanovy matice mohou být komplexní čísla)[2, věta 1816] Poznámka Matice je diagonalizovatelná, je-li její Jordanův kanonický tvar J složen pouze z buněk řádu 1 Pro diagonalizovatelné matice se problémy maticových funkcí výrazně zjednodušují 20

Definice Nechť má matice A Jordanův kanonický tvar složený z Jordanových buněk J 1,,J k řádu j 1,, j k Řekneme,žefunkce fjedefinovanánaspektru A, pokud existují všechny f (d) (λ i ), d = 0,,j i 1, i = 1,,k DefiniceNechťje fdefinovanánaspektru Aanechť A = CJC 1 Pakdefinujeme maticovou funkci f(a) takto: f(a) = Cf(J)C 1 = Cdiag(f(J k ))C 1, kde f(j i ) = f (j i 1) (λ i ) f(λ i ) f (λ i ) (j i 1)! 0 f(λ i ) f (λ i ) 0 0 f(λ i ) Poznámka Tato na první pohled složitá definice má svůj smysl, jak později uvidíme Definování maticové funkce intuitivně např ve smyslu aplikování funkce fnaprvkymatice a ij obecněnepřineseočekávanévýsledkysnadnovidímenapř žeoznačíme-li A = ( 1 4 9 16 ) a A 1 2 = ( 1 2 3 4 ),pak A (A 1 2) 2 Poznámka Předchozí definice se výrazně zjednodušuje pro diagonalizovatelné matice, f se pouze aplikuje na diagonální prvky Jordanova kanonického tvaru Užitečnépozorováníje,ženazápis f(a) = Cf(J)C 1 semůžemedívatjako na spektrální rozklad Vlastní vektory matic A a f(a) se shodují, vlastní čísla matice f(a)získámeaplikací fnavlastníčísla A[8,kap1] Věta20Nechťmá ftaylorůvrozvoj f(z) = k=0 f (k) (α) (z α) k k! s poloměrem konvergence r Pak pro čtvercovou matici A je f(a) definováno a dáno vzorcem f (k) (α) f(a) = (A αi) k, k! k=0 právěkdyžkaždávlastníhodnota λ i matice Asplňujejednuzpodmínek: (i) λ i α < r, (ii) λ i α = rataylorovařada f (n i 1) (λ)(kde n i jeřádjordanovybuňky, kterému λ i odpovídá)jekonvergentnívbodě λ = λ i Důkaz Viz[8,věta47] 21

Poznámka Předchozí věta umožňuje zapsat elementární funkce matic takto: e A = I + A + A2 2! cosa = I A2 2! sina = A A3 3! + A4 4! + A5 5! + ln(i + A) = A A2 2 + A3 3, λ i < 1 Dá se ukázat, že takto definované funkce mají velkou část očekávaných vlastností zachovánunapřexponenciálazajistýchokolnostísplňujerovnost e AB = e A e B (postačující podmínkou je komutativita matic, tj AB = BA) Platí i Eulerův vzorec(e ia = cosa+isina)nebosoučtovévzorcefunkcísinusacosinusvlastnostilogaritmu,např ln(ab) = lna + lnbjsouzachovány(avšakzadalších předpokladů, viz[8, kap 11]) ( ) a 1 PříkladIlustrujmeplatnostvztahu sin 2 A + cos 2 A = Ipro A = 0 a Tato matice je obecná Jordanova buňka řádu 2, je tedy sama ( sobě Jordanovým ) 2 sin a cos a kanonickýmtvarempodledefinicemáme: sin 2 A+cos 2 A = + ( ) 2 ( ) cos a sin a sin 2 a 2 sin a cos a = 0 cos a 0 sin 2 + a ( ) sin 2 a + cos 2 a 0 0 sin 2 a + cos 2 = I a 42 Maticové derivování 0 sin a ) = ( cos 2 a 2 sin a cos a 0 cos 2 a V této části ukážeme, jak elegantně využít zápisu pomocí vektorů a matic při derivovánídokážemeněkterézákladnívzorcebudemeuvažovatfunkce f : R m n R, později matice takových funkcí Poznatky aplikujeme na odvození řešení problému nejmenších čtverců Předpokládáme základní znalosti(parciálního) derivování z matematické analýzy Ucelenou teorii maticového derivování najdeme např v[6,kap15]věnujesemucelákniha[11],atovčetněaplikacívestatisticea ekonometrii DefiniceBuď X mn matice,jejížprvky x ij jsoureálnéproměnnéafreálnáfunkce těchto mnproměnných(f ( :) R m n R)Pakderivací fpodle Xrozumímematici parciálních derivací f(x) x ij,značíme f(x) Vespeciálnímpřípadě n = 1píšeme X f(x) x = ( f(x) x j ) PříkladMějme f : R 2 2 Rdefinovanoupředpisem f(x) = sin x 11 +e x 21+x 22 ( ) ( ) + x11 x x 21, X = 12 Pak f(x) cos x 21 x = x11 0 X 22 e x 21+x 22 + 1 e x 21+x 22 22

Věta21(Oderivaciforem)Buďte a, yaavektoryamaticekonstanttakových rozměrů, aby následující součiny byly definovány Pak platí(vybráno z[12, doda]): (i) at x x = a, x T x x = 2x, x T Ay x = Ay, (ii) xt Ax = (A + A T )x(aječtvercovámatice,je-linavícsymetrická,je x (A + A T )x = 2Ax) Důkaz (i) Ve všech případech výrazy stačí rozepsat, zderivovat ( a opět zapsat ) pomocí uvedenédefinicevprvníčástimáme at x = (a1 x 1 ++a n x n ) x x j = (a j ) = a Ostatní případy jsou obdobné (ii)opětjeklíčovéuvědomitsi,že x T Axjesoučet ik a ikx i x k Derivacitohoto výrazupodle x j můžemenázornězapsatjako: 0 + + 0+ a 1j x 1 +0 + + 0 + +a j1 x 1 + + a jj 1 x j 1 + 2a jj x j +a jj+1 x j+1 + + a jn x n + +0 + + 0+ a nj x n +0 + + 0 Tedy i a jix i + k a kjx k (člen 2a jj x j jerozdělendoobousumjako a jj x j ) Nynísistačíuvědomit,žetytosumyjsou j-týmprvkemvektoru Axresp A T x Věta 22(Nejmenšíčtverce)Funkci f(x) = (y Ax) T (y Ax),kde Aje matice plné sloupcové hodnosti, minimalizuje jednoznačně určený vektor x daný vztahem x = (A T A) 1 A T y Důkaz Upravmenejdříve: f(x) = (y Ax) T (y Ax) = (y T x T A T )(y Ax) = y T y x T A T y y T Ax + x T A T Ax = y T y 2x T A T y + x T (A T A)xZderivujme svyužitímpředchozívětytentovýrazpodle x: 2A T y+2a T Ax(podlevlastnosti (i)symetrickématicevíme,že A T Ajesymetrická)Zmatematickéanalýzyvíme, ževbodě,kdepoložímeprvníderivacirovnu 0,semůženacházetminimumJe ale 2A T y + 2A T Ax = 0 A T Ax = A T y x = (A T A) 1 A T ytedy x je jednoznačně určený bod Vzhledem k tomu, že f je shora neomezená spojitá funkce,nabývá fvtomtoboděminimazaloženona[12,doda] Poznámka Výsledek předchozí věty není vůbec překvapivý, na konci části o projekčních maticích jsme popsali(bez zdůvodnění) řešení ekvivalentního problému(sodmocninounavíc)jetotiž f(x) = j (y j i a jix i ) 2 a ŷ = P A y = A(A T A) 1 A T y = Ax 23

PoznámkaPřipomeňme,žealgebraickýdoplněkprvku a ij matice Aječíslo c ij = ( 1) i+j det(m ij ),kde M ij jematice,kterávzniklazmatice Avynecháním i-tého řádku a j-tého sloupce Adjungovaná matice je transponovaná matice algebraickýchdoplňků(značímeadj(a) = (c ij ) T )Laplaceůvrozvojdeterminantu podlei-téhořádkumůžemepřitomtoznačenízapsatjakodet(a) = j a ijc ij Poznámka Dosud jsme derivovali podle vektoru V následující větě popíšeme několik užitečných výsledků derivování podle matice Rozlišíme zvlášť derivování podle matice mn různých proměnných a symetrické matice(tedy matice, kde x ij = x ji )Podrobnějisetomutotématuvěnuje[6,kap15],kdejeodvozenoi velké množství dalších výsledků, vybrané uvádíme v následující větě Věta23Buď AmaticekonstantaXčtvercovámatice (i) tr(x) X = I, tr(xa) X = { A T, A + A T diag(a), { (ii) det(x) X = (adj(x)) T, 2adj(X) diag(adj(x)), Důkaz det(x) x ij =tr ( adj(x) X x ij ) není-li Xsymetrická je-li Xsymetrická, není-li Xsymetrická je-li X symetrická, (i)voboupřípadechstačírozepsatstopuvprvníčástimámetr(x) = i x ii Vedruhétr(XA) = j i x jia ij,tedypro Xnesymetrickoujevýsledek zřejmýje-li Xsymetrická,mámepro i jvsoučtučleny x ji a ij a x ij a ji, jejichžderivacepodle x ji = x ij je a ij a a ji,avšakčlen x ii a ii sevsoučtu vyskytuje jen jednou, výsledek lze tedy šikovně zapsat v uvedeném tvaru (ii)ukážeme,že det(x) x ij = c ij,kde c ij jealgebraickýmdoplňkemprvku x ij Rozepíšemedet(X) = k x ikc ik Stačísivšimnout,ževšechnyalgebraické doplňkyvsumějsouvzhledemkx ij konstantnía x ik x ij = δ jk Důkazpro symetrickoumatici Xadalšívztahviz[6,kap15] DefiniceBuď X pq matice,jejížprvky x ij jsoureálnéproměnnéay mn matice, jejížprvky y ij jsoufunkcetěchtoproměnnýchpakderivací Xpodle Y(značíme rozumímeblokovou mp nqmatici: Y X Y X = Y x 11 Y x 21 Y x p1 Y Y x 12 x 1q Y Y x 22 x 2q Y Y x p2 x pq, Y kde = x ij y 11 y 12 x ij y 21 y 22 x ij y m1 x ij x ij y 1n x ij y 2n x ij x ij y m2 x ij y mn x ij 24

PříkladSpočítejme Ypro X ( x Y = 11 sin x 22 x 11 x 2 21 x 12 + x 21 x 22 x 11 x 11 x 12 + x 21 x 22 ) ( x11 x, X = 12 x 21 x 22 ) Máme Y X = ( Y x 11 Y x 21 Y x 12 Y x 22 ) = 1 0 x 2 21 0 0 0 0 x 22 x 12 1 0 x 11 0 0 2x 11 x 21 0 cos x 22 0 1 0 x 22 0 x 11 x 21 Věta 24 Buď A matice konstant (i) xt A x = A, (ii) Y 1 Důkaz x = Y 1 Y x Y 1,kde Yjeregulárnímatice,jejížprvkyjsoufunkce proměnné x (i)zobecněnípřípadu at x x,stačírozepsat: xt A = ( i x ia i1 i x ia in ) (ii) Jak lze dohledat např v[6, kap 15], maticové derivování zachovává mnohé známévlastnostizdevyužijemeobdobuderivacesoučinu (uv) = u v + uv vmaticovépodoběprotože Yjeregulární,platí I = YY 1, I = YY 1, x x 0 = Y Y 1 + Y x x Y 1 Nynístačírovnicivynásobitzlevamaticí Y 1 a odečíst od rovnosti druhého sčítance[6, kap 15] 43 Kroneckerův součin, vektorizace matic Kromě tradičního maticového násobení, který celou dobu používáme, existuje několik dalších způsobů, jak definovat součin matic a dosáhnout užitečných výsledků Jedním z nich je např Hadamardův součin(součin po složkách) V této kapitole zavedeme Kroneckerův součin a úzce související pojmy vektorizace matic, shrneme základní vlastnosti(výběr z[12, dod A],[6, kap 16]) DefiniceBuďte A mn a B pq libovolnématicekroneckerovýmsoučinemmatic AaB(značíme A B)rozumíme mp nqmatici a 11 B a 12 B a 1n B a 21 B a 22 B a 2n B A B = a m1 B a m2 B a mn B Poznámka A Bmůžemevnímatjakoblokovoumatici,jejížblokyjsou a ij B, ale také jako matici součinů prvku matice A s prvkem matice B Kroneckerův součin je sice(na rozdíl od obyčejného maticového součinu) definován pro matice libovolnýchrozměrů,aleobecněneplatí A B = B A 25

DefiniceBuď A mn libovolnámatice,jejížsloupcejsouvektory a 1,,a n Vektorizaci matice A(značíme vec(a)) definujeme jako vektor a 1 a 2 vec(a) = a n Pro Asymetrickouoznačme a i = ( ) T(sloupcebeznaddiagonálních prvků) a definujme vech(a) jako a ii a i+1i a ni a 1 a 2 vech(a) = a n Příklad Spočítejme A B, vec(a), vech(b) pro ( ) ( a11 a A = 12 a 13 b11 b, B = 12 a 21 a 22 a 23 b 21 b 22 ) Máme A B = a 11 b 11 a 11 b 12 a 12 b 11 a 12 b 12 a 13 b 11 a 13 b 12 a 11 b 21 a 11 b 22 a 12 b 21 a 12 b 22 a 13 b 21 a 13 b 22 a 21 b 11 a 21 b 12 a 22 b 11 a 22 b 12 a 23 b 11 a 23 b 12 a 21 b 21 a 21 b 22 a 22 b 21 a 22 b 22 a 23 b 21 a 23 b 22 vec(a) = a 11 a 21 a 12 a 22 a 13 a 23,vech(B) = b 11 b 21 b 22, Věta 25(Vlastnosti Kroneckerova součinu) Buďte A, B, C, D libovolné matice, aablibovolnévektoryaklibovolnákonstantapakplatí: (i) k A = ka, a 1 b a 2 b (ii) a b =, a bt = ab T, a T b T = ( a 1 b T a 2 b T a m b ) T, a m b (iii) (A B) C = A (B C), (A B)(C D) = (AC) (BD), (A + B) C = A C + B C, I A =diag(a,,a), (iv) (A B) T = A T B T, (v) (A B) 1 = A 1 B 1 (pro AaBregulární), 26

(vi)tr(a B) =tr(a)tr(b), (vii)h(a B) =h(a)h(b), (viii)det(a mm B nn ) = (det(a)) m (det(b)) n, (ix)buď λ(resp µ)vlastníčíslomatice A(resp B)au(resp v)jemuodpovídajícívlastnívektor,pak λµjevlastníčíslomatice A Bau vjemu odpovídající vlastní vektor Důkaz (i)-(iv)zřejmé(v)spomocí(iii)(vi)zřejmé(vii)viz[6,kap16](viii)plyne z(ix),kdůkazu(ix)sevyužije(iii) Věta 26(Vlastnosti vec, vech) (i)vec(ca) = cvec(a), (ii)vec(a T ) =vec(a) = a, (iii)vec(ba T ) = a b, (iv)vec(a mn B np ) =diag(a,,a)vec(b) = (I pp A)vec(B), (v)vec(abc) = (C T A)vec(B), (vi)buďte A mn a B mp maticekonstantax np maticeneznámých,pakmatice X řeší AX = Bprávětehdy,kdyžřeší (I pp A)vec(X) =vec(b) Důkaz (i)-(iv)zřejmé(v)a(vi)viz[6,kap16] 27

Závěr Cílem práce bylo sestavit přehled výsledků z maticové algebry, které se používají ve statistice(lineárních modelech, mnohorozměrné analýze, Markovových procesech) v didakticko-pedagogickém pojetí Práce začíná přehledem výsledků maticové algebry, které student získal při studiu lineární algebry Tyto základy jsme v dalších kapitolách značně rozšířili Uvedené poznatky lze využít pro hlubší pochopení dalších předmětů Práce tak může být použita jako doplňkový studijní materiál pro ty, kteří se na přednáškách mnohých předmětů nespokojí s pouhými náznaky důkazů či s odkazy na další literaturu na místě, kde by mohl být úplný důkaz(postavený na větší znalosti maticové algebry) Práce čerpá mimo jiné z objemných knih([4],[6],[8] aj), které běžný student nevlastní a informace zdaleka nenalezne ani v běžných učebnicích lineární algebry ([2],[3],[13] atd) Student tak díky této práci na jednom místě najde množství poznatků, které nejsou snadno dohledatelné v literatuře nebo na internetu Vybraná tvrzení obsahují důkazy, které byly důsledně a podrobně zpracovány(případně modifikovány, abychom si vystačili s námi uvedenou teorií), aby si čtenář nemusel nic domýšlet Zároveň jsme tak zamezili nebezpečí neporozumění Příklady usnadní pochopení látky a poznámky uvádí možné užití či motivaci k dalšímu studiu Toto je zcela na místě, protože zejména jednotlivé části poslední kapitoly by bez obtíží vydaly na neméně zajímavou samostatnou práci 28