EFEKIVNÍ VYUŽIÍ MALABU ŘI ŘEŠENÍ ÚLOH REGRESE Jiří Militký echická uiversita v Liberci Úvd V praxi se pcí regresích delů řeší řada přírdvědých a techických úlh Speciálě pr případ, kd eí delvý vztah apriri urče se vchází z lieáríh regresíh delu t lieárí kbiace vsvětluících prěých at úlha vede becě z uerickéh hlediska a prblé řešeí přeurčeé sustav lieárích rvic r běžý případ kritéria iia sučtu čtverců dchlek se dá také převést a prblé řešeí sustav lieárích rvic se čtvercvu, setricku a čast pzitivě defiití aticí Nuerické ptíže zde vzikaí v případě špaté pdíěsti tét atice e běžý případ apř u plických delů, kd dchází ke špaté pdíěsti vlive ci vsvětluící prěé V tt příspěvku su prvá žsti azka MALAB pr řešeí úlh lieárí regrese s hlede a žu špatu pdíěst Je pužit edduchý příklad z kih [], který užňue ěit pdíěst pdle zadaéh paraetru Je zíě prgra OLIN pr prváí edtlivých uerických etd [] Základ regrese Regresí aalýza užňue alezeí závislsti výstupí veliči (dezv) a astavvaé kbiaci hdt -tice vstupích prěých x (x, xx) Vchází se z aěřeých hdt při růzých kbiacích astavvaých prěých x, x, x Jde vlastě -tici bdů { i, x i },,,, i,,, vádřeých ve zkráceé aticvé zápisu {, X} Vektr á rzěr ( ) a atice X ( ) Cíle statistické aalýz e basěí variabilit ěřeé, výstupí závisle prěé (vsvětlvaé) veliči s vužití regresí fukce f(x, ) bsahuící astavvaé, vstupí, ezávisle prěé (vsvětluící) veliči x Běžě se předpkládá, že veličia e áhdá a veliči x su eáhdé a libvlě astavvatelé Další předpklade e aditiví del ěřeí, kd se áhdé veliči i aduí a regresí del Oeze se a lieárí regresí del, kde e regresí del lieárí v paraetrech a bčeě e pří lieárí kbiací vsvětluících prěých díěá středí hdta prěé pr daé x (regrese) e pak ve tvaru E(/ x ) i x () Odhad b paraetrů e pak žé určit etdu eeších čtverců, která bývá v praxi epužívaěší Ukaže si geetrický výza tét etd V případě platsti aditivíh delu ěřeí pr luieárí regresí del e žé zapsat výsledk experietů edduše s pcí lieárí kbiace slupcvých vektrů Y X * + ()
x x x x x x x x x + (3) (x) (x) (x) (x) Slupce x atice X defiuí z geetrickéh hlediska -rzěrý suřadicvý ssté resp adrviu L v -rzěré eukleidvské prstru E Vektr becě eleží v adrviě L, (viz br pr případ dvu ezávisle prěých ) V adrviě L však leží všech lieárí kbiace slupců atice X t vektr X araetr lze ted chápat ak keficiet úěrsti u edtlivých slžek x suřadicvéh sstéu (vsvětluících prěých) eichž lieárí kbiace tvří regresí del Bez hledu a užité kritériu regrese bude ted u lieárích regresích delů ležet delvá fukce X b steě ak teretický del X v -rzěré adrviě L Sbl začue vektr chb Metda eeších čtverců (MNČ) hledá dhad paraetrů b tak, ab bla iializváa vzdálest ezi vektre a adrviu L e ekvivaletí pžadavku iiálí délk vektru reziduí e (4) kde p X b e vektr predikce V eukleidvské prstru lze délku vektru e vádřit vztahe i e i d (5) Čtverec délk vektru e e ted číselě shdý s hdtu kriteriálí pdík S(b) etd eeších čtverců Odhad delvých paraetrů b pak iializuí výraz i i i b x S (b) (6) Vektr e a su zázrě a br Vektr azývaý vektr predikce představue klu prekci vektru d adrvi L Vektr e azývaý vektr reziduí leží v (-) rzěré adrviě L*, klé a adrviu L
e X x Obr Geetrie lieáríh regresíh delu Na základě tht geetrickéh zázrěí lze hledat dhad paraetrů b tak, ab bla iializváa vzdálest ezi vektre a adrviu L Je patré, že vektr reziduí e e klý a všech slupce atice X, a prt su dpvídaící skalárí suči ulvéut sustavu pdíek lze zapsat aticvě ak X e 0 (7) dsazeí za e - X b a úpravě vde dhad b, iializuící vzdálest d ve tvaru b (X X) X (8) kde sbl A - začue iverzi atice A Z rvice (8) lze určit tvar prekčí atice H pcí které se prítá vektr d adrvi L ed H (9) cí vektru b lze vádřit rvici (9) ve tvaru X b X(X X) X (0) rekčí atice H X (X X) - X á tu vlastst, že príte libvlý vektr V d rvi L rekčí atice pr klu prekci d adrvi L*, klé a adrviu L á tvar E H () kde E e edtkvá atice S vužití těcht prekčích atic lze prvést rzklad vektru d dvu slžek H + + e Geetrick t zaeá, že vektr bl rzlže a dva vzáeě klé vektr Jede suvisí s částí variabilit basěé regresí dele a druhý se zbtkvu (reziduálí variabilitu) Ke steý vztahů lze dspět aalticku iializací kritéria MNČ, tz derivváí rvice (6) a dalšíi úpravai 3Nuerické aspekt MNČ Určeí dhadu b lieáríh regresíh delu e pdle rv (3) úlha řešeí přeurčeéh sstéu lieárích rvic, pr kteru á MALAB perátr zpěté lítk (\)
Lze také pužít etdu SVD, která rzkládá libvlu bdélíkvu atici X (x) a tři atice t X U * S * V cí příkazu svd(x,0) se získá tzv zkráceá SVD kteru uvažuee v další (pr zkráceu SVD se ěí rzěr atic U a S) r zkráceu SVD e atice S (x) diagálí a bsahue a diagále tzv sigulárí čísla atice X kud á atice X hdst r (t bsahue puze r lieárě ezávislých slupců) e právě r kladých eulvých sigulárích čísel seřazeých dle veliksti, t S S S S Matice U 33 rr (x) a V (x) su rtgálí a rvaé, takže platí U U E a V V E, kde E e edtkvá atice r zkráceu SVD platí, že kladá sigulárí čísla su dci z vlastích čísel atice X X ( ale také atice XX ), slupce atice U su vlastí vektr atice XX a řádk atice V su vlastí čísla atice X X S vužití SVD lze rv (3) vádřit ve tvaru U * S * V + resp U * ω + kde ω S * V Vektr ω e steéh rzěru ak vektr Vzhlede k rtgalitě atice U lze získat dhad paraetrů ω p dsazeí d rv (8), ted (U U) U ted U rtže však platí,že S * V b vde pr dhad regresích paraetrů, že b (V ) S resp b VS U Iverzí atice S - e pchpitelě také diagálí s prvk S / S S a hlaví diagále ii ii Ozačíe-li slupce atice U ak u a řádk atice V ak v ůžee vádřit řešeí úlh lieárí regrese v edduché tvaru b r S * u * v * kud e r, de etdu klasických eeších čtverců r r< a r celé resultuí tzv dhad hlavích kpet a pr r ecelé tzv zbecěé vchýleé dhad Další žstí e řešeí sustav tzv rálích rvic X X * b X, vádřeé rv (8) aké pr tet případ lze s výhdu vužít zabudvaých aticvých perací azka MALAB, kd stačí pužít příkaz biv(x'*x)*x'* říkaz iv(a) realizue iverzi čtvercvé pzitivě defiití atice A Míst příkazu iv(x) lze pužít příkaz Xpiv(A), který vužívá Mre - ersv pseudiverse (platí,že A*X*A A, X*A*X X) r iverzi atice X X e také žé vužít rzkladu a vlastí čísla a vlastí vektr s vužití příkazu [ L]eig(A), kde A X X Zde slupce p atice su vlastí vektr atice X X a diagálí prvk atice L su dpvídaící vlastí čísla L setříděá d eešíh k evětšíu S vužití vlastích čísel a vlastích vektrů lze psát X X L * * a ( X X) ( / L ) * * r r Zde r pr klasicku MNČ a r e větší ež eda pr případ, že ěkterá vlastí čísla su blízká ule, ulvá eb záprá r dbře pdíěé úlh, kd su vlastí čísla atice X X všecha kladá a dstatečě vzdáleá d ul vedu všech výše uvedeé variat ke
steéu řešeí Rzdíl se prevuí u špatě pdíěých úlh, kd su vlastí čísla atice sice kladá, ale ěkterá z ich su blízká ule X X 4 rváí edtlivých etd r ilustraci vhdsti edtlivých výše uvedeých pstupů bl sestave prgra li, kde lze ěit pdíěst atice X X pcí paraetru epbl vbrá edduchý případ, kd e zá přesé řešeírěá bk bsahue dhad paraetrů pčítaé klasicku iverzí, prěá bp bsahue dhad pčítaé s vužití pseudiverse, prěá bz bsahue dhad pčítaé s vužití zpětéh lítka, prěá bs bsahue dhad pčítaé s vužití SVD, prěá brs bsahue dhad pčítaé s vužití rzkladu a vlastí čísla rgra li % test lieari MNC % data x x % 3 % ep ep 0 % ep 0 ep %kde e e presst (ale cisl, zde epe-5) %krekti resei e b a b clc;clear all; epe-6; %z eit dle testu [3 ep *ep]';x[ ;ep 0;0 ep];[ ]size(x); %klasicke resei bkiv(x'*x)*x'*; % zpete litk bzx\; %pseudiverse bppiv(x'*x)*x'*; %SVD aticve [U S V]svd(x,0);fr i: if S(i,i)>0;S(i,i)/S(i,i); else S(i,i)0; ed;ed bsv*s*u'*; %racial slzkve [V S]eig(x'*x);fr i: if S(i,i)>0;S(i,i)/(S(i,i)); else S(i,i)0; ed;ed brszers(,);fr : pv(:,)*v(:,)'; brsbrs+s(,)*p*x'*; ed fpritf('vsledk \');s' bk bz bp bs brs';s[bk bz bp bs brs]; disp(s);disp(s); r vlbu epe-7 su výsledk pr všech etd praktick ve shdě s přesý řešeí Vsledk bk bz bp bs brs 09996 0000 09790 0000 09996 0004 0000 00 0000 0004
r rzezí epe-8 až d epe-5 vcházeí iž pdstaté rzdíl ezi edtlivýi pstup Vsledk bk bz bp bs brs NaN 0000 5000 0000 5000 NaN 0000 5000 0000 5000 r epe-6 resp eší (až d reali 5e-308) vcházeí vžd steě Vsledk bk bz bp bs brs NaN 30000 5000 0000 5000 NaN 0 5000 0000 5000 Je patré, že pužití příkazu iv() vede ke zklabváí výpčtu V statích případech vede i špatá pdíěst k výsledků, které su však pr pseudiverzi a rzklad a vlastí čísla a vlastí vektr vchýleé Nelépe vchází pstup vužívaící SVD, který e stabilí řekvapivě dbré výsledk e žé získat pužití perátru zpětéh lítka Rzdíl su zde způsbe uerickýi etdai pužitýi u edtlivých algritů Z uvedeéh e patré, že zdálivě edduchá úlha lieárí regrese ůže být v reálé situaci kplikvaá a eí řešeí ůže vžadvat speciálí pstup r idikaci těcht ptíží se pužívá etd pr idikaci tzv ultikliearit (t přibližě lieárí závislsti ezi slupci atice X) Většia charakteristik ultikliearit vchází z prvků krelačí atice vsvětluících prěých, kteru lze v MALABu včíslit s vužití příkazu Rcrrcef(x) Mez základí ír ultikliearit patří: prvk krelačí atice CC (čí su větší, tí e ultikliearita všší) VIF faktr, cž su diagálí prvk iverzí atice R - (čí su větší, tí e ultikliearita všší, silá ultikliearita e pru VIF větší ež 00) 3 krelačí keficiet regrese x a statích vsvětluících prěých X, pr které platí R / VIF (čí su větší, tí e ultikliearita všší) r výpčet charakteristik ultikliearit bl sestave prgra akli et prgra bl pužit pr testvá data z prgrau li r vlbu epe-7 všl ******************************* VIF faktr VIF 3336e+03 VIF 3336e+03 a pr vlbu epe-4 všl ****************************** VIF faktr VIF 3333e+007 VIF 3333e+007 Je patré, že výrazá ultikliearita e idikvaá pudstatě dříve,ež dde ke klapsu i pr stadardí etdu řešeí MNČ
5 Závěr Je patré, že i pr případ, kd ultikliearita e pěrě vská vedu také edduché zabudvaé příkaz k akceptvatelý výsledků [] r extréí případ však ůže dít ke klapsu Výhdé e pužití SVD, kd lze pčítat také celu řadu dalších charakteristik a zeéa řídit žé vchýleí dhadů (viz[]) Dík kvalití aticvý perací esu uerické prblé lieárí regrese tak výzaé ak e běžé u iých azků řest lze dpručit ab při kstrukci prgraů pr lieárí regresi bl pužit ak kritérií pr idikaci ultikliearit tak i etd užňuících aalýzu vlastích čísel děkváí: at práce vzikla s pdpru výzkuéh cetra extil LN00B090 6 Literatura [] Melu M, Militký J: Zpracváí experietálích dat, East ublishig raha 998 [] Militký J,: MALAB a aalýza dat, elektrická příručka, U Liberec 00 Ktakt: rf Ig Jiří Militký CSc, Katedra textilích ateriálů, echická uiversita v Liberci, ` Hálkva 6 6 7 Liberec, e- ail: iriilik@vslibcz