Teoretické otázky z numerických metod

Transkript

1 Teoretické otázky z numerických metod Literatura: L. Čermák, R. Hlavička: Numerické metody, CERM, Brno, Úvod do problematiky numerických metod 1.1. Jaké druhy chyb vznikají pří řešení reálných problémů? lidské chyby z nepozornosti a nepochopení problému chyby matematického modelu-rozdíl reálného a idealizovaného problému chyby ve vstupních údajích chyby numerické metody-nepřesné řešení (dělá se odhad chyby num. metody) zaokrouhlovací chyby, vlivem kterých může dojít až k znehodnocení výsledků 1.. Co je to absolutní a relativní chyba? Objasněte na konkrétním příkladu. absolutní chyba x=ax-x (ax je aproximací čísla x) relativní chyba x/x=(ax-x)/x pro x~= Př.: x=1. ax=1.1 x=1.1-1=.1 x/x=.1/1=.1~1% 1.3. Určete počet platných cifer (popřípadě počet platných desetinných míst) pro zadané přibližné číslo ax, jehož přesná hodnota x je dána. Aproximace ax je platná, jestliže se ax liší od x nejvýše o 5 jednotek řádu příslušící následující cifře. Pokud ax má všechny cifry platné je správně zaokrouhlenou hodnotou čísla x. Př.: x ax 9 84 abs(9-84)<5*1^(n-k)=>k= abs( )<5*1^(-k)=>k=3 99, abs( )<5*1^(-k)=>k= Vysvětlete pojem systém F normalizovaných čísel pohyblivé řádové čárky. Je podobný zápisu čísla v semilogaritmickém tvaru tj. např.:.155*1^(-5). Desetinná čárka se pohybuje v závislosti na exponentu. Skládá se z mantisi a exponentu Co je to strojové epsilon m? Jaká je hodnota m v dekadické soustavě, jejíž mantisa má p cifer, např. když p=6? m =1^(1-p) p=6 => m =1^(-5) Je to velikost rozestupu mezi strojovými čísly. Velikost absolutní chyba reálného čísla nepřesáhne ½( m ). 1

2 1.6. Vysvětlete, co se rozumí reprezentací čísel v jednoduché (dvojnásobné) přesnosti podle standardu IEEE. Standart IEEE souvisí se zobrazením čísel v počítači. Jednoduchá přesnost má zhruba 7 dekadických cifer přesnosti. Jsou zde přibližně čísla od 1,*1^-38 do 3.4*1^38. Dvojnásobná přesnost má zhruba 16 dekadických cifer přesnosti. Jsou zde přibližně čísla od,*1^-38 do 1.8*1^ Co je to přetečení, podtečení, uveďte příklad v konkrétním dekadickém systému F pohyblivé řádové čárky, např. když mantisa má 3 cifry a exponent e=[-5,5]. Přetečení nastává když hodnota výsledku operace je větší než největší možné číslo (3*1^38) Podtečení nastává když číslo je menší než nejmenší možné číslo => nahrazení nulou Konkrétně největší 1,11*1^-5; nejmenší 1.11*1^ Co je to korektní problém? Co je to stabilní algoritmus? Formulujte problém a k němu dva algoritmy, z nich jeden je nestabilní a druhý je stabilní. Úloha je korektní, když ke každému vstupu existuje jediné řešení a toto řešení je spojitě závislé na vstupních datech. Stabilní algoritmus je takový, který je dobře podmíněný tj. že malá změna vstupních dat nezpůsobí znehodnocení výsledku a který je numericky stabilní tj. málo citlivý na zaokrouhlovací chyby v průběhu výpočtu.. Řešení soustav lineárních rovnic.1. Popište algoritmus Gaussovy eliminační metody bez výběru hlavních prvků. Kdy lze GEM bez výběru hlavních prvků bezpečně použít? Jaká je výpočetní náročnost této metody? Gaussova eliminační metoda je přímá metoda, která vede k teoreticky přesnému řešení (nebýt zaokrouhlovacích chyb). Skládá se z přímého a zpětného chodu. V přímém chodu se z regulární matice A stane horní trojúhelníková matice. Taková matice má pod hlavní diagonálou nuly. Toto se realizuje pomocí elementárních úprav vyjma přehození řádků tzn. používá se jen sčítání a násobení. V přímém chodu je přibližně (1/3)*(n^3) operací sčítacích a (1/3)*(n^3) operací násobících. Ve zpětném chodu se z poslední rovnice vyjádří x n z předposlední x n-1 atd. Zpětný chod vyžaduje (1/)*(n^) operací sčítacích a (1/)*(n^) operací násobících. Je tedy podstatně méně náročný než přímý chod. GEM bez výběru hlavních prvku se může bezpečně použít k řešení soustav s ryze diagonálně dominantní nebo pozitivně definitní maticí, protože zde nehrozí nebezpečí dělení nulou.

3 .. Vysvětlete pojem ryze diagonálně dominantní matice. Uveďte příklad. Ryze diagonálně dominantní matice je taková, která má na hlavní diagonále v absolutní hodnotě větší prvek než je součet ostatních prvků v řádku v absolutních hodnotách. Př.: Vysvětlete pojem pozitivně definitní matice. Pomocí Sylvestrova kritéria posuďte zda je zadaná matice pozitivně definitní. Matice je pozitivně definitní, jestliže pro každý nenulový vektor x platí x T Ax = n i,j=1 x i a ij x j > toto se těžko dokazuje, používá se proto Sylvestrova kritéria. Pozitivně definitní matice musí být čtvercová a její rohové subdeterminanty větší než nula. 1 1 Př.: A= D 1 =1; D =99. Matice A je pozitivně definitní Co se rozumí pod pojmem LU rozklad matice A? K čemu je LU rozklad dobrý? Řešíme GEM, ale pod hlavní diagonálu místo nul ukládáme multiplikátory. m ik =a ik /a kk Po skončení přímého chodu rozdělíme výslednou matici na dvě matice L,U. U je horní trojúhelníková matice (taková jako kdybychom multiplikátory nedělali). L je dolní trojúhelníková matice, která má na diagonále jedničky a pod ní multiplikátory. L*U=A. Toto se dá využít, když počítáme soustavu pro různé pravé strany tzn. nemusím provádět celou eliminaci znova. Soustavu pak řešíme Ly=b a Ux=y..5. Jaká je výpočtová náročnost přímého a zpětného chodu GEM. V přímém chodu je přibližně (1/3)*(n^3) operací sčítacích a (1/3)*(n^3) operací násobících. Zpětný chod vyžaduje (1/)*(n^) operací sčítacích a (1/)*(n^) operací násobících..6. Co je to Choleského rozklad matice A? Za jakých okolností existuje? Srovnejte s LU rozkladem z hlediska počtu operací a nároků na paměť počítače. Choleského rozklad se zabývá rozložením matice A na L*L T, kde L je dolní trojúhelníková matice. Toto lze realizovat pouze pro pozitivně definitní matici A. Je třeba přibližně (1/6)*(n^3) operací sčítacích a (1/6)*(n^3) operací násobících. Soustavu pak řešíme Ly=b, L T x=y. 3

4 .9. Vysvětlete Gaussovu eliminační metodu s částečným výběrem hlavních prvků. Znázorněte graficky. Proč částečný výběr hlavních prvků provádíme? Řešíme GEM, ale před zahájením kroku prohlídneme prvky pod prvkem na příslušné diagonální pozici. Pokud je některý prvek v absolutní hodnotě větší než ten na diagonále tak příslušné dva řádky prohodíme. Tím se zamezí dělení velkých čísel malými a tím zamezíme velkým zaokrouhlovacím chybám. Při částečném výběru nemusíme tvořit permutační matici, protože prohození rovnic řešení nezmění. Když neprovádíme výběr hlavních prvků může dojít na základě zaokrouhlovacích chyb k totálnímu skreslení výsledku. Př.: před výběrem po výběru Vysvětlete GEM s úplným výběrem hlavních prvků. Proč úplný výběr hlavních prvků provádíme? Proč se běžně dává přednost částečnému výběru hlavních prvků? Řešíme GEM, ale největší prvek vybíráme v celé části neeliminované matice a prohodíme řádky a sloupce tak, aby se největší prvek ocitl na příslušné diagonální pozici. Tím dosáhneme ještě menších zaokrouhlovacích chyb. Je však nutné tvořit permutační matici a v souladu s ní přeskládat konečné řešení do správného pořadí. Úplný výběr hlavních prvků se moc nepoužívá. Vyžaduje velké množství operací a k udržení správnosti výsledku bohatě stačí částečný výběr..11. Vysvětlete, co je to LU rozklad matice A s částečným výběrem hlavích prvků. Provádí se jako GEM s částečným výběrem přičemž se na místo nul dosazují multiplikátory. Je ovšem nutné pracovat s permutační maticí P. Ta je na začátku jednotková a řádky se v ní přehazují stejně jak v hlavní matici. Soustava se pak řeší Pz=b, Ly=z, Ux=z..1. Jak budete numericky počítat determinant vysokého řádu? Nejlepší je řešit GEM s částečným výběrem hlavních prvků a počítat počet prohození řádků. Jen je třeba dávat si pozor, abychom řádky něčím nevynásobili, tím se změní i determinant (nebo pak musíme výsledný determinant příslušně upravit, na PC zbytečně složité). Vzniklá trojúhelníková matice má (až znaménko) stejný determinant jako původní matice. Determinant A = součin prvku na hlavní diagonále * -1 m, kde m je počet prohození řádků..13. Jak budete numericky počítat inverzní matice? Řešíme GEM s více pravými stranami, přičemž matice pravé strany je jednotková a má stejné rozměry jako matice soustavy. Matice řešení je potom inverzní k matici soustavy. I zde je vhodné provádět výběr hlavních prvků. 4

5 .14. Kdy řekneme, že matice soustavy rovnic je řídká? Jak lze této skutečnosti využít při řešení soustav lineárních rovnic (v přímých metodách, v iteračních metodách)? Řídká matice je taková, která má podstatně více nulových než nenulových prvků. Kdybychom na takovou matici použily klasickou GEM tak na místech nul vznikají nenulové prvky. Tak se zbytečně zaplňuje paměť počítače a vznikají zaokrouhlovací chyby. Existují i algoritmy, které se toto ničení nul snaží omezit. Ideální je na takové matice použít iterační metody..15. Kdy řekneme, že matice soustavy rovnic je pásová? Jak šíře pásu ovlivní počet operací v přímém a ve zpětném chodu Gaussovy eliminační metody? Pásová matice je speciální případ matice řídké. Nenulové prvky jsou jenom v pásu kolem hlavní diagonály. Šířka pásu se označuje s např. s = matice má na každou stranu od hlavní diagonály vedlejší diagonály tzv. pětidiagonální matice. LU rozklad bez výběru hlavních prvků potřebuje asi ns(s+1) a zpětný chod asi n(s+1) operací sčítacích a stejný počet operací násobících..16. Uveďte definici vektorové l p -normy, speciálně pak norem x 1, x a x. Vypočítejte l p -normu pro dané číslo p 1 a daný vektor x. Norma vektoru je číslo, které v závislosti na zvoleném parametru p charakterizuje jeho velikost. x 1 =součet prvku vektoru. x =klasická běžně používaná Eukleidovská délka vektoru. x =maximum z prvků vektoru. Př.: x=[3 4] x 1 =7 x =5 x =4.17. Uveďte definici přirozené maticové normy. Přirozená maticová norma je souhlasná s vektorovou normou, pomocí níž je definována. Co souhlasnost maticové a vektorové normy znamená (uveďte příslušnou nerovnost). Demonstrujte pro konkrétní matici A, vektor x l -normu. Maticová norma je souhlasná s vektorovou normou, když platí nerovnost Ax A x..18. Uveďte definici maticových norem A 1, A. Vypočítejte tyto normy pro konkrétně zvolenou matice A. A 1 =udělají se součty prvků v absolutních hodnotách ve sloupcích a z toho se vezme maximum A = udělají se součty prvků v absolutních hodnotách v řádcích a z toho se vezme maximum. Př.: A=[1 3; 4 5 6;7 8 9] A 1 =18 A =4 5

6 osa y.19. Co to znamená, když řekneme, že matice A je špatně podmíněná? Definujte číslo podmíněnosti (A) matice A. Jak souvisí číslo podmíněnosti matice A s podmíněností úlohy najít řešení x soustavy lineárních rovnic Ax=b? Když je matice A dobře podmíněná tak její číslo podmíněnosti (A) je malé ( 1). (A) = A * A -1. Když je dobře podmíněná matice A je dobře podmíněná i soustava lineárních rovnic Ax=b a GEM s výběrem hlavních prvků je stabilní algoritmus... Uveďte příklad špatně podmíněné soustavy dvou lineárních rovnic. Zdůvodněte, proč je špatně podmíněná. Znázorněte graficky x+y=1 x-1.1y=1.1 z obrázku je vidět, že nelze přesně říct, kde se přímky protínají. I vypočet kořene může být nepřesný. Špatně podmíněná soustava rce.rce tam někde je kořen osa x.1. Vysvětlete princip iteračních metod pro řešení soustav lineárních rovnic (co je to počáteční aproximace, iterační krok, kdy řekneme, že iterační metoda konverguje). Iterační metody se od přímých liší především tím, že obecně nevedou k teoreticky přesným výsledkům. Jde o to, že v každém kroku iterační metody zpřesníme aproximaci řešení. Jako počáteční aproximaci obvykle volíme aproximaci nulovou. Konvergence iterační metody znamená, že s každou další aproximací jsme blíž k teoreticky přesnému řešení. V opačném případě metoda diverguje. 6

7 .. Uveďte příklady tzv. stop kritérií pro ukončení iterací. Dosáhli jsme požadované přesnosti tzn. absolutní hodnota dvou po sobě jdoucích aproximací kořene je menší nebo rovna přesnosti. Nebo jsme provedli maximálně povolený počet kroků..3. Popište Jacobiovu metodu. Uveďte postačující podmínky konvergence. Z každé rovnice si vyjádříme jednu neznámou (z první rovnice první neznámou ). Zvolíme si počáteční aproximaci, kterou pak dosazujeme do všech vyjádřených rovnic. Tím dostaneme novou aproximaci kořene. Postup opakujeme. Jacobiova metoda konverguje, když je matice soustavy A ryze diagonálně dominantní..4. Popište Gaussovu-Seidelovu metodu. Uveďte postačující podmínky konvergence. Srovnejte Gaussovu-Seidelovu metodu s Jacobiovou metodou. Začátek Gaussovy-Seidlovy metody probíhá stejně jako Jacobiova metoda, ale při dosazování do vyjádřených rovnic nečekáme na celkovou novou aproximaci, ale v dalším dosazení použijeme hodnotu neznámé z předchozího kroku. Tím se výrazně zvýší rychlost konvergence. Tato metoda konverguje, když je A ryze diagonálně dominantní nebo pozitivně definitní..5. Popište metodu SOR (tj. relaxaci Gaussovy-Seidelovy metody). Uveďte postačující podmínky konvergence. Jde o to, že v každém kroku Gaussovy-Seidelovy metody ještě zvýšíme konvergenci pomocí relaxačního parametru. Metoda konverguje, když matice A je ryze diagonálně dominantní a (,1 nebo matice A je pozitivně definitní a (,). Rychlost konvergence je výrazně vyšší než u Gaussovy-Seidelovy metody..6. Za jakých okolností lze očekávat, že řešení soustavy lineárních rovnic iterační metodou bude efektivnější než použití přímé metody? Iterační metodu je vhodné používat u velkých řídkých matic, kde by přímé metody byly neefektivní a trvali by dlouho. Iterační metody se používají také tam, kde není nutné získat teoreticky přesné řešení soustavy. 3. Aproximace funkcí 3.1. Co rozumíte pod pojmem aproximace funkce f(x)? Jaké dva různé typy aproximace znáte? Popište je v hrubých rysech. Pojem aproximace obecně znamená nahrazení. Rozlišujeme interpolaci a aproximaci dat pomocí metody nejmenších čtverců. Při interpolaci jde o to proložit daty křivku tak, aby všemi zadanými body přesně procházela. U metody nejmenších čtverců křivka daty neprochází přesně, ale tak aby suma chyb umocněných na druhou byla co nejmenší. 7

8 3.. Formulujte úlohu lagrangeovké interpolace (předepsány jsou funkční hodnoty). Při tomto druhu interpolace jsou předepsány jen funkční hodnoty v bodech, žádné derivace. Je snaha těmito body proložit polynom. To lze vždy a polynom je tak jednoznačně určen. Při velkém množství uzlů jsou však chyby mezi uzly obrovské, proto se interpolační polynomy vysokých stupňů nepoužívají. 4 Lagrangeovská interpolace dat zadaná data interpolační polymon Napište Lagrangeův tvar interpolačních polynomu. Co je to fundamentální polynom, jakou charakteristickou vlastnost má? Za jakých podmínek je zaručena jednoznačná existence Lagrangeova interpolačního polynomu? l i = (x x )(x x 1 )... (x x i 1 )(x x i+1 )... (x x n ) (x i x )(x i x 1 )... (x i x i 1 )(x i x i+1 )... (x i x n ) L = n i=y i l i Lagrangeův polynom je jednoznačně určen vždy, když jsou předepsány aspoň dva body a jejich funkční hodnoty. 8

9 osa y 3.4. Napište Lagrangeův interpolační polynom P(x) určený např. podmínkami P(1) = 1, P(3) = 7. Načrtněte Jde o to dvěma body proložit polynom, musí to být přímka. 1 Lagrangeův interpolační polymon 8 zadané body y=3x osa x 9

10 osa y 3.4. Napište interpolační polynom P(x) zadaný např. tabulkou, načrtněte x i -1 1 y i 1 1 Jsou zadané tři bodu, hledaný polynom musí být parabola. 4 Lagrangeův interpolační polymon zadané body y=x osa x 3.5. Zapište interpolační polynom v Newtonově tvaru. V čem spočívá přednost Newtonova tvaru oproti tvaru Lagrangeovu? P n (x) = a +a 1 (x x )+a (x x )(x x 1 )+ +a n (x x )(x x 1 ) (x x n 1 ), kde a 1-n jsou dopředné diference. Newtonův tvar interpolačního polynomu odstraňuje nedostatky Lagrangeova polynomu. Když chceme přidat další bod, nemusíme přepočítávat znova celý polynom. Také je k určení polynomu třeba menší počet operací Formulujte úlohu hermitovské interpolace (zadány jsou hodnoty funkce a některé její derivace). Hermitovská interpolace má kromě funkčích hodnot v bodech předepsány u některých bodů i derivace. 1

11 3.7. Určete interpolační polynom vyhovující podmínkám P(-1) =, P () = 1, P(1) =. Zjistíte, že takových polynomů je nekonečně mnoho (načrtněte si obrázek, napište vzorec). V čem je problém? Když chci předepsat někde derivaci, musím v tomto bodě předepsat i funkční hodnotu. Snaha o Hermitův polynom 6 předepsané funkční hodnoty

12 osa y 3.8. Napište Hermitův interpolační polynom P(x) určený např. podmínkami P(1) = 1, P (1) = 1, P (1) =, P (1) = 6. Když počítáme metodou neznámých koeficientů, tak vyjde polynom x 3 -x +x. 15 Hermitův interpolační polynom x 3 -x +x zadaný bod osa x 1

13 osa y 3.9. Sestrojte Hermitův interpolační polynom, který má jediný uzel x a v něm je předepsána hodnota f(x ) a dále všechny derivace až do řádu n včetně. Jak se takový polynom nazývá? Proveďte např. pro x =, f(x) = sin(x), n = 5. Jedná se o všeobecně známý Taylorův polynom. Pro zadaný konkrétní příklad je to polynom T = x-x 3 /3!+x 5 /5! Taylorův polynom y = sin(x) x-x 3 /3!+x 5 /5! bod rozvoje osa x 13

14 osa y 3.1. Vysvětlete, proč není účelné používat interpolační polynomy vysokých stupňů. Jak budete postupovat, když uzlů interpolace je mnoho, třeba 1? Při používání interpolačních polynomů vysokého stupně je správně splněna podmínka, že polynom musí procházet všemi zadanými body, ale mezi body vzniká obrovská chyba. Když pak budeme chtít určit funkční hodnotu mezi dvěma zadanými body hodnota, kterou určíme, může zcela různá od hodnoty přesné. Použijeme raději interpolační splajn nebo metodu nejmenších čtverců. Aproximace Rungeovy funkce 1 přesná závislost 1/1+5x interpolační polynom 15. řádu uzlové body osa x 14

15 osa y Vysvětlete, co je to lineární interpolační splajn. Když si dlouhý interval, na kterém provádíme interpolaci rozdělíme na více subintervalů a na každém z nich uděláme interpolační polynom, pak se výsledná křivka se nazývá splajn. Lineární splajn znamená, že body spojíme úsečkami Lineární interpolační spline přesná závislost lineární spline uzlové body osa x 15

16 osa y 3.1. Co je to Hermitův kubický interpolační splajn? Na subintervalech budeme tvořit Hermitův polynom maximálně třetího stupně. Je nutné mít v uzlových bodech předepsanou derivaci. 1 Hermitův kubický interpolační splajn osa x 16

17 osa y Co je to kubický interpolační splajn? Jak lze zvolit okrajové podmínky? Kubický splajne se od Hermitova liší tak, že v uzlových bodech jsou požadovány druhé derivace. V okrajových bodech lze zvolit jen funkční hodnoty, ale i derivace Kubický interpolační splajn splajn uzlové body osa x 17

18 osa y Nechť S(x) = a+x+cx +dx 3 pro x -1, 1+bx-3x +5x 3 pro x,1 Pro jaké hodnoty koeficientů a,b,c,d je S na intervalu -1,1 a) kubický Hermitův interpolační splajn b) kubický interpolační splajn U Hermitova interpolačního splajnu požadujeme, aby v nule byla spojitá první derivace, u kubického interpolačního splajnu ještě navíc druhé derivace. Když dáme a = 1 b = c = 3 d = 5 tak tyto podmínky jsou obě podmínky splněny a hermitův i kubický splajn mají stejné koeficienty. 3 5 splajn uzlové body osa x 18

19 3.15. Daty x = -1 1 y = 1 prochází interpolant S(x) s těmito vlastnostmi: a) na intervalu -1, je S(x) polynom nejvýše prvního stupně b) na,1 nejvýše druhého stupně c) -1 1 má S(x) spojitou první derivaci Načrtněte a určete S () Když se zamyslíme, uvědomíme si, že když derivace musí být spojitá tak v nule nesmí nastat hrot, to se stane jen pro S () =1. Graf interpolantu.4. polynom. řádu zadané body polynom 1.řádu Zdůvodněte, proč při lineární interpolaci na trojúhelníku (bilineární interpolaci na obdélníku) je hodnota interpolantu v těžišti rovna aritmetickému průměru hodnot ve vrcholech? Protože když si přestavíme, že bychom trojúhelník zavěsili v těžišti, pak bude přesně vodorovný. Když budeme těžiště držet na stejné výškové hladině a vychýlíme jedem z vrcholů, pak ostatní se budou vychylovat taky, nepodaří se mám, aby byli všechny vrcholy zároveň nad těžištěm, vždy musí být aspoň jeden pod těžištěm a tím zaručuje, že v těžišti je aritmetický průměr hodnot ve vrcholech. U obdélníku to platí stejně. 19

20 y Formulujte úlohu o proložení křivky empiricky získanými daty metodou nejmenších čtverců. Jak volíme bázové funkce? Co lze říci o vzájemném vztahu mezi počtem bázových funkcí (neboli počtem hledaných parametrů) a počtem pozorování? Jde o to proložit neměřenými daty křivku tak, aby součet reziduí byl co nejmenší. Křivka obecně naměřenými body neprochází. Bázové funkce volíme podle očekávaného průběhu křivky. Jejich počet musí být menší nebo maximálně roven počtu zadaných bodů Aproximace bodu metodou nejmensich ctvercu empiricka data prolozena funkce t Napište normální soustavu rovnic pro lineární regresní funkci R n (t), když n a bázové funkce j (t) jsou jednoduchého tvaru, třeba 1, t, t, cos t t*t t *t * x 1 = t*y 1 t *t t*t x t *y hledáme řešení x, což jsou koeficienty u bázových funkcí

21 y Data x = y = aproximujte metodou nejmenších čtverců polynomem R 1 (t) = a nultého stupně. Čemu se rovná a? Není nic těžkého si všimnout rozložení funkčních hodnot, proto nejlepší možnou aproximací je přímka y =, tzn. a = 1 8 Aproximace bodů metodou nejmenších čtverců zadané body proložená funkce t 1

22 y 3.. Metodou nejmenších čtverců určete lineární polynom R (t) = a + bt určený t = 1 y = 1 Jsou zadané dva body a nejlepší způsob jak je proložit je přímka, která jimi prochází. Přímka je y = x Aproximace bodů metodou nejmenších čtverců zadané body proložená funkce t 3.1. Co dostanete, když daty t i,y i, kde i = 1,,.n proložíte metodou nejmenších čtverců polynom R n-1 (t) = x 1 + x t+ +x n t n+1? Zadaný řád polynomů je o jedno menší než počet zadaných bodů což platí i u lagrangeovké interpolace. Když tedy takto zadanými daty proležíme zadaný polynom dostaneme interpolační polynom, koeficienty x 1...x n jsou stejné jako kdybychom body interpolovali Langrangeovým polynomem. 3.. Co znamená řešit přeučenou soustavu lineárních rovnic metodou nejmenších čtverců? Stačí udělat A T Ax=A T b a tuto soustavu nějak vyřešit. Řešení sedí do původní soustavy ve smyslu nejmenších čtverců.

23 4. Numerický výpočet derivace a integrálu Kdy je účelné nebo dokonce nezbytné počítat derivaci numericky? Numerické derivování se používá, když nemáme explicitní zadání funkce, není tedy co derivovat nebo když by derivace byla příliš složitá a pracná nebo když jsou body a jejich funkční hodnoty zadané tabulku. 4.. Spočítejte přibližně derivaci f (1,5) funkce f (x), o níž víte jen to, že f(1) = a f() = -. Z obrázku je téměř okamžitě vidět, že směrnice tečny je -1/. 3 zadané body pravděpodobná závislost Vysvětlete vzájemný vztah diskretizační a zaokrouhlovací chyby při numerickém derivování. Naznačte na příkladu první dopředné diference. Diskretizační chyba u první dopředné diference je -1/*h*f. Zaokrouhlovací chyby se dá vyjádřit jako ( - 1 )/h,kde, 1 jsou zaokrouhlovací chyby, kterých se dopustíme při výpočtu. Když budeme zmenšovat krok h pak diskretizační chyba se bude blížit nule, ale zaokrouhlovací k nekonečnu. To ukazuje, že úloha je špatně podmíněná. Když se nepatrně změní vstupní data, může se konečný výsledek zcela změnit. 3

24 4.4. Jak spočítáme derivaci funkční závislosti y = f (x) z naměřených dat [ x i, y i ] Nejlepší je tyto body proložit interpolačním polynomem nebo splajnem a ten potom derivovat. Pro malý počet zadaných bodů by proložení interpolačním polynomem v Lagrangeově tvaru nemělo způsobit velké chyby v derivaci Vysvětlete princip Richardsonovy extrapolace. Richardsonova extrapolace je způsob jak zvolenou metodu zpřesnit. V dalším kroku výpočtu derivace libovolnou formulí použijeme poloviční krok, čímž docílíme větší přesnosti. Výpočet je vhodné realizovat formou tabulky Kdy je účelné nebo dokonce nezbytné počítat integrál numericky? Jak vypadá obecná kvadraturní formule? Kdy řekneme, že formule je řádu r? Numericky se integruje v případě, že neznáme explicitní předpis integrované funkce nebo je tato funkce tak složitá, že nelze zintegrovat. Za hledanou hodnotu integrálu funkce f Q(f) považujeme hodnotu integrálu I( ), kde je vhodná aproximace funkce f(x). Toto se nazývá kvadraturní formule. Řekneme, že kvadraturní formule je řádu r+1 integruje-li přesně polynom řádu r. Např. Simpsonova formule je řádu 3. přesně integruje parabolu Odvoďte a) obdélníkovou formuli b) lichoběžníkovou formuli Uveďte řád, zdůvodněte. Napište odpovídající složenou formuli. Obdélníková formule najde funkční hodnotu v půlce dílku a tuto hodnotu považuje za výšku obdélníku, jehož šířka je rovna velikosti dílku. Součet obsahů se přibližně rovná hodnotě integrálů. Složená obdélníková formule vznikne, když sečtení provedeme obecně. Obdélníková formule je prvního řádu, protože hodnotu integrálu konstantní funkce aproximuje přesně. Q(f) = h*(f(x +.5*h)+f(x 1 +.5*h) ) Lichoběžníková formule spojí funkční hodnoty krajních bodů dílku, tím vznikne lichoběžník, jehož výška je velikost dílku. Počítá se obsah tohoto lichoběžníku, pak se všechny obsahy sečtou. Lichoběžníková formule je druhého řádu, protože hodnotu integrálu lineárního polynomu aproximuje přesně, kvadratický už ne. Q(f) = h*(.5f(x ) + f(x 1 ) f(x n )) 4.8. Jak vypadá Simpsonova formule? Uveďte polynom, jehož integrací Simpsonova formule vznikne. Jakého řádu je Simpsonova formule? Co to znamená? Napište složenou Simpsonovu formuli. Q s = ((b-a)/6)*(f(a)+4*f((a*b)/)+f(b))toto je Simpsonova formule, která vznikne integrací kvadratického interpolačního polynomu, proto je 3. řádu. Přesně spočítá integrál u paraboly. Q s = (h/3)*(f(x )+4*f(x 1,3..n-1 )+*f(x,4..n- )+f(x n )) složená Simpsonova formule. 4

25 4.9. Ověřte, že Simpsonova formule je řádu 3. Budeme na intervalu,1 porovnávat přesnou hodnotu integrálu a hodnotu ze Simpsonovy formule na konstantní funkci, přímce, parabole pro y = 1 přesná hodnota je 1, Simpsonova hodnota je 1 pro y = x ½ ½ pro y=x 1/3 1/3 pro y=x 3 ¼ 1/9 je vidět, že hodnota integrálu u paraboly je spočtená ještě přesně, proto Simpsonova formule je třetího řádu Je-li Q R (f) obdélníková formule a Q T (f) formule lichoběžníková, pak Q S (f) = /3 Q R (f) + 1/3 Q T (f) je Simpsonova formule. Ověřte. Toto se ověří tak, že se tyto dvě formule jednoduše sečtou a vhodně se vytkne Vysvětlete princip metody polovičního kroku pro odhad chyby složené kvadraturní formule. Integrál nejdříve spočteme s velikostí kroku h pak s velikostí kroku h/ a kombinací těchto čísel získáme chybu.odhad se dá vyjádřit jako (1/( p -1))*(Q n (f) - Q n (f)), kde p-1 je řád formule a n je počet dílků Vysvětlete princip Rombergovy integrace. Jakého řádu jsou formule T si v i-tém sloupci Rombergovy tabulky? Co z toho plyne pro integraci polynomu stupně r? Rombergova integrace je založena na Richardsonově extrapolaci složené lichoběžníkové formule. Když výpočet organizujeme do tabulky pak v i-tém sloupci tabulky je kvadraturní formule řádu i Vysvětlete princip adaptivní integrace. Adaptivní integrace je založena na střídání přesnější a méně přesné integrační formule. Střídání závisí na tom, jak moc složitá je integrovaná funkce. Intervaly, na kterých se provádí různé formule, nemusí být stejně velké. Častá je kombinace Simpsnovovi a Booleovy formule Jak určíte přibližnou hodnotu integrálu funkce dvou proměnných na trojúhelníku (obdélníku), znáte-li hodnoty integrované funkce ve vrcholech? Tk S k (x, y) dx dy = (1/3) T k [f (A k ) + f (B k ) + f (C k )], T k je obsah trojúhelníka, f (Ak) je funkční hodnota v jeho vrcholech S k je rovina, která aproximuje funkci nad trojúhelníkem ABC. Čím jemnější triangulaci použijeme, tím přesnější hodnotu integrálu obdržíme. 5

26 4.15. Jaký vliv mají zaokrouhlovací chyby při numerickém integrování? Ukažte na složené obdélníkové formuli Odhad chyby kvadraturní formule je (b-a) takže, když budou chyby jednotlivých částí složené formule malé pak i celková chyba kvadraturní formule bude malá. 5. Řešení nelineárních rovnic 5.1. Vysvětlete metodu bisekce, nakreslete. Posuďte rychlost konvergence. Uveďte vhodné kritérium pro ukončení výpočtu. Metoda bisekce neboli půlení intervalů je metoda, která vždy vede k cíli, ale její konvergence je velmi pomalá. Za počáteční interval zvolíme ten, ve kterém leží kořen (to se nejlépe udělá z grafu funkce). Tento interval rozpůlíme a tím získáme další dva intervaly. Podíváme se, ve kterém z těchto dvou intervalů leží kořen tzn. určíme znaménka u funkčních hodnot v krajních bodech intervalu. Když jsou tato znaménka různá, kořen leží v tomto intervalu. Jako nový interval k půlení použijeme ten, ve kterém leží kořen. Tento postup opakujeme dokud nenastane nějaké stop kritérium např. funkční hodnota aproximace kořene není menší než zadané nebo konečný interval není dostatečně malý. Jako konečná aproximace kořene se vezme střed konečného intervalu Metoda bisekce y = sin(x)

27 osa y 5.. Vysvětlete Newtonovu metodu, nakreslete. Jakého je řádu? Co to znamená? Uveďte postačující podmínky zaručující konvergenci. Uveďte vhodné kritérium pro ukončení výpočtu. U Newtonovy metody děláme tečnu ke grafu funkce a tam kde protne osu x je další aproximace kořene x. Tato metoda je druhého řádu to znamená, že konverguje kvadraticky někdy i rychleji ke kořenu. Aby metoda vždy konvergovala, musí být splněna Fourierova podmínka tzn. f(x )*f (x ) >. Tato podmínka se ale muže těžko ověřit. Lepší je jednoduše kouknout na graf a představit si tečny. Nejlepší stop kritérium je, až funkční hodnota v aproximaci kořene je menší než požadovaná přesnost. Newtonova metoda 1 nelineární rovnice osa x 7

28 5.3. Vysvětlete metodu sečen, nakreslete. Jakého je řádu? Co to znamená? Porovnejte metodu sečen a Newtonovu metodu. Kdy nastane konvergence? Uveďte vhodné kritérium pro ukončení výpočtu. Volíme dvě počáteční aproximace kořene. Přímkou spojíme funkční hodnoty v těchto bodech, tím dostaneme sečnu grafu. Tam kde přímka protne osu x je další aproximace kořene. Jako další startovací body vezmeme novou aproximaci a jeden ze starých bodů (ten který je k nové aproximaci blíž). Metoda sečen je řádu 1.618, konverguje tedy pomaleji než metoda tečen. Konvergence nastane, zvolíme-li počáteční aproximace nedaleko kořene. Výpočet ukončíme až funkční hodnota v aktuální aproximaci kořene je menší než zadaná přesnost Metoda sečen nelineární rovnice postupné aproximace kořene sečny

29 5.4. Vysvětlete metodu regula falsi, nakreslete. Jakého je řádu? Co to znamená? V čem se liší od metody sečen? Jaké shodné rysy mají metoda regula falsi a metoda bisekce? Uveďte vhodné kritérium pro ukončení výpočtu. Metoda regula falsi je kombinací metody sečen a metody bisekce. Provádí se stejně jako metoda sečen, ale je zvolená jiná počáteční aproximace. Každý z počátečních bodů je na jiné straně od kořene. Na rozdíl od metody sečen se zkoumá, stejným způsobem jako u bisekce, znaménko. Jako další startovací body se berou krajní body intervalu, ve kterém leží kořen. Metoda regula falsi je jen lineární, proto se používá jen pro separaci kořenů. Konverguje vždy, výpočet se ukončí, až funkční hodnota aproximace kořene bude menší než požadovaná přesnost. Metoda regula falsi y = sin(x) postupné aproximace kořene sečny

30 osa y 5.5. Vysvětlete metodu inverzní kvadratické interpolace. Nakreslete. Co lze říct o její konvergenci? Uveďte vhodné kritérium pro ukončení výpočtu. Počáteční aproximace kořene obsahuje tři body. Těmito body proložíme parabolu v proměnné y. Taková parabola protne vždy x-ovou osu v jediném bodě. Tento bod je naše nová aproximace kořene x. Konvergence této metody je superlineární řádu Výpočet ukončíme, až funkční hodnota aproximace bude menší než zadaná přesnost Metoda inverzní kvadratické interpolace f(x)=x -1 první proložená parabola první aproximace kořene osa x 5.6. Vysvětlete metodu prosté iterace pro řešení rovnice x = g (x), uveďte postačující podmínky konvergence. Co lze říci o řádu metody prosté iterace? Pokud je směrnice funkce mezi a 1 můžeme říci, že hledané x(vyjádříme ho z rce) = g(x) a potom x i = g(x i ). Pak hledáme tzv. pevný bodu nové funkce g tj. takový bod, který se zobrazí sám na sebe. Podmínka konvergence je právě to, že derivace g(x) je menší než jedna. Konvergence je lineární. 3

31 5.7. Rovnice lnx = x- má dva kořeny x 1 1 a x 1. Ke kterému z nich konverguje metoda prosté iterace x k+1 =g(x k ) pro g(x) = lnx+, když zvolíme x = 1? Zdůvodněte. Z obrázku je vidět, že metoda bude konvergovat ke kořenu většímu než 1. Nebo dosadíme počáteční aproximace do rovnice x i =ln(x)+ hned nám vyjde další aproximace kořene (=). 4 3 funkce g(x)=ln(x)+ y=x prostá iterační metoda Jak byste přibližně určili počáteční aproximaci, když řešíte jednu nelineární rovnici? A jak u soustavy nelineárních rovnic? Nejlepší je počáteční aproximaci určit vizuálně z grafu funkce. Když nemáme možnost si nechat průběh funkce vykreslit, tak je vhodné rovnici rozložit na více jednoduchých funkcí, jejichž průběh nakreslit umíme a tam kde se grafy funkcí protnou, leží kořen. U soustavy nelineárních rovnic nemáme vcelku jinou možnost než si nechat funkce vykreslit, ale univerzální způsob jak určit správně počáteční aproximaci neexistuje (cesta pokusů) Vysvětlete Newtonovu metodu pro řešení soustav nelineárních rovnic. Jakého je řádu? Co se tím rozumí? Za jakých podmínek nastane konvergence? Uveďte vhodné kritérium pro ukončení výpočtu. Newtonova metoda řešení soustav rovnic je odvozena z Taylorova rozvoje. Funguje podobně jako metoda tečen. Aby konvergovala, musí být počáteční aproximace dostatečně blízko kořenu, což může být někdy problém. Newtonova metoda je druhého řádu tj. s kvadratickou konvergencí. Výpočet ukončíme, až rozdíl dvou po sobě jdoucích aproximací bude menší než požadovaná přesnost nebo až provedeme povolený počet kroků. 31

32 5.1. Uveďte některou z modifikací Newtonovy metody pro řešení soustav nelineárních rovnic a vysvětlete, jaký má taková modifikace smysl? Když například v Jacobioně matice u Newtonovy metody nahradíme přesné derivace funkcí derivací vypočítanou numericky pomocí druhé dopředné diference, tak dostaneme metodu nazývanou diskretizovaná Newtonova metoda. Není tudíž nutné zadávat do programu přesné derivace Vysvětlete metodu prosté iterace pro řešení soustav nelineárních rovnic. Uveďte postačující podmínky konvergence. Jaká je rychlost konvergence? Co to znamená? Uveďte vhodné kritérium pro ukončení výpočtu. Metoda prosté iterace pro více rovnic je v podstatě stejná jako pro jednu rovnici. Konvergence je lineární tzn. je pomalejší než Newtonova metoda. Aspoň jedno norma Jacobiovy matice fce g (x) musí být menší než jedna, pak metoda konverguje. Výpočet ukončíme, až rozdíl dvou po sobě jdoucích iterací je menší než zadaná přesnost. 3

33 6. Optimalizace 6.1. Vysvětlete metodu zlatého řezu. Nakreslete, jak z intervalu (a k,b k ) dostanete interval (a k+1,b k+1 ). Posuďte rychlost konvergence. Navrhněte vhodné kritérium pro ukončení výpočtu. Metoda zlatého řezu je podobná trisekci, ale interval se nedělí na třetiny, ale v poměru zlatého řezu tj,.618. Tím se dosáhne toho, že v následujícím kroku nemusíme počítat znova všechny funkční hodnoty daných bodů, ale některé se dají použít s předešlého kroku. Interval (a,b) tedy rozdělíme na (a,u,v,b) ; u=a+ (b-a); v=b- (b-a), kde je.38. Když je f(u)<f(v) pak nový interval na dělení je (a,v) když f(u) f(v) pak dělíme interval (u,b) Metoda zlatého řezu konverguje poměrně pomalu. Výpočet ukončíme, až délka děleného intervalu bude menší než zadaná přesnost. Střed tohoto intervalu považujeme za konečnou aproximaci minima x. postup umisťování nového intervalu <a,b> 1.5 funkční hodnoty a u v b nové b a u v b nové a

34 6.. Vysvětlete metodu kvadratické interpolace. Nakreslete, jak z intervalu (a k,b k ) dostanete interval (a k+1,b k+1 ). Posuďte rychlost konvergence. Navrhněte vhodné kritérium pro ukončení výpočtu. Opět máme startovací interval (a, b), ve kterém leží jediné minimum, v intervalu určíme c tak, aby jeho funkční hodnota bylo menší než funkční hodnoty a, b. Pak body a,f(a) b,f(b) c,f(c) proložíme parabolu a určíme její minimum, tj. první derivaci položíme rovnu nule. Dále určíme nový startovací interval podle obrázku. Pokud metoda konverguje tak superlineárně. Je přibližně řádu Výpočet ukončíme až velikost intervalu nebo rozdíl funkčních hodnot dvou po sobě jdoucích aproximací je menší než požadovaná přesnost. 1.5 funkční hodnoty a x nové c c nové b.5 1 b -.5 a x c b nové a a c x b nové b a c nové a x nové c.5 1 b 34

35 6.3. Popište 5 základních kroků Nelderovy-Meadovy metody, načrtněte obrázky. Navrhněte vhodné kritérium pro ukončení výpočtu. Metoda slouží k minimalizaci funkce více proměnných. Porovnává funkční hodnoty v určitých bodech. Konkrétně ve vrcholech trojúhelníků. Vybere z bodů, ten s největší funkční hodnotou a ten nahradí jiným. reflexe nový bod je středově souměrný s nejhorším bodem (střed souměrnosti je střed protější strany trojúhelníka), když je funkční hodnota v novém bodě menší koukneme se po přímce ještě dál tj. expanze když v tomto bodě je funkční hodnota vyšší než v reflexi vrátíme se do reflexe a nejhorší vrchol starého trojúhelníka nahradíme bodem reflexe vnější kontrakce koukneme se do poloviny mezi střed souvěrnosti a bod reflexe, pokud je zde funkční hodnota menší, než v bodě reflexe použijeme ten vnitřní kontrakce tento bod je středově souměrný s vnější kontrakcí, zase porovnáváme funkční hodnoty redukce -když nevyhovuje žádný z bodů, potom minimum leží někde blízko bodu, ve kterém je funkční hodnota nejmenší, tento bod ponecháme a zbylé dva body posuneme do středů stran blíž k ponechanému bodu. Postup opakujeme s nově vzniklým trojúhelníkem. Výpočet zastavíme, až jsou vrcholy trojúhelníku blízko u sebe a funkční hodnoty se liší o málo (je zadaná přesnost). Za aproximaci minima prohlásíme bod ve kterém je funkční hodnota nejmenší. Nelderova-Meadova metoda nejhorší 15 vnitřní kontrakce 1 dobrý nejlepší 5 vnější kontrakce rexlexe -5-1 expanze

36 6.4. Vysvětlete metodu největšího spádu. Posuďte rychlost konvergence. Tato metoda patří mezi gradientové tzn. pracuje se v ní s derivací. Jako směrový vektor si vybereme vektor ve směru záporného gradientu a jdeme po něm až k nejnižší funkční hodnotě, která na něm leží. Zde najdeme nový směrový vektor a postup opakujeme. Když jsme od minima dostatečně vzdálení je rychlost konvergence dobrá, ale v blízkosti mimina dochází k cik-cak efektu. Výpočet ukončíme, když norma spádového vektoru je menší než požadovaná přesnost. Poslední bod, do kterého dojdeme, prohlásíme za aproximaci minima Co je to tzv. cik-cak efekt v metodě největšího spádu? Tento efekt nastává v blízkosti minima. Jsme sice už téměř v minimu, ale pořád musíme chodit kolmo na vrstevnice. Toto vede k obrovskému počtu kroků nebo jinak k velmi pomalé konvergenci. A metoda největšího spádu může v extrémním případě i selhat Určete minimum funkce f(x,y) = x + y metodou největšího spádu pro počáteční aproximace x = y = 1. V kolika krocích naleznete minimum? Načrtněte. Jedná se o rotační paraboloid. Minimum leží v bodě [, ]. Metodou nejmenšího spádu by stačilo udělat jeden krok, protože gradient v počátečním bodě je (,), směrový vektor, po kterém bychom šli by směroval přímo do minima. Graf funkce f(x,y)=x +y

37 6.6. Vysvětlete, jak lze pomoví Newtonovy metody najít lokální extrém funkce. Nastane-li konvergence, jakého je řádu? Co to znamená? U této metody získáme další aproximaci bodů x tak, že ke staré aproximaci přičteme d, kde d je řešení soustavy Hd=-g, kde H je matice druhých derivací. Toto je soustava nelineárních rovnic, kterou řešíme Newtonovou metodou. Nastane-li konvergence pak je rychlá,. řádu tzn. kvadratická. Výpočet ukončíme, když norma spádového vektoru je menší než požadovaná přesnost Která z metod (metoda největšího spádu, Newtonova metoda) nás spolehlivěji zavede do minima? Která z nich konverguje rychleji? Lze přednosti obou metod nějak skloubit? Spolehlivě, ale velmi pomalu nás do minima dovede metoda největšího spádu. Newtonova metoda je rychlá, ale zase konverguje až v blízkosti minima. Takže je ideální začít metodou největšího spádu a v blízkosti minima přejít na Newtonovu metodu. To je hlavní myšlenka Kvazinewtonovské metody Jak lze pomocí minimalizačních metod najít řešení soustavy nelineárních rovnic? Řešení soustavy f(x) =, můžeme získat jako minimum funkce h(x) =suma(f 1-n (x)) tj. součet čtverců reziduí. 37